数据标注平台怎么设计？人工标注和大模型预标注怎么配合？
面试怎么回答
标注平台包括任务和规范管理、按类型定制的标注界面、模型预标注、质检审核、数据版本管理和效率质量统计。人机配合上模型先预标注、人工确认修改，效率提升明显，但要防锚定效应；按置信度分流，高置信且多模型一致的只抽检，低置信和有分歧的人工重点标，专业样本交给专家；用主动学习优先标注最有信息量的样本。质量上混入金标准样本考核标注员，交叉标注算一致率由专家裁决分歧，定期检查未修改的预标注里模型错误保留的比例，从分歧样本中迭代规范。每条标注记录标注员、规范版本、预标注模型版本、是否修改和审核状态，敏感数据先脱敏并控制权限。
先把这段讲顺；面试官追问时，再展开下面的原理和细节。
详细讲解
评测集、微调数据、偏好数据、RAG 的检索标注、Text2SQL 的标准答案……大模型项目对标注的需求暴增。全部人工标注太慢太贵，全部交给模型又不可信。面试官问标注平台的设计，想看你怎么组织人和模型的协作，并保证质量。
标注平台的核心模块
- 任务管理：创建标注任务、定义标注规范和标签体系、分配给标注员、跟踪进度；
- 标注界面：针对不同类型（文本分类、实体抽取、问答对、多回答比较、SQL 标注）提供合适的界面；
- 预标注：调用模型给出初步结果，标注员在此基础上修改；
- 质检和审核：抽检、交叉标注、专家审核；
- 数据管理：标注结果的存储、版本、导出；
- 统计分析：标注效率、一致率、标注员质量。
人和模型怎么配合
模型预标注 + 人工修正
- 模型先标，人工确认或修改。效率通常能提升数倍；
- 风险：锚定效应，标注员倾向于直接接受模型的结果，模型的错误被保留下来。
按置信度分流
- 模型高置信度且多个模型结论一致的：抽检确认；
- 低置信度或模型之间有分歧的：人工重点标注；
- 困难、专业的样本：交给专家。
主动学习
- 优先把模型最不确定、最有信息量的样本交给人工，用更少的标注量获得更大的提升。
质量控制
- 金标准样本：混入已知答案的样本，检测标注员的准确率；
- 交叉标注：一部分样本由多人标注，计算一致率，分歧由专家裁决；
- 对预标注的检查：定期抽取「标注员未修改」的预标注样本，检查模型错误被保留的比例；必要时对部分样本隐藏预标注结果，比较有无预标注时的差异；
- 标注规范迭代：从分歧样本里发现规范不清楚的地方，更新规范并通知标注员。
数据层面的设计
- 每条标注记录：标注员、时间、使用的规范版本、预标注模型和版本、是否修改了预标注、审核状态；
- 支持同一条数据的多次标注和修订历史；
- 敏感数据的标注要控制权限，必要时先脱敏。