大模型训练数据的版权和授权，数据团队要怎么管？
面试怎么回答
训练数据的风险包括版权、开源许可证限制、采购或合作合同约定的使用范围、模型服务条款对用输出训练的限制、个人信息的合法依据以及网站条款。数据团队要把授权当成元数据管理：每个数据集登记来源和获取方式，记录许可证、合同、允许的用途和限制、有效期，打上可训练、仅分析、禁止训练这样的用途标签；用血缘把原始数据集、训练数据集和模型串起来；组装训练集时自动检查用途标签，新数据源用于训练前经法务确认。出问题时通过血缘快速找到受影响的数据集和模型。用户数据要确认隐私政策已告知、尊重退出选择，训练前清洗个人信息。
先把这段讲顺；面试官追问时，再展开下面的原理和细节。
详细讲解
公司要微调一个行业模型，数据团队收集了很多数据：公开网页、购买的数据集、合作伙伴提供的数据、用户产生的内容、内部文档。法务问：「这些数据我们有权用来训练模型吗？」很多团队这时候才发现，数据的来源和授权根本没有记录。面试官问这题，想看你有没有把数据的合规属性纳入数据管理。
训练数据的合规风险
- 版权：受版权保护的内容（书籍、文章、代码、图片）用于训练是否被允许，不同地区的法律和判例在发展中；
- 许可协议：开源数据集和开源代码有各自的许可证，有的限制商业用途，有的要求署名；
- 合同约定：购买或合作获得的数据，合同中可能约定了使用范围，未必包括训练模型；
- 服务条款：某些模型服务的条款限制用它的输出训练其他模型；
- 个人信息：用户数据用于训练需要合法依据和告知；
- 网站条款：爬取的数据是否违反了网站的使用条款。
数据团队能做什么：把授权当成元数据
- 来源登记：每个数据集记录来源、获取方式、获取时间、负责人；
- 授权信息：许可证类型、合同编号、允许的用途（分析、训练、商用、对外提供）、限制条件、有效期；
- 用途标签：数据集被标记为「可用于训练」「仅限内部分析」「禁止训练」等；
- 血缘追踪：训练数据集由哪些原始数据集构成，模型由哪个训练数据集训练，形成完整的链条；
- 准入检查：组装训练数据集时，自动检查每个来源的用途标签，不允许的来源无法进入；
- 审批流程：新数据源用于训练前，经过法务确认。
当问题出现时
- 某个数据源的授权出了问题（合同终止、被要求停止使用），通过血缘能快速找到受影响的训练数据集和模型；
- 后续训练中剔除该来源。
用户数据的特别处理
- 确认隐私政策中是否告知了用户数据会用于改进模型，是否提供了退出选项；
- 退出的用户，其数据要从后续的训练数据中排除；
- 训练前做个人信息清洗。