大模型时代,数据血缘要扩展到哪些新对象?
面试怎么回答
大模型时代血缘要扩展到非结构化数据的原始文件、解析文本、片段、向量和索引,知识库的组成,AI 应用使用的知识库、表和工具,模型的训练数据集和基座版本,评测集的来源和隔离,提示词和配置版本,以及每次生成的回答依赖了哪些文档、表和模型。它能做影响分析,比如数据源有问题或被要求删除时影响了哪些知识库、应用和模型;能溯源错误回答和训练数据的授权;能支撑个人信息的级联删除。采集上流水线每步记录输入输出 ID,训练任务关联数据集和模型版本,运行时记录检索文档、工具、SQL 和版本,静态血缘和量大的运行时血缘分开存。最好扩展现有血缘系统增加节点类型,而不是另建孤立的一套。
先把这段讲顺;面试官追问时,再展开下面的原理和细节。
详细讲解
传统的数据血缘回答的是:这张表从哪些表来、影响哪些报表。在 AI 应用里,问题变成了:这个回答是基于哪些文档生成的?这份文档被哪些 AI 应用用了?这个模型是用哪些数据训练的?面试官问这题,想看你能不能把血缘的思路延伸到 AI 系统。
新增的血缘对象
- 非结构化数据:原始文件 → 解析文本 → 片段 → 向量 → 索引;
- 知识库:一个知识库包含哪些数据源、哪些文档;
- AI 应用:应用使用了哪些知识库、哪些数据表、哪些工具;
- 模型:训练或微调用了哪些数据集,数据集由哪些原始数据构成;基座模型和版本;
- 评测集:评测集的来源,和训练数据的隔离关系;
- 提示词和配置:应用的提示词版本、工具定义版本;
- 生成内容:某次回答、某份 AI 生成的报告,依赖了哪些文档、查询了哪些表、用了哪个模型版本。
血缘能回答的问题
影响分析(向下)
- 某个数据源有质量问题或者被要求删除,影响了哪些知识库、哪些应用、哪些模型?
- 某张表的口径变了,哪些 AI 应用的回答会受影响?
溯源(向上)
- 用户投诉一个错误的回答,它基于哪些文档、哪个版本?
- 这个模型的训练数据里,有没有未授权的来源?
合规
- 个人信息删除时,找到所有派生数据(片段、向量、缓存、训练集);
- 证明训练数据的来源和授权。
怎么采集
- 数据处理流水线:解析、切分、向量化每一步记录输入和输出的 ID,这是确定性的血缘,最可靠;
- 训练和评测:训练任务记录使用的数据集版本,产出的模型版本关联到数据集;
- 运行时:每次调用记录检索到的文档 ID、调用的工具、查询的表和 SQL、模型和提示词版本;
- 存储:静态血缘(文档 → 片段 → 向量、数据集 → 模型)和运行时血缘(某次回答 → 文档)分开存储,后者量大,可以按需保留和抽样。
和现有血缘系统的整合
不要另建一套孤立的「AI 血缘」,而是扩展现有的数据血缘系统:增加新的节点类型(文档、知识库、模型、应用),和已有的表、字段、任务节点连起来。这样「某张表的变化影响到哪些 AI 应用」才能被一次查出来。