10 年经验面试:公司要建企业级大模型平台,数据部门应该承担哪些职责?
面试怎么回答
大模型平台包括模型层、网关层、数据和知识层、应用层和治理层。我会主张数据部门主导数据和知识层:企业知识库的采集、解析、切分、向量化、增量和权限同步;语义层、指标口径、元数据目录和数据查询的 MCP 服务,这决定智能问数准不准;把数据治理延伸到 AI,包括使用权限、脱敏、训练数据授权和延伸到模型的血缘;把调用日志、Trace、反馈建成数据模型做用量成本质量分析;以及评测集和标注平台。模型部署、应用开发和安全合规由对应团队主导,数据部门配合。理由是 AI 效果的瓶颈越来越多在数据,数据部门不参与就会重复建设、口径失控。落地上先用智能问数或知识库做出成果,补齐团队能力,和其他部门签清职责边界。
先把这段讲顺;面试官追问时,再展开下面的原理和细节。
详细讲解
公司决定建设企业级的大模型平台,CTO 召集技术、算法、数据、安全几个部门讨论分工。作为数据部门负责人,你会主张承担哪些职责?面试官问这题,想看你对数据部门在 AI 时代定位的判断,以及能不能争取到合适的职责边界。
先看大模型平台由哪些部分组成
- 模型层:模型接入、私有化部署、微调、推理服务;
- 网关层:统一接入、路由、计量、审计;
- 数据和知识层:知识库、RAG、训练和评测数据、元数据和语义层;
- 应用层:Agent 框架、工具和 MCP 服务、各业务应用;
- 治理层:安全、合规、评测、成本。
数据部门应该主导的
- 知识和数据接入:企业知识库的建设,包括文档的采集、解析、切分、向量化、增量更新、权限同步。这本质上是数据链路,数据部门最有经验;
- 语义层和数据服务:让 AI 能准确使用结构化数据——指标口径、语义层、元数据目录、数据查询工具(MCP 服务)。智能问数能不能做准,主要取决于这一块;
- 数据治理延伸到 AI:AI 使用数据的权限、分级、脱敏;训练数据的来源和授权;数据血缘延伸到模型和应用;
- AI 运行数据的分析:调用日志、Trace、用户反馈建成数据模型,提供用量、成本、质量的分析,支撑运营和决策;
- 评测数据和标注:评测集的建设管理、标注平台,这是数据资产管理的延伸。
数据部门配合的
- 模型部署和推理(基础架构或算法团队主导),数据部门提供 GPU 批处理任务的需求和调度经验;
- 应用开发(业务技术团队主导),数据部门提供数据工具和服务;
- 安全合规(安全和法务主导),数据部门落实数据层面的控制。
为什么要主动争取
- 大模型应用的效果瓶颈越来越多地在数据:知识库质量、口径、元数据;
- 如果数据部门不参与,各应用团队会各自重复建设数据链路,口径和权限会失控;
- 这也是数据部门提升价值和影响力的机会。
怎么落地
- 先挑一两个高价值的场景(比如智能问数、内部知识库)做出成果,证明数据部门的价值;
- 团队能力建设:培养非结构化数据处理、向量检索、评测方面的能力;
- 和其他部门签清楚接口和职责边界,避免重叠和空白。