AI 数据工程师和传统数据开发有什么区别？
面试怎么回答
AI 数据工程师和传统数据开发的底座是一样的：分布式计算、数据建模存储、质量血缘元数据治理、调度监控和成本优化，它是数据开发在 AI 场景的延伸。不同在于数据类型从结构化扩展到文本、文档、图片音视频，需要解析、OCR、切分和向量化；服务对象从报表分析变成模型训练、评测和 RAG、Agent；质量的定义多了多样性、去重、有害内容、偏差、评测集防泄漏和标注质量；新增了训练集、评测集、向量、对话日志和提示词版本这些资产；计算上多了 GPU 批量推理；合规上多了训练数据版权、个人信息和生成内容标识。我会把已有能力迁移过去，补上非结构化处理、向量检索、大模型原理和评测方法。
先把这段讲顺；面试官追问时，再展开下面的原理和细节。
详细讲解
招聘网站上，「AI 数据工程师」「大模型数据工程师」「AI Infra 数据方向」的岗位越来越多。很多数据开发同学想知道：这些岗位和我现在做的有什么不同？面试官也常问：「你理解的 AI 数据工程师是做什么的？」这题考的是你对岗位的理解和自我定位。
相同的底座
两者的核心能力是一样的：
- 分布式计算（Spark、Flink、Ray）；
- 数据建模和存储（数据湖、表格式、列式存储）；
- 数据质量、血缘、元数据治理；
- 调度、监控、容错、成本优化。
AI 数据工程师不是一个全新的职业，而是数据开发在 AI 场景下的延伸。
不同的地方
1. 数据类型：从结构化到非结构化
传统数据开发主要处理表格数据；AI 数据工程大量处理文本、文档、图片、音视频，需要解析、OCR、转写、切分、向量化。
2. 服务对象：从报表和分析到模型和应用
- 传统：数据给分析师、报表、业务系统用；
- AI：数据给模型训练、微调、评测，以及 RAG 和 Agent 用。
3. 质量的定义不同
- 传统：准确、完整、及时、一致；
- AI：还要考虑多样性、去重、有害内容、偏差、和评测集的隔离（防泄漏）、标注质量。
4. 新的数据资产
- 训练数据集、评测集、偏好数据、标注数据；
- 向量和索引；
- 对话日志、Trace、用户反馈；
- 提示词和模型版本。
5. 新的计算形态
- GPU 上的批量推理（Embedding、打标、过滤）；
- CPU 和 GPU 混合的流水线。
6. 新的合规问题
- 训练数据的版权和授权；
- 个人信息在模型中的处理；
- 生成内容的标识和溯源。
典型的工作内容
- 训练数据和微调数据的清洗流水线（去重、过滤、脱敏）；
- RAG 的数据链路（解析、切分、向量化、增量更新）；
- 评测数据集的建设和管理；
- 大模型应用的日志数仓和指标体系；
- 标注平台和数据飞轮。
转型的建议
把已有的能力迁移过去，补上非结构化数据处理、向量检索、大模型基本原理、评测方法这几块。