大模型时代的数据目录怎么做?怎么让人和 Agent 都能找到数据?
面试怎么回答
Agent 不会像人一样去问同事,只会照着元数据用,所以数据目录要求更高:描述准确完整、明确哪张是推荐使用的表、写清口径和使用注意事项,并通过 API 或 MCP 提供结构化的查询能力。目录内容包括技术元数据、业务元数据、质量和认证状态、字段级血缘、使用情况、权限分级。让 Agent 找对表靠认证标签和废弃过滤、描述的语义检索、按使用信号排序、常用表配经过验证的示例 SQL,以及搜索表、看字段口径、看血缘这些工具。维护上能自动采集的自动采集,业务描述大模型辅助加核心人工审核,把描述覆盖率、认证率当成指标,并从 Agent 使用日志里发现经常被用错的表。
先把这段讲顺;面试官追问时,再展开下面的原理和细节。
详细讲解
数据目录(Data Catalog)以前是给人用的:搜一下表名,看看注释和负责人。现在越来越多的使用者是 Agent:智能问数要找表、数据开发 Agent 要理解血缘、分析 Agent 要知道指标口径。面试官问这题,想看你怎么让元数据从「给人看」升级到「给机器用」。
Agent 对数据目录的要求更高
人看到一个模糊的注释,会去问同事;Agent 只会照着用。所以:
- 描述要准确完整:表的用途、粒度、更新频率、字段的业务含义和口径;
- 可推荐的「正确」表:同一个业务概念往往有很多张相似的表(测试表、临时表、历史版本),要明确哪张是推荐使用的;
- 口径和约束:「这张表的订单包含测试账号,计算 GMV 前要过滤」这类使用注意事项;
- 结构化、可调用:通过 API 或 MCP 提供查询能力,而不只是网页。
数据目录要包含什么
- 技术元数据:表结构、分区、存储格式、大小、更新时间;
- 业务元数据:业务域、用途、负责人、指标定义、使用注意事项;
- 质量和可信度:数据质量检查结果、产出是否准时、认证状态(「已认证」「推荐使用」「已废弃」);
- 血缘:上下游表、字段级血缘、生成 SQL;
- 使用情况:被谁查得多、常见的查询方式、常见的关联关系;
- 权限和分级:敏感级别、谁可以访问。
让 Agent 找到正确的表
- 认证和分级:给核心表打上「已认证」标签,检索时优先;废弃的表默认不返回;
- 语义检索:表和字段描述向量化,支持自然语言搜索;
- 使用信号排序:被核心报表使用、查询次数多的表权重更高;
- 示例查询:为常用表提供几个经过验证的示例 SQL,Agent 参考示例比从零写更准;
- 工具化:提供「搜索表」「查看表详情」「查看字段口径」「查看血缘」这样的工具接口。
元数据的维护
- 能自动采集的自动采集(结构、血缘、使用情况、质量结果);
- 业务描述用大模型辅助生成,核心资产人工审核;
- 把元数据质量当成指标:核心表的描述覆盖率、认证率、过期描述的比例;
- 从 Agent 的使用日志里发现问题:哪些表经常被用错、哪些问题找不到表。