大模型时代的数据目录怎么做?怎么让人和 Agent 都能找到数据?

第 1214 题 约 2 分钟读完

本文目录
  1. 面试怎么回答
  2. Agent 对数据目录的要求更高
  3. 数据目录要包含什么
  4. 让 Agent 找到正确的表
  5. 元数据的维护

面试怎么回答

Agent 不会像人一样去问同事,只会照着元数据用,所以数据目录要求更高:描述准确完整、明确哪张是推荐使用的表、写清口径和使用注意事项,并通过 API 或 MCP 提供结构化的查询能力。目录内容包括技术元数据、业务元数据、质量和认证状态、字段级血缘、使用情况、权限分级。让 Agent 找对表靠认证标签和废弃过滤、描述的语义检索、按使用信号排序、常用表配经过验证的示例 SQL,以及搜索表、看字段口径、看血缘这些工具。维护上能自动采集的自动采集,业务描述大模型辅助加核心人工审核,把描述覆盖率、认证率当成指标,并从 Agent 使用日志里发现经常被用错的表。

先把这段讲顺;面试官追问时,再展开下面的原理和细节。

详细讲解

数据目录(Data Catalog)以前是给人用的:搜一下表名,看看注释和负责人。现在越来越多的使用者是 Agent:智能问数要找表、数据开发 Agent 要理解血缘、分析 Agent 要知道指标口径。面试官问这题,想看你怎么让元数据从「给人看」升级到「给机器用」。

Agent 对数据目录的要求更高

人看到一个模糊的注释,会去问同事;Agent 只会照着用。所以:

  • 描述要准确完整:表的用途、粒度、更新频率、字段的业务含义和口径;
  • 可推荐的「正确」表:同一个业务概念往往有很多张相似的表(测试表、临时表、历史版本),要明确哪张是推荐使用的;
  • 口径和约束:「这张表的订单包含测试账号,计算 GMV 前要过滤」这类使用注意事项;
  • 结构化、可调用:通过 API 或 MCP 提供查询能力,而不只是网页。

数据目录要包含什么

  1. 技术元数据:表结构、分区、存储格式、大小、更新时间;
  2. 业务元数据:业务域、用途、负责人、指标定义、使用注意事项;
  3. 质量和可信度:数据质量检查结果、产出是否准时、认证状态(「已认证」「推荐使用」「已废弃」);
  4. 血缘:上下游表、字段级血缘、生成 SQL;
  5. 使用情况:被谁查得多、常见的查询方式、常见的关联关系;
  6. 权限和分级:敏感级别、谁可以访问。

让 Agent 找到正确的表

  • 认证和分级:给核心表打上「已认证」标签,检索时优先;废弃的表默认不返回;
  • 语义检索:表和字段描述向量化,支持自然语言搜索;
  • 使用信号排序:被核心报表使用、查询次数多的表权重更高;
  • 示例查询:为常用表提供几个经过验证的示例 SQL,Agent 参考示例比从零写更准;
  • 工具化:提供「搜索表」「查看表详情」「查看字段口径」「查看血缘」这样的工具接口。

元数据的维护

  • 能自动采集的自动采集(结构、血缘、使用情况、质量结果);
  • 业务描述用大模型辅助生成,核心资产人工审核;
  • 把元数据质量当成指标:核心表的描述覆盖率、认证率、过期描述的比例;
  • 从 Agent 的使用日志里发现问题:哪些表经常被用错、哪些问题找不到表。