用大模型自动生成数据分析报告,怎么保证里面的数字准确?

第 1263 题 约 2 分钟读完

本文目录
  1. 面试怎么回答
  2. 核心原则:数字不由模型生成
  3. 系统设计
  4. 渐进式落地

面试怎么回答

核心原则是数字不由模型生成:所有数字来自预定义的指标查询或验证过的 SQL,环比同比占比排名用代码算,模型只负责把结构化数据组织成文字。系统上先把报告模板化,定义每部分需要的指标和维度,通过语义层查询保证口径;数据准备阶段代码计算衍生指标,用规则标记异动,做数据产出和范围检查,有问题就停止生成。文字生成时只给结构化数据,数字用占位符由程序填入精确值,结论要能被数据验证。生成后自动检查每个数字都能在数据中找到、涨跌方向一致,核心报告由分析师审核。落地从结构固定的日报周报开始,异动的业务原因先由分析师补充,统计修改量逐步减少人工。

先把这段讲顺;面试官追问时,再展开下面的原理和细节。

详细讲解

每周的经营周报,以前是分析师花一天时间写,现在想用大模型自动生成:取数、分析、写结论。效率是高了,但报告里只要有一个数字错了,整份报告的可信度就没了。面试官问这题,想看你怎么设计一个「数字一定对」的报告生成系统。

核心原则:数字不由模型生成

大模型擅长组织语言、归纳要点,不擅长精确计算和记忆数字。所以:

  • 所有数字来自查询:由预定义的指标查询或经过验证的 SQL 计算,结果是结构化的数据;
  • 计算由代码完成:环比、同比、占比、排名、差值,都用代码算好,不让模型心算;
  • 模型只负责「写」:基于给定的结构化数据,组织成文字。

系统设计

1. 报告模板化

  • 定义报告的结构:核心指标概览、分渠道、分品类、异动分析、风险提示;
  • 每个部分需要哪些指标、哪些维度,预先定义好;
  • 指标通过语义层或指标平台查询,口径统一。

2. 数据准备

  • 按模板查询所有需要的数据;
  • 代码计算衍生指标(环比、同比、贡献度);
  • 异动检测用规则或统计方法(比如环比超过 ±10% 标记为异动),而不是让模型判断;
  • 数据质量检查:数据是否按时产出、关键指标是否在合理范围,有问题就停止生成并告警。

3. 文字生成

  • 把结构化的数据(JSON 或表格)交给模型,要求它只能使用给定的数据;
  • 数字以占位符或引用的方式出现,最终由程序替换为精确值,避免模型转述时写错(比如把 12.3% 写成 13.2%);
  • 结论性的判断(「增长主要来自 A 渠道」)要能从数据中验证:贡献度最大的确实是 A 渠道。

4. 校验

  • 自动检查:报告中出现的每个数字,都能在数据中找到对应值;
  • 逻辑检查:描述的方向(上升、下降)和数据一致;
  • 人工审核:核心报告在发布前由分析师审核,审核重点从「写」变成「看」。

渐进式落地

  • 先从结构固定、指标明确的报告开始(日报、周报);
  • 异动原因分析这种需要业务判断的部分,先由模型列出数据上的发现,由分析师补充业务原因;
  • 统计每份报告的修改量和错误数,逐步减少人工介入。