面试官问你们的大模型项目效果怎么量化，怎么回答？
面试怎么回答
我会分三层讲效果。技术指标说清楚在什么评测集上怎么算的，比如 300 道真实取数问题执行准确率 87%，按单表和多表分别给出，再加检索召回、延迟和每次成功任务的成本。使用指标看周活跃用户、提问量趋势、负评率、重问率和生成 SQL 被执行的采纳率。业务指标看取数响应时间、临时工单减少比例、节省的人力和业务结果的变化。同时讲清评测集来源、对比基线最好是 A/B 或前后对比，并主动说明效果不好的场景和改进方向，这样比只说一个准确率数字可信得多。
先把这段讲顺；面试官追问时，再展开下面的原理和细节。
详细讲解
「你们做的这个 AI 助手，效果怎么样？」很多候选人的回答是「挺好的，业务反馈不错」或者「准确率 90% 多」。面试官接着追问：「90% 是怎么算的？业务价值是什么？」就答不上来了。这道题考的是你有没有用数据说话的意识，以及做 AI 项目的严谨程度。
效果要分三层讲
第一层：技术指标（模型和系统做得好不好）
- 准确率：在什么样的评测集上、用什么标准衡量。比如「300 道真实取数问题，执行准确率 87%，复杂多表查询 72%」；
- 检索指标：召回率、引用准确率；
- 性能：首 Token 延迟、完整回答耗时；
- 成本：每次请求、每次成功任务的成本。
第二层：使用指标（用户用不用、用得好不好）
- 使用量：周活跃用户数、每天的提问数，是否持续增长；
- 质量信号：负评率、重问率、采纳率（比如生成的 SQL 被执行的比例）；
- 留存：用过的人是否继续用。
第三层：业务指标（带来了什么价值）
- 效率：取数需求的平均响应时间从 2 天缩短到 10 分钟；数据团队的临时取数工单减少了 40%；
- 成本：节省了多少人力时间，折算成成本；
- 业务结果：比如客服 AI 的问题解决率、转人工率的变化。
讲清楚怎么量化的
- 评测集的来源：真实问题还是自己编的？覆盖了哪些场景？
- 对比基线：和上线前相比、和传统方式相比，最好有 A/B 或者前后对比；
- 局限：哪些场景效果不好，你们怎么处理的。主动说局限，反而显得更可信。
一个回答的例子
「我们的智能问数在 300 道真实取数问题上，执行准确率 87%，单表 95%、多表 72%；对于语义层没覆盖的问题会提示可能不准。上线三个月，业务方每周有 120 人在用，生成的 SQL 被执行的比例是 68%。数据团队的临时取数工单从每月 300 个降到 180 个，平均响应时间从 1.5 天降到当天。多表复杂查询还是主要靠人工，我们在通过补充语义层来改进。」