订阅更新

大模型微调和 RAG 怎么选?

面试问 086 约 2 分钟读完

本文目录
  1. 面试怎么回答
  2. RAG 改的是上下文
  3. 微调改的是模型行为
  4. 四个维度做选择
  5. 组合方案怎么做?
  6. 上线前的评估顺序

面试怎么回答

我先判断问题是缺外部知识还是缺稳定行为。知识频繁更新、需要权限控制和引用时优先 RAG;格式、风格、分类规则或特定任务行为不稳定时考虑微调。通常先用评测集验证提示词和 RAG,再决定是否值得训练。两者也可以组合:RAG 提供最新证据,微调约束模型如何使用证据和输出,但检索质量与生成质量必须分开评估。

先把这段讲顺;面试官追问时,再展开下面的原理和细节。

详细讲解

模型不懂公司最新制度,有人建议做微调;输出格式不稳定,又有人建议上 RAG。两个方案都能“让模型变好”,但解决的问题并不一样。

先给判断:需要给模型提供可更新、可引用的外部知识,优先考虑 RAG;需要稳定行为、风格、格式或特定任务能力,才考虑微调。很多生产系统最终是二者组合,而不是二选一。

RAG 改的是上下文

RAG 在请求时检索外部资料,把相关证据放进模型上下文。它适合:

  • 知识频繁更新
  • 需要展示来源引用
  • 不同用户有不同权限
  • 内容量大,无法全部塞进提示词
  • 希望删除文档后尽快失效

它的主要风险是解析、切分、召回、重排和上下文组装。正确知识明明存在,如果没有被检索到,模型依然无法使用。

微调改的是模型行为

监督微调通过高质量示例,让模型更稳定地遵循某种输出结构、语气、分类规则或任务模式。它更适合:

  • 固定格式输出
  • 领域任务行为一致
  • 大量重复提示希望缩短
  • 基础模型在同类样本上表现不稳定

但微调不是实时知识库。把每天变化的产品价格、制度和库存训练进参数,更新慢、难引用,也不容易精确删除某条知识。

RAG 与微调决策图

四个维度做选择

第一看问题类型:缺知识还是缺行为。第二看变化频率:知识是否经常更新。第三看可解释性:答案是否必须引用证据。第四看工程成本:有没有高质量训练集、评测集和持续训练能力。

如果只是偶尔格式不稳,先尝试结构化输出、提示词和少样本示例;如果只是查不到资料,先修检索链路。不要把微调当成所有效果问题的最后按钮。

组合方案怎么做?

例如客服系统用 RAG 获取最新政策和用户可见资料,再用微调模型稳定执行“先确认问题—引用条款—给出下一步”的回答格式。

组合后仍要分层评测:检索是否拿到正确证据,模型是否忠实使用证据,格式是否合规。否则最终答案变好或变坏,都不知道是哪一层造成的。

上线前的评估顺序

我会先建立代表性 Eval 集,固定基础模型和指标;再依次尝试提示词、检索增强、模型选择,最后才用微调解决剩余的稳定行为问题。每次只改变一个主要变量,并比较质量、延迟、Token、训练维护和更新成本。

刷题进度保存在当前浏览器