大模型应用的 SLA 怎么定？可用性、延迟和正确率怎么衡量？
面试怎么回答
大模型应用除了快不快、有没有响应，还要衡量对不对。可用性看排除用户错误后的成功率，并明确超时、空回答、降级兜底算不算失败；延迟看首 Token 延迟和完整耗时的 P95、P99，按场景分别设目标；质量看评测集准确率作为发布门槛、在线抽样准确率、负评率，以及拒答率、工具调用失败率、格式错误率这些行为指标。对外的 SLA 通常只承诺可用性和延迟，质量放在内部 SLO 里。监控上实时看成功率、延迟、Token 和错误码，质量按天或按小时统计，突然下降时排查模型版本、知识库更新和上游数据。依赖外部模型要有备用模型和降级，整体可用性才能高于单一供应商。
先把这段讲顺；面试官追问时，再展开下面的原理和细节。
详细讲解
传统服务的 SLA 是可用性 99.9%、P99 延迟 200 毫秒。大模型应用的问题是：服务正常返回了，但回答是错的，这算可用吗？面试官问这题，想看你能不能为大模型应用设计一套合理的服务指标。
大模型应用要多一个维度
传统的 SLA 关注「有没有响应、快不快」，大模型应用还要关注「对不对」。所以指标分三类：
1. 可用性
- 请求成功率：排除用户侧错误后，正常返回的比例；
- 要明确什么算失败：超时、报错、空回答、触发降级后的兜底回答是否算成功；
- 依赖的模型服务、检索服务、工具服务各自的可用性。
2. 延迟
- 首 Token 延迟（用户多久看到响应开始）；
- 完整回答的耗时；
- 按场景区分：简单问答和需要多次工具调用的分析任务，延迟目标不同；
- 用 P50、P95、P99，而不是平均值。
3. 质量
- 离线质量：在固定评测集上的准确率，作为版本发布的门槛；
- 在线质量：抽样评估（自动评判 + 人工）的准确率；用户反馈的负评率；
- 行为指标：拒答率（过高说明能力或检索有问题，过低可能在编造）、工具调用失败率、格式错误率。
SLA 和内部 SLO 的区别
- 对外承诺（SLA）通常只包括可用性和延迟，因为质量很难精确承诺；
- 对内目标（SLO）可以包括质量指标，比如「核心场景在线抽样准确率不低于 90%」「负评率不高于 5%」。
监控和告警
- 实时监控：成功率、延迟、Token 消耗、模型服务的错误码分布；
- 质量是滞后的指标，按天或按小时统计抽样结果；
- 质量突然下降的常见原因：模型提供方的版本变化、知识库更新出错、上游数据问题，要能快速关联排查。
依赖方的影响
大模型应用依赖外部模型服务，要把它们的可用性纳入考虑：有备用模型和降级策略，SLA 才能高于单一供应商的可用性。