企业接入大模型，模型网关要做哪些事？
面试怎么回答
模型网关的核心是统一接入，业务方不直接持有外部密钥；在此基础上做按团队和应用的鉴权配额、模型路由和故障切换、Token 计量和成本分摊、审计和敏感数据控制、统一限流重试、结果缓存和可观测看板。数据团队可以把网关日志建成数仓模型，分析用量和成本趋势、计算各应用的单位成本、识别异常用量、为模型选型提供实际延迟和错误率数据。要注意日志里的提示词和回答可能有敏感信息，存储和访问要严格控制；网关是单点，要高可用；初期先做接入、密钥、计量和日志，其他能力按需增加。
先把这段讲顺；面试官追问时，再展开下面的原理和细节。
详细讲解
公司里十几个团队都在用大模型：有的直接调外部 API，有的用私有化部署的模型，密钥散落在各个代码仓库里，账单不知道谁花的，某个模型服务挂了全公司一起受影响。这时候就需要一个统一的模型网关（LLM Gateway）。面试官问这题，想看你对企业级大模型基础设施的理解。
模型网关的核心职责
- 统一接入：对内提供统一的调用接口，屏蔽不同模型提供方的差异；业务方不直接持有外部模型的密钥；
- 鉴权和配额：按团队、应用分配调用权限和额度，超额限流或告警；
- 路由和容灾：按规则选择模型；主模型超时或报错时自动切到备用模型；多个部署之间负载均衡；
- 成本计量：记录每次调用的应用、模型、输入输出 Token、缓存命中，按团队分摊成本；
- 审计和合规：记录调用日志，敏感数据检测和脱敏，按数据分级限制哪些数据能发给外部模型；
- 限流和重试：统一处理提供方的限流，做排队、退避重试，避免各团队各自重试造成雪崩；
- 缓存：对完全相同的请求做结果缓存（要考虑权限和时效）；
- 可观测：延迟、错误率、各模型的可用性看板。
数据团队的角色
网关产生的调用日志是一份很有价值的数据：
- 建成数仓模型，分析各团队、各应用的用量和成本趋势；
- 计算每个应用的单位成本，比如每次对话成本、每次成功任务成本；
- 识别异常用量，比如某个应用突然 Token 暴涨；
- 为模型选型提供数据：不同模型在实际业务中的延迟和错误率。
注意事项
- 日志里的内容：提示词和回答可能包含敏感信息，日志的存储、访问权限和保留期限要严格控制，必要时只记录元数据；
- 网关本身的可用性：它是所有 AI 应用的单点，需要高可用部署；
- 不要过度设计：初期先做统一接入、密钥管理、计量和日志，路由和缓存按需增加。