AI 应用的埋点和指标体系怎么设计？对话产品的留存怎么算？
面试怎么回答
对话产品的交互单位是会话和轮次，用户是来完成任务的，时长长不一定好，质量信号藏在追问、重问、重新生成和复制里。埋点上记录会话开始结束和结束方式、每轮提问、AI 回答的延迟 Token 和是否调用工具或拒答、用户的点赞点踩复制重新生成编辑采纳导出，以及之后是否就同一问题重问；每个事件带会话、轮次、用户 ID 和模型提示词版本，和后端 Trace 关联，对话内容放受控日志而不放埋点。指标包括活跃用户和渗透率，任务完成率、负评率、重问率、转人工率，每次成功任务的轮次耗时和成本。留存对工作工具看周留存，并用至少一次正向结果的有效使用来算，避免把试一次就放弃的算作活跃。
先把这段讲顺；面试官追问时，再展开下面的原理和细节。
详细讲解
公司上线了 AI 助手，老板问：「用的人多不多？用得好不好？值不值得继续投入？」传统产品的 DAU、页面停留时长，用在对话产品上不太合适。面试官问这题，想看你能不能为一种新的产品形态设计埋点和指标体系。
对话产品的特殊性
- 交互单位是「会话」和「轮次」，而不是页面和点击；
- 用户的目的往往是完成一个任务（查一个数、写一段文案、解决一个问题），时长越长不一定越好，可能说明没解决；
- 质量的信号隐藏在对话行为里：追问、重问、重新生成、复制。
埋点设计
事件
- 会话开始、会话结束（主动结束、超时、转人工）；
- 用户提问（轮次）：问题长度、是否是追问、使用的入口和场景；
- AI 回答：首 Token 延迟、完整耗时、Token 数、是否调用了工具、是否触发了拒答或降级；
- 用户对回答的动作：点赞、点踩（及原因）、复制、重新生成、编辑、采纳（比如执行了生成的 SQL、使用了生成的文案）、分享、导出；
- 后续行为：是否在一定时间内又就同一问题提问。
关联
- 每个事件带上会话 ID、轮次 ID、用户 ID，以及模型版本、提示词版本，方便按版本分析；
- 和后端的 Trace 关联，可以从用户行为追溯到具体的调用链路。
隐私
- 对话内容不一定要进埋点，埋点记录行为和元数据，内容在受控的日志系统中保存。
指标体系
规模：活跃用户（日、周）、会话数、每用户会话数、渗透率（目标用户中使用 AI 的比例）。
质量和效果
- 任务完成率：会话以「采纳」「复制」「导出」等正向动作结束的比例；
- 负评率、重问率、重新生成率、转人工率；
- 每次成功任务的平均轮次和耗时。
留存
- 用户留存：首次使用 AI 助手的用户，第 N 天 / 第 N 周是否再次使用。对于工作场景的工具，周留存通常比日留存更有意义；
- 也可以定义「有效使用」：至少有一次正向结果的会话才算一次有效使用，用有效使用来计算留存，避免把「试了一次觉得没用」也算作活跃。
成本：每会话成本、每次成功任务成本。
分析的常见视角
- 按场景、按用户群体分析：哪些场景用得多、效果好；
- 按版本分析：新版本上线后的变化；
- 新老用户对比：新用户的首次体验很关键，首次失败的用户很可能不会再来。