管理场景题:AI 项目试点三个月效果一般,要不要继续投入?
场景:你负责的智能问数项目试点了三个月,投入了 3 个人。结果是:准确率在评测集上 75%,业务方的反馈「有时候好用,有时候不准,不太敢用」,周活跃用户只有 20 人左右。老板问你:「这个项目还要不要继续?」团队内部也有分歧,有人觉得再优化一下就好了,有人觉得这个方向不靠谱。
问题:你怎么判断?怎么回复老板?
面试怎么回答
我会先诊断效果一般的原因:是技术天花板、数据基础不够、场景选错、产品体验没让用户知道什么时候该信,还是推广不到位。然后用数据拆:按问题类型看准确率,做错误归因看口径、元数据和模型理解各占多少,看用户的提问分布和失败后的留存,算投入产出。如果主要是数据基础问题,就继续但转向补语义层和元数据,这些投入本身也有价值;如果部分场景已经很好,就收缩到这些场景先建立信任;如果是技术天花板且需求不刚需,就暂停并沉淀经验。决定不基于沉没成本也不基于赶潮流。回复老板时给出明确判断和建议,设定下一阶段的量化目标和检查点,达不到就缩减,并说明需要的资源和配合。
先把这段讲顺;面试官追问时,再展开下面的原理和细节。
详细讲解
先诊断:效果一般的原因是什么
不同的原因,决定了不同的答案:
- 技术能力的天花板:当前的模型和方法本身就做不到更好?
- 数据基础不够:口径不统一、元数据缺失、语义层没覆盖,导致模型「巧妇难为无米之炊」?
- 场景选得不对:试点的场景太复杂,或者业务方本身需求不高频?
- 产品体验问题:准确率尚可,但用户不知道什么时候该信、什么时候不该信,没有展示口径和来源?
- 推广问题:用户不知道怎么用,或者用一两次失败后就放弃了?
用数据拆解
- 按问题类型看准确率:哪些类型已经很好(比如单指标查询 92%),哪些很差(多表关联 50%);
- 错误归因:多少是口径问题、多少是元数据问题、多少是模型理解问题;
- 用户行为:提问的类型分布、失败后是否还会再用;
- 投入产出:3 个人三个月的成本,以及目前节省的人力。
可能的结论
- 如果主要问题在数据基础:继续投入,但方向调整为补齐语义层和元数据。这些投入即使智能问数最终不成功,也会改善整个数据体系;
- 如果有一部分场景已经很好:收缩范围,只开放效果好的场景,把「有时候不准」变成「在这些场景下可靠」,先建立信任;
- 如果是技术天花板且场景不刚需:暂停或缩小投入,把经验沉淀下来,等技术成熟再重启;
- 决定不要基于「沉没成本」,也不要基于「AI 是趋势必须做」。
回复老板
给出明确的判断和建议,而不是把问题抛回去:
- 当前的效果和原因诊断;
- 建议:比如「继续,但调整为两个方向:一是把开放范围收缩到准确率超过 90% 的三类问题;二是用两个月补齐 50 个核心指标的语义层」;
- 设定下一阶段的明确目标和检查点:比如两个月后,开放场景的准确率达到 90%、周活跃用户 80 人,达不到就缩减投入;
- 资源需求:需要哪些人、哪些部门配合。