艾米科技网IMMI-IT.COM
快讯更新中
口述实录 · ORAL HISTORY

从算法转做产品的三年:那些评估指标教不了的事

离线指标提升 3 个点,线上满意度反而下降,因为指标测不出用户的等待耐心。

艾米科技网编辑部 2026-11-13 阅读约 14 分钟 频道:深度 · 调查

(以下为受访者口述整理,已做匿名处理。)

转岗的动机

做算法的时候,我的世界是一条曲线。指标涨了就是好,掉了就调参。转到产品之后,第一个季度我很不适应:没有人告诉我哪个指标最重要。

一次失败的改版

我们把推荐准确率提升了 3 个点,离线评估、线上 AB 都好看。但用户满意度调查下降,客服反馈“找不到以前爱看的东西”。

后来复盘发现,指标优化让推荐更“准”,也更“窄”。用户被锁在同一种内容里,探索的乐趣消失了。这是离线指标测不出来的。

学到的三件事

第一,指标是 proxy,不是目标。第二,要留探索预算,哪怕它会拉低短期指标。第三,用户的耐心是有限资源,延迟 200 毫秒和 2 秒在指标上可能只差一点,在体验上完全不同。

现在怎么看算法

算法解决的是“能不能”,产品解决的是“值不值”。两者缺一不可,但顺序不能颠倒。

#口述#产品#算法

读者留言

3 条 · 编辑审核后展示
彭
彭涛2026-11-13 10:53

比起结论,我更看重文中的推导过程,这篇做到了。

有用 23 · 回复
陆
陆工2026-11-13 12:06

读完之后对这条产业链的利润分布清楚了不少,感谢整理。

有用 26 · 回复
许
许知行2026-11-13 13:19

文中对“标准是及格线不是答案”的说法很认同。

有用 8 · 回复