★ FEATURED ARTICLE 1. 为什么评价问题值得单独拿出来聊一天做推荐系统、做搜索、做内容审核甚至做用户运营绕不开一件事怎么判断你做的事情到底好不好。这个怎么判断就是评价问题。Day19我专门把这块单独拎出来讲是因为我踩过太多坑——模型离线指标涨了线上业务却跌了运营说体验差算法说数据没问题产品上线新功能A/B测试跑了三周结论居然不显著。这些问题归根结底都不是模型不够强而是评价体系本身就立不住。评价问题的本质是你用什么样的尺子去衡量一个系统、一个策略、一个功能的价值。尺子选错后面全白搭。这篇不聊虚的我会把这几年在评价问题上的完整思路拆开来讲从评价体系的拆解、指标设计逻辑、常见误区、到实操中的验证流程和排坑记录全部过一遍。适合正在做推荐、搜索、风控、内容分发或者准备搭建数据评估体系的朋友参考也适合刚入行不久、对指标这件事还没建立起完整框架的同学看。很多人以为评价问题就是定几个指标跑个离线实验看看涨没涨。真不是。评价体系本身就是一个系统它包含评价的主体、对象、维度、尺度、周期、归因方式甚至包含评价结果如何被使用和反噬的闭环。你定的每一个评价规则其实都在改变被评价对象的行为方式——这就是所谓的指标即策略。先抛一个我常用的类比评价问题就像给一场考试设计评分标准。你如果只考学生死记硬背的能力那学生就不会去练理解如果只看期末一次考试那平时作业就没人认真写如果试卷难度忽高忽低那学生成绩好坏就体现不出真实水平家长也没法判断是孩子进步了还是题变简单了。推荐系统的评价问题逻辑完全一样。2. 评价问题的完整拆解从模糊到清晰2.1 把评价问题翻译成可执行的语言先说一件事评价问题之所以难不是因为指标多难算而是因为大家讨论的根本不是同一个问题。产品说用户体验不好算法说ctr在涨运营说留存掉了三个人各说各话因为他们的评价维度和评价周期根本不一样。所以在搭建任何评价体系之前第一步必须是对齐口径。这不是技术问题这是沟通问题。我在实际操作中第一步永远是拿着纸笔和业务方过五件事第一你评价的对象是什么是整条推荐链路还是某一个召回策略还是某一路排序模型评价对象不锁死后面的指标全飘。第二谁来评价是站在用户视角还是站在平台视角还是站在内容创作者视角同样是短视频推荐好不好用户关心的是刷起来爽不爽平台关心的是停留时长和留存创作者关心的是我的内容有没有被公平分发。三方视角甚至可能互斥必须提前说清楚你站在哪边。第三评价的尺度是什么是分钟级的实时反馈还是天级的汇总指标还是周级、月级的趋势变化我见过最典型的问题就是拿实时反馈指标去衡量一个本身就存在时间延迟的策略效果结果归因全乱。第四评价的维度有哪些是单一指标还是多指标组合如果是多指标谁主谁次怎么加权冲突时怎么取舍第五评价的基准是什么是和上个版本比还是和基线策略比还是和一个理想化的标准比没有基准的评价就是无源之水。这一轮对齐做下来会逼着所有人把模糊的我感觉我觉得翻译成具体的、可验证的量化语言。这个过程很磨人但必须做。凡是跳过这步直接定指标的项目后面百分之百会回来返工。2.2 评价问题的五个维度主体、对象、维度、尺度、基准在反复实操之后我把评价问题总结成五个维度任何评价体系都可以套进这个框架维度要回答的问题举例评价主体谁来评用户、创作者、平台运营、审核员、模型自身评价对象评什么单个item、一路召回、排序模型、整条链路、某个功能评价维度从哪些方面评相关性、多样性、时效性、公平性、商业价值、体验评价尺度用什么单位/粒度评曝光点击率、完播率、停留时长、满意度打分、eta预估误差评价基准和什么比上一版本、基线策略、业界标准、人工标注结果这里要特别强调一下评价主体。很多时候我们说评价一个推荐系统好不好默认主体是用户。但你如果把评价问题放在更大的业务盘子里看会发现平台和创作者的评价权重甚至比用户更高。比如电商推荐用户觉得推荐效果好是点得顺手、买得省心平台觉得效果好是转化率上去、GMV增长商家觉得效果好是我的商品曝光更精准了。三方各有各的诉求任何只取一边的评价体系长期跑下来都会出问题。离线评估属于另一类特殊的主体——用历史数据扮演上帝视角。离线评价的主体是已知答案的历史事实评价对象是新模型的预测维度是预测和历史事实的逼近程度。这个思路是好的但它只能覆盖已经发生过的事情对用户还没做过的新行为完全无能为力这也是离线指标和线上效果经常脱节的根源之一。2.3 一个例子串起整个框架用一个我实际做过的案例来说明。之前做过一个信息流推荐项目的改版老版本是简单的热度排序新版本引入了用户兴趣向量召回。光看单一业务指标的话新版本的点击率涨了5%看起来挺不错。但如果你用上面这个五维框架去拆会发现很多问题评价主体是用户没错但谁的用户新用户、老用户、高活用户、低频用户他们四个群体的体感完全不一样。我们当时把指标拆到用户分层之后发现新用户的点击率确实涨了但老用户的次留反而掉了。因为老用户习惯了热度排序的确定性突然变成个性化推荐之后他们熟悉的内容被冲散了体感是推荐的东西我不认识。评价维度如果只看点击率完全看不到这个问题。要加上多样性、熟悉度、准确性和惊喜感多个维度一起看。评价尺度如果只看天级汇总也看不到趋势的异动——次留的变化发生在前三天的用户群里等你在天级汇总里发现的时候已经流失了一批人。基准当时定的是旧版热度排序这本身没问题但如果基准只定一个就没有办法判断新模型到底是全面进步还是部分进步。后来我们补了一个规则混合版的基准才把那部分确定性带来的稳定感量化出来。这套五维拆解法我现在逢人就安利。搭任何评价体系之前先过这五关你会少走很多弯路。3. 评价指标的底层逻辑与选型3.1 准确性指标、排序指标、覆盖率类指标的适用边界指标选型是评价问题里最容易出看起来专业、实则全错的部分。很多人上来就report一堆指标精确率、召回率、F1、AUC、GAUC、NDCG、MAP、多样性、新颖度……表做得漂漂亮亮但每个指标到底适用什么场景、边界在哪、互相之间能不能对比其实没想清楚。我把常见的评价指标分成三大类第一类准确性指标。精确率、召回率、F1、AUC、logloss这类的核心回答的是预测得准不准。适用场景是分类问题、相关性判断问题比如这条内容是否和用户兴趣相关这个用户是否会点击这笔交易是否为欺诈。但这类指标有个大坑它对基数极其敏感。正负样本比例严重失衡的时候准确率这种指标基本没有参考意义。一个99%都是负样本的池子里你全部预测成负样本准确率也有99%。我见过很多项目组拿准确率当核心指标上线之后线上效果毫无波澜就是因为这个数字本身就接近饱和提升空间小而且对关键的少部分正样本的变化完全不敏感。第二类排序指标。AUC、GAUC、NDCG这类回答的是好的是不是排在了前面。适用场景是搜索排序、推荐排序、广告排序这些天然存在位置偏序的系统。相比之下排序指标比准确性指标要实用得多因为推荐系统本质上不太关心你对所有样本的预测是否绝对准确只关心你相对顺序对不对。用户不会把每一条都看完然后给你打分用户只看排在前面的那几条。排序质量直接决定体验。但我在这里要提一个更细的点全局AUC和GAUCGroup AUC是有本质区别的。全局AUC把所有样本混在一起算会掩盖掉用户之间的差异。GAUC按用户分组计算再平均更能反映对每个用户来说推荐的内容是否排对了。做推荐系统的如果只上报全局AUC我建议赶紧补一个GAUC。第三类覆盖率与多样性类指标。回答的是推出去的内容是不是太窄用户是不是被信息茧房困住了。常见的包括推荐列表的类别覆盖率、信息熵、基尼系数、以及一些基于距离的多样性度量。这类指标通常不直接和收入、时长挂钩所以经常被团队有意无意忽略但长期跑下来覆盖率类指标才是决定产品天花板的东西。我见过一个音乐推荐项目点击率持续上涨但Top歌曲的集中度越来越高热门榜占了80%以上的播放长尾内容完全沉底。单纯看点击率一片祥和实际上产品已经失去了差异化竞争力。3.2 离线指标与线上指标的取舍为什么离线涨了线上不一定涨这是评价问题里最经典也最玄学的现象模型离线评估涨了两个点信心满满上线A/B测试结果线上指标纹丝不动甚至反向跌了。我早期遇到这种情况时第一反应是代码实现有问题后来经历得多了发现这个现象背后的原因非常稳定基本逃不出这几条离线评估和线上的样本分布不一样。离线你用的是历史数据线上是实时流量用户的兴趣、热点内容都在变。你在一个月前的数据上评估模型这个模型本身就带上了那个时期的口味上线之后面对的是全新的数据和偏好效果打折是必然的。离线评估的bias问题。离线数据是旧策略产生的里面天然带有旧策略的偏差。你在有偏数据上训练和评估新策略等于让新策略去学习旧策略的脚印。举个最简单的例子旧策略推荐的都是热门内容冷门内容几乎没有曝光离线数据里就几乎没有冷门内容的用户反馈。新策略想探索冷门内容离线评估时根本没有足够样本来支撑这个判断模型自然学不到该推冷门内容。用户行为是动态变化的。用户点不点击不仅取决于推荐的内容还取决于他当时的状态、他上一次点击了什么、以及他对整个推荐系统的预期。离线评估把这些人际交互全部冻结成一个静态的表格用静态数据去预测动态行为本身就有天然鸿沟。所以我一贯的原则是离线指标的用途是筛掉明显更差的方案而不是选择最优方案。真正决定上不上线的永远是线上实验。离线评估通过了只是拿到了上线的门票不是拿到了胜利的奖杯。在设计评价体系的时候一定要把离线评估当漏斗的入口环节线上A/B当最终裁判两者分工明确不能互相替代。3.3 单一指标和多指标体系的配合再聊一个策略层面的问题到底是用一个总指标还是多个指标搭配。我见过两种极端一种是把所有东西折算成一个分比如综合体验分一种是把十几个指标全堆在报表上平级排列谁也不服谁。这两种都有问题。单一指标的问题在于它会掩盖结构性变化。综合体验分从80涨到82你可能觉得一切正常但拆开看点击率涨了10个点满意度却掉了20个点只不过点击率的权重把它拉平了。这种掩盖会让问题积攒到很晚才暴露到时候排查起来成本极高。多指标平铺的问题则在于没有优先级团队不知道该优化什么评审的时候扯皮。我常用的做法是搭一个金字塔式指标体系顶层一个北极星指标它代表产品在这个阶段最重要的价值中间一层是三到五个核心指标从不同角度约束北极星防止顾此失彼底层是若干诊断性指标用来解释核心指标为什么变化。举个例子一个内容社区的信息流推荐北极星可以定为人均有效消费时长。核心指标层放内容多样性衡量茧房风险、内容满意度用户主动反馈的正向率、创作者生态健康度低粉内容曝光占比。诊断层再放点击率、完播率、负反馈率、刷新率、次日留存。北极星定方向核心层防止跑偏诊断层负责定位问题。三层指标各司其职既不混乱也不过度简化。4. 评价问题在实际业务中的典型应用场景4.1 用户画像与评价体系的双向连接在做推荐系统的项目里评价问题往往不是单独存在的它是和用户画像的构建深度耦合在一起的。用户画像本身也是一种评价——系统对用户的评价。你在评价一个用户是不是对科技内容感兴趣的时候本质上是构建了这个用户的一个兴趣标签。而这个标签又会反过来影响你推荐什么内容给他影响你用什么指标来评价这个用户的体验。这个耦合关系藏着一个很大的暗坑评价的闭环会让偏差自我强化。打个比方系统初步判断某个用户喜欢体育于是多推体育内容用户确实也多点了体育内容于是系统更加确信他喜欢体育。学统计的人一看就明白这是典型的确认偏误。但问题在于用户点体育内容有可能并不是因为喜欢体育而是因为整个信息流里体育内容在当时的点击成本最低、曝光位置最好。你用曝光→点击的结果来评价用户的偏好其实是在评价你的曝光策略而不完全是用户本人的偏好。所以我现在做用户侧评价的时候一定会引入未曝光内容的基准对比。同一个用户一部分流量给他推荐系统认为他喜欢的内容一部分流量给他推荐系统认为他不喜欢的内容用两边的行为差异来校准评价的准确性。这个做法成本不低但它是打破确认偏误的有效手段。如果没有这个对照再精密的指标体系都只是在一个错误的方向上继续走深。4.2 推荐策略的效果评价与回流机制评价问题在推荐系统里的落点除了指标本身更重要的是评价结果如何回流到策略迭代里。很多团队做评价是月更式的每月的经营分析会上拉开一张大表看看每个指标涨了跌了然后就没有然后了。这种评价体系的建设成本投入了大把但产出非常有限因为它缺少一个关键的闭环评价结果要变成策略动作的输入。我搭建的评价体系里一定会包含一个评价结果触发策略动作的流程。比如多样性指标连续三天低于阈值就自动触发一个探索流量的提权实验满意度负反馈率超过阈值就自动拉高已读标记类特征的权重创作者侧的低粉曝光占比持续走低就启动一轮去中心化流量池的测试。这些规则不复杂但它的意义在于评价不只是事后复盘的工具还可以成为实时调整的策略信号。这个过程里有个很重要的心态评价结果不是拿来证明我做的对不对的而是拿来发现我哪里没想到的。一个健康的评价体系应该能稳定地暴露出一些你意料之外的问题这才是好体系。如果连续几个月所有指标都用同一个模板复盘什么都是正常波动那大概率是这个评价体系已经钝化了指标信号已经被大家学会了如何应付。4.3 模型迭代中的评价反馈闭环再往细里说评价体系在模型迭代中的作用可以拆成三个递进环节预评价、实验评价、上线监控。预评价是离线阶段用历史数据筛方案实验评价是线上A/B阶段用小流量验效果上线监控是切全量之后用长期指标盯副作用。这套流程谁都知道但真正做好的团队不多差别在哪差别在谁在推进闭环。很多团队的模型迭代离线评估是算法工程师自己做的实验评估是产品经理盯的上线监控是数据分析师做的三个环节各管一段信息断裂。实际上一个完整的迭代循环里算法工程师一定要参与到实验指标的设计和上线监控的规则制定里来。否则你训练模型的时候只关心离线指标到了实验阶段才发现你优化的离线指标和线上实验指标根本不是一回事那就产生了巨大的无效劳动。5. 评价问题的实操方法与避坑指南5.1 评价口径统一的三步法第一步开会写清楚评价说明书。不要口头对齐一定要落到一个文档里写清楚评价对象、评价主体、评价维度、指标定义、口径说明、计算逻辑。这个文档就是大家共同遵守的尺子后续任何人对指标提出质疑先回文档查口径。第二步所有指标必须配上反例说明。什么叫配反例就是你定义一个指标完播率你不仅要说清楚完播率怎么算还要说清楚哪些情况不算完播、边界情况怎么处理、视频超过多少秒完播才算完播。没有反例定义的指标就是一个埋着地雷的指标早晚出问题。第三步跑一次影子校验。就是在正式上线之前用过去14天的实际数据把这套评价体系完整跑一遍看看每个指标在这一段时间里的波动情况、分布形态、异常值情况。如果跑出来的结果和业务直觉明显冲突说明口径还有问题赶紧回头调整。5.2 验证评价结果是否有效的四道检查很多团队搭完评价体系之后就以为尺子已经做好了实际上你的尺子本身合不合格需要用四个检查来验证第一道敏感性检查。故意制造一个你已经知道会变差的改动看看指标能不能捕捉到这个变化。如果一个评价指标对明显变差都没有反应那它对小幅变好也不会有反应这个指标就是废的。第二道一致性检查。同一个评价维度用两个不同的指标去衡量结果是不是一致的。比如用户满意度你用问卷调查得分和用负反馈点击率两条线高度相关这个体系的一致性就好两条线背离那至少有一个指标有问题。第三道稳定性检查。在没有任何策略改动的情况下指标是不是在一个合理的波动范围内稳定运行。如果一个指标在没有业务变化的时候突然暴涨暴跌这个噪声会让所有后续判断都失真。第四道可解释性检查。指标变化时能不能顺藤摸瓜找到原因。如果一个指标跌了但你不知道是因为样本少了、数据延迟了、还是真的业务变差了那这个指标就没有实用价值。这四道检查做完才算这个评价体系安装调试合格。没有通过检查就去拿指标做决策跟拿着没校准的秤去称菜一个道理。5.3 增量式迭代从小闭环到大闭环最后说一下我强烈推荐的做法评价体系的搭建和迭代一定要走增量式路径。不要想着一步到位建一个完美评价体系那是永无止境的也是不现实的。我的做法是先搭一个粗糙但完整的小闭环用起来发现问题再逐步补丁式升级。第一版评价体系可能只有点击率、留存率、负反馈率三个指标指标口径也不精细但胜在上线快、跑通流程、让所有人都开始习惯看数据说话。然后随着业务复杂度提升再补齐多样性指标、创作者侧指标、公平性指标这些纵深维度。每加一个指标都跑一遍上面说的四道检查安稳了再正式纳入体系。小闭环跑起来之后积累的经验和数据会告诉你下个阶段该往哪补这个过程比坐在会议室里货比三家式地设计大而全的指标库要高效得多。6. 常见问题与排查技巧实录6.1 评价指标分布失衡怎么办遇到过很多次指标均值看起来正常但分组一看有的用户群体指标极高有的群体极低方差巨大。这种失衡的危害在于均值会掩盖掉少数群体的严重体验问题。比如推荐系统的点击率高活用户贡献了绝大多数样本他们的点击率高均值就好看但新用户和低频用户的点击率可能惨不忍睹只是样本量少被平均了。解决思路是三点一是按用户活跃度、新老、地域、设备等维度做分层分析不要只看总均值二是对样本少的细分群体用小流量加权的监控方式单独盯三是把最低分组的表现作为一个独立指标纳入评价体系防止长尾群体被持续忽视。这里我特别想强调一个原则评价体系不仅要看平均水位还要看水位的分布形态。就像一条河流平均水深1米看着能蹚过去但某个深坑里可能就是10米深一样会出大事。分层监控就是画那张水深地形图。6.2 评价指标与业务目标背离怎么排查最典型的场景是用户满意度评分在涨但用户时长在跌或者点击率在涨但GMV在跌。这种背离出现的时候第一反应不该是怀疑其中一个指标算错了而是应该去查指标背后对应的用户行为是否发生了结构变化。我遇到过一次案例点击率上涨但收藏率下跌查了半天发现是推荐内容里短视频的占比提高了短视频天然点击率高于图文但收藏意愿远低于图文。点击率的上涨本质上是内容形态结构调整的副作用而不是推荐相关性提升了。这个案例给我的教训是评价指标背离的时候先查行为结构变化再看策略效果顺序不能反。若干背离实在查不出来还有一个通用排查法按时间轴把指标曲线对齐叠加业务事件标注。把每次策略上线、内容供给调整、运营活动、节假日标注在同一张图上往往一眼就能锁定背离发生在哪个节点之后再针对性定位就快得多。6.3 线上评价结果不稳定怎么定位指标每天都在跳评审会上大家各执一词这种不稳定的情况很内耗。我的排查顺序是有套路的先查数据链路再查样本结构再查外部环境最后才回到策略本身。数据链路排查包括埋点是否正常、ETL任务是否延迟、指标计算是否存在口径口径漂移。我遇到过指标跌了其实是数据任务跑挂了每天产出的指标和真实数据完全对不上白白折腾了两天。样本结构排查包括是不是某个渠道的流量波动带偏了整体样本比如信息流广告的流量突然涨了点击率被拉低但自然流量其实没变化。外部环境排查包括是不是竞品有动作、是不是到了行业淡旺季、是不是大促前后用户行为本来就会改变。数据链路、样本结构、外部环境这三关全都排除了才轮得到怀疑策略是否真的出了问题。这个顺序我强烈建议写进团队的评价体系文档里作为标准排查流程。没有这套流程每个人都会基于自己的立场猜测问题根源最后变成扯皮现场。7. 评价的边界与长期演化我的一点个人体会做评价问题这些年我最大的体会是评价体系更像是一个活的生物而不是一台死的仪器。它会老化会被参与者的行为反向驯化会随着业务阶段的变化而失效。一个在增长期好用的评价体系在成熟期可能反而成为创新的阻力一个以点击率为核心的体系在一个追求用户体验深度的产品里反而会持续鼓励标题党。所以每隔一段时间我都会强制自己和团队做一次评价体系的再审视现在的北极星指标还适不适合下一个阶段的目标哪些指标已经钝化了哪些指标正在被大家偷偷优化但实则损害体验哪些群体的问题被整体均值掩盖了这种审视不需要大动干戈但一定要定期做频率大概是每季度一次。另外我还想分享一个小技巧任何评价指标上线前你都要想清楚一件事——如果这个指标变得极其容易优化大家会做什么动作来让数字变好这些动作里哪些是健康的、哪些是有害的这个预演害动作的思考能帮你提前规避掉很多指标被玩坏的风险。比如你定义了人均播放时长为北极星指标那你就要预料到大家会去拉长长视频的时长、会让推荐列表里塞满长内容这时候你就得补上一条短视频曝光占比的约束指标来制衡。评价问题的核心从来不是把数字算准而是让评价体系本身能成为一个对组织行为和产品方向有正向引导力的结构性力量。这也是我为什么愿意花一整天来专门聊它的原因。你手里的尺子长什么样你看到的世界就是什么样你做出来的东西也会逐渐长成那把尺子的模样。
阅读完成 · 觉得有帮助？
