泼盆冷水：90.12%的“裸精度”不算数，决策模型真正的天花板是“选项一多就崩”

泼盆冷水90.12%的“裸精度”不算数决策模型真正的天花板是“选项一多就崩”【免费下载链接】Bespoke-Nimble-9B项目地址: https://ai.gitcode.com/hf_mirrors/bespokelabs/Bespoke-Nimble-9B这两天科技圈又被一个数字刷屏了90.12%。一个只有9B参数的开源小模型在一项评测里追到了商业闭源模型 Jev 的九成水平还把自家没微调过的27B大模型按在地上摩擦。消息一出“小模型吊打大模型”“本地部署平替GPT”的说法立刻满天飞。但先别急着下单也别急着把公司客服系统推倒重来。这个90.12%是真的只是它背后藏着一张只有324道题、只来自6个来源、答案还是AI自己检查的“小抄考卷”。换到真人标注的3880道题上它的成绩会老老实实回落到75%左右。更关键的是这类“决策模型”有一个绕不过去的物理天花板选项一多它就崩。一、先说人话这玩意儿到底是干嘛的把它想成一个只填答题卡的AI不是坐在你对面陪你聊天的助手。你给它两样东西一段材料一张“问题清单”。清单上的问题只有三种从你给的几个选项里选一个回答是或否按你定的标准打一个等级分。它不写作文、不解释理由、不跟你客套直接交答案还顺手告诉你“每个选项我各有多少把握”。这就像考试聊天大模型是那种边做题边写解题过程的学霸写得越详细越慢而它是只涂答题卡的考生看到题、涂卡、交卷全程不废话。所以它快得有点吓人在H100显卡上一次判断的中位数是106毫秒在MacBook M5 Pro上大概444毫秒而走API的商业同类Jev约247毫秒。作为对比让一个通用大模型“想一想再回答”动辄两三秒起步。快就是它存在的全部理由。二、90.12%是怎么来的一张很窄的考卷官方公布的测试集是324道题模型答对292道算出来90.12%。同期选手的成绩是这样的没微调的同门师弟 Qwen3.5-9B66.36%更大一号的 Qwen3.8-27B84.88%商业闭源标杆 Jev 1.1393.21%看上去很美但魔鬼在细节里。这324道题其实是162对“双胞胎题”。每对题只改一个关键事实答案就跟着翻转。比如规则是“只有Mira能批这笔退款”材料里签字人写Mira答案是真把签字人换成Noah答案立刻变假。其余文字一字不动。这种出题法很聪明专门逼模型学会“到底哪个细节决定结论”。但它也带来两个问题第一题目高度同源。324道题只来自6个“题目家族”训练时覆盖的10个领域测试只考了其中6个。这更像“同一本练习册的模拟卷”而不是“全国统考”。第二答案是AI自己判的。官方写得很直白所有标签都是合成数据由模型检查没有任何人工复核。检查的模型和被检查的模型可能犯同一种错于是错误就被漏过去了。所以90.12%的正确读法是在同一张窄考卷上它和商业标杆的差距只有3个百分点。而不是“随便扔给它什么任务它都能对九成”。这两个意思差了十万八千里。三、换成真人出的卷子成绩立刻“现原形”真正有意思的是官方自己后来补做的“外部考试”。他们拉了13个公开数据集全部是真人标注的答案一共3880条记录涵盖意图分流、是非判断、毒性识别、摘要打分、医学问答等场景。结果这个9B模型平均74.8%按数据集平均、75.9%按总题数合并商业Jev76.0%、77.3%差距不大只有1个多百分点说明它确实有两把刷子。但“90分学霸”的光环瞬间变成了“75分中等偏上”。而且偏科很明显识别网络评论是否有毒70.3%对手81.0%判断两句话是不是一个意思82.8%对手89.2%同一批350句英文指令换成德语准确率掉3.5个百分点对手只掉0.5个。它也有赢的地方比如给摘要的“相关性”打分它49.2%对手35.0%——不过两个都没及格属于“矮子里拔将军”。还有一个特别容易被忽略的坑它给的“把握”不等于“正确率”。你看到它说“85%确定”别真以为这类题它对了85%。在公开测试里它的“把握”和实际正确率的平均偏差在0.06到0.17之间。官方文档甚至直接提醒概率0.9不代表你的数据上它就对九成。如果你要卡一个阈值做自动放行必须拿自己的数据重新试。四、真正的天花板选项一多它就崩这才是今天最该泼的那盆冷水。这类模型的工作方式说穿了很朴素它给每个候选选项编一个单字代号——A、B、C……Z超过26个就用AA、AB、AC续上最多支持到255个。然后模型只做一件事给这些代号打分再换算成百分比。打个比方这就像让你闭着眼睛从一排抽屉里摸东西。只有三五个抽屉你摸得又快又准二十几个抽屉还能靠手感等到两百多个抽屉每个抽屉里装的东西长得几乎一样你还能摸对吗选项一多麻烦有三层第一层代号本身变得难认。单字母A到Z是模型最熟悉的“答题卡符号”但AA、AB、AC这种双字母组合在真实文本里出现得少模型对它们的“语感”天然更弱。第二层分数挤在一起。77个选项正确答案可能只比第二名高一点点。这点微小差距经过归一化之后会被放大成一个看起来很自信的百分比实际上底子很虚。第三层顺序会带偏答案。选项排在前面的天然更容易被选中。官方在评测工具里留了“打乱选项顺序”的开关但截至目前这个测试还没跑过也就是说“位置偏见有多大”官方自己也没有数据。商业对手Jev的官方文档倒是很坦诚确实观察到会偏向第一个选项建议你换顺序再问一遍。最能说明问题的是两组被公开评测直接拒之门外的数据银行客服意图识别 BANKING7777个类别通用助手意图识别 CLINC150150个类别。不是不想测是评测流程所用的代号体系只认26个单字母。也就是说在“77种业务意图怎么分流”这种最真实的客服场景里公开榜单上根本没有它的成绩。当然9月24日的新版本已经把单字段上限从26个提到了255个这是实打实的进步。但“能填255个选项”和“255个选项都填得准”是两码事。至少目前公开的人类标注评测里还没有这类高基数任务的成绩单。业内另一个开源同类项目在讨论里也给出了相似的经验判断25类以内很香77类这种细粒度分类就开始吃力。这就是标题里说的天花板不是模型不够大是“一次从一堆长得像的选项里挑一个”这件事本身就随选项数量急剧变难。五、那它到底适合谁门槛高不高先把边界画清楚比吹参数有用得多。它很香的场景客服工单分给哪个部门十几个队列不是几百个内容过不过审、要不要人工复核给RAG检索到的资料判断“这段能不能支撑答案”按公司规章判断“这单能不能退”给模型回答按1到5分打分。共同点是选项有限、规则能写清、不需要计算、不需要多层推理。它搞不定的场景开放式问答、写文案、写总结看图片、看表格、看视频算数、比日期、数个数——官方自己都劝你“这种活交给代码”几百个细分类别的精准分流一次问好几个互相牵扯的问题它每个字段独立判断不会自己对齐逻辑。硬件门槛模型底座约18GB加上适配器一共二十来GB。苹果M系列芯片的Mac能跑64GB内存比较舒服N卡也行16GB显存的消费级显卡靠“部分层放内存”也能勉强跑起来但会慢不少。另外还有一条命令就能拉下来的本地版本和官方在线接口不想折腾环境的人也能试。使用限制单次输入上限8192个token超了直接拒绝不会偷偷截断——这点倒是很老实。字段之间不能嵌套也不能互相引用。六、写在最后我并不觉得90.12%是假的它是一份很扎实的工程成绩用一个9B小模型把“判断”这件小事做到了接近商业标杆的水平还快得离谱、便宜得离谱。但“裸精度”这三个字最容易被误读。它测的是一张324道题、6个来源、AI自检答案的窄卷子它没测的是77类、150类的真实业务分流没测选项顺序被颠倒后的稳定性也没测你的行业黑话和内部规则。所以真正该记住的不是90.12%而是这套思路本身把模糊的判断拆成一张清清楚楚的选择题。拆得好小模型就能干大模型的活拆不好你就会发现自己在用一个“选项一多就犯迷糊”的判卷老师去管一整个客服中心。最后留个问题给你你工作里最想交给AI的那道“选择题”究竟有几个选项是三个还是七十七个这个数字可能直接决定了它到底能不能帮上你。评论区聊聊你身边的“选择题”长什么样。【免费下载链接】Bespoke-Nimble-9B项目地址: https://ai.gitcode.com/hf_mirrors/bespokelabs/Bespoke-Nimble-9B创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考