AI审稿翻车实录：大模型为何把12.3%读成21.3%？

EMNLP 2026 的 AI 审稿演示现场出了一个挺尴尬的场面大模型正在点评一篇论文的摘要屏幕上生成了一句“该工作将准确率提升了 21.3%”然后场下有观众立刻举手“原文写的是 12.3%你把数字读反了。”演示者愣了两秒调出原始摘要投到大屏白纸黑字就是 12.3%。现场先是安静了一下接着就炸开了——搞 NLP 的这群人太清楚这个现象了但真正在官方场合、当着几百人的面被 AI 演示“翻车”这还是头一回。这个标题其实信息量很大值得好好拆一下。EMNLP 是自然语言处理领域的顶尖会议官方愿意把 AI 审稿搬到台面上演示本身说明“用大模型辅助审稿”这条路已经被摆到正式议程上了而“AI 把数字说歪”这个细节恰好戳中了所有大模型应用的软肋——文本能力再强一碰到数字就容易露馅。这篇文章我不打算只复述那段演示而是想把它当成一个引子把“为什么 AI 会把数字说歪”“这种现象会给实际工作造成多大麻烦”“我们到底该怎么防”这三件事讲透。不管你是做 NLP 研究的、用 AI 辅助写论文的还是日常跟模型打交道要处理数据分析的这篇内容应该都能对得上。1. 官方演示现场AI 审稿在台上把数据改了样1.1 演示环节是怎么设计的先还原一下现场。EMNLP 这类顶会这几年最头疼的问题其实是投稿量年年暴涨审稿人资源越来越不够用。2023 年就有人开始提“用大模型辅助审稿”的想法到 2026 年官方终于把这套东西从幕后实验搬到了台前演示背后推着的就是产能焦虑。演示流程大致分三段第一段跑投稿摘要自动分类第二段生成初审意见草稿第三段做稿件质量初筛。现场用的是开源模型、本地服务器部署没有联网检索论文库。光这个设计就值得注意——官方特意把“离线运行”标出来其实是提前给自己留了个解释空间我们这版只是演示不连外部数据。前两段跑得都挺顺畅分类准确率看起来也不赖。真正的意外出在生成初审意见草稿那一段。1.2 当场翻车的具体瞬间演示者上传了一篇已经公开发表的论文作为样例做了脱敏处理AI 生成的初审意见里出现了这么一句“该研究在扩大样本后统计显著性依然稳定不过论文中报告的效应量偏低ES 0.02。”问题在于原始论文里写的效应量是 0.20小数点被挪了一位。更要命的是AI 不是单纯抄错它还真就基于“ES 0.02”这个错误数值往下推出了一条结论——“建议作者重点讨论效应量过小对结论稳健性的影响”——成了顺水推舟的自洽错。台下那位观众指出问题后现场工作人员做了一件事把随机种子换掉重新跑了一遍同样的生成流程。结果错误依然存在而且错法几乎一模一样。就是说这不是“运气不好碰到一次”而是模型在这个任务上稳定输出错误数值。这个复现动作比错误本身更能说明问题——数字失真不是随机抖动是系统性的。回头看现场记录AI 还干了几个让人皱眉的事原文说“准确率提升了 12.3%”AI 写成了“提升了 21.3%”。摘要里的“443 份有效问卷”AI 在后续总结里引用成了“343 份”。参考文献发布年份“2022”被顺手改成了“2024”。更迷惑的是AI 在样本量判断上“官方建议补充更多样本”可原文的样本量是 5000它大概率只“看”到了前面的 500。前三条勉强还能用“抄错”来解释最后一条意味着模型连数字背后的量级都没形成概念——五千和五百差着一个数量级。1.3 为什么官方要把这一幕公开演示出来当时也有人疑惑这么明显的翻车官方为什么不剪掉反而让它完整播出来我的理解是这段演示的真实目的恰恰就是向整个学术社区公开划定 AI 审稿的信任边界。这几年顶会审稿的质量争议一直没停过作者抱怨审稿意见乱来审稿人抱怨工作量爆炸。官方如果只展示 AI 审稿的光鲜一面反而会被认为是在掩盖问题。当众演示一个“AI 已知的、可复现的、有机制解释的缺陷”等于在说我们清楚它的短板也在研究如何规避它。这种公开方式比一个“全对”的 demo 更有信息量。当然对旁观者来说这一课是记下了AI 审稿意见里的数字不能直接信。2. 数字为什么总被“说歪”大模型处理数值的三层机制缺陷标题里那句“AI 把数字说歪”用得非常传神。“说歪”不是“算错”——算错至少说明在算说歪是语感层面就不对模型只是在顺着语言惯性往外吐词数字在它那儿只是词的一种不具备“量化”的语义。拆开看这个缺陷至少来自三层机制。2.1 第一层数字进了 tokenizer 就被“肢解”了所有基于 Transformer 的大模型读文本前都要先把文本切成 token词元。问题是分词器切分文本时根本不知道哪些片段是数字、哪些是普通单词。数字一旦被切成碎片数值的整体语义当场丢失大半。拿“12.3%”举例。在常见 BPE 分词器里它大概率会被切成类似[12, ., 3, %]这样一组 token。模型看到的不是“一个数 12.3”而是四个孤零零的碎片12、小数点、3、百分号。人类读起来一目了然模型得靠注意力机制自己去拼凑这串碎片的“数字关系”。更隐蔽的是词汇表覆盖差异。像 100、2020 这种常见数字词汇表里可能直接存了整段模型一眼就能“认出来”。但换成 0.0387、1739 这种不太常见的数就得被拆得稀碎能利用的上下文线索也少出错概率直线上升。这也能解释为什么 AI 把 12.3% 改成 21.3%12 和 21 在 token 层面可能就隔着一个交换位置模型采样时稍微跑偏就选了倒序的写法。2.2 第二层生成数字靠“猜词”而不是“计算”这是最容易让非技术背景用户误解的一点。大模型生成文本的方式是每一步根据前面已经生成的内容去预测下一个 token 的概率分布再从中采样。它从头到尾没有一个“计算器”参与也没在做算术。那为什么让它算“23 加 45”有时候能算对因为这种简单算式在训练语料里出现过太多次了模型把“234568”这个答案“背”下来了。可一旦换成稍微冷门一点、或者需要多步推理的数值计算它就原形毕露——没有外部计算逻辑兜底全靠语感去编。所以现场那个效应量 0.02 的错误本质是模型在“估摸”一个可能的数值而不是在验证计算结果。它知道“0.02”和“0.20”长得像都在语境里出现过但它没有“区分量级”的压力。程序员朋友可以类比一下错的不是显式运算逻辑是“数据类型安全”——模型压根没把数字当数值类型对待。2.3 第三层长上下文里的注意力漂移Transformer 的注意力机制在处理长文本时是稀疏的模型不会对每一个词都均匀用力而是优先关注在语义上“更显眼”的部分。问题恰恰出在这里——数字在文本里通常一点也不显眼。尤其当一句话里同时出现多个数字时注意力尤其容易串位。比如“我们招募了 5000 名患者其中 3240 名接受了治疗平均年龄 46.3 岁”——如果让模型复述这条信息它会把年龄、人数、比例混着来甚至把“3240”缩成“324”。“该研究扩大样本后效应量为 0.20”这种长句里0.20 和目标动词“效应量”的距离一旦拉远注意力就会在中间环节衰减掉最终抄出一个相似但错误的数值。现场演示里摘要总共两三百字AI 照样把 12.3 抄成 21.3。这说明问题跟上下文长度没有绝对关系而是数字本身的“低显著性”决定了它很容易在注意力分配里被牺牲掉。2.4 顺带说一句为什么它错得毫无心虚我注意到一个细节AI 把数字改错之后语气没有任何迟疑。这是大模型的另一个已知特点——它倾向于给自己生成的内容保持“高置信度”的表达方式即使内容本身是错的。写出来的审稿意见依然专业、流畅、严密仿佛那个 0.02 是经过严谨计算得到的。这其实是最危险的地方。数字错了但文本的“合理性”没跟着塌读者很容易被这种专业感带节奏。后面我会专门讲怎么防这个问题。3. 数字失真从演示台蔓延到工作台真实应用场景只会更坑会议演示翻车说到底还在可控范围——毕竟现场有观众盯着事后也会有更正。但同样的数字失真问题放到日常工作流里往往是悄无声息发生、悄悄产生后果直到某天被上级或同行发现。3.1 让 AI 把数据写成叙述段落时最容易出错我自己最常踩的坑是让 AI 把表格数据改写成报告段落。有一回我要求模型把“Q3 营收同比增长 11.7%”扩写成一段业务分析结果它输出“同比增长 17%”并在后面接了一句语气非常笃定的解读“这表明增长动能明显增强”。你看它不但改了数字还把解读也一并升级了。如果不是我习惯性回数据源核对这段内容很可能就直接进了周报。后来我总结出一条规律AI 的“文本润色”能力越强它包装错误数字的“能力”也越强。它并不是在故意骗人而是在其语言模型的本能里“数字结论”搭配得越自然整体生成概率越高。毕竟训练数据里报告中的数字通常都支撑着某个结论模型就学会了这种捆绑。3.2 学术论文场景数字错位可能直接导致退稿学术论文里数字是硬通货。受试者人数、p 值、置信区间、样本基线、模型参数任何一处被改歪后果都比业务报告严重得多。我见过一个相当典型的“错误链”作者用 AI 做英文润色AI 把方法论部分的“5000 个样本”顺手抄成了“500 个样本”作者没有逐段核对直接提交。到了同行评审阶段审稿人首先质疑的就是样本量与统计效力不匹配。作者一看傻了眼只能撤稿澄清。像这种事故本质不是模型产生了幻觉而是模型在“复制—粘贴”的过程中让数字穿越了量级。更麻烦的是AI 还会把数字错误扩散到结论。比如 AI 看着“样本量较小500 人”就在讨论部分自动加了句“本研究样本量有限结论推广需谨慎”——完全围绕一个错误的数字展开建议。这种“自洽性错误”在学术写作里尤其致命因为它能骗过对原始数据不敏感的合著者。3.3 连“检查 AI 有没有改数字”这件事AI 自己都做不好我尝试过用 AI 自己检查数字错漏方法是让模型同时读原文和改写文列出所有不一致。想法是好的现实是崩溃的初审没过因为模型在抽取数字时又把 12.3% 和 21.3% 搞混了它把“两个数字不一致”这件事本身报告成了“12.3% 和 12.3% 一致”。不是说完全不能用而是说不能把“数字核对”这个任务整体委派给同一个模型。它写错、检查错错在同一个机制里存在一种“盲区重叠”——模型不会看到自己视角之外的错误。所以真正靠谱的核对要么走规则脚本要么人类亲盯不能只靠 AI 自查。3.4 会议审稿场景的数字风险比日常写作更大回到 AI 审稿本身。审稿意见里的数字错误比普通写作错误多一层风险它会影响作者的信任感。人类审稿人偶尔也会引用错数据但同样的问题放在 AI 身上作者的容忍度会低很多——“你连我的数据都读不对凭什么给我提意见”这也解释了 EMNLP 现场演示翻车为什么会引发大规模讨论当 AI 从“辅助工具”变成了“审稿环节”的一部分作者会本能地用更高的标准要求它。数字没有读准其他建议再专业也容易被打折扣。信任这种东西建立起来需要一百次正确摧毁一次就够了。4. 我自己的防“数字翻车”排查流程三步对照法被坑的次数多了我慢慢形成了一套固定的数字排查流程。不复杂但能覆盖大部分场景。这里分享出来可以直接拿去用。核心思路只有一句话把 AI 输出里的数字从流畅的叙述流里单独拎出来跟源头信息逐项对齐。4.1 第一步先把 AI 输出里的数字“全量抽取”不要靠肉眼去一句句扫肉眼在长文本里很容易漏而且注意力会被模型的流畅表达带偏。第一步应该是“机械提取”让数字无处可藏。我通常会先给 AI 发一条这样的指令请把上面这段内容里出现的所有数字、百分比、年份、统计量都单独列出来每一项都要注明它出现在哪个句子里并且标注它所属的类别样本量/比例/年份/统计指标。命令 AI 先把数字剥离出来相当于给后续核对造了一张“数字清单”。这一步建议让 AI 做粗提取然后再用脚本兜底验一遍。平时我用的脚本也很简单Python 正则就行import re # 这里替换成你实际要检查的 AI 输出文本 ai_text 该工作将准确率提升了21.3%在443份有效问卷的基础上完成分析。 模型训练于2024年参数量约为1.8B。 # 抽所有数字含小数和百分号 digits re.findall(r\d(?:\.\d)?%?, ai_text) for d in digits: print(d)输出会是21.3% 443 2024 1.8B看着这么列出来跟原文一比对问题立刻无处遁形。正则的优势是不受模型情绪和语气影响只认规则绝不“改词”。4.2 第二步跟源文档逐项对齐拿到数字清单之后别急着往下走要对齐源头数据。这一步我习惯建一个小表格左边放源文本里的数字右边放 AI 输出里的数字中间放一个“是否一致”的结论。源文本位置源数字AI 输出数字是否一致不一致的影响摘要第三句12.3%21.3%否结论夸大方法—问卷443 份343 份否样本量描述错误参考文献年份20222024否引用信息错误说实话这一步是全场最枯燥的但也是最有价值的。我见过很多“AI 用得很好”的朋友就摔在这一步嫌麻烦跳过了然后到交付环节被对方指出数字错误。如果觉得这个表太原始也可以直接在文档里做高亮对比关键是“逐项”不是“大致看了看”。4.3 第三步对“衍生结论”单独复查前两步只解决了“数字本身对不对”第三步才是真正的坑需要专门盯 AI 基于错误数字产生的“衍生结论”。什么叫衍生结论就是“建议补充更多样本”“效应量偏低需讨论稳健性”“增长动能明显增强”这类判断性句子。这些句子通常不带数字看起来人畜无害但它们背后往往藏着某个数字依据。一旦那个数字是错的整条结论就等于站在沙子上。我的检查习惯是对 AI 意见里每一个“建议类”句子都反向要求它补充“依据数字”。它在审稿意见里说“建议补充更多样本”我就回查它是不是因为把 5000 看成了 500。有时候模型给出的依据数字来源不明那就得小心了——大概率是它自己脑补的不是论文里写的。4.4 给高危数字设置“禁区标记”最后分享一个我实际用下来很有效的小技巧对“碰都不能碰”的数字在输入给 AI 之前就做特殊标记让模型知道这是实体、不可改写。做法很简单把关键数字用尖括号包起来该研究将准确率提升了12.3%使用了443份有效问卷效应量为0.20。加了标记之后模型把数字当成类似“专有名词”的东西处理改写它的概率会明显下降。原理也不复杂普通数字在概率分布上像“自由词”被替换的余地大但一旦包进特殊格式里模型往往倾向于原样保留这个“不透明 token 串”。这个技巧不能覆盖所有场景但聊胜于无尤其适合摘要润色、审稿意见整理这种“改写类”任务。5. 对 AI 审稿的重新审视能放心交出去的活和必须留在人手里的活EMNLP 官方演示里的 AI 审稿不是说因为它会读错数字就一无是处。恰恰相反我认为 AI 审稿的真实价值被“数字翻车”这一幕掩盖了不少。关键不在于“能不能用”而在于“哪里能用、哪里不能用”。5.1 AI 审稿真正擅长的领域先说能放心交出去的部分。经过我的长期使用以下四类审稿辅助工作AI 做得相当稳结构完整性检查摘要有没有交代背景、方法、结果、结论AI 一眼就能看出缺哪块。参考文献格式检查这项本来就偏规则模型做得比人快得多。图表质量初步判断分辨率、坐标轴标签、图例缺失这类明显问题AI 比人眼扫得更全。审稿人匹配按主题关键词匹配合适的审稿人模型基于语义相似度做排序比纯关键词匹配靠谱不少。以上这些短板不在数字上而在结构、格式、匹配这类“文本特性”上恰好是语言模型的主场。5.2 AI 审稿绝对不能碰的雷区但下面几件事我认为现阶段无论如何都要留给人来做数值准确性核验任何数字、统计量、百分比都不该让 AI 当最后一道闸门。统计学方法是否恰当模型不了解实验设计背后的领域约束很容易用“通用标准”套特殊场景。创新性判断novelty创新性本质上依赖领域内非常细的 prior work 理解AI 很容易走极端——要么觉得啥都见过要么觉得啥都新鲜。最终录用建议这个不分技术纯属流程责任问题。录用决定必须有人类署名负责不能甩给算法。这些雷区的共同点是它们都不适合“语言流畅度”来支撑而需要真正的判断力。数字错误只是明面上的一个案例暗处还有统计误读、方法误诊、创新性错杀只是没那么容易被现场观众一眼抓到。5.3 如果一定要用 AI 辅助审稿我的用法是这样我不会完全弃用 AI 审稿但用法上会刻意留一道人工防线。核心原则是把 AI 当“第一读者”不作为“最终审稿人”。具体流程可以这么搭AI 先按固定 checklist 出审稿草稿。人类审稿人拿到草稿后只把它当作“线索清单”逐项回原文验证。所有带数字的句子一律强制回原始数据源核对不允许直接沿用 AI 的引用。最终审稿意见里AI 生成的句子必须经过两次人工确认才有资格保留订单归属和学术判断责任始终在人类身上。如果面向作者回收审稿反馈建议把 AI 痕迹去掉只保留经过核验的最终意见。这套流程不花哨但能明显降低“数字说歪”这种问题流到作者手里的概率。说白了AI 的作用是帮人先扫一遍、筛一遍把人的精力聚焦到真正需要判断力的地方它的“错误描述”可以被包容只要人没有把判断权也一起让渡出去。我在实际使用中的体会是每次跟 AI 合作完一批内容花十分钟做一次“数字线条检查”大概率能逮住至少一处错误。这不是模型笨不笨的问题而是模态本身的盲区。文本处理和数值校验本来就是两套能力现阶段不要指望一件事情全部打包交给大模型搞定。EMNLP 2026 那场演示与其说是给 AI 审稿泼了盆冷水不如说是在最合适的时机划下了一条使用边界——知道它会在哪儿栽跟头你才能真正放心地把其余活儿交给它。