【AI黑话日日新】Day 060｜Speculative Decoding（投机解码）

一句话说清：让一个小模型先快速猜几个字，大模型再一次性核对，出字更快，但写出来的每个字都是大模型亲自定的，内容完全不变。1. 它到底在说什么先想一个编辑部场景。主编（大模型）写稿很慢，但判断力强；实习生（小模型）写得快，但水平一般。传统做法是主编一个字一个字写、写完自己校对，慢得要命。投机解码（Speculative Decoding）换了个玩法：让实习生先一口气打三五个字草稿，主编把这几个字一次性通读、逐字判断“对不对”——对的照单全收，错的当场改成自己想写的，后面草稿作废，再从这一格让实习生接龙。结果就是：每轮主编只动笔改一次（或零次），却把三五个字全定下。用户看到的稿子，和主编一字一字写的，每个字都一样——只是过程里混进实习生的“猜测”省了时间。一句话：它把“自回归（autoregressive，一个接一个生成）必须串行”这件事，在速度层面悄悄拆开了。2. 为什么现在这个词很热这个词不是新点子，但它是被“推理成本”这座大山重新推到台前的。2022 年 11 月，Google Research 的 Yaniv Leviathan、Matan Kalman 与 Yossi Matias 在论文《Fast Inference from Transformers via Speculative Decoding》（