★ FEATURED ARTICLE 简介DeepSeek-V2 大模型论文原文 PDF 面向大模型研究者、算法工程师与 MoE 架构学习者聚焦如何在控制训练成本的同时获得强性能与高效推理。论文完整阐述 2360 亿总参数、每 token 仅激活 210 亿参数、支持 128K 上下文的 MoE 语言模型设计并深入拆解 Multi-head Latent Attention 对 KV 缓存的压缩机制与 DeepSeekMoE 的稀疏计算路由策略同时给出 8.1 万亿 token 预训练、SFT 与 RL 的完整流程及与 DeepSeek 67B、Mixtral、LLaMA 3 等模型的对比数据。资源包共 1 个 PDF 文件约 1.5MB保留论文原始排版与图表便于精读架构细节、引用实验结论。已有 294 人学习适合希望理解低成本高性能 MoE 训练与推理优化思路的读者系统研读。1. 236B 参数只激活 21BMoE 大模型到底在省什么一个 2360 亿参数的模型每个 token 只激活 210 亿参数训练成本比上一代稠密模型省 42.5%KV 缓存压掉 93.3%生成吞吐量拉到 5.76 倍。这几个数字放在一起第一反应往往是「不可能三角被打破了」——大模型不是参数越多越强、缓存越大越准吗DeepSeek-V2 的论文给出的答案不是堆硬件而是从注意力机制和前馈网络两处底层结构动手MLA 把 KV 缓存压成一个潜在向量DeepSeekMoE 用稀疏计算把训练成本打下来。搞懂这两处为什么能 work比记住几个百分比有用得多因为它们是后续一大批高效推理架构的共同源头。1.1 稠密 Transformer 的两个隐性瓶颈要理解 DeepSeek-V2 的设计动机得先看清标准 Transformer 在推理时到底卡在哪。标准多头注意力MHA在生成阶段需要把每个 token 的 key 和 value 全部缓存下来缓存大小是2 × n_h × d_h × l其中n_h是头数、d_h是每头维度、l是层数。序列越长、批量越大这块缓存就越像滚雪球直接吃掉显存、限制最大 batch size 和上下文长度。这是推理侧的第一道墙。第二道墙在训练侧。稠密模型的参数量和计算量是绑死的想变强就得加参数加参数就等比例加算力。MoE 的思路是把 FFN 拆成一堆专家每个 token 只走其中几个参数量上去了但单 token 计算量没上去。听起来很美但路由怎么做、负载怎么均衡、跨设备通信怎么控全是血泪经验堆出来的工程问题。DeepSeek-V2 的贡献在于把这两道墙各自凿开一个口子而且凿法有讲究——MLA 不是简单砍头GQA/MQA 那种DeepSeekMoE 也不是简单堆专家。1.2 论文给出的三个硬指标论文里对比的基线是自家的 DeepSeek 67B 稠密模型。三个数字值得单独拎出来看训练成本省 42.5%意味着同样效果下算力账单几乎砍半KV 缓存减少 93.3%意味着同样显存能塞下长得多的上下文或大得多的并发最大生成吞吐提升到 5.76 倍这是前两者叠加后在服务端的直接体现。这三个数字不是孤立优化出来的而是 MLA 和 DeepSeekMoE 两个架构改动共同作用的结果后面几章会分别拆开看它们各自贡献了哪一部分。2. MLA 的底层机制为什么压缩 KV 缓存还能不掉点GQA 和 MQA 的思路是「少存几个头的 KV」代价是表达能力下降消融实验里性能确实不如 MHA。MLA 走的是另一条路不砍头而是把 K 和 V 联合投影到一个低维潜在向量里推理时只缓存这个潜在向量。关键问题是——压缩了维度凭什么性能还能超过 MHA答案藏在「联合压缩」和「推理时矩阵吸收」这两个设计里。2.1 从 MHA 到 MLA低秩联合压缩的数学形式标准 MHA 对输入h_t做三次投影得到 q、k、v# 标准 MHA 的投影伪代码维度标注对应论文符号 # h_t: [d] q_t W_Q h_t # W_Q: [n_h * d_h, d] k_t W_K h_t # W_K: [n_h * d_h, d] v_t W_V h_t # W_V: [n_h * d_h, d] # 推理时缓存 k_t 和 v_t每 token 缓存 2 * n_h * d_h 个元素MLA 把 K 和 V 的生成改成「先降维再升维」# MLA 的 KV 联合压缩 c_KV W_DKV h_t # 降维: W_DKV: [d_c, d]d_c 远小于 n_h * d_h k_C W_UK c_KV # 升维出 key: W_UK: [n_h * d_h, d_c] v_C W_UV c_KV # 升维出 value: W_UV: [n_h * d_h, d_c] # 推理时只缓存 c_KV每 token 缓存 d_c 个元素这里的核心是d_c ≪ n_h * d_h。缓存从2 * n_h * d_h降到d_c这就是 93.3% 压缩的来源。但注意MLA 并没有丢掉 K 和 V 的完整表达能力——W_UK和W_UV仍然能把潜在向量还原成完整的 key 和 value只是这个还原动作在需要时才做。换句话说压缩的是「存储形态」不是「信息容量」这是它和 GQA 砍头的本质区别。2.2 矩阵吸收推理时连 K、V 都不用算出来MLA 更巧妙的一步在推理阶段。注意力打分是q^T · k而k W_UK · c_KV所以q^T · W_UK · c_KV可以先把q^T · W_UK预计算成一个新的查询向量直接和缓存的c_KV做内积。同理输出侧的W_UV可以吸收进输出投影矩阵W_O。这意味着推理时根本不需要把 key 和 value 显式还原出来缓存里躺着的就是潜在向量计算图被重写成了等价的更省形式。提示矩阵吸收是 MLA 推理效率的关键但它依赖权重在推理前完成融合。工程实现里如果动态改权重或做量化要重新检查吸收后的等价性否则会出现数值偏差。这个设计的代价是训练时要多维护几个投影矩阵且低秩压缩会带来一定的信息损失——论文用消融实验说明这个损失被联合压缩的结构优势抵消了最终性能反而优于 MHA。我一般会这么理解GQA 是「共享 KV 头」的粗暴省法MLA 是「学一个压缩表示」的聪明省法前者省得直接但伤表达后者省得优雅但要训练配合。2.3 解耦 RoPE位置编码和低秩压缩的冲突怎么解RoPE旋转位置编码是作用在 q 和 k 上的但 MLA 的 k 是从潜在向量升维出来的如果直接对升维后的 k 施加 RoPE就会和「矩阵吸收」打架——因为 RoPE 是位置相关的旋转吸收进查询侧后位置信息就对不上了。论文的解法是「解耦」把每个头的维度拆成两部分一部分携带 RoPE 位置信息这部分不参与低秩压缩单独计算另一部分走压缩路径。这样位置编码和压缩表示各走各的路互不干扰。这个细节很容易被忽略但它是 MLA 能落地的必要条件。常见的实现思路是把 head 维度切成d_h d_rope d_nopeRoPE 只作用在d_rope那段压缩只作用在d_nope那段最后拼接。工程上这意味着 KV 缓存里其实存了两块东西压缩潜在向量 那一小段带位置的 key。压缩率依然很高因为d_rope通常远小于总维度。3. DeepSeekMoE 的路由设计稀疏计算怎么不翻车MoE 的直觉很简单多搞几个专家每个 token 只挑几个走。但真跑起来路由不均、专家饿死、跨卡通信爆炸这些问题会让训练直接翻车。DeepSeekMoE 在标准 MoE 上加了三个机制细粒度专家切分、共享专家隔离、设备受限路由。这三个机制分别对应「专家怎么切」「哪些专家必走」「路由怎么控通信」三个问题。3.1 细粒度专家 共享专家专家 specialization 的前提传统 MoE 比如 GShard专家数量少、每个专家大路由粒度粗导致专家学不到细分知识。DeepSeekMoE 的做法是把 FFN 切成更多更小的专家细粒度切分同时留出几个「共享专家」——不管路由结果如何每个 token 都必走这几个共享专家。共享专家的作用是兜住通用知识让路由专家专心学细分领域避免每个专家都重复学一遍基础能力。# DeepSeekMoE 前向的简化逻辑 def deepseek_moe_forward(h_t, routed_experts, shared_experts, router): # 1. 共享专家所有 token 都走兜底通用能力 shared_out sum(expert(h_t) for expert in shared_experts) # 2. 路由专家top-K 选择只激活部分 scores router(h_t) # 每个专家的打分 topk_idx, topk_w top_k(scores, K) # 选 K 个 routed_out sum(topk_w[i] * routed_experts[idx](h_t) for i, idx in enumerate(topk_idx)) return shared_out routed_out这个结构的关键参数是「专家总数」「激活专家数 K」「共享专家数」。论文里总参数 236B、激活 21B比例大约 11:1说明稀疏度相当高。细粒度切分让每个专家更小路由组合更灵活但代价是路由开销和通信次数变多——这就引出下一个机制。3.2 设备受限路由把通信开销摁在可控范围专家并行训练时不同专家分布在不同设备上token 路由到别的设备的专家就要跨卡通信。如果路由完全自由一个 token 可能被发到任意设备通信模式不可预测带宽直接打满。设备受限路由的思路是先按设备分组路由时限制每个 token 最多发往固定数量的设备论文里是 M 个把「全局任意路由」降级成「局部受限路由」。常见的实现思路是两阶段先算每个 token 对每个设备的亲和度选出 top-M 个设备再在这些设备内的专家里做 top-K 选择。这样通信量有了上界工程上可预测、可优化。代价是路由灵活性略降但换来的是训练能稳定跑下去——在千卡集群上可预测的通信比理论最优的路由更值钱。3.3 负载均衡与 token 丢弃两个兜底机制路由天然会往「当前表现好」的专家聚集导致部分专家过载、部分饿死。辅助损失auxiliary loss是标准解法在损失里加一项惩罚专家负载的方差逼路由分散。DeepSeek-V2 还加了 token 丢弃策略——当某个专家过载时超出容量的 token 直接跳过该专家走残差或共享专家兜底保证单卡计算量有上界。注意token 丢弃会带来训练和推理的不一致推理时通常不丢弃或丢弃策略不同做对齐评估时要留意这个差异否则会误判模型能力。这三个机制叠在一起才让「236B 参数、21B 激活」在工程上跑得起来。单看任何一个都不新鲜组合起来的调参和取舍才是论文背后的功夫。4. 避坑与排查复现这类架构时最容易踩的坑4.1 现象KV 缓存压缩后推理反而变慢原因MLA 的矩阵吸收没做对推理时仍然显式还原了 K、V等于压缩只省了存储没省计算还多了一次升维。解决确认推理图里W_UK已吸收进查询投影、W_UV已吸收进输出投影用 profiler 看是否有多余的升维算子。4.2 现象MoE 训练 loss 震荡、专家利用率两极分化原因辅助损失系数太小或路由温度不对token 全挤到少数专家。解决调大负载均衡损失权重检查路由 logits 的分布必要时加专家容量因子和 token 丢弃兜底。4.3 现象长上下文下显存仍然爆原因只压了 KV 缓存但激活值activation没做低秩压缩长序列训练时激活显存才是大头。解决确认查询侧也做了低秩压缩论文里c_Q那条路径并检查是否开了梯度检查点。4.4 现象解耦 RoPE 后位置外推能力变差原因RoPE 只作用在部分维度上外推时那部分维度的频率设置没跟着调。解决单独检查d_rope段的 base 频率和缩放策略长上下文扩展阶段要针对性调这部分而不是全局调。5. 设计取舍为什么是「压缩 稀疏」而不是别的路把 MLA 和 DeepSeekMoE 放在一起看会发现它们共享同一个设计哲学不在「表达能力」上做减法而在「存储和计算的形态」上做变换。GQA 砍头是减法MoE 堆专家是加法DeepSeek-V2 选的是「变换」——低秩压缩把缓存换个形态存稀疏路由把计算换个路径走两者都不直接牺牲模型容量。这个取舍的代价是训练复杂度上升MLA 要处理 RoPE 解耦和矩阵吸收的等价性MoE 要处理路由均衡和通信上界工程门槛比稠密模型高不少。方案KV 缓存表达能力工程复杂度MHA大完整低GQA/MQA小有损低MLA很小完整低秩近似高稠密 FFN不涉及完整低标准 MoE不涉及完整中DeepSeekMoE不涉及完整细粒度高验证这类设计是否真的 work我一般会盯三个可复现的指标同等效果下的训练 GPU 小时、单位 token 的 KV 缓存字节数、固定显存下的最大并发吞吐。这三个指标论文里都给了对比基线复现时拿自己的数去对比看单个 benchmark 分数更能判断架构改动是否真的生效。从那以后我每次评估一个「高效架构」的论文都会先问一句它省的是存储、计算还是通信省下来的那部分被转移到了哪里。因为底层机制里没有免费的午餐所有「省」都是形态变换看懂变换发生在哪一层才不会在复现时踩到那些论文没写的坑。希望帮到你。本文还有配套的精品资源点击获取
阅读完成 · 觉得有帮助？
