推理 INFRA 方法论（2）：分布式推理：TP、DP、EP、CP 与 PP 的取舍

博客Johney Zheng 的博客 · 全部文章索引 · 本文原文围绕权重、KV、激活和通信预算推演 Attention 与 MoE 的并行组合并分析长上下文和流水线的额外约束。Attention/MoE组合方式Attention-TP/DP和MLA的关系:GQA:KV 沿 n_kv 个头切 → TP ≤ n_kv(8时 TP8 正好),TP 同时摊薄 KV 显存 ✅ MLA:KV 是全头共享的一个 latent → 无head维可切 → TP 下只能【复制】,但是tp能切weight降低计算量 TP8同一份 KV 存8遍 → 显存爆炸 ❌ ⟹ MLA 模型 attention 必走 DP:每卡管自己的请求和 KV,不复制Attention-DP/TP和MoE-TP/EP组合下通信机制区别其中dispatch/combine源于all2all业务名底层原语额外的非通信部分dispatchAllToAllv路由计算、token permutecombineAllToAllvk 份加权求和源卡本地同时Attn-TP/Attn-DP往往可以和MoE-EP组合使用32 卡、EP32、k8、MLA、d 为 hidden、B 为全局 batch维度纯 Attn-TP32TP4 × DP8纯 Attn-DP32KV 复制份数32 份4 份1 份KV 读带宽/卡B·ctx·35KB(B/8)·ctx·35KB(B/32)·ctx·35KBMLA 投影权重/卡W/32W/4W 完整attn 通信域32 卡c31/324 卡c3/4—attn 每卡 tokenBB/8B/32①④ 形态转换0.969×2 1.94 B·d0.19 B·d0②③ MoE a2a0.48 B·d0.48 B·d0.48 B·d通信合计2.42 B·d0.67 B·d0.484 B·dattn 计算/卡B/32B/32B/32三者相同同时对于MoE来说MoE-TP/MoE-EP的区别(Attn-Dp)在于维度MoE-TP32MoE-EP32谁赢gate/up 形状[B·k, 7168] × [7168,64][B·k/32, 7168] × [7168, 2048]EPdown 形状[B·k,64] × [64, 7168] 算完还需 AllReduce[B·k/32, 2048] × [2048, 7168]EPN 方向 tile 数BN1281 个且 128 列里 64 列是 padding16 个全满EPtile 总数 / 78 SMB51232 个 → 利用率 41% × tile 内 50% padding ≈20%16 个 → 21%但 tile 全满都不足性质不同形状能否靠攒 batch 救N/K 是模型维与 B 无关M_eB·k/32 随 B 涨tile 数随之增加EP最本质的差别专家权重读/卡u(B)/256 × W_e/32kernel 跳过没被命中的专家u(B)/256 × W_e/32 u(B)256(1−e^(−Bk/256))期望打平EP 只是方差更大激活显存/卡完整 [B·k, d]B512 时约59 MBBF16[B·k/32, d] B512 时约1.8 MBEP差 32 倍但 decode 下只有 MB 级通信原语入口 AllGather 出口 ReduceScattera2a dispatch combine通信字节/卡2c·B’·d2c·(B’/P_EP)·k·d比值r k/P_EPtoken permute 量4 × B·k·d完整重排4 × (B·k/32)·d且可融进 a2aEP差 32 倍L2 复用B 矩阵仅 459KB全驻留、重复读免费 但救不了算力浪费每卡 8 专家 352MB ≫ 60MB 且每步命中专家在变命中率天然低都不理想负载均衡✅ 天然均衡步时间可预测需 EPLB热专家拖慢全体TP静态 shape✅ 固定CUDA Graph 直接可用M_e 动态需 masked GEMMTP部署复杂度✅ 单栈无路由无 permute路由 permute EPLB 双 kernelTP实测DeepGEMM maskedgate_up 融合每卡权重同为 235 MBEP32 形状 129 μsTP32 形状256 专家 × N128153 μsTP 只慢 18%。gate/up 融合时 N128 没有 paddinggate/up 分开N64才会出现上表的半空 tile。其中几个关键参数解释通信比 r k / P_EPk 每个 token 路由到的专家数top-kP 参与通信的卡数c (P−1)/P留本地那份不发的折扣EP 域rk8结论EP81.0与 MoE-TP持平EP 无通信优势EP320.25EP 省 4×EP1440.055EP 省 18×★ EP 的通信优势完全来自 EP 域大于 k不是 EP 本身有魔力。② MoE-TP 的切分度上限分水岭在 N BNTP 度gate/up 的 NN 方向 tile是否满评价TP45124满可用TP82562满勉强TP161281刚好满边缘TP32641半空崩★ 换 BN64 能消 padding但 K 维复用度腰斩、访存翻倍——两条路都堵。③ 专家权重读的并集效应EP328 专家/卡B命中专家 u(B)EP 每卡读期望TP 每卡读跳过空专家857≈1.8 个57/32 ≈ 1.8 个128251.6≈7.9 个≈7.9 个512≈2568 个8 个★ 只要 TP 侧的 kernel 也跳过没被命中的专家fused_moe 本来就会跳两边每卡读的字节期望相同两边逐字节相同成立。差别在于 EP 每卡只放 8 个专家命中数的方差更大最慢的卡决定整层。显存层面不同分布式策略区别如下基准DeepSeek V3 口径32 卡96 GB/卡FP8KV 35 KB/tokenMLA 投影权重 11.4 GB专家权重 W_e。显存项被谁切不被谁切Attn-TP32TP4×DP8Attn-DP32MoE-TP32MoE-EP32MLA 投影权重attn 的 TP 度attn 的 DP 度0.36 GB2.85 GB11.4 GB——KV cacheattn 的 DP 度attn 的 TP 度MLA 必须复制全量 73 GB9.2 GB2.3 GB——权重KV 合计/卡B256, ctx8K——73.4 GB12.0 GB13.7 GB——专家权重MoE 的 TP 或 EP 度————W_e/32W_e/32MoE 激活峰值/卡B512, k8只有 EP 能切MoE-TP 下每卡完整———≈59 MB≈1.8 MB三条显存规律KV 和 MLA 权重是同一个旋钮的两端TP 度往哪调取决于TP* √(W_MLA × P ÷ KV_total)——短上下文往 TP 走、长上下文往 DP 走最优点是平底谷TP2~8 都可接受。MoE 激活只有 EP 能切但 decode 下不是显存瓶颈B512 时 MoE-TP 每卡 [B·k,d] 约 59 MBEP 约 1.8 MB差 32 倍但都是 MB 级。大 prefill几万 token时才会到 GB 级真正吃显存的是专家权重和 KV。两个决策在通信和计算上完全解耦只共享一个每卡显存总预算。attn 侧 TP 度省下的权重直接转化为更多 KV更大 B 或更长 ctx而非影响 EP 域——EP 域大小基本由部署卡数决定。显存唯一能影响 EP 的地方是要不要做副本EP16×2 vs EP32显存宽裕才敢做副本换均衡但代价是 r 翻倍。注意力侧看模型结构分组查询注意力能沿头维切KV直接纯TP多头潜在注意力MLA不能固定TP 2 到 4单机内加DP让注意力成为与规模无关的常数模块。专家层侧看规模卡数少8 以内用TP简单且没损失卡数多必须用EP因为TP会把中间维切碎N 小于 tile 宽时出现半空 tiletoken 侧的通信和重排还随 P 线性涨——这些是攒批补不回来的。两者靠批大小连着专家并行域越大越需要大批来喂饱专家矩阵乘和压住负载方差而大批会推高KV的读带宽和容量反过来逼Attn-TP收小——所以大EP、小Attn-TP、大批是一套组合不是三个独立选择。容量、batch 与 EP 规模一起选每卡可用请求内存 HBM − 本卡权重 − graph/通信/临时 buffer − 安全余量 B_memory ≈ 每卡可用请求内存 / 每请求在该卡的状态与 KV 字节数 B_run ≤ min(B_memory, B_SLO, 可获得的并发)以单卡 96GB 和 141GB 两种容量举例8 卡合计分别为 768GB 和 1128GB这是原始容量不能直接当 KV 池。以约 397GB 的 FP8 权重作粗估8×96GB 只剩约 371GB 原始余量尚未扣上述运行时开销低比特模型还要计入 scale、未量化层和加载后的布局不能用参数数乘 0.5B 代替实际占用。扩大 EP 可以降低每卡专家权重、释放 KV 容量并提高M_eB_local·P·k/E。只有释放的容量能转化成可用 batch这条收益链才完整。若 batch 已被 SLO 或流量限制大 EP 的容量收益可能兑现不了还要支付跨机通信成本。P≈BM·E/(k·B_local)只是让平均 M_e 填满 tile 的参考点最终比较同 SLO 下的吞吐与卡数成本。CP的必要性符号N 并行度T 序列长B batchH head 数D head 维d H·Dhidden 维E 单 token 的 KV 字节c (N−1)/N留本地不发的折扣。为什么需要沿序列切张量并行沿head维切权重和 KV但两种情况切不动GQATP超过键值头数时多出来的卡只能复制同一套 KVMLA潜在向量实质只有一个头纯TP完全无法缩小 KV于是启用第三个维度——序列。但两个阶段的动机完全不同瓶颈想切的东西PrefillO(T²) 计算 O(T·d) 激活TTFT 爆炸计算Q / hiddenDecodeQ 极短、KV 极长KV 容量卡住并发存储KV cachePrefill CP 的三条路线通信形态对比每层内通信head 数限制激活/卡每卡通信量RingPass-KV环形逐块N−1 步迭代无T·d/N2c · T · d随 T 线性Ulysses换切分维两次 all-to-allN ≤ head 数T·d/N4c · T · d / N是 Ring 的2/N切分 AllGather层间/末尾一次 gather无T·d不省c · T · d量级Ring每卡持 Q_i、K_i、V_i 各 T/NKV 块绕环走一圈每收一块与本地 Q 算一次局部 attention用 online softmax 累积。不受 head 数限制通信能和计算重叠代价是 N−1 步串行链、通信随 T 增长。Ulysses先沿序列切QKV 投影后一次 all-to-all 把切分维从序列换成 head[T/N, H, D] → [T, H/N, D]之后每卡对全序列 × 部分 head做完整 attention中间一次通信都不需要算完再换回来。通信只有 Ring 的 2/N但要把 H 切成 N 份所以N ≤ head 数——多头潜在注意力单头直接不可用。切分 AllGatherSGLang zigzag/interleave 的形态切 Q 让每卡只算自己那 T/N 个 tokenattention 本地一次算完层间或末尾用 all-gather 把序列补齐再按逆序索引重排。通信最省一次 AG 而非绕环一圈但激活不随 N 摊薄——每卡仍要物化全序列的 hidden。它换来的是不受 head 限制能覆盖多头潜在注意力和稀疏注意力路径。切分策略因果 mask 下的负载均衡对应上面那张三角形图这不是通信方案而是序列怎么分给各卡与上面三条路线正交第 j 块的计算量 ∝ (j1)因果下越靠后要看的 KV 越多 连续切最慢的卡拿 4N−1 份平均 2N1 份 → 差约 2 倍 zigzag每卡一早一晚(j1) (2N−j) 2N1与 j 无关 → 完全均衡 interleave按 token 取模轮流分同样均衡且与 DCP 所有权规则同构这个 2× 是免费的——不增加通信、不增加计算只改分配方式。因果场景应该默认开稀疏注意力路径DSA/NSA用 interleave。计算量与代价计算量/卡均衡后 总量 / N因果下总量 ≈ 2T²·d 收尾代价gather 回完整序列并物化 KV一次性 O(T · d)DCP 的方案细节位置 p 归p mod N持有物理槽位p ÷ N。选取模而非连续分块是为了 decode 新 token 自然落到正确的卡不需要重平衡。工程上分配器按size × N、page_size × N建索引表存虚拟索引kernel 现场用整除取模过滤。于是同样的物理显存逻辑上能服务约 N 倍总容量上层的基数树、页管理几乎不用改。三步流水线① AllGather Q每卡本来只持有自己那份 head 切片的 Q但它的 KV 分片覆盖所有 head所以要先在组内把 Q 凑齐。decode 时 Q 只有 1 个 token通信很小开 Q 复制加载时复制 Q 投影权重可彻底消掉这一步。② 本地 attention用完整 Q 对本地 KV 分片算返回局部输出和 LSE。③ 按 LSE 合并本质是一次[KV 分片 × head 组]的转置——转置前每卡有本地分片 × 全部 head转置后每卡有自己那组 head × 全部分片本地加权求和即完成。两种实现后端做法集合通信次数AllGather ReduceScatterAG LSE → 本地校正 → 沿 head RSMHA 路径改为 AR 后切片约 3 次/层含 Q AGPacked All-to-All把输出与 LSE 打包成一个张量一次 a2a 完成转置Q AG 1 次 a2a★ 两者字节同阶差的是集合通信次数和尾延迟——和 All2All 分层字节由语义锁死、只能砍条数是同一个道理。a2a 要求 head 数能被 N 整除因为转置要把[B, H, D]重排成[N, B, H/N, D]。为什么 LSE 不能省各卡算的是只看自己那 1/N 个位置的 softmax分母不同直接相加是错的必须用全局 logsumexp 重新归一化。这和 FlashDecoding 的 split-KV 合并是同一个数学一个跨 SM、一个跨卡。计算量一分不增不开 DCP纯张量并行每卡 (H/N) 个 head × 全部 T 的 KV ∝ H·T/N 开 DCP 每卡 H 个 head × 本地 T/N 的 KV ∝ H·T/NDCP 是纯粹的存储重分布不引入任何冗余计算——与 AllReduce 的 one-shot用冗余计算换步数正好相反。通信、显存与代价Q AllGather c · B·H·D 与 T 无关可被 Q 复制消掉 merge O(B·H·D) 与 T 无关 本卡 KV 存储 O((T/N) · E) 核心收益 extend 路径 O(T · E) 临时 ← 主要代价代价集中在 extenddecode 交错写完 KV 后做 extend 时若只看本地分片会缺 prefix必须临时把完整 prefix KV gather 出来物化。稳态 decode 不付这笔钱但每次新的 extend 会短暂拉高显存和带宽。并行度上限分组查询注意力N ≤ 张量并行度 ÷ 键值头数 键值头 4、张量并行 8 → N ≤ 2 多头潜在注意力N 可以等于张量并行度 单头复制因子最大整体对比方案传什么每卡每层通信计算量/卡显存收益硬约束RingKV 块绕环2c·T·d随 T 线性均衡后 总量/N激活O(T·d/N)N−1 步串行不限 headUlysses两次换维 a2a4c·T·d/NRing 的 2/N同上激活O(T·d/N)N ≤ head 数MLA 不可用切分 AG末尾 gatherc·T·d量级同上激活不省不限 head需单卡放得下全序列zigzag / interleave—切分策略不增加最慢卡 2× → 1×—无应默认开DCPQ 局部结果O(B·H·D)与 T 无关与不开 DCP 相同KVO(T·E/N)GQA: N ≤ TP ÷ 键值头数场景方案理由长 prefill、TTFT 卡住、单卡激活装不下Prefill CP计算和激活都摊到 N 卡↳ head 数够、机内高带宽Ulysses通信只有 Ring 的 2/N且只有 2 步↳ head 数不够 / MLA / 超长序列Ring不限 head通信可与计算重叠↳ 只想摊计算、激活装得下切分 AG通信最省覆盖 MLA 和稀疏路径↳ 任何因果场景叠加 zigzag / interleave免费的 2×稀疏路径用 interleavedecode KV 容量卡住并发DCP每卡 KV 降到 1/N通信与 T 解耦↳ 多头潜在注意力DCP 最划算张量并行完全切不动N 可开到张量并行度↳ GQA 且张量并行度 键值头数DCP把多余的复制度换成序列分片两者同开用不同通信组和元数据理论可行但 KV 物化语义与分离式部署、分层缓存的交互要逐案验证缓存 key 通常还不感知分片 rank。三句话CP 和 DCP 沿同一个维度序列解决两个不同瓶颈prefill 切计算和激活decode 切 KV 存储张量并行按 head 切不动时MLA 单头、GQA 头数不够序列是唯一剩下的维度。选型的唯一判据是Q 和 KV 谁小传谁prefill 两者都长传 KV 可流水重叠Ring或换切分维一次解决Ulysses通信只有 Ring 的 2/N 但限 headdecode 的 Q 只有一个 token必须传 Q通信因而与上下文长度完全解耦。两者代价形态不同Prefill CP 付收尾 gather 的一次性O(T·d)且因果下必须配 zigzag/interleave 才拿得满 N 倍DCP 计算量一分不增、稳态 decode 通信极小代价集中在 extend 时临时物化完整 prefix KV以及 GQA 下N ≤ 张量并行度 ÷ 键值头数的硬上限。PP引入的复杂度PP 的意义通信最省的维度stage 边界只传一次 hidden[B, d]B48、d7168、BF16 约 0.69 MB整个模型只付 (stage−1) 次。对比 TP 每层两次 AllReduce、EP 每层两次 all-to-allPP 的通信量小两三个数量级——这是以太网/PCIe 等弱互联下唯一可行的模型并行。PP 的调度单元一个 beat 一次 target 前向 采样一个 token PP0 已知输入上一轮那一个 token 每个 stage 只跑一次前向 只有末 rank 有 logits采样出一个 token seq_lens 恰好 1每个 stage 写那一个 KV 槽无需回滚PP 关掉通用的 overlap scheduler用自己的事件循环pp_size async_batch_depth个槽位每槽固定装一组请求。注意“overlap” 是三件不同的事机制重叠什么工作单元PP 微批流水不同请求组落在不同 stage一次目标前向 一个采样 tokenoverlap scheduler批 N 的 CPU 后处理与批 N1 的 GPU一次 run_batch双微批重叠TBO同一次前向内的两个微批与 PP 无关Prefill 与 Decode 的流水行为完全不同PrefillchunkDecode微批流水单元同一请求的连续 chunk不同请求组下一单元的输入已知提示词全在手上未知要等 token 绕回 PP0能否填满能只受首尾填充/排空影响能但填的必须是别的组对时延TTFT 真的被摊薄TPOT 摊不薄bubble 不是死穴TPOT 才是填 bubble 只有一招——找无依赖的在途工作训练用微批m64 时 bubble 5%prefill 用 chunkdecode 用跨请求分组。异步深度同理它只让末 rank 的 D2H 和 CPU 后处理藏进下一个微批的 GPU 时间不会提前启动同一个槽的下一步。PPp 个 stage 轮流干活时间相加 —— 读的仍是完整一遍权重TPOT ≈ 单卡水平 TPp 张卡同时干活时间取一份 —— TPOT 真的 ÷ pdecode 的 SLA 卡的正是这个相加出来的时间靠加并发填不掉。吞吐来自别的槽占着别的 stage。三种失衡类型阶段来源性质stage 划分不均两者共有embedding 在首、lm_head采样输出环在尾系统性每拍都付chunk 耗时不均prefill因果 mask 下靠后 chunk attend 更多 KV随机沿 stage 累积组内长度离散decode请求天然不等长随机沿 stage 累积★先把层数切匀再谈配平。stage 划分不均lm_head 在大词表模型上不小129K × 7168FP8 约 0.9 GB采样和 D2H 又是纯 CPU 尾巴。按层数均分会让末 stage 系统性偏慢而流水按最慢的 stage 走。修法层数不均分首尾少分几层 异步深度仅对 decode 有意义。chunk 耗时不均等长切时t_k ∝ (1−α) α·(2k1)/mα attention 占比。T32K、m8、α≈0.3 时首尾差 1.7 倍在 PP 下累积成 30/60/90 的空隙。修法做法代价等时切分s_k T·√(k/m)前重后轻首 chunk 吞 35% 序列显存与 kernel 尺寸不友好还要估 α混批填沙chunk 等长用 decode 请求补差额调度器要维护耗时预算而非 token 预算加大 chunk 数m ≥ 4×pp_size 时相邻块耗时差可忽略chunk 变小则 GEMM 瘦长、MFU 下降混合预算token 预算与 attention 工作量预算取先到者等时切分的工程近似避免长首块参数chunk 不小于 512~1024 token。实践中混批 加大 m组合最常见。与其他特性的兼容性组合现状原因PP 分层 KV 缓存支持PP0 统计 DMA 确认数后沿管道广播CI 覆盖 MHA 类模型PP 投机解码启动即拒因果倒置见下PP DSA 层切分启动即拒层切分依赖 prefill CPCPPP 未验证L3 缓存 DCP启动即拒L3 的 key 不含分片 rankPP 用于 PD 分离受限decode 侧 pp_size 必须等于 prefill 侧的或为 1PP 与投机解码为什么冲突以及要支持得改什么根源是工作单元定义不同PP 一拍 一次目标前向 采样一个 tokenseq_lens 恰好 1无需回滚 投机一步draft → verify → extend 三次前向两套权重 verify 的 q_len gamma1接受长度只有末 rank 出 logits 后才知道数据流方向相反draft token 从末 stage 流向首verify 的 hidden 从首流向末。挤在一拍里PP0 就要在 draft 跑之前 embed 它产出的 token。要支持的话必须拆成两拍前一拍末 rank verify 尾段 accept extend draft 后一拍全体 rank只做 verify用输出环带回的提案配套的四类改造类别要改什么协议输出环携带accept_len、接受的 token ids、下一轮提案而非单个 token id时序下一次 verify 必须等所有 rank裁完gamma1−k个 KV 槽 →异步深度归零执行层每 stage 要q_lengamma1的 CUDA graph非末 rank 不能调draft()verify hidden 要能跨 stage状态混合结构模型的临时槽要在每个 rank 回滚性能代价末 rank 变成系统性瓶颈PP0~PP2 每槽 1 个单位只 verify PP3 每槽 2 个单位verify tail ⟹ 吞吐大约减半而且它和异步深度冲突——异步深度本来就是为掩盖末 rank 尾巴而设投机却要求归零。深 PP 想让点对点通信覆盖另一个微批投机把尾巴变成同一个槽的下一次 verify别的 stage 填不了。可行的缓解层数再平衡。设 tail 耗时约等于 β 个 stage 的前向EAGLE 下 β≈0.3~0.8则末 rank 分到(总层数/p)×(1−β)层省下的平摊给前面。61 层、p4、β0.5 时PP0~PP2 各 17 层PP3 只分 10 层。还要补一条缓存屏障投机 分层缓存必须只插入被接受的前缀末 rank 出 logits → 算出 accept_len k → 广播 k → 所有 rank 裁掉 gamma1−k 个槽 → 才允许写入基数树 / 回写主机否则 PP 把结果处理推迟到下一拍、还与另一个微批的 GPU 重叠缓存会写进未被接受的 token污染后续请求。混合结构模型更严状态是每请求一条轨而非每 token 一页verify 占的额外槽必须在 accept 后释放。收益是投机的接受率倍数代价是末 rank 翻倍负载、异步深度归零、五处工程改造。而 PP 本来就是吞吐工具、投机是时延工具目标函数正交。真正值得的场景很窄模型大到必须跨机 PP、又有 decode 时延要求。这种情况下更常见的做法不是让 PP 支持投机而是PD 分离——prefill 侧用深 PP 拿容量decode 侧用 TP 投机拿时延。这也是decode 的 pp_size 必须等于 prefill 的或为 1这条约束里1 才是常用值的原因。PP 在推理里的位置纯吞吐工具。三种场景可用高并发离线批推 —— 只看吞吐TPOT 不敏感 弱互联以太网/PCIe—— 通信量决定了只能选 PP 模型单机装不下 —— 唯一能跨机切且通信可接受的方案实践分野深 PP 用于 prefill 容量此时放弃投机投机用于 decode 时延此时把 PP 摊平成 TP。三句话PP 是通信最省的并行维度stage 边界只传一次 hidden、整个模型只付 (stage−1) 次弱互联和单机装不下时它是唯一选项。bubble 能填TPOT 填不掉prefill 的 chunk 输入已知能无条件填满流水、TTFT 真的被摊薄decode 的下一步依赖上一步输出同一个槽必须等 token 绕回首 stage——PP 是时间相加、TP 是时间取一份这条结构性差异让 PP 对 decode 时延无效。三种失衡按性质分治stage 划分不均是系统性的每拍都付先切匀层数投机场景还要为末 rank 的 tail 再平衡chunk 耗时不均和组内长度离散是随机的沿 stage 线性累积用混批填沙和按耗时分组来治。系列导航章节文章编排日期0Roofline用算力与带宽建立性能预算2026-01-011通信模型从集合原语到跨机拓扑2026-02-132分布式推理TP、DP、EP、CP 与 PP 的取舍本篇2026-03-293推理硬件GPU、NPU 与存储层级2026-05-114Attention 演变从 GQA、MLA 到混合状态2026-06-245MoE 推理Batch、DeepEP、DeepGEMM 与负载均衡2026-08-066PD 与 EPD阶段分离、状态传输与资源配比2026-09-197核心优化CUDA Graph、投机推理、Overlap 与量化2026-11-01上一篇通信模型从集合原语到跨机拓扑 · 下一篇推理硬件GPU、NPU 与存储层级