★ FEATURED ARTICLE 2026 年 10 月中旬这一周AI 行业最不起眼的一个软件层突然成了各方下注的焦点。10 月 18 日 vLLM 发布 v0.32.0814 个提交、363 位贡献者10 月 20 日 DeepSeek 把支撑自家线上服务的生产推理框架 DeepInfer 开源同一天前后Google 联合 Meta 开源 TorchTPU让 TPU 变成 PyTorch 的原生设备。三件事指向同一个信号模型质量在趋同谁能把推理做得更便宜、更快、更能跨硬件跑谁就握着下一阶段的定价权。推理引擎这个过去被当成「管道工」的层正在变成主战场。一个「生产同款」内核怎么同时喂给英伟达和昇腾DeepInfer 的 README 写得坦率这套框架最初主要基于 vLLM 构建同时借鉴了 SGLang 和 TensorRT-LLM。Python 层保留 vLLM 的接口形态调度器和块管理在 csrc/engine/ 下用 C 重写再收拢 FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect 一批自研算子。真正让它出圈的是硬件姿态英伟达 SM100 和华为昇腾 950 被列为平级构建目标靠一个 DEEPINFER_ACCELERATOR 环境变量切换。这是第一家把「实际线上运行的生产级推理框架」完整开源的头部大模型公司。过去从英伟达迁到昇腾要重写算子和调度现在有了一份经大流量验证的参考实现。上图DeepInfer 以 vLLM 为基座用自研算子与投机解码把同一个内核同时落到英伟达与昇腾两套硬件上。但要打折看。DeepSeek 交出的只是离线推理内核只注册 V4.1-Flash 一个模型没有 KV cache 系统没有 prefill/decode 跨机分离没有负载均衡也不支持 Hopper 一代的 H100、H200、H20。再看那些数字155 万亿 token 日吞吐、96% 缓存命中率、约 400ms 首字延迟全是官方口径没有第三方复现。开源一周vLLM 和 SGLang 就把差距追回来了开源之后一周发生的事比 DeepInfer 本身更说明问题。据量子位观察vLLM 把 DeepSeek 的算子内核吃进去之后性能差距收窄到 6%预填充吞吐提升 35.6% 到 43.9%SGLang 集成 Mega 内核和 SWA 有界回放之后部分配置的吞吐反而反超 DeepInfer 约 4%。这暴露了推理引擎竞赛的真实形状没有一家能靠闭源内核长期领先。开源引擎之间的技术流动太快连原创者都成了被追赶的对象。vLLM 官方已经致谢 DeepSeek并计划吸收它针对 V4.1-Flash 的优化。Google 和 Meta 想用 TorchTPU 撬动 CUDATorchTPU 是 Google 和 Meta 的 PyTorch 团队合作开源的Apache 2.0。它让 TPU 变成 PyTorch 的原生 device开发者把 model.to(“tpu”) 一行改完就能跑不必走老旧的 PyTorch/XLA 桥也不必切到 JAX。官方测了约 5000 个 Hugging Face 模型98% 的一级模型无崩溃通过。关键在它带出的两个推理引擎后端vLLM-TorchTPU 和 SGLang-TorchTPU分别和 Inferact、RadixArk 合作开发。Meta 已经确认 SGLang-TorchTPU 在自己的数据中心生产环境运行。上图推理引擎的势力版图正在按「硬件 软件」重新划分Google 用 TorchTPU 正面挑战 CUDA 生态。TorchTPU 开源公告的原图如下上图Google Cloud 官网博客 TorchTPU 开源公告原图2026-10-20来源cloud.google.comCUDA 的护城河不在芯片而在几十万开发者的软件惯性。TorchTPU 要做的是让这些开发者不改代码就能把负载搬到 TPU 上。用开源软件换迁移成本比用硬件性能硬碰硬划算。年初那笔 1.5 亿美元年底变成了 TPU 的桥头堡推理引擎的商业化其实更早。2026 年 1 月vLLM 维护者团队把项目公司化成 Inferact拿了 1.5 亿美元种子轮估值 8 亿美元a16z 和 Lightspeed 联合领投。SGLang 拆成了 RadixArk据报道估值 4 亿美元、Accel 领投。到 10 月 TorchTPU 发布时这两家又各自成了 Google 在 TPU 侧的落地伙伴。年初那两笔钱买的是「开源引擎背后的商业实体」年底它们变成了撬动 CUDA 的桥头堡。上图推理引擎从 2023 年的实验室项目走到 2026 年的开源、商业化和跨硬件三条线同时爆发。体量上也说得通。vLLM 支持 500 多种模型架构、200 种加速器类型、2000 多个贡献者Amazon、Meta、Google、Character AI 都在生产环境用它。SGLang 的客户包括 xAI 的 Grok 3、微软 Azure、LinkedIn、Cursor合计约 40 万张 GPU。推理引擎成了 AI 成本曲线的定价者把几条线并在一起能看出一个更清晰的图景。英伟达用 CUDA 加 TensorRT-LLM 守Google 用 TorchTPU 攻DeepSeek 用 DeepInfer 把昇腾扶进牌桌三方打的其实是同一件事让自家硬件在同一个软件接口上被最多人顺手用起来。上图推理引擎正在成为模型与异构硬件之间的唯一抽象层谁掌握这一层谁就掌握跨硬件的迁移成本。这里有个被低估的转变。云天励飞董事长陈宁在钛媒体的采访里点破了它训练对 CUDA 的依赖和推理对 CUDA 的依赖不在一个量级上。推理时代的关键变成了成本、效率和系统能力所有人都站在同一条新的起跑线上。我判断未来 12 个月会收敛成「双寡头 平台化」的结构vLLM 和 SGLang 当开源引擎的两极背后站着 Inferact 和 RadixArk 两家商业公司TensorRT-LLM 和 TorchTPU 是英伟达、Google 各自的平台武器DeepInfer 走第三条路给「生产同款、双平台」立一个可参照的标杆。我预判 DeepInfer 的跨平台设计会被更多团队抄走。它证明了一件事把调度和算子抽象好同一个内核能同时喂给英伟达和昇腾。这比任何「国产替代」的檄文都更有杀伤力因为它解决的是迁移成本这个最实际的问题。真正值得盯的不是哪家引擎吞吐高几个点而是 DeepInfer 的昇腾侧能力什么时候补齐 KV cache 系统、什么时候有第三方独立评测。那一天到了推理引擎才会真正从幕后工种变成 AI 成本曲线的定价者。参考来源DeepSeek DeepInfer 官方仓库Apache 2.0Google Cloud BlogTorchTPU is now open source官网Google Developers BlogAnnouncing New vLLM and SGLang Inference Engines on TPUvLLM v0.32.0 Release Notes官方TechCrunchInference startup Inferact lands $150M to commercialize vLLM2026-01-22钛媒体DeepSeek 推理框架对等支持华为、英伟达芯片意味着什么量子位DeepSeek 开源后 vLLM/SGLang 连夜性能反超TheNextWebSharing our production stack, DeepSeek open-sources DeepInfer每日更新。
阅读完成 · 觉得有帮助？
