★ FEATURED ARTICLE 做AI基础设施这一块每天刷海外财经外刊算是必修课。前阵子《彭博社》一篇关于DeepSeek的报道让我来回读了好几遍——标题很冲DeepSeek发布华为AI芯片工具或将取代英伟达。信息量非常大核心是DeepSeek放出了两个开源项目一个叫DeepSeek-Harness一个叫DeepSeek-Hermes直接宣布支持华为昇腾AI芯片。这篇报道的潜台词是这家过去被公认“重度依赖英伟达GPU”的明星AI公司开始主动往华为芯片生态里扎根了。消息传出来之后圈子里讨论的焦点其实很分散有人盯着“华为芯片到底行不行”有人关心“DeepSeek是不是在站队”更多人问的是“那我以后买显卡是不是不用非盯着英伟达了”。我花了两天把报道原文、两个项目的技术说明、以及业界对AI算力格局的分析整理了一遍这篇就当一次外刊精读复盘。适合正在做大模型训练、推理部署、以及关注AI基础设施和算力多元化方向的朋友尤其是那些被CUDA生态绑得比较深、想提前看清未来几年技术路线变化的开发者。1. DeepSeek这次到底放出了什么东西1.1 两个工具拆开看Harness和Hermes分别解决什么问题先说DeepSeek-Harness这个项目的定位是“LLM工具路由框架”。听起来有点抽象我换个说法当你的业务里有多个AI模型同时在线有的擅长写代码有的擅长做总结有的是一个专门做推理的模型你总得有个东西决定“用户这个请求到底该扔给谁”。Harness就是干这个的。它做的是意图识别、模型路由、并发控制和成本分配本质上是一个模型层的流量调度系统。它解决的是真实场景里的痛点大模型应用越来越复杂单一模型打天下已经不够了但多模型并行管理又特别痛苦。每个模型有不同的上下文长度、不同的延迟特性、不同的计费方式你不可能让业务方自己去适配这些差异。Harness相当于在应用和模型之间加了一个统一的“路由层”让上层可以按业务需求灵活切换模型底层则统一调度算力。这个思路业内其实不新鲜OpenAI的模型路由、LiteLLM这类网关工具也是类似逻辑但DeepSeek把它做成了独立的开源项目而且底层兼容了华为昇腾这就有点意思了。再说DeepSeek-Hermes一个更接地气的项目它是一个“模型编译适配层”专门解决DeepSeek的模型权重怎么跑在华为昇腾NPU上的问题。你可以把这个理解成DeepSeek原生模型是为英伟达GPU设计的就像一张为Windows写的安装盘。Hermes做的就是“跨平台安装包”把模型计算图里的各种算子重新映射到昇腾的硬件指令上再用昇腾的编译器工具做一遍深度优化。华为昇腾虽然有自己的MindSpore框架但整个AI生态早就被PyTorch统治了所以Hermes这类适配层的价值在于——让一个写着“import torch”的模型可以不改代码、或者只改很少的代码就跑在昇腾卡上。1.2 华为昇腾的“入场券”CANN工具链和Oj编译器要理解Hermes做了什么得先知道华为昇腾这边的基本盘。昇腾芯片用的是自研的达芬奇架构目前主流是910系列910B和910C显存规格和算力数字上对标的是英伟达A100和A800这一档。硬件参数说实话不差但这些年在市场上没能形成和英伟达真正对打的气势卡就卡在软件生态。华为昇腾的软件栈分三层最底下是CANN这是对标CUDA的底层异构计算架构提供算子库和运行时环境相当于英伟达的CUDA Toolkit中间是AI框架适配层支持PyTorch和MindSpore再往上就是推理引擎和部署工具。这三层适配难度是依次降低的CANN是最底层、最难啃的部分因为所有算子都得一个个对齐。Hermes做的是中间层偏上这一层的事情用模型编译的方式把PyTorch的训练模型或者推理模型转成昇腾NPU能高效运行的格式而不是逼着开发者去重写整个网络。这里还藏着一个关键名字Oj编译器。华为在2025年开源了一个面向LLM的深度学习编译器代号Oj。它的核心思路是把大模型的计算图自动切分、自动做算子融合然后调度到昇腾的异构硬件上。Hermes拉上Oj的原因很实际像DeepSeek这种千亿参数级别的大模型手工优化单个算子效率太低了必须是编译器层面自动做“图优化算子映射内存分配”。这也说明了为什么DeepSeek-Hermes不是简单的“PyTorch转MindSpore脚本”而是一个深度绑定了昇腾编译器栈的项目。1.3 “或将取代英伟达”这句判断是怎么推导出来的彭博社那篇报道把“取代英伟达”这句话放进了标题这是典型的媒体式表达但推导逻辑本身是有依据的。这里的链条大概是这样的DeepSeek是目前中国AI圈子里最有国际影响力的模型公司之一它的V3和R1模型已经在全球开发者社区里形成了大量下载和使用惯性。如果它对昇腾生态的适配工作做成了相当于给整个中国AI产业释放了一个强烈信号——国产芯片不光能跑模型而且是像DeepSeek这种头部公司的模型都能跑。接下来中国企业采购算力的时候就会多一个选择过去只有英伟达一条路现在华为昇腾已经有一个“已验证”的落地样本。采购决策不再需要自己冒风险试错跟着DeepSeek的路径走就行。当越来越多的模型、框架、工具链都开始兼容昇腾英伟达在中国AI市场的独占地位就会被一层一层剥掉。不过我必须把话说完整这个“取代”不是短期发生的阵地战而是一个长期渗透的过程。英伟达的GPU依然是全球训练任务的主流选择至少在未来两三年内看不到被赶超的可能。真正会被撬动的是英伟达在中国市场的份额以及它在推理场景里的高溢价空间。这个后面我会专门展开分析。2. 英伟达的护城河到底裂了没有2.1 CUDA生态才是英伟达真正的护城河聊英伟达必须先把CUDA这件事彻底讲透。很多人以为英伟达的护城河是GPU硬件本身其实不完全是。GPU硬件的性能优势确实存在但真正的壁垒是CUDA这个软件生态。CUDA做了二十多年积累了大量的算子库、优化工具、开源框架支持、开发者经验帖、第三方解决方案。随便打开一个AI相关开源项目安装依赖的时候大概率都会有一个“requires CUDA”的提示。这种惯性极其强大就像很多人抱怨Windows各种问题但真正让他换Linux他又会犹豫——因为习惯和兼容性成本摆在那里。华为昇腾的CANN底层工具链能对标CUDA但生态积累差得不是一点半点。CUDA有的东西CANN也在做但CUDA的优势在于“全世界都在为它做贡献”PyTorch的每次更新第一时间适配英伟达HuggingFace上成千上万的模型默认按GPU优化各个云厂商的镜像市场里最丰富的是GPU实例的租用教程。昇腾这边虽然也在努力做框架适配层但你要一个普通开发者为了跑个模型去研究CANN算子映射规则大概率直接劝退。2.2 中国市场的特殊变量管制、阉割与自研需求中国市场之所以成为英伟达的“裂缝”所在关键变量在于出口管制。英伟达最顶尖的H100、H200、B200都因为管制进不了中国大陆市场。能合法卖的是专门为中国定制的H20而这款芯片在性能上做了大幅阉割尤其把算力和显存带宽砍得比较凶。结果就是中国的AI公司花差不多的钱能买到的英伟达产品只有“六七成功力”这就给国产芯片留下了真实的替代空间。更微妙的一点是供应链确定性。中国企业买英伟达的芯片不只是在买性能也是在买一个“未来能不能持续供货”的风险。政策一收紧即便是已经下订单的客户都可能被中断交付。这种情况下企业采购策略逐渐变成“不要把鸡蛋放在一个篮子里”——英伟达继续买但国产芯片也必须备一部分作为Plan B。华为昇腾作为目前国产AI芯片里性能最接近英伟达的存在自然成为这个Plan B的主要选项。华为芯片在推理场景里的表现尤其值得关注。训练大模型对芯片的计算精度、互联带宽、显存容量都要求极高昇腾和英伟达的差距还比较明显但推理场景更看重延迟、吞吐量和能效比昇腾在部分模型上的表现已经接近甚至反超同档位的英伟达产品。而推理恰恰是应用落地阶段最主流的算力需求——模型训练可能只占企业整体AI支出的三成推理长期占大头。DeepSeek-Hermes把重心放在推理优化上这一手踩得挺准的。2.3 “取代”的真实路径不是一场阵地战而是边缘渗透如果把这个话题放在长期视角里看英伟达面临的不是一场“被赶走”的正面冲突而是一场不断被蚕食的持久战。我个人的判断是未来三五年会看到明显的“算力分层”训练超大规模基础模型的任务英伟达依然是最优解但大量行业中低训练和推理任务开始向性价比更高的芯片迁移包括华为昇腾、AMD的MI系列、谷歌的TPU还有各类专攻推理场景的ASIC芯片。这种格局很像拼多多在中国电商市场里发生的事——短期内没有人能打败淘宝和京东但拼多多靠“性价比”这个细分维度硬生生切走了一大块市场份额。昇腾要做的就是这个“性价比维度”在性能损耗可接受的范围内把成本打下来把供应链的确定性提上去。对于能不能彻底取代英伟达我自己是持谨慎态度的但“用什么芯片跑AI”这个选择题确实已经从“只有一个选项”变成了“多选一”。3. 算力多元化的多米诺骨牌已经开始倒下3.1 不只有DeepSeek全球大模型公司都在做算力分散把视角从DeepSeek拉高一点你会发现算力多元化是一个全球性的趋势不只发生在中国。OpenAI绑定的是微软的Azure但微软自己就有定制AI芯片MaiaAnthropic背靠亚马逊而亚马逊Trainium芯片已经在内部大规模使用谷歌更不用说了自研的TPU早已支撑起自家的Gemini模型。全球头部的AI玩家没有一家愿意把命运完全押注在英伟达一家供应商身上。这在商业上叫供应链风险管理在技术上叫异构算力适配。英伟达对此不是没反应。他们推出了“CUDA on ARM”的整合方案也在数据中心GPU之外不断扩展产品矩阵甚至通过收购网络设备公司补齐GPU集群互联的拼图。但趋势一旦形成就很难逆转当AI公司开始拥有“第二家、第三家芯片供应商”英伟达就不再是雨伞下唯一一个人它的议价能力和高利润率都会受到挤压。彭博社那篇报道里提到华尔街已经有不少分析师在调整对英伟达长期增长的预测——不是看空它眼前的订单而是担心它“高增长属性”被慢慢稀释。3.2 对普通开发者的实际影响API价格、工具链、技能树算力多元化这件事对底层研究大模型的人影响可能没那么立竿见影但对普通开发者来说变化其实已经可以感知到了。最直接的一点是API调用价格的持续下降。DeepSeek把API定价打到极低的水平本身就在倒逼很多闭源厂商调整价格策略。当更多模型能在昇腾这类国产芯片上运行推理成本进一步下降开发者的模型调用成本会跟着被压缩到“按个人开发者的预算也能接受”的区间。工具链层面的变化是更长期的。过去做AI应用默认技术栈是PyTorch CUDA 英伟达生态全家桶。现在这条路不再是唯一选择——越来越多的开源推理框架开始适配昇腾DeepSeek带的这一波“Turbo到昇腾”操作很可能带动一批开发者工具同步跟进。对开发者来说这意味着你学习的技术栈需要开始考虑“异构”这个词了模型量化、编译优化、多硬件部署这些过去只有大厂基础设施团队才会研究的领域正在一点点下沉到普通开发者的视野里。你不一定马上需要掌握但如果你希望未来两三年依然有竞争力提前布局肯定是稳赚不赔的。3.3 成本数学为什么“够用就好”正在成为企业采购共识从企业决策的角度看算力采购本质上是一道成本数学题。我拿一个具体的场景来说一家中型企业计划部署一个大语言模型的私有化推理服务高峰期并发大约100路。如果用英伟达方案采购成本可能是80万到150万具体取决于用的是L20、A10还是A800如果用华为昇腾方案采购成本可能会低15%到25%。同时推理服务场景对绝对算力峰值要求不高更看重性价比和稳定性昇腾的差距被进一步缩小。算上长期运营成本差距就更明显了。企业对算力的需求是持续增长的买英伟达的卡意味着每一轮迭代都要预算新的硬件投入而国产芯片在“政策支持生态适配加速”的双重作用下综合持有成本是全国产化方案里最有竞争力的。所以现在很多企业的IT负责人已经开始给老板讲一个新的故事大模型推理用国产芯片训练任务继续用英伟达两边搭配着来既能控制预算又能保证效果。这种“够用就好”的务实心态正在无形中帮华为打开市场。4. 实操视角跟上这波变化的三条路线4.1 路线一自己在昇腾环境里部署DeepSeek模型如果你本身有昇腾相关的硬件或云资源想复现DeepSeek-Hermes做的事情我可以给你一条相对完整的路线。第一步是准备昇腾环境。如果你没有本地昇腾卡最省事的办法是在华为云上开通一台昇腾实例选择配了昇腾910B或者910C规格的云主机。这里我特别提醒一句昇腾环境对操作系统版本和内核版本是有要求的建议直接选用云平台官方镜像省掉后面一堆系统兼容问题。第二步是安装CANN工具链。昇腾的底子是CANN可以理解成英伟达的CUDA Toolkit。安装完之后确认一下npu-smi能正常识别卡各类驱动和设备信息都能正常读到再进入下一步。这个阶段容易出的坑是PATH环境变量没配好跑示例程序时提示找不到库文件解决方案是把CANN的bin和lib目录填进环境变量里。第三步是拿到DeepSeek模型权重做模型转换。目前社区里最常见的方式是用Hermes项目在GitHub仓库里给的转换脚本把HuggingFace格式的DeepSeek模型换成昇腾能识别的离线模型格式。转换时的关键参数是序列长度和数据类型如果不是很确定先用默认值跑通流程再说。这个阶段大概率会遇到“算子不支持”之类的报错解决思路不是死磕论文而是看日志里报出的算子名称去昇腾社区搜搜有没有对应的算子映射方案。第四步是用Oj编译器做离线编译优化把转换后的模型编译成昇腾NPU上最高效的执行图。编译时间可能比较长需要耐心等。最后一步是部署推理服务可以选昇腾适配过的vLLM分支也可以直接用MindIES这类华为官方推理引擎。部署完成后做一次压测重点关注首token延迟和单卡吞吐这两个指标。这条路对新手来说门槛不低本质上是要你同时理解大模型部署流程、芯片算子转换和编译优化。但一旦跑通了你对整个AI算力栈的理解会深很多而且以后再看国产芯片适配的问题基本都能自己判断可行性了。4.2 路线二不折腾硬件用云上昇腾资源直接调API说实话不是每个人都需要自己部署一套昇腾环境。如果你只是想快速验证“同一个模型在英伟达和昇腾上的效果差异”或者单纯想用更低成本跑推理任务走云平台是最省力的选择。目前华为云和几家第三方AI算力平台已经上线了昇腾实例的按需租赁服务。把手上的模型权重传上去平台会提供预置的模型转换和部署工具你可以用图形界面完成大部分操作。这种方案的好处是免去安装维护底软环境的痛苦缺点嘛就是月账单会稍微好看一点——按小时计费的话同样的规格确实比英伟达实例便宜但长期跑的话费用是持续发生的建议按项目周期来做预算规划。另一个思路是用DeepSeek官方或者其他提供昇腾后端支持的API供应商。现在市面上已经出现了不少“昇腾算力API”服务你不需要关心底层到底是GPU还是NPU只需要按Token用量付费。对绝大多数业务场景来说这种接入方式依然是性价比最高、最省心的选择。唯一要注意的是各家API的兼容性问题有些服务只支持官方模型不支持你自定义微调后的权重选的时候要看清细则。4.3 路线三先搞懂“模型路由”和“模型网关”这些新概念还有一个不用碰硬件、但对理解整个格局非常有用的方向研究模型路由。DeepSeek-Harness这个项目本质上是在做“模型层的API路由”这个领域未来两三年会非常热门。它的核心思想是模型不再是你代码里的一个固定依赖而是一个可以通过路由层动态调用的“服务”。你可以做一个很简单的实验用一份开源代码仓库搭一个模型路由层定义两条路由规则简单请求走便宜的小模型复杂请求走贵的大模型。比如把LangChain或LiteLLM架在应用和模型中间配置两三个模型供应商的API密钥让路由层根据Prompt长度、任务类型、费用预算来做自动分发。跑通一遍之后你会发现成本直接下降了30%都不止这就是模型路由的价值。这套东西和华为昇腾的关系在于当路由层成为标准基础设施底层用什么芯片反而是“插件化”的了——你可以在英伟达上跑也可以在昇腾上跑切换成本变得极低。这也正是DeepSeek做Harness的深层动机它要把上游模型和下游芯片彻底解耦让AI应用层不再对任何单一硬件产生依赖。5. 几个值得反复琢磨的延伸问题5.1 华为昇腾的真实水平撇开情绪看技术把华为芯片的真实水平说清楚绕不开一个现实硬件规格和软件生态是两回事。单纯看昇腾910C的纸面算力和显存确实已经摸到了英伟达中高端产品的边能效比甚至有优势。但“跑得动”和“跑得好、跑得省事”之间差距非常大——训练场景下算子复杂度高昇腾的成熟度还不够推理场景则相对简单昇腾已经有了不错的优化空间。这决定了DeepSeek这次适配的实际效果也是分场景的。在推理服务上昇腾完全有能力和中端英伟达产品掰手腕在训练主流大模型上昇腾还需要相当长的追赶过程。我看到有不少测评数据显示昇腾在低延迟、高并发的推理场景里表现稳定性价比优势明显。如果你想用国产芯片做生产级推理服务现在已经到了可以做技术验证的阶段了。5.2 开源社区在这出大戏里扮演的角色这次事件里最容易被忽略的角色是开源社区。DeepSeek-Harness和Hermes都是开源项目这意味着全世界任何一个开发者都可以去研究、去复现、去改进。过去国产芯片生态最吃亏的一点就是闭源——开发者想做适配找不到代码和资料遇到问题也没处查。现在DeepSeek直接把“如何让你家的模型跑上华为芯片”这件事开源等于帮整个社区写了一本参考答案。开源社区还会带来一个更大的变化标准统一。一旦模型适配芯片的流程被沉淀成可复用的工具链这套工具链本身就成为事实标准的一部分。当DeepSeek的模型能同时跑在英伟达和昇腾上其他模型厂商也会陆续跟进适配。这和我前几年做云原生网络设备时的经验很像当开源生态成熟了硬件的定义权就不再掌握在供应商手里了——社区会告诉你芯片只是算力的提供者怎么用好它才是真正的护城河。5.3 业内都在讨论的供应链安全会怎样改变市场逻辑最后说说供应链安全这个绕不开的话题。过去全球大模型公司买算力基本默认英伟达是唯一的供应商“缺货”和“制裁”都只是新闻里的词。但现在越来越多人意识到算力供应链和任何核心供应链一样过度集中本身就是系统性风险。这种风险不会每天都爆发但一旦爆发就是你整个公司业务停摆级别的灾难。这让我想起做基础设施架构时的一个老原则没有冗余就没有可靠性。DeepSeek带头做昇腾适配的意义本质上就是给中国AI产业增加了一个“冗余节点”。即便这个节点现在还没法和英伟达正面匹敌它也为行业提供了一条“真有意外时依然能跑”的退路。只要这条退路存在英伟达在中国的定价策略就不可能太激进整个行业的算力成本也会被控制在合理区间——这才是对普通开发者最好的消息。我个人在三年前就开始接触昇腾生态当时的体验说不上愉快环境配置复杂、文档稀缺、社区冷清走通一个部署流程得熬好几个通宵。但这半年明显感觉到生态在加速成熟尤其是Oj编译器开源之后适配一个大模型的整个过程已经缩短到了可以接受的范围。如果你正在规划明年的技术储备我给的建议是别急着下结论说谁取代谁先把手上的模型在昇腾上跑一遍自己心里就有数了。这次精读复盘写到这里最后再送一个经验当你决定尝试昇腾生态时不要在配置环境的第一个星期就放弃。拿到一张昇腾卡之后先用最简单的样例模型跑通“转换-编译-推理”三连再逐步叠加复杂度遇到报错多搜社区、多看日志慢慢你就会发现这条路没有想象中那么黑。算力多元化的时代刚刚开始多掌握一条技术路线总不会亏。
阅读完成 · 觉得有帮助？
