大模型时代算力基础设施：昇腾AI的守正与开放

1. 大模型淘金热算力才是那把铲子这波大模型的热度用淘金热来形容一点都不夸张。从去年开始模型发布像开了加速一样今天这个厂商放出百亿参数模型明天那个团队亮出千亿参数的训练成绩资本和人才都在往这个赛道里涌。但凡是真正下场做过大模型的人都有一个共识最卡脖子的环节不是算法创意而是算力。训练一个百亿参数的模型通常需要上千张AI加速卡连续跑几十天中途还不能出大乱子。这个门槛把大多数想要尝试的团队挡在了门外。淘金热里真正稳定的生意往往不是淘金本身而是卖铲子、卖水、卖帐篷的。AI时代的铲子就是算力基础设施从芯片、服务器到集群调度、训练框架再到推理加速这一整条链路直接决定了模型能不能训出来、能不能跑起来、能不能规模化落地。昇腾AI这几年做的事情本质上就是把这条链路做得更扎实同时用守正和开放两条腿走路一边修炼内功一边扩大朋友圈。这篇文章不打算做成产品宣传稿而是从一个长期观察AI算力生态的从业者视角拆一拆昇腾AI在大模型时代到底守的是什么正、开的是什么放。顺便聊一些实际选型和迁移的体会。如果你正在评估算力方案或者带着团队做模型应用开发这篇文章应该能帮你建立一个更完整的判断框架。2. 守正把算力的根扎深2.1 芯片设计里的硬取舍专为AI负载打造守正的第一个层面是硬件本身的底子。很多人以为AI芯片就是把一堆小核心堆在一起其实没那么简单。AI计算负载和传统科学计算有本质区别矩阵乘法、卷积这类操作占了绝对大头它们的特点是数据复用性强计算模式规整对单核复杂逻辑要求不高但对大规模并行吞吐要求极高。昇腾系列处理器在设计上围绕AI Core做文章把大量计算单元组织成高密度的计算阵列同时配套高带宽的内存子系统让数据能源源不断地送到计算单元里。这个思路和通用CPU完全不同——CPU追求的是复杂逻辑处理的灵活性和低延迟而AI芯片追求的是单位时间内能吞下多少矩阵运算。真正拉开差距的往往是几个隐藏指标片上缓存的大小、内存带宽、芯片间互联带宽。我打个比方如果把训练大模型比作一条流水线AI Core是工人内存带宽是传送带互联带宽是车间之间的运输通道。传送带太窄工人再能干也是闲着车间之间的通道不畅某个车间堆满了货另一个车间却饿着肚子等料。昇腾芯片在这些维度上的设计决定了它在训练千亿参数模型时能不能把算力喂饱。这里我想多说一句显卡的参数表只能反映理论峰值真实训练场景里算力利用率能到50%以上就算不错了。同样是标称算力接近的两款芯片实际训练吞吐可能差出百分之二三十。差距就藏在缓存命中率、通信同步效率、算子和硬件的匹配度这些没有人写在宣传页上的细节里。2.2 软件栈的积累硬件自己不会发挥性能硬件只是地基真正决定用户体验的是软件栈。这个观点我在各种场合重复过很多次芯片的浮点算力是一回事能不能把算力高效地用出来是另一回事。很多时候一款芯片指标亮眼一跑实际模型就露馅问题几乎都出在软件栈上而不是芯片本身。昇腾AI软件栈的核心是一套异构计算架构它的角色有点像翻译官加调度员把深度学习框架发下来的各种算子调用翻译成昇腾芯片能高效执行的任务同时管理内存分配、数据流、算子调度这些脏活累活。对于使用者来说这套软件栈的成熟度最直观的体现就是算子覆盖率。训练一个当下主流的Transformer模型可能用到几十种到上百种算子只要其中几个关键算子没有优化到位整条训练链路就会被拖慢。算子之外内存管理是大模型训练的隐形胜负手。千亿参数的模型光参数就要占几百GB显存再加上激活值、梯度、优化器状态显存很容易见底。昇腾的软件栈提供了重计算、混合精度、显存优化等默认策略把能省的内存都省下来。这些功能在小规模模型上感觉不明显一旦模型上到千亿参数每一处优化都可能是训练能不能跑下去的生死线。还有一个值得说的点自动调优。昇腾生态这几年在推进算子的自动调优能力遇到不熟悉的算子组合时会尝试多种切分和融合策略实测选最优方案。这个能力虽然不如手工优化来得极致但胜在覆盖面广尤其是对不想一个个算子去手工抠的普通团队来说这种默认就不差的体验远比极限性能重要。2.3 千卡集群的稳定性这才是真正的硬仗如果单卡性能是基本功那么千卡、万卡集群上的训练稳定性才是大模型时代最考验功力的事情。一个千亿参数模型用上千张卡训练一个月期间只要发生一次节点故障、一次通信卡死、一次训练崩溃都可能让整个任务中断。恢复之后要重新加载检查点还要排查根因中间浪费的算力是真金白银的损失。我身边一位朋友做大规模预训练他用某套海外主流方案训一个几百亿参数的模型一个月里因为各种故障重启了十几次每次重启少说浪费几个小时粗算下来约有一成多的算力被白白蒸发。这个例子说明在大模型训练面前稳定性不是加分项而是生死线。昇腾AI在稳定性上的投入方向比较务实定期检查点保存、通信链路的故障检测和自动恢复、资源调度器层面的故障节点剔除与任务重调度。这套能力听起来不性感却是用户真正需要的刚需。很多时候一个平台值不值得用不看你最好的状态能跑多快而看你最差的状态能不能兜住底。守正还体现在不追风口上。大模型火了之后不少厂商忙着发布自家的模型、刷评测榜单、争夺舆论热度。但昇腾AI没有选择下场刷存在感而是专心把算力平台做扎实让别人的模型能稳定地训出来、高效地跑起来。这个选择在热闹的行业舆论里显得有些笨但算力基础设施的核心价值从来不是让自己出风头而是让用户成功。3. 开放把生态做活3.1 硬件形态的开放给不同的场景不同的工具开放的第一个层面是硬件产品的形态多样化。昇腾AI没有只做一款芯片然后逼所有人都用它而是围绕真实场景把产品线铺开面向大规模训练的高算力加速卡面向在线推理的高性价比加速卡面向边缘场景的低功耗小站设备。这个策略的优点在于给下游留了选择空间。做千亿模型训练的团队可以组大规模训练集群做在线推理服务的业务每天百万级请求不需要训练那么强的卡用推理卡控制单位成本更划算工厂、园区、门店这类边缘场景要在本地跑视觉模型低功耗小站比数据中心里的大家伙合适得多。硬件形态开放带动的是一整条产业链的参与机会。服务器厂商可以在昇腾板卡的基础上设计自己的整机产品云服务商可以搭建基于昇腾算力的云资源池行业方案商可以在上面开发面向金融、政务、制造等具体行业的解决方案。每个环节的伙伴都在里面找到了自己的位置生态的厚度才会不断累积。3.2 软件生态的开放兼容主流框架是入场券软件层面的开放最核心的一件事是兼容主流AI框架。我接触过很多开发者提到国产AI芯片的第一反应都是迁移成本太高了现有代码是不是全要重写这个担忧是合理的。如果底层软件完全不兼容主流框架开发者几十年积累的代码、习惯、社区经验全部失效任何团队都承受不起这个代价。昇腾AI很早就意识到了这一点所以在异构计算架构上做了对主流框架的适配支持。开发者的训练脚本主体不需要动通过适配层和转换工具就能把模型迁移到昇腾芯片上跑。很多主流模型结构用自动迁移工具转换一遍之后通常只需要手工处理少量行为不兼容的算子。这里我要说句公道话兼容绝不等于零成本。实际迁移过程中你还是会遇到算子实现细节不一致、内存占用习惯不同、调试信息风格陌生这些麻烦。但比起把代码推倒重来这个成本已经低了一个数量级。而且生态在快速成熟越来越多公开的模型仓库直接提供了昇腾版本的配置用户连迁移都省了拉下来配置好环境就能跑。3.3 算力供给与开发者生态的开放开放的第三层是算力供给方式的多元化。昇腾AI在推的不只是卖硬件这一条路还包括云上的算力资源、软硬一体机、行业解决方案等多种交付形态。云上算力资源尤其重要——不是每个团队都有预算自己买上千张卡很多创业团队和高校实验室需要的是按需租用、用完即退的弹性资源。云上的昇腾算力给了这些用户一个低成本试错的机会。对做模型应用的企业来说算力供给的多元化还有另一层价值多一种选择就多一张议价的牌。过去一段时间AI算力资源紧张不少团队排队等主流的GPU资源一等就是几周。昇腾算力作为补充路径让一部分对算力有刚需的团队不至于干等。开发者生态的开放同样关键。昇腾这些年一直在搭社区、出文档、办开发者活动、推认证体系。这块投入短期内看不到直接回报但长期价值巨大——开发者的使用习惯一旦形成就会变成生态的护城河。另一个容易被忽略但很重要的动作是标准和规范的推进接口怎么定义、测试怎么通过、认证怎么评估这些规则越清晰合作伙伴对接时就越高效。开放不是放任自流规范和标准清晰了协作反而更顺畅。4. 从淘金到卖水机会与挑战并存4.1 大模型带来的新增量在哪里这波大模型热潮给算力基础设施带来的增量不只是训练集群更大的增量在推理和行业落地。随着开源模型越来越多很多企业并不打算从零训练一个模型他们更关心的是怎么把现成的模型用在自己的业务场景里。在线客服、内容生成、代码辅助、文档审核、智能质检每一个落地场景背后都是持续不断的推理调用。训练需求和推理需求有本质差异。训练是阶段性的峰谷负载推理是平稳持续的流量训练追求峰值算力推理更在意响应延迟和单次调用的单位成本。昇腾在推理产品线上的思路正是通过软硬协同加速把单次推理的成本做低让企业规模化部署时账算得过来。行业落地的机会同样在放大。金融、医疗、制造这些行业对数据安全的要求很高很多场景要求模型和算力都留在本地不能往云端送。这种本地化部署的需求恰好是昇腾这种拥有从芯片到整机再到软件栈全栈能力的玩家能真正发力的阵地。4.2 生态迁移始终是最大的硬骨头说实话算力平台替代这件事最难啃的不是硬件性能而是生态惯性。开发者用惯了某套主流GPU方案工具链、调试习惯、踩坑经验、社区里现成的答案都已经形成了肌肉记忆。换一套底层芯片哪怕迁移工具再智能遇到问题时的排查路径也要重新摸索一遍。这个问题的本质是网络效应用的人越多踩过的坑越多沉淀下来的解决方案越丰富新用户上手的门槛就越低。昇腾生态目前处于一个跨过了初期门槛但还在爬坡的阶段。好消息是趋势在往好的方向走越来越多的训练案例、故障排查经验开始在网上出现坏消息是和那个积累了十多年的主流生态相比方案沉淀量还有肉眼可见的差距。我的判断是未来两三年是一个关键窗口期。如果昇腾AI能持续把迁移工具的自动化程度提上去把算子覆盖率做到主流模型常见结构的全覆盖把调试和运维体验尽量贴近开发者已有的习惯那选择它的团队会快速增加。如果这波窗口错过后面再追赶会更费劲。4.3 守正与开放的平衡艺术昇腾AI的守正和开放表面上看是两种不同的气质实际上是一体两面。守正解决的是我能提供什么把芯片架构、软件栈、训练稳定性这些基本功练扎实这是立身之本。开放解决的是我能和谁一起做什么把硬件形态、软件接口、算力服务都打开让更多伙伴和开发者进入生态一起把蛋糕做大。难点在于守正和开放之间其实存在张力。开放意味着让渡一部分控制权意味着要去兼容别人的标准、适配别人的习惯守正则要求坚持自己的核心方向不能为了迎合谁就把技术底座的优势丢掉。这个度怎么拿捏相当考验战略定力。从目前看到的路径来看昇腾AI选择了一条比较清晰的边界核心的芯片架构、计算架构牢牢掌握在自己手里这是命根子外围的整机集成、行业应用、服务交付全面开放让生态伙伴去创造价值。守住的是地基的标准开放的是地上建筑的空间。这个边界划得清楚各方也更容易找到自己在生态里的角色。5. 给准备选型的人三条实操建议5.1 先想清楚自己的需求再谈选型如果你正在考虑要不要拥抱昇腾AI我的第一条建议是先别被情绪带着走把自己的需求掰开揉碎看一遍。你是要做大规模预训练还是做领域模型的微调或者只是做推理部署这三类需求对算力平台的要求差别很大。我做了个简单的对照表方便你快速判断自己在哪个象限需求类型核心关注点对算力平台的要求当前昇腾方案的适配度大规模预训练集群规模、互联带宽、长稳运行千卡级分布式训练能力、故障恢复能力高但需要专业的集群运维能力领域模型微调生态兼容度、上手速度主流框架适配、迁移工具成熟度较高迁移路径已有成熟案例推理部署单次调用成本、响应延迟推理性能、单位成本优化高性价比优势明显边缘与本地化数据安全、离线运行低功耗设备、本地部署能力高产品线覆盖完整这个表不绝对但至少能帮你明确自己该把考察重点放在哪里。预训练用户应该多关注集群调度、通信优化这些深水区能力微调用户应该多测迁移工具的真实效果推理用户应该拿真实流量做压测别只看标称性能。5.2 迁移过程要做好预期管理真到了迁移这一步千万别人云亦云以为一键搞定。我见过不少团队前期被迁移工具的宣传打动实际动手才发现自动转换完之后还要手工调整一批算子原本排期一周的事情拖成了三周。这个问题不是昇腾独有的任何异构平台迁移都会遇到但很多人真到了自己头上才反应过来。实操上我建议先挑一个业务链路相对简单、不直接对外的模型做试点跑通整个流程之后再逐步扩大范围。试点过程中把每个踩到的坑记录下来形成团队内部的知识库。迁移工具解决的是共性问题那些因你的模型结构特殊而出现的个性问题只能靠自己的排查能力和经验积累来补。另外一个容易踩的坑是环境变量和系统工具的差异。换平台意味着训练的监控告警、日志采集、资源管理工具都可能要跟着换。不要小看这些周边配套它们决定了你日常运维的效率和团队的工作习惯。选型的时候除了芯片性能这些软配套的成熟度同样要纳入评估。5.3 平台稳定性是养出来的最后想聊一个容易被忽视的认知平台的稳定性尤其是大规模集群的稳定性是靠长期实战养出来的。同样是训练任务为什么有的团队跑起来丝滑无比有的团队总是出各种幺蛾子除了运气成分更多是对平台特性的熟悉程度差异。通信拓扑怎么配置最合理检查点间隔设置多长最合适故障恢复脚本怎么写才靠谱这些经验没有哪本手册能写全必须在一场场实战里慢慢攒。所以我建议团队里至少要有一到两个人专职研究算力平台本身的特性而不是把经验都留在临时参与的开发同学脑子里。平台选型是起点而不是终点真正决定项目最终成败的永远是你在选定平台上把细节做好的能力。我在长期观察昇腾生态的过程里最大的感受是这个体系正在从一个被动接受质疑的阶段转向主动用实际案例证明自己的阶段。守正让它有了站得住的底气开放让它的朋友圈越来越大。这条路最终能走多远不取决于发布会说了什么而取决于在一线用户那里解决了多少真实问题。从目前接触到的实际反馈看趋势是积极的——而对所有从业人员来说多一个认真做事的算力选择总归是件好事。