★ FEATURED ARTICLE 直接说结论吧这次在上海举办的AI芯片峰会看完整场下来脑子里只有一个感受——AI芯片的竞争已经彻底从纸面参数卷到了系统级落地。如果你没来现场光看新闻稿里那些“性能提升XX倍”“算力密度再创新高”的数字我建议先别急着兴奋因为那些指标只代表实验室里的理论峰值而真正决定你产品能不能用、能用多久、成本压不压得住的恰恰是新闻稿里很少展开的东西互联、内存、软件工具链和场景适配。这里先交代一下背景方便对号入座。这场峰会的核心议题围绕大模型训练与推理、端侧部署、智算中心集群调度、以及AI芯片在具身智能和自动驾驶中的落地展开参展和演讲的厂商覆盖了从云端训练芯片、边缘推理芯片到存算一体、光互连等前沿方向的完整链条。来听的人主要分成三类第一类是正在做算力选型的技术负责人想搞清楚下一代芯片到底该押注哪个方向第二类是行业集成商和应用开发者他们关心的是手里的模型换到新芯片上要改多少代码、性能能吃掉多少第三类是投资人和产业研究从业者重点是判断哪些技术路线是真趋势、哪些只是表演。不管你是哪一类这篇内容的价值在于我不打算按议程复述谁讲了什么而是把现场反复出现的信号、展台背后的技术逻辑、以及大家私下交流时提到的坑和机会整理成一份决策参考。尤其是那些官方PPT里不会写的东西——比如某类架构虽然峰值算力很猛但实际跑大模型时内存带宽先撑不住了再比如互联生态的绑定逻辑其实比芯片本身更影响你的长期选择。这些才是没来现场的人最该补的课。1. 现场释放的三大关键信号算力叙事已经切换1.1 从“单卡跑分”到“系统算力”的集体转向这次峰会一个非常明显的变化是几乎没有人再单独强调单颗芯片的FP16或INT8峰值数字。过去几年大家习惯了看稀疏化算力、张量核心数量这些指标但这次现场所有主流厂商的演讲PPT里“系统有效算力”“集群线性扩展效率”“单位Token成本”这类词的出现频率远高于单卡峰值跑分。这不是说峰指不重要了而是当所有头部芯片的峰值算力都已经逼近物理极限附近时单卡数字对用户的实际收益已经没有当年那么大的区分度。举个现场听到的真实反馈某家大模型创业公司的CTO在圆桌讨论上说得很直白他们内部测试过两款纸面算力几乎一样的芯片一款跑7B模型的单Token延迟是另一款的1.7倍原因很简单——后者虽然算力足够但内存带宽和片上SRAM容量拖了后腿导致实际计算单元大量时间在等数据搬运。这个例子在现场引发了大量共鸣因为很多人都有过被“跑分陷阱”坑过的经历。所以这次峰会的第一个关键信号可以理解为行业已经集体意识到大模型时代真正决定芯片好不好用的指标变成了“单位算力能喂进去多少数据、数据搬运够不够快、多卡扩展时性能损耗有多少”。这也是为什么现场关于HBM高带宽内存、CXL互联、片间光互连的讨论密度空前高涨。如果你现在还在只盯着TOPS和TFLOPS做选型大概率要踩坑。另一个值得注意的细节是现场某家做推理加速卡的厂商展示了一个很直观的演示用同一颗7B模型跑一段连续对话分别对比他们在关闭和开启内存优化前后的功耗与延迟曲线。同样一颗芯片仅靠优化数据流调度端到端吞吐提升了接近40%。这说明即使在现有硬件不变的前提下系统的潜力还远没有榨干芯片之间的差距很多时候其实是系统工程的差距。1.2 场景分化加速训练、推理、端侧开始走上完全不同的技术路径两年前大家讨论AI芯片时普遍默认的思路是一款通用芯片通吃训练和推理。这次峰会上这种“一招鲜”的思路几乎销声匿迹了取而代之的是明显的场景分化。训练端大家拼的是集群规模和互联效率推理端拼的是单Token成本和并发吞吐端侧则更极端拼的是能效比和内存占用。训练端的焦点高度集中在张量并行和专家并行的通信开销上。现场有厂商给出了一组数据在千卡规模的训练集群中通信时间占整体训练迭代时间的比例普遍在30%到50%之间这个数字在万卡规模下还会进一步恶化。换句话说训练芯片性能再翻倍如果互联带宽和通信库不跟上集群整体收益也会被削掉大半。推理端的风向标则是FP8和FP4低精度推理的工程化落地。现场好几个展台都在推“低精度推理全栈方案”核心思路是既然生成式推理的算力需求大部分集中在访存密集型的解码阶段用更低精度配合更大的Batch Size能直接把单位Token成本往下打。有个做推理优化的公司现场分享了一个案例他们在自家芯片上把某个开源模型的KV Cache做了量化压缩和重排内存占用降低了45%整体吞吐提升接近两倍模型质量损失控制在可接受范围之内。端侧AI芯片的展区则完全是另一番景象大家关注的焦点已经从“能不能跑大模型”变成了“怎么把7B甚至14B的模型塞进8GB内存里还能保持流畅对话”。现场不止一家展示了权重稀疏化、4bit量化、激活卸载等组合拳甚至有厂商直接把“内存墙”写在展台主题上直言未来几年端侧芯片的竞争核心是存储架构而非计算单元。这些分化趋势对普通开发者意味着什么我的判断是以后不会再有一个“最好的AI芯片”这种通用答案只有“最适合你场景的AI芯片”。做训练的要关注集群通信效率和框架适配深度做推理的要精算性价比和内存带宽做端侧的要盯着能效比和量化支持度。选型的评估维度已经完全不一样了。2. 交流中隐藏的核心痛点互联生态与内存墙才是真正的战场2.1 互联协议比芯片本身更深的绑定逻辑峰会现场专门设置了互联技术的论坛这个议程安排本身就说明问题。过去大家讨论芯片互联普遍默认就是PCIe顶多再加上一点NVLink的对比但今年现场花了大篇幅聊对标NVLink的新一代高速互连协议、CXL内存池化和光互连让我明确感觉到行业的焦虑点已经从“单芯片有多强”转移到了“多芯片怎么高效协同”。为什么要单说互联直接说结论在大模型训练场景里当参数规模超过单卡显存后张量并行带来的通信开销就是整个训练效率的头号瓶颈。现场一位做大规模训练框架的工程师给了一个很形象的类比——如果把训练集群比作一支施工队芯片性能就是每个工人的熟练度互联协议就是工人之间的对讲机效率。你的工人再熟练如果对讲机一天到晚掉线、传话效率低整个施工队也只能干瞪眼。这也解释了为什么现场几乎所有头部互联方案都在强调低延迟、高带宽、可扩展性。某个展台提供了一张对比表格在同一集群规模下采用新一代高速互联协议相比传统方案在千卡规模下能把集合通信的时间缩短接近一半。这意味着如果你的模型足够大、集群规模足够高互联方案的选择对训练效率的影响甚至可能超过芯片本身这一点是需要很多正在自建智算中心的技术负责人认真考虑的问题——选了一家的芯片大概率后续很多年都要跟着这一家的互联生态走因为互联协议和通信库的绑定度极高迁移成本远超换一张卡的代价。另一个容易被忽视的细节是互联功耗和散热。现场有厂商提到在48U机柜里放满加速卡后互联交换芯片的功耗已经不可忽略整体功耗预算的规划必须把互联部分的散热留足余量。这方面最稳妥的建议是在规划数据中心时不要只按GPU或加速卡的热设计功耗TDP做功耗测算一定要把配套交换机和光模块的功耗一并纳入计算而且预留未来扩展到更大规模时的余量否则后续会非常被动。2.2 内存墙决定大模型体验的隐形天花板如果说互联是集群层面的瓶颈那内存带宽和容量就是在芯片内部卡脖子的因素。大模型推理时的Token生成速度、可以支持的上下文长度、能容纳的Batch Size上限这些用户感知最强的指标几乎全部由内存系统决定而算力本身在这个环节反而经常处于闲置状态。峰会现场有个让人印象很深的数据某厂商在展示自研推理芯片时专门贴出了一张内存带宽和算力比值的趋势图结论是过去三年算力的增长速度远快于内存带宽的增长速度两者的剪刀差还在持续拉大。这个趋势的直接后果就是很多时候芯片算力是够的但数据从HBM搬运到计算单元的速度跟不上计算单元只能干等整体利用率远低于理论值。现场甚至有嘉宾直言未来两到三年谁能先把内存墙的痛点解决好谁就能在推理场景建立代差级别的体验优势。基于现场听到的方案来看行业目前大致有几个主流的破局思路。第一个是加大HBM容量和带宽但代价是成本极高而且HBM产能本身也受限。第二个是改变数据流架构比如在芯片上堆更大的SRAM缓存通过提高数据复用率来减少对HBM的访问次数这个思路在推理场景效果明显但对编译器调度能力要求非常高。第三个是CXL内存池化把内存从单一芯片中解放出来做成资源池按需分配但目前还面临延迟偏高和软件生态不成熟的问题。对做应用开发的读者来说这些底层架构的技术路线选择短期来看未必需要你亲自下场解决但了解这些约束能帮你做很多重要决策比如在评估模型部署方案时如果目标芯片的内存带宽一般你就得考虑是不是该用更小的Batch Size来保时延或者用上下文缓存来减少重复计算再比如做长上下文场景时一定要提前评估芯片的KVCache容量能扛住多长的序列而不是只在模型层面动脑筋。3. 产业落地与工具链决定AI芯片能否真正“好用”的胜负手3.1 软件生态的成熟度正在取代硬件指标成为选型首要因素这一part可能是没来现场的人最容易低估的部分几乎每一场芯片厂商的演讲花在软件工具链上的时间都超过了硬件架构介绍。为什么会出现这种变化核心原因是行业付出了惨痛教训后达成的共识芯片流片成功只是万里长征第一步如果编译器的算子映射效率不高、推理引擎对主流模型的适配不支持、调试工具链不顺手用户在开发者社区骂几句都还是小事真正的问题是产品在客户现场跑不出预期性能最后只能被弃用。现场某家做AI芯片软件栈的厂商展示了一个数据很有说服力他们针对主流开源大模型做了优化后模型的单Token生成性能提升了接近三倍而这三倍的提升完全来自软件层面的算子融合和内存复用优化一行硬件改动都没有。这个例子把“软件定义芯片性能”这件事说得非常清楚芯片的纸面算力再高如果软件栈调度不好峰值性能也只存在于PPT里反过来软件栈做得扎实的芯片即使硬件指标不是最突出在真实负载下也经常能打出逆风局。对于正在做技术选型的团队我的建议非常直接性能评估一定要跑真实模型而且要跑你准备上线的真实业务负载。厂商提供的标准benchmark大多经过反复调优代表的是理想情况。你要做的是拿自己的模型、自己的数据分布、自己的并发模式在候选芯片上做端到端的对比测试特别要关注第一轮性能和稳定性能的差距因为很多芯片在持续运行时会有明显的性能衰减而这种事不做长稳测试根本发现不了。此外调试和性能剖析工具的完善度也应该是核心评估维度。现场好几个开发者吐槽过某款芯片的算子开发环境难用一个简单的定制算子要折腾好几天才能调通而竞争对手的工具链半小时就能搞定。这个差异在项目交付节奏紧张的时候会被无限放大所以在选型时务必花一到两周时间让团队实际试用开发工具链不要只看文档和演示。3.2 现场展示的“全栈交付”趋势正在抬高行业门槛这次峰会另一个特别明显的信号是芯片厂商已经不满足于只卖硬件而是开始强调“交钥匙”方案。比如现场有厂商直接展示从模型部署到应用对接的完整流程一键完成模型格式转换、量化、编译、部署并提供完整的监控运维看板。这种全栈化的趋势背后其实是市场竞争倒逼的结果——如果只交付裸芯片用户驾驭不了最后还是会怪到芯片头上所以厂商只能自己下场把最后一公里的体验做好。但对用户来说这种趋势有利也有弊。利的一面是入门门槛大幅降低即使是软件能力不太强的团队也能快速把模型跑起来弊的一面则是绑定程度变得前所未有地高。一旦你用了某个厂商的部署工具链导出并优化了模型后续升级模型版本时如果继续依赖这套工具就很难无缝切换到别的芯片平台会产生事实上的生态绑定。所以我的建议是除非你的团队完全没有人力和时间去做底层适配否则不管厂商的工具链多完善都要至少保留一套自行维护的部署流水线作为Plan B。模型格式尽量用行业标准格式比如ONNX等避免在早期就被私有格式锁死。至少要确保核心部分不深度绑定单一厂商的专有接口保留未来在多个硬件平台间迁移的主动权。软件工具链领域还有一个被反复提及的痛点是人才稀缺。现场有HR背景的从业者跟我交流时说现在最难招的不是芯片设计工程师而是熟悉异构计算和并行编程的软件工程师。这也侧面说明了整个行业的人才结构正在从硬件主导转向软硬协同。对于打算进入这个行业的年轻人来说这其实是个值得关注的方向性信号——补好C、CUDA或者同类异构编程模型、计算机体系结构这些底子职业竞争力会比单纯懂某个框架调用强很多。4. 关于“AI芯片下一步”从投资与产业视角看趋势判断的几条线索4.1 云侧、端侧与具身智能三条腿走路的产业格局覆盖了几乎所有增量空间这一届峰会几乎没有厂商还在讲“做一个通用AI芯片通吃所有场景”的故事取而代之的叙事是找准根据地、围绕场景纵深做透。现场来看产业聚类的三条主线非常清晰。第一条是云侧高算力市场主要服务智算中心和公有云大厂拼的是超大集群规模下的训练效率和单位算力成本。这个市场的客户高度集中但进入门槛极高不仅要有过硬的产品更要有持续烧钱迭代的能力还需要有足够大规模的落地验证。第二条是端侧和边缘侧市场也是现场人气最高的展区之一。随着手机、PC、汽车、IoT设备对本地化AI能力的需求爆发端侧芯片的想象空间被打开了。现场展示的AI手机、AI PC以及搭载大模型能力的智能座舱方案跑起模型来已经相当流畅。这个市场的竞争核心是能效比和成本以及跟终端品牌客户的深度绑定能力。第三条是具身智能和机器人方向这几乎是今年新增的最热门叙事。现场专门设置了机器人相关论坛讨论的焦点从视觉感知模型一直延伸到运动控制所需的实时推理算力。这个场景对芯片的需求和传统云端完全不同功耗敏感、时延要求极高、需要支持多种异构传感器的实时融合而且部署环境复杂对可靠性要求甚至高过性能本身。这三条线对从业者意味着什么对芯片公司来说选对赛道比做好芯片更重要因为不同赛道的客户需求、验证周期、毛利率和竞争格局差异极大对下游应用团队来说跟对生态比选对芯片更关键因为芯片性能再强如果整个生态里缺少成熟的参考方案、开发社区和供应链支撑落地时依然寸步难行。4.2 从生存到赚钱AI芯片商业模式正在经历一次残酷的回归听了一整天之后我最大的感受是AI芯片行业的叙事正在发生一次非常彻底的回归从“讲故事的估值逻辑”回归到“讲现金流和毛利分的生意逻辑”。前几年大家看AI芯片公司主要看技术指标有没有对标国际旗舰产品、融资速度够不够快、团队背景够不够亮眼今年现场私下交流时大家聊得最多的话题变成了“毛利分到底有多少”“客户复购率如何”“供货稳定性能不能保证”这些全是制造业和商业层面的经典问题。这种转变其实反映了行业已经进入淘汰赛阶段单纯靠融资驱动的公司开始撑不住能从客户手里持续收到钱的公司才有资格留在牌桌上。现场某位嘉宾在演讲中说得比较直白AI芯片不是互联网流量生意它是重资产、长周期、强供应链的硬科技制造业最终比拼的是成本控制能力、供应链管理能力和客户服务能力缺一不可。对做投资或创业方向选择的读者来说这个观察想提醒的是评估AI芯片项目时市场占有率、毛利结构、供应链安全度才是值得长期跟踪的核心指标。而技术指标上的领先在缺乏商业验证的前提下暂时只能看作一个必要条件而不是充分条件。另外还有一点值得所有下游用户关注随着竞争进入后半场芯片的价格策略和供货策略会直接影响你的产品成本。现场就有做服务器的朋友分享说现在采购芯片不仅要评估性能和软件还要考察厂商的长期供货承诺、涨价政策甚至是RMA流程的顺畅程度。这些细节在项目顺利时不会觉得有多重要但一旦出货高峰期遇到供应问题差别就是天堂和地狱。这次峰会现场还流行一句话“卖铲子的人比淘金的人更早赚钱但也更早开始卷。”对这一轮AI芯片创业者来说能不能熬过这个卷的周期才是真正决定成败的分水岭。5. 现场经验笔记给后来参会者的几条避坑心得5.1 技术展示的“水分”怎么看如何高效获取有效信息每次参加这类峰会都会被各种夸张展示包围这次也不例外。关于怎么从展台和演讲里筛出有效信息基于我这次踩过和旁观到的坑有几个具体方法可以直接拿来用。第一个办法是看演示时盯住三个细节延迟曲线是否平稳、单次推理耗时波动有多大、在持续运行至少十分钟后性能有没有明显衰减。很多展台的演示是预先录好的短视频或者只跑一两轮就切走这种基本不具备参考价值。真正心里有底的厂商才会在现场做长时间连续负载演示而且敢把监控数据公开在屏幕上。第二个办法是主动问“最坏情况”。展台工作人员通常很乐意讲最佳性能但你一定要追问批量大小减半时吞吐会掉多少上下文长度翻倍时延迟会恶化到什么程度并发用户数超过某个阈值后会不会有性能悬崖这类问题能帮你快速判断这个方案的真实适应范围也往往能问出一两个讲稿上不会出现的坦诚回答。第三个办法是到场之后先别急着看展台先去听那些听起来最“不性感”的议题比如工具链优化、运维实践、容量规划这些方向。真正有价值的干货往往藏在这些看起来平平无奇的分享里因为越是贴近落地场景的话题分享者越需要拿出真实数据和案例来支撑注水量天然要少很多。5.2 社交比听会重要饭桌比主会场信息密度高对多次参加这类活动的老手来说这几乎算是公开的秘密了峰会主会场的信息在会后一周内基本都会通过公开渠道流出来但真正有价值的信息差往往发生在茶歇区、展台角落和晚宴饭桌上。这次现场跟几位做算力基础设施的同行交流听到不少公开报道不会写的东西某家新芯片在真实客户环境里跑某主流模型时遇到了严重的兼容性问题某个互联方案在特定交换机搭配下出现了大规模丢包某家头部云厂商内部已经对某一类架构的技术路线产生了分歧。这些信息当然未必完全准确也带有个体视角的局限性但它们至少能帮你在大方向上建立一种“行业直觉”——哪些路线正在被大客户排斥哪些方案在暗地里已经积累了口碑哪些承诺听起来过于美好以至于需要警惕。这种直觉很难从新闻稿或者报告里获得只能靠长期泡在行业一线多跟真正干活的人交流才能逐渐沉淀下来。所以我的建议是如果你是抱着学习行业动向的目的参会千万不要只当一个听众要合理安排时间留出足够的社交余量。在主会场获取知识框架在展台和饭桌验证真实水温两件事同样重要。6. 附本次峰会讨论中被反复提及的几项关键技术路线速览技术路线核心解决的问题现场讨论热度落地成熟度新一代高速互联协议多卡训练通信瓶颈、集群扩展效率极高中高头部厂商已量产导入HBM高带宽内存与存力优化内存墙、推理时延与并发吞吐极高高但成本和产能受限低精度推理FP8/FP4单位Token成本、推理吞吐量高中高需配合量化补偿技术CXL内存池化内存利用率、资源动态分配中高中低标准化仍在推进光互连方案超大规模集群的通信能耗与时延中低处于POC和小规模验证阶段端侧模型压缩与异构调度端侧大模型落地、内存占用优化中高中方案集成度还有提升空间关于这些路线的短期判断我比较认可现场一位嘉宾的说法未来两年决定AI芯片竞争格局的大概率不是某一种全新的计算架构横空出世而是这些相对成熟的技术路线在工程化落地上谁做得更扎实。也就是说技术革命的故事可能暂时告一段落接下来是硬碰硬的工程优化和成本控制阶段。我个人的体会是参加完这次峰会最大的收获不是记住了多少新名词而是再次确认了一个朴素的规律AI芯片这个行业最终比拼的还是谁能把最多环节的工程细节打磨到位。从架构设计到软件栈从互联部署到客户支持每一个环节的短板都可能成为木桶上那块致命的缺口。对从业者来说与其追逐每次峰会上的新概念不如把手头产品的真实性能、稳定性和交付体验做到极致这才是穿越周期最可靠的路径。
阅读完成 · 觉得有帮助？
