★ FEATURED ARTICLE 最近这段时间AI芯片几乎是整个科技圈绕不开的话题。上海这场AI芯片峰会办下来朋友圈里好几个人都在刷但也有很多朋友没来得及到场。有人直接问我“现场到底聊了什么值不值得遗憾”这篇复盘就是专门写给没来现场的人把我在会场听到、看到、感受到的增量信息整理成几条清晰的主线尽量还原峰会上的真实状态而不是复读新闻通稿。内容会更适合关注算力基础设施的技术决策者、研究AI芯片方向的同学以及想看懂产业趋势但对硬件不太熟悉的从业者。1. 现场氛围与议题主线这场峰会真正在讨论什么先说会场本身。今年这届上海峰会给我的第一印象是“拥挤”。主会场的热门场次基本满座过道里都站着人展区里的Demo机被围得水泄不通。门口签到排队的队伍里既有穿工牌背心的芯片工程师也有背着双肩包的投资机构分析师还有不少做算法和应用层的研发。这种人员构成本身就很说明问题AI芯片这件事已经不再是半导体圈子的内部话题而是整个AI产业链都在关注的共同底座。本届峰会的议程设置也很能体现行业当前的关注焦点。我梳理了一下讨论最多的几个方向包括大模型参数扩张背景下芯片架构该往哪里走、训练和推理需求的逐步分化、HBM和先进封装带来的系统级瓶颈、以及能效比和功耗密度对数据中心设计的冲击。这和我前两年参加的同类峰会相比最大的变化是大家不只在拼峰值算力而是开始认真讨论“系统效率”和“实际跑起来的花费”。另外一个明显的信号是参展商结构变了。以前以GPU厂商和加速卡厂商为主今年明显看到更多存储、封装、液冷散热、电源管理和光互连厂商。这说明AI芯片产业的竞争已经从单一芯片扩展到了整个“算力系统”的维度。芯片本身再有优势如果内存带宽跟不上、散热扛不住、互联撑不起集群规模照样在真实场景里发挥不出效果。展区里还有一个很值得注意的细节不少厂商不约而同地现场演示了“跑大模型推理”的场景而不是像过去那样只跑基准测试。这个变化背后是真实的客户需求——大家买AI芯片就是为了跑大模型衡量标准很直接多少吞吐、多少时延、多少瓦。我甚至看到一个展台直接用同一批A100和自家芯片做对比直观展示端到端推理性能。这种对比在早几年是很少见的因为芯片厂商通常更愿意展示理论峰值而现在客户越来越精明都在要求看实际效果。2. 大模型倒逼架构变革瓶颈从“算得快”转向“喂得饱”2.1 大模型训练的真正难题正在转移很多没深入研究过AI芯片的人对芯片的理解还停留在“算力强不强”上觉得GPU卡越贵、TFLOPS越高就越好。但这次峰会上多场演讲都指向同一个结论大模型时代的核心矛盾正在从“算得更快”变成“喂得饱”。这里有个直观的类比可以把AI芯片想象成一家餐厅的后厨计算单元CUDA Core/NPU核心是灶台和厨师算力峰值就是厨师手速的极限。但一道菜能不能快速出餐不仅取决于厨师手速还取决于配菜师傅能不能及时把食材递过来、传菜员能不能把菜送出去。在大模型训练中这个“配菜师傅”就是内存带宽“传菜员”就是芯片间的互联总线。如果带宽跟不上再厉害的算力核心也只能空等数据到来。实际表现就是大家常说的“利用率上不去”。现场有位做分布式训练的工程师分享了一组数据在训练千亿参数模型时集群中纯计算之外的时间占比往往相当可观尤其是在MoE架构下All-to-All通信会让互联带宽成为最重要的约束条件。这意味着大模型规模越往上走内存和通信反而比计算单元更早触及天花板。2.2 MoE、KV Cache与推理阶段对硬件的新要求大模型架构本身的变化也在反过来推动芯片设计。峰会针对性讨论最多的是三个词MoE混合专家、KV Cache、以及长上下文。MoE模型虽然总参数量很大但每次推理只激活其中一小部分专家模块。这种“稀疏激活”特性看起来应该更省算力但代价是专家之间需要频繁做路由通信对互联和内存带宽的要求反而更高了。所以单纯堆算力没用硬件的通信拓扑和带宽分配才是决定MoE推理效率的关键。KV Cache则是另一个隐形吞噬者。长上下文场景比如读几十万字文档、做超长视频理解下KV Cache占用的大量显存直接推高了单用户推理成本。现场多位演讲者提到KV Cache的显存需求已经成为推理芯片设计中必须优先考量的参数这也解释了为什么今年很多新品都在拼命扩大片上缓存、优化访存路径而不是一味提高峰值算力。我个人的体会是看一款AI芯片到底适不适合大模型不要只看FP16算力还要看内存容量、内存带宽、片间互联带宽和能效比这四张表。这是这次峰会反复被强调的选型逻辑。3. 云端赛道分化训练、推理、训推一体开始走不同的路3.1 推理专用芯片不再是“配角”峰会上一个讨论度很高的板块是关于推理芯片的。过去几年云端市场几乎是通用GPU一家独大但今年明显能感觉到推理专用加速器的存在感强了很多。原因也很简单推理是当前AI应用商业化最直接、用量最大的环节而用一千瓦功率的大卡去跑高频低量的推理请求在成本上是浪费的。有嘉宾算了一笔账某个日活过千万的AI应用如果全部用顶级GPU跑推理月成本会高到让产品难以盈利。但如果换用专为推理设计的芯片利用量化、稀疏化、专用矩阵乘法阵列等手段每Token成本能做到一个数量级的下降。这个账一算清楚推理专用芯片的需求自然就立起来了。对于推理芯片关键指标和训练芯片完全不同。我在这届峰会上听到了一个很精辟的总结训练看吞吐推理看三件事——时延、吞吐密度和每瓦性能。如果用表格对比一下会更清楚指标维度训练场景侧重推理场景侧重吞吐量整集群算力吞吐单卡并发在线请求数时延不敏感离线极敏感在线交互内存带宽极高要求由KV Cache决定需求能效比重要但相对宽容直接决定单位成本互联能力集群互联是刚需单卡/边缘场景要求低这种分化背后是真实商业模式的不同训练是一次性投入推理是持续运营成本。所以前者更看重“规模跑得多快”后者更看重“单位成本内能服务多少用户”。3.2 训推一体芯片为什么有人买账不过峰会上并没有一边倒地追捧推理专用芯片。几个圆桌里都有嘉宾提到纯推理芯片的市场虽然增长快但有一个天然短板迭代快的大模型经常需要快速微调和定制如果芯片只支持推理客户的灵活性会受影响。因此“训推一体”成为今年展会上的高频词。所谓训推一体简单说就是同一颗芯片既做训练也做推理硬件的算子覆盖和能力配置向两端兼容。对于很多中腰部云厂商和大企业私有化部署来说这种方案的吸引力在于弹性算力资源可以在训练和推理之间动态调配不至于因为业务形态变化导致硬件闲置。但训推一体也有代价。专用性下降往往意味着性能折衷就好比一台既能越野又能下赛道的车两边的极致性能都比不过专门的车型。现场有从业者的观点是未来云端市场大概率会出现“通用训练卡 推理专用卡 训推一体卡”共存的格局按不同业务场景和成本结构各取所需。4. 带宽与封装比晶体管更现实的两道紧箍咒4.1 先进封装为什么今年被反复提起如果说摩尔定律的“甜蜜期”是靠晶体管缩小撑起来的那么现在的算力增长很大程度上是靠先进封装“拼”出来的。这次峰会上CoWoS、Chiplet这些词几乎出现在每一场技术演讲里热度远超从前。原因不复杂随着晶体管密度逼近物理极限单颗芯片上无限堆算力核心已经变得不现实大芯片的制造良率和成本都是噩梦。于是行业改走“小芯片拼装”的路线——把计算核心、内存控制器、IO模块做成多个小芯粒再通过先进封装技术把它们拼在一起。这样既能提升整体性能又能摊薄制造的难度和成本。但先进封装本身又在制造新的瓶颈。CoWoS的产能紧张是行业这两年公开的话题峰会现场也有嘉宾直言目前限制AI芯片出货量的很多时候不是芯片设计或制造工艺本身而是后道封装的产能。这是一个容易被圈外人忽略、但实际影响极大的环节。对于做AI基础设施规划的人来说如果忽略了封装产能的约束排产计划很容易落空。4.2 HBM与光互连带宽军备竞赛的下一步和先进封装互为表里的是存储技术的升级路径。HBM高带宽内存在今年的议题中占据了极大的篇幅。HBM的演进逻辑很直接把DRAM die像盖楼一样堆叠起来通过硅通孔实现层间高速连接从而在很小的物理面积内提供远超传统内存的带宽。从HBM3到HBM4行业关注的核心指标就是带宽的持续提升。但HBM的挑战不小层数越堆越高带来的散热问题、良率问题、以及测试成本都在上升。现场有存储领域的专家提到HBM未来的关键不是简单增加堆叠层数而是要在每一层之间的互连密度和散热效率上做文章。这背后涉及的材料、工艺和设备投入都是硬功夫。更远一步的探索则是光互连。利用光信号替代电信号做芯片间通信理论上能大幅降低高带宽传输的功耗和距离损耗。峰会有专门的光互连分会场讨论硅光技术的成熟曲线和进入数据中心的时间节点。我个人的判断是光互连短期内还不会大规模普及但把它列入三到五年的技术观察清单是必要的。4.3 能效比成为新标尺液冷不再是“可选方案”这次峰会还有一个独特的现象液冷、供电、散热厂商站到了C位。以前这些配套厂商大多是边缘角色今年却连主论坛都有了他们的演讲席位。原因很简单——芯片功耗密度已经逼近风冷的极限。一块顶级AI芯片的功耗已经奔着千瓦级去一个机柜的功率密度动辄数十千瓦甚至更高。如果用传统的风冷方案机房根本压不住热量。这届峰会上液冷相关话题被反复提及从冷板式液冷到浸没式液冷都有人讲。一位数据中心从业者在交流时说了一句话让我印象很深刻“以前是‘芯片功耗高了要考虑散热’现在是‘散热方案反过来决定芯片能跑到什么程度’。”对做算力规划的团队来说这实际影响非常大。选型AI芯片时不能只看性能参数还要算清楚整柜功耗、供电改造、散热基础设施投入。我现场遇到好几个正在做集群规划的工程师都在认真记液冷方案的参数。算力设备的竞争已经变成了“芯片—系统—机房”三层联动的竞争。5. 软件生态之争比晶圆更难突破的护城河5.1 新芯片最大的风险不是流片失败而是生态冷清这次峰会有一个圆桌讨论让我很受触动。主持人提问“你们觉得做AI芯片最难的是什么”原本以为答案会是设计架构或流片工艺但台上几位嘉宾几乎一致给出的答案是软件生态。这个观点我很认同。芯片做出来只是第一步要让开发者在上面顺利训练和部署模型需要成熟的编译器、算子库、推理引擎、分布式框架适配。这些软件栈的工程量往往比芯片本身的开发量还要大。圈内有种说法开发一颗芯片可能需要几百人的团队而把它真正用起来的软件栈则需要几千人年的投入。举例来说一个主流的AI框架比如PyTorch要在一颗新芯片上跑得好需要算子层面的深度优化。如果算子库不完整开发者用起来处处碰壁就不会有人愿意迁移。而AI芯片的市场逻辑是典型的赢者通吃用得人越多软件优化越好软件越好用得人越多。新入局者如果迈不过生态门槛硬件参数再漂亮也很难打开局面。5.2 开源工具与标准化的新变量这并不意味着后来者没有机会。峰会上也有不少嘉宾提到软件生态的壁垒正在被几股力量缓慢松动。一是开源底层工具链的成熟。比如编译器层面的Triton让开发者可以用更接近Python的写法生成高性能GPU算子降低了对特定芯片原生生态的依赖。这类跨硬件编程方式如果持续发展理论上可以削弱单一厂商的生态锁定效应。二是行业标准化的推进。包括互联接口、内存语义、加速器抽象层在内的多个标准化方向上峰会上都有专门的讨论。一旦异构加速器的抽象层足够成熟AI应用在不同芯片之间迁移的成本就会显著降低。这对于整个AI产业链的健康发展其实是好事因为竞争会更充分客户的选择余地也会变大。但也要清醒地看到标准化的推进速度通常慢于市场预期。短期内CUDA类生态的主导地位依然稳固新芯片在软件层面要做的功课比硬件层面更多、更耗时。6. 边缘与端侧AI芯片的第二战场6.1 端侧AI不是“小一号的云端AI”峰会上不仅有云端的宏大叙事边缘和端侧AI芯片的展区同样热闹。手机、PC、智能座舱、机器人、摄像头、穿戴设备……都在找更合适的AI芯片方案。一个很扎心的事实是很多端侧场景需要的芯片根本不是把云端芯片做小而是完全不同的设计哲学。云端AI芯片的核心指标是绝对性能和集群规模扩展能力功耗高一点可以靠散热扛。但端侧芯片面对的是另一套约束功耗预算可能只有几瓦甚至几百毫瓦、成本极度敏感、时延要求严格、没有数据中心级别的散热条件。这就要求芯片必须在极致能效比、低功耗开销和专用加速单元之间做平衡不少场景还需要支持混合精度和模型压缩后的高效推理。峰会现场有做机器人的厂商在找芯片方案他们的需求非常明确不是要跑超大模型而是要在大脑模型之外有一套响应极快的低功耗推理单元专门处理运动控制和感知数据。如果只盯着云端高性能芯片这类需求是根本接不住的。6.2 云边协同真正的大趋势关于端侧AI这次峰会上更进一步的共识是云边协同而不是“端侧替代云端”。端侧芯片的定位是低时延、隐私好、成本低地完成轻量级推理而重模型、复杂推理、持续学习的任务仍然放在云端。典型场景比如智能摄像头本地芯片完成人脸检测、行为识别等实时任务复杂场景或模型更新时才与云端交互。这种“边缘优先云端兜底”的架构正在成为主流的落地方案。这背后的技术支撑是模型压缩、知识蒸馏和端侧模型量化。峰会上有团队展示了把百亿参数模型蒸馏到几亿参数端侧模型的实际案例效果在不少业务场景下已经可用。这个趋势对AI芯片产业有两个直接影响一是端侧芯片的需求量会远超云端二是每个端侧项目的高度定制化会让芯片产品线更加细分。对做硬件方案的朋友来说这可能是比云端更有创业空间的方向。7. 没到现场你需要盯住的几条主线判断文章最后我不做泛泛的总结只把这次峰会下来我自己觉得最值得持续跟踪的信号归纳一下方便没来现场的读者抓住重点。第一推理成本下降的曲线将直接决定AI应用爆发的速度。今年以来从多个场合听到的一个共识是推理成本每年都有数倍下降的空间实现路径包括专用芯片、模型压缩、KV Cache优化和更好的调度系统。谁能在成本控制上占得先机谁就能在AI应用市场拿到最大的红利。第二带宽与功耗比算力更早成为硬约束。在选择AI芯片或规划算力集群时建议把“带宽能不能喂饱计算单元”和“散热供电能不能扛住实际功耗”列在与峰值算力同等重要的位置。这是这次峰会上反复被数据验证的判断。第三软件生态的窗口期正在收窄。对新的AI芯片玩家而言未来两三年内如果不能补齐软件栈、让主流模型在自己平台上有可复现的性能表现后面的话语权会越来越小。而对使用方来说评估芯片时把软件成熟度、工具链文档和社区支持权重提高比追求纸面参数更有价值。第四端侧和云边协同的增量机会值得认真研究。云端格局相对固化端侧还处在快速演变阶段芯片定义高度依赖具体场景。越早理解行业需求的团队越可能在细分赛道建立起壁垒。我个人这次参会的整体感受是“芯片”这个词的边界正在快速扩展它不再是一颗孤立的硅片而是计算架构、存储带宽、封装工艺、软件生态和系统散热的综合工程。对于从业者来说竞争维度变多了机会也变多了。最后给一个很实际的小建议如果你负责AI算力选型从今天开始养成看“每瓦实际吞吐”和“每Token成本”的习惯比盯着一串峰值数字管用得多。
阅读完成 · 觉得有帮助？
