★ FEATURED ARTICLE 1. 泡沫还是阵痛期先给AI浪潮泼盆冰水过去两年AI行业经历了一次堪称魔幻的叙事循环先是各路产品以“颠覆一切”的姿态刷屏融资额一度冲到令人咋舌的规模紧接着就是关于模型能力见顶、商业化落地困难、算力成本失控的讨论铺天盖地。最近圈子里聊得最多的已经不再是哪个模型又刷了榜单而是“这波泡沫到底什么时候破”“算力还够不够用”“电从哪来”。作为长期在一线折腾部署、调优和成本优化的从业者我反而觉得这种降温是好事。泡沫这个词听起来吓人但它其实只代表市场的预期和现实出现了巨大落差。真正的技术演进并不会因为资本退潮就停摆恰恰相反当虚火被挤掉之后留下来的人才会认真思考一个问题AI的下一步到底是被什么卡住的这个问题的答案其实很直白一是算力的物理极限二是能源的供给天花板三是整个行业从“只要模型够大就无所不能”的虚拟叙事被迫回归到“芯片、电力、机房、散热”这些实打实的物理约束上。这三件事拧在一起就是大家常说的“物理转向”。这篇文章不聊宏大叙事只聊我这些年实际踩坑和反复验证过的经验算力瓶颈到底卡在哪几个环节、能源消耗是怎么一步步失控的、以及作为普通从业者在资源有限的前提下怎么把每一度电和每一块GPU花在刀刃上。适合正在做模型训练、推理部署、基础设施选型或者单纯对AI行业现状感到困惑的读者参考。2. 算力瓶颈算法再快也得看物理脸色2.1 从扩展法则到扩展失灵当翻倍开始“不讲武德”先聊一个最核心的概念扩展法则。早期的深度学习有一个很朴素的信仰——模型参数翻倍数据量翻倍计算量翻倍最终效果就会持续变好。这个规律在很长一段时间内是成立的从几亿参数一路扩到千亿、万亿效果确实在涨。但问题出在哪里呢边际收益递减。模型参数从10亿涨到100亿效果提升非常明显从100亿涨到1000亿提升就显得有点“挤牙膏”再往上走每提升一个点的准确率需要的算力投入是指数级上升的。这里有个很直观的数据训练一个万亿参数级别的模型单次前向传播的计算量都在千万亿次浮点运算级别这还没算反向传播时翻倍的显存和计算需求。我实际测过一个场景某个推理任务在百亿参数模型上的准确率是89%换到千亿参数模型后能到92%。听起来不错对吧但这3个点的提升推理时延直接翻了三倍单次请求的GPU成本涨了近五倍。在真实业务里用户根本感知不到那3个点的差异但账单上的数字是实打实的。2.2 散热、功耗与集成度半导体物理的三座山算力瓶颈的第二层藏在芯片物理本身。很多人以为芯片只要堆晶体管就行其实远没有那么简单。芯片制程越做越小晶体管密度越来越高随之而来的第一个问题是功耗密度。打个比方一颗先进的AI加速芯片面积跟手掌差不多大但它满载运行时的热设计功耗普遍在300瓦以上一些旗舰型号甚至能到700瓦甚至更高。作为对比家里常用的微波炉功率一般也就800到1000瓦。一台服务器里插八颗这样的芯片满载功耗轻松超过5千瓦相当于同时开着好几台微波炉在机柜里“煮”。这就带来了一个连锁反应散热跟不上芯片就会降频性能直接打折。我在自己的机房里做过测试风冷条件下GPU长时间满载后核心温度能冲到85摄氏度一旦触发温度墙算力会同比下降10%到15%。解决办法要么上液冷要么降低机房温度但这两样都要钱都要电。除了散热还有带宽问题。GPU的计算核心越做越强但数据从显存搬到核心的通道就那么宽计算速度再快数据喂不上去也是白搭。这就像一条高速公路车子性能再好如果收费站只有两个窗口车流还是被卡死在那里。这也是为什么近年来大家都在卷高带宽内存HBM本质上就是在拓宽这条路。2.3 绕过去的几条路架构、稀疏性与专用芯片既然通用芯片的物理极限摆在那业界自然想了不少办法绕过去。第一条路是模型层面的叫稀疏化。大模型里其实有大量参数在特定任务上是“闲置”的通过剪枝和稀疏化技术可以只激活一小部分参数参与计算。以混合专家模型MoE为例总参数虽然几百亿但处理每个Token时只激活几十亿参数计算量大幅下降。我的实际经验是基于MoE架构的模型在做推理时吞吐量能比同参数规模的传统稠密模型提升3到4倍这是目前最实用的降本手段。第二条路是硬件层面的针对特定场景做专用芯片。GPU虽然强但它是通用设计什么任务都能干。在一些非常固定的场景下比如只跑某种特定结构的Transformer网络完全可以用专门的ASIC芯片去做能效比可以比GPU高出一个数量级。代价是灵活性差模型一变芯片可能就废了。第三条路是计算精度的“抠门”。训练用FP32、BF16混合精度推理直接用FP16、INT8甚至INT4量化。精度降低了但计算吞吐能翻好几倍显存占用也大幅下降。对于大多数业务场景来说INT8量化后的模型精度损失完全在可接受范围内换取的速度提升却非常可观。3. 能源争夺AI吃电这口饭怎么端稳3.1 一个模型的集训耗能账本聊完芯片得聊聊更让人头疼的能源问题。很多人对AI耗电没什么概念我直接给一组自己算过的数据。以一个中等规模的模型为例参数规模在130亿左右训练数据量在1万亿Token上下。用目前主流的AI加速卡单卡FP8算力约400 TFLOPS功耗约350瓦要完成这个训练任务大概需要几百张卡连续跑一个月。算下来总功耗约为350瓦 × 几百张卡 × 720小时折合电能大约几十万度电。这还只是一个中等模型。头部那些大厂训练超大规模模型动辄上万张卡连续跑几个月单次训练的耗电量是以“亿度”为单位计算的。什么概念呢一座小城市一个月的居民用电总量可能都不够一次大模型训练烧掉的。更扎心的是这只是训练阶段。模型上线之后推理阶段的耗电是每天持续进行的一天不歇。我经手过的一个在线推理服务每天处理大约几百万次请求高峰期用了几十张GPU卡光这一个服务的月电费账单就在六位数以上。这还只是电费没算机房租用和网络带宽。3.2 用电结构数据中心的进化与新压力AI带来的电耗压力正在从机房内部传导到整个能源系统。传统数据中心是以CPU为主的功耗密度低一个机柜几千瓦就顶天了。但AI数据中心不同它面向GPU集群功耗密度直接上了一个台阶。这里出现了一个很直接的问题电网负荷。一个大型AI集群的用电需求可以达到几十甚至上百兆瓦相当于一个小型城镇的用电量。很多地区的电网根本没办法在短时间内给这样的大型负荷单独供电需要重新规划变电站和输电线路。这个过程周期极长从审批到建设落地动辄三到五年但AI算力建设的节奏是以季度为单位的。于是行业里出现了一个很有意思的现象算力选址的优先级正在从“离人才近”转向“离电厂近”。以前大家选机房看重网络延迟和交通便利现在更看重有没有过剩的电力资源、能不能拿到更低的电价。市场上那些便宜算力资源的区位分布几乎是在照着能源地图画的。3.3 制冷与电网算力落地的隐形战场机房能耗的大头其实有两块一是芯片本身耗电二是给芯片降温的制冷系统耗电。传统风冷方案虽然成熟但效率有限尤其是在高密度部署场景下。前面提到的液冷技术这几年快速普及的主要原因就在这里。液冷对比风冷我的实测体会是在同样的负载下液冷可以把GPU核心温度稳定控制在60摄氏度以内而风冷很难压到75度以下。别小看这十来度的差距它直接关系到芯片能否持续跑在满血频率上。液冷机房的PUE电源使用效率即总能耗除以IT设备能耗能压到1.1以下而传统风冷机房的PUE普遍在1.4甚至更高。意思是同样给IT设备供100度电风冷机房要额外多耗40度电来散热液冷只需要10度以内。还有一个小但重要的点电网的瞬时功率波动。GPU的负载是实时变化的尤其在高并发请求时功率可能瞬间拉升。如果所在区域的电网不够稳定很容易触发机房供电系统保护轻则宕机重则烧设备。我经历过一次某个机房因为市电波动导致多台机器突然重启正在训练的实验数据直接中断白跑了三天损失不可估量。后来所有训练任务都强制加了自动保存检查点Checkpoint每隔几小时就备份一次这才把类似事故的影响降到最低。4. 物理转向AI叙事从虚拟重回实体4.1 为什么虚拟世界突然开始谈电力前几年AI圈流行一种论调AI是纯数字产业只要有算法和数据就能无限扩张这是虚拟世界对物理世界的终极胜利。但这轮大模型热潮把这种幻想打碎了。原因很简单训练大模型需要实际的GPU芯片芯片需要实际的电力来驱动电力需要实际的发电设施和电网来输送发电需要实际的燃料或新能源装机容量。这些全是物理世界的存量资源不是说变就能变的。我自己以前也觉得AI离能源问题很远直到有一次和做基础设施的朋友聊天他说了一句让我印象很深的话“你们做算法的看到的是模型参数我看到的是每一个参数背后要走的电流。”现在回过头想确实如此。大模型的能力上限某种程度上已经被电力供给和芯片产能锁死了。这就是“物理转向”的核心含义AI行业从单纯的软件竞争变成了基础设施竞争。模型算法仍然重要但决定行业天花板的不再只是算法创新还包括能不能拿到足够多的芯片、找到足够便宜的电力、建起足够大的机房。4.2 基础设施投资转向算力地产化这种转向带来的最直观变化是资本和产业的重心发生了偏移。以前说到AI公司大家看的是模型论文发了几篇、产品MAU涨了多少。现在大家更关心一个问题这家公司有没有自有的算力资源和电力供应商的绑定深不深。于是我们看到大量资金涌向芯片制造、数据中心建设和能源项目这些领域被打包成了一个新概念——“算力基础设施”。我在产业圈观察到的现象是以前做数据中心的人被当成“包租公”觉得自己只是提供场地的现在他们反而成了香饽饽因为算法公司排队来租机房、谈定制化供能方案。一些老旧数据中心也在经历改造风冷改液冷、扩容供电系统、优化配电架构这些活儿工程师们忙得不可开交。对普通从业者来说这个转向带来的启发是拼算法拼不过巨头的时候拼基建认知也是竞争力。理解电力、制冷、芯片选型这些看似和AI不直接相关的领域反而能在实际项目中做出更合理的决策。我自己在给团队做技术规划时已经不止看模型效果还会认真算一笔账这套方案的耗电量和散热需求现有的机房条件能不能扛得住。5. 从业者自救指南节能与效率的实战打法5.1 模型瘦身蒸馏、量化与剪枝既然外部资源受限那最务实的出路就是内部挖潜。先说模型层面的优化这是见效最快也最常用的手段。蒸馏的思路是让一个小模型去模仿大模型的行为。先用大模型跑一批数据把它的输出作为软标签然后用这批数据去训练小模型。结果是小模型的参数量可能只有大模型的十分之一但在特定任务上的效果能接近大模型的95%以上。我做过一个文本分类项目用这个办法把模型体积压缩了约8倍推理延迟从几十毫秒降到了个位数毫秒精度只牺牲了不到2个百分点。量化则是把模型的参数精度降低。训练好的模型默认是FP16格式一个参数占2个字节。量化到INT8后一个参数只要1个字节显存占用直接减半。实际推理时INT8的计算速度通常比FP16快60%以上。更激进一点还有INT4但会引入精度损失需要看场景验证。我的经验是先从INT8试起如果精度不达标再考虑混合精度方案。剪枝相对复杂一些需要识别出模型中那些对输出贡献极小的参数把它们直接置零或移除。现在的做法比较成熟的是结构化剪枝按模块整块地删配合微调恢复精度。这个方法通常能压缩10%到30%的参数量但需要一定的模型训练功底普通业务团队用得不多。5.2 推理优化的“抠门”学训练做完一次就结束了但推理是持续运行的推理阶段的效率优化对长期成本影响更大。这里分享几个我亲测有效的思路。首先是动态批处理。GPU的算力是并行的一次处理一个请求和处理几十个请求耗时差距并不大。通过把多个请求拼在一起批量推理能把单卡利用率从20%拉到80%以上。这里要注意动态批大小需要根据请求时延敏感度去调不能为了吞吐牺牲在线服务的响应时间。其次是投机采样推理Speculative Decoding。大模型生成Token时是一步步来的每步都要完整跑一遍网络。投机采集的核心思路是先用一个小模型快速生成一批候选Token再让大模型一次性验证这整批Token对不对。如果小模型猜得准一次验证就能确定好几个Token省下好几次完整推理的开销。在实际场景中这个技巧能把生成速度提升1.5到2倍且生成结果和原始解码方式几乎一致属于无损优化。还有一个容易忽略的点模型服务的闲置资源回收。很多团队上线模型后就不管了即使夜间流量大幅下降GPU还是满负荷运行。我见过不少项目加上自动扩缩容和冷启动机制之后整体资源开销直接降了40%。这就是纯粹的运维优化不用动模型结构收益却是真金白银。5.3 基础设施评估的避坑清单最后聊一下基础设施评估这块坑特别多。我给几个关键指标列个清单算力利用率监控GPU实际有效计算时间占比。利用率长期低于30%说明调度或数据加载环节有瓶颈先别急着加机器。功耗与PUE签约机房或自建机房前务必搞清楚PUE承诺值和实际计费电价的挂钩方式。PUE每高0.1长期电费相差不少钱。带宽与存储瓶颈很多项目运行慢根本不是GPU不行而是数据读得太慢。注意检查存储系统的IOPS每秒读写次数以及网络带宽是否够用别让数据从硬盘到显存这一路卡脖子。故障恢复机制训练任务和重要推理服务必须配置自动重启和定期任务状态检查点。不要有侥幸心理亲身经历过一次三天训练白跑后我才彻底理解备份的重要性。弹性扩缩容能力评估云资源或私有资源池时一定要看能否按需快速扩容和缩容。AI业务流量波动大按峰值采购资源是巨大的浪费。6. 写在最后这个行业接下来该怎么看踩过这么多坑之后我个人的体会是AI行业正在从“讲故事的阶段”进入“过日子的阶段”。以前大家拼的是谁的模型更大、谁的发布会更炫现在拼的是谁能在有限的算力和电力约束下把同样的事情做得更便宜、更稳定、更高效。这不是想象力枯竭而是一个技术从实验室走向工业化的必然过程。对还在观望的同学我的建议很朴素少听那些“AI要取代一切”的宏大叙事多看自己手头能落地的那个小场景。你的模型如果能把一个具体任务做好顺便把成本控制住那不管行业怎么泡沫你都有活干。最后再分享一个小技巧做任何AI项目的立项评估时除了技术可行性一定要单独算一笔“能源账”——这套方案上线后每月要吃掉多少电、需要什么散热条件、对应多少基础设施投入。把这个账算明白了你就比绝大多数只盯着模型精度的同行领先了一步。
阅读完成 · 觉得有帮助？
