★ FEATURED ARTICLE 算力从来不是免费的。当所有人都在讨论大模型能力边界的时候真正让我睡不着觉的是机房角落里那排电表——它们转得比资本市场的情绪还快。AI这个吞噬能源的巨兽正在用最直白的方式告诉整个行业算力是有物理代价的。而另一边掌握算力的人正在用这种稀缺性改写游戏规则。这篇文章想聊聊我观察到的一些事实、算过的一些账以及普通开发者在这种格局下该怎么自处。1. 一张电费单引发的思考AI基础设施到底吃了多少电先说个我在机房实地看到的场景。某数据中心的一个标准机柜满配塞了八块主流加速卡。这八块卡在满载训练时整机功耗直奔五千瓦以上。五千瓦是什么概念相当于同时开着五十盏一百瓦的白炽灯一天下来就是一百二十度电。而这种机柜在训练集群里不是一两个是成排成列。我算过一笔账一个千卡规模的训练集群光是加速卡本身的功耗就在三百千瓦上下加上服务器其余部件、交换网络、制冷系统总功耗翻倍都不止。很多人对数字不敏感我换个说法。一个千卡集群跑一天耗电量大概能供一个普通家庭用上几十年。这种量级的能源消耗放在三年前是想都不敢想的。那时候大家优化模型还在比参数量、比FLOPs谁也没想到卡脖子的问题最后会卡在电费上。真正让我意识到问题严重性的是一次实际训练任务的对账。某个中型规模的模型预训练原计划跑三周结果因为散热系统在高温天降频整体时间拉长到快一个月。回头一查能耗账单电费比预算多了百分之四十。从那以后我在做任何AI项目规划时第一件事不是选模型结构而是先算功耗预算。这里还有个很多人忽略的细节AI的能耗分为训练和推理两个阶段而且不同阶段的能耗特征完全不同。训练阶段是持续性的高负载整卡利用率高功耗曲线相对平稳但峰值极大。推理阶段则完全不同——用户请求是稀疏的但响应延迟要求极高这导致推理集群的功耗是锯齿状的忽高忽低反而对供电系统的动态响应能力提出了更高要求。理解这个区别很重要。因为它直接决定了你在设计基础设施时是选“持续供能型”还是“峰值响应型”这是完全不同的两种预算模型。1.1 训练与推理能耗结构完全不同的两个战场训练阶段是典型的“吞电巨兽”。一个顶尖规模的训练任务动辄几千张卡同时满负荷运转数周。这个阶段的功耗模型相对简单粗暴卡越多、算力越高、功耗越大。唯一能优化的空间在于——你能否用更少的训练步数达到同样的效果也就是算法效率问题。推理阶段则是一个更微妙的能耗战场。单个请求的推理耗电量其实不大但问题在于规模。当某个应用的用户量上来之后推理请求是海量的、持续不断的。我见过一个不算特别爆款的应用日均推理请求量在两千万次左右单次请求平均耗电约零点几瓦时全天算下来就是上万度电。这种看不见摸不着的后台消耗往往比训练更烧钱。另外一个容易被忽略的点是网络设备的功耗。在大规模分布式训练中卡与卡之间的通信量极大。为了支撑梯度同步万兆甚至四百G的网络设备全速运转这部分功耗能占到集群总功耗的一到两成。很多人只盯着GPU的功耗看却忘了背后支撑数据传输的交换机、光模块同样在疯狂消耗能源。1.2 冷却是能耗账单里的隐形大头如果说加速卡是明面上的电老虎那制冷系统就是藏在账本里的大额支出。传统风冷方案下数据中心大约有三到四成的电力消耗在散热上。你可以做个简单实验把一台满负载的服务器放在不通风的房间里用不了二十分钟出风口温度就能把手烫出水泡来。所以现代AI集群基本都在往液冷方向迁移。液冷的好处是显而易见的——比热容大、导热效率高能把PUE电能使用效率从风冷的1.5以上压到1.2甚至更低。我之前接触过一个改造项目机房从风冷切到冷板式液冷之后同样规模的集群总能耗直接降了百分之二十五左右。省下来的钱就是纯利润。但液冷也有自己的问题——它不是一个可以随意改造的方案。老机房需要大量管路改造承重、防水、漏液检测都要重新考虑。我见过一个失败的案例为了赶工期某团队在液冷系统没做充分压力测试的情况下直接上架了高功耗设备结果一个接头松动冷却液喷出来导致整机柜设备报废。这种事故性的损失比省下的电费大得多。2. 算力、电力与资本的三方博弈成本结构如何演变任何一个稍有规模的AI创业者迟早都要面对这个问题算力成本怎么消化。早期大家的思路很简单——买卡、租机房、堆规模。但当能耗账单越来越离谱之后这个等式就不再成立了。我见过不少团队在融资时画的饼很漂亮但真正落地时发现百分之六十以上的融资金额其实都流向了算力供应商和电力公司。这个比例意味着什么意味着AI项目的本质在某种程度上已经从“算法竞争”变成了“资本密集型的能源消耗竞争”。谁的资金成本低、谁拿到的电力价格便宜谁就有资格留在牌桌上。这背后的逻辑链条其实很清晰大模型的能力和参数规模、数据规模、算力规模正相关。算力规模又直接等同于能耗规模。于是资本优势转化为算力优势算力优势转化为模型优势模型优势又反过来带来更多资本。这个循环一旦形成后来者几乎没有任何翻盘的可能。有人可能会问为什么不能靠算法创新来打破这个循环当然可以但算法创新的节奏远远赶不上规模扩张的节奏。当大家都在用相同的高效算法时比拼的还是谁的规模更大、谁的能耗成本更低。算法是放大器资本才是基数。2.1 电价正在成为AI选址的第一要素我认识的几个做AI基建的朋友这两年聊天有个明显变化——话题从“哪家云厂商性能好”变成了“哪个城市的工业电价便宜”。这不是开玩笑。对于万卡级别的集群来说一度电的价格差一毛钱一年下来就是千万级别的成本差。北方某些地区有丰富的风能和太阳能资源当地为了消纳过剩电力往往会给大型数据中心提供非常有竞争力的电价。于是我们看到一个有趣的迁移趋势算力集群正在从传统的北上广深核心城区向西部能源富集地区转移。这个迁移的本质就是资本在向能源价格洼地流动。但这种迁移也有代价。能源富集地区通常远离用户聚集区网络延迟会变高这对训练任务影响不大但对推理服务的体验影响明显。于是行业内出现了一种“分层部署”策略大规模训练放在电价便宜的地区对延迟敏感的推理服务放在用户周边的大城市。这种策略虽然聪明但也意味着你要同时运维两套基础设施成本并不低。2.2 造富机器为什么算力稀缺反而加速了资本集中“私有化的造富机器”这个说法虽然听起来刺耳但确实描述了当前AI行业的一个真实侧面。算力是极度稀缺的资源而稀缺资源的定价权永远掌握在供给方手里。持有大量算力的人可以通过出租算力、提供API服务、甚至直接投资模型团队来获取超额回报。这种集中化的趋势在行业的早期并不明显。那时候开源模型百花齐放人人都可以在自己的小集群上微调出一个不错的模型。但当模型规模冲上千亿参数之后游戏的入场券已经变了——只有少数有能力承担巨额电费和采购成本的玩家才能参与基座模型的训练和迭代。更微妙的是这种集中化正在形成一种“正向反馈”的循环头部玩家因为有更多算力所以能训练出更好的模型因为模型更好所以能吸引更多用户和资本因为有了更多资本所以能采购更多算力。这个循环运转起来之后后来者的追赶难度已经不再是技术问题而是纯粹的资本问题。作为行业观察者我认为这种现象短期内不会消失。但长期来看随着硬件效率的提升和算法结构的优化单位算力成本会持续下降这至少会为中小玩家打开一些新的窗口期。窗口期什么时候来、持续多久就考验每个人的判断力了。3. 效率战争软件算法、硬件架构与数据中心的节能思路既然能耗是硬约束那整个行业能做的就只有一件事在同等能耗下榨取更多有效算力。这场效率战争在三个层面同时展开——算法层、硬件层、基础设施层。算法层的思路是“少跑几步”——同样一个效果能不能用更少的计算量实现。比如量化技术把模型权重从32位浮点数压到8位甚至4位整数。我做过的实测里4位量化后的模型在部分任务上精度损失可以控制在百分之一以内但推理速度提升了三到四倍功耗降到原来的四分之一。这种性价比极高的优化简直是AI工程里的“免费午餐”。硬件层的思路是“专事专办”。通用GPU算力强但功耗高于是出现了各种专用加速芯片。它们牺牲灵活性换效率在执行特定类型的矩阵运算时的能效比可以比通用GPU高出数倍。对于业务场景固定的团队来说这类专用芯片可能是更划算的选择。基础设施层的思路是“不浪费每一度电”。除了前面提到的液冷之外还有机房余热回收、储能系统削峰填谷、用AI算法调度散热策略等玩法。这些做法单看每一项省下的电量有限但叠加在一起就是很可观的数字。3.1 从模型层面省电剪枝、蒸馏与动态推理模型剪枝的思路很朴素——把神经网络里那些权重接近零、对最终结果几乎没有贡献的连接直接删掉模型体积变小计算量自然降下来。我用过一些结构化和非结构化剪枝工具实测下来在精度损失可接受的前提下剪掉百分之三十到五十的冗余参数是常有的事。知识蒸馏则是另一个方向。用一个大的教师模型来指导一个小学生模型学习让小模型去模仿大模型的输出分布。这种方式训练出来的小模型参数规模可能只有大模型的十分之一但在特定任务上能逼近大模型的九成水平。对小团队来说这几乎是性价比最高的“模型压缩术”。动态推理的思路很有意思——不是所有请求都需要全量计算。简单的问题走小模型快速返回复杂的问题才交给大模型。很多应用的实际流量分布是“二八法则”——八成请求是简单的只有两成是复杂的。按需分配模型深度整体耗电能省下很可观的量级。3.2 硬件选型能效比才是关键指标很多人在采购AI硬件时第一眼看的是峰值算力第二眼看的是显存容量很少人第一眼看能效比。但真正跑过长期负载之后你会发现能效比才是影响总拥有成本的关键指标。举个例子某型号加速卡单卡功耗三百瓦某替代型号功耗四百瓦但性能只强了百分之十五。从纸面数据看四百瓦的型号似乎性价比更高。但如果你的集群是千卡规模功耗差一百瓦意味着整体功耗差一百千瓦一年下来就是几十万度电的差别。这个差别足以抹平性能上那点优势。所以我现在做硬件选型时一定会把“每瓦特性能”作为第一参考指标而不是单纯的峰值算力。另外还要考虑硬件的负载特性。如果你的业务是重训练轻推理那就选训练吞吐量高的卡如果是重推理轻训练就要选推理延迟低、功耗线性好的卡。买错方向的代价是每天都在为用不上的性能付电费。4. 模型即服务从开源到平台的范式转变这两年行业里有个明显的变化模型的分发方式从“下载权重文件到本地部署”变成了“直接调用远程API”。这个转变表面上只是部署方式的变化实际上改变了整个行业的成本分摊逻辑和利益分配格局。本地部署意味着你要自建机房、自己交电费、自己维护硬件所有成本自己扛。API调用则是按量付费用多少付多少省去了所有基础设施成本。对于中小开发者来说API模式的门槛低到令人发指——注册个账号充点钱就能用上顶级模型的推理能力。但这个方便是要还的。API调用的单价里已经包含了服务商的硬件折旧、电费、研发成本和利润。从长期看重度用户的API开销很可能超过自建成本。我认为这个拐点大概率在两到三年内就会出现。到时候行业又会迎来一波“从API回到自建”的回流潮。更让人警惕的是API模式的“数据锁定”效应。当你习惯了某个平台的API你的业务逻辑、数据处理流程、甚至Prompt模板都会围绕这款模型优化。真到要迁移的时候你会发现切换成本高得吓人。这种隐性的锁定比价格更值得警惕。4.1 开源模型的价值中小玩家的缓冲垫开源模型在整场博弈中扮演的角色非常微妙。它虽然不具备顶级闭源模型的最强能力但胜在可控、可改、可本地部署。对很多数据敏感或成本敏感的团队来说开源模型几乎是唯一理性的选择。我在实际项目中倾向于“开源为主API为辅”的策略。常规业务用开源模型跑本地推理只有遇到开源模型搞不定的高难度任务时才调用API。这种混合策略能在成本和质量之间取得一个不错的平衡点。而且随着开源社区的发展开源模型的能力正在快速追赶两者之间的差距已经比两年前小得多了。我也见过不少团队的顾虑开源模型效果不够好怎么办我的建议是先明确你的业务到底需要多聪明的模型。很多任务其实并不需要模型有多聪明关键在于稳定、可控、便宜。在这些维度上开源模型的优势是API模式远远比不了的。4.2 你的数据锁在平台里隐私与自主权的代价API模式的便利背后是数据主权的让渡。当你把数据传到云端去调用模型时这些数据不可避免地被服务商的系统经手。对很多企业来说这不仅仅是隐私问题更是合规和商业机密保护的问题。我记得有个做医疗文本处理的团队最初图方便直接调用API结果发现患者数据的脱敏处理流程怎么都过不了内部合规评审。最后不得不换成本地部署的开源模型方案虽然初期折腾了不少但长期反而更安心。这个案例非常典型——安全和合规问题应该是选型时最先考虑的因素而不是事后再补救。所以在我的判断里未来的AI应用格局大概率是“双轨制”高价值、高敏感的业务走本地部署长尾、低敏感的业务走API。两个轨道长期并存各有各的生存空间。而对开发者来说掌握两套技术栈的灵活切换能力会成为一个非常重要的竞争优势。5. 算力饥渴与AI泡沫怎么看懂当前的投资逻辑站在现在这个时间点回看AI行业的投资热度已经到了一个非常微妙的位置。一方面资本还在疯狂涌入估值一轮比一轮高另一方面实际的商业变现能力并没有跟上估值膨胀的速度。这种脱节让我想起早年那波同样被资本狂热追逐的“新兴技术周期”——起得快散得也快。要理解当前的投资逻辑你得先明白这轮AI热潮跟以往有什么区别。过去的互联网热潮核心逻辑是“连接”——连接人与信息、连接人与商品、连接人与人。这轮AI热潮的核心逻辑则是“替代”——用算法替代人力、用自动化替代流程、用机器生成替代人工创作。替代的想象空间理论上比连接更大因为它触及的是生产力的底层。但替代有一个前提成本必须低到足够替代的程度。如果生成一段文案的API成本比请一个实习生还贵那替代的故事就讲不通。现在的问题是大模型的推理成本虽然在快速下降但距离“全面替代人力”的临界点还有距离。资本看的是预期技术演进的速度确实很快所以资本愿意为预期买单。但如果预期兑现的速度不及预期估值就会面临重估。5.1 热潮中的理性成本曲线下降在加速但不是免费的过去两年同等参数规模模型的训练成本大约降了一个数量级。这是算法优化、硬件迭代和基础设施改善共同作用的结果。但要注意这个下降速度正在放缓——算法优化的边际收益在递减硬件迭代受物理规律和产业链限制不太可能一直保持指数级改善。所以我的判断是未来两到三年AI算力成本还会继续下降但下降速度会明显不如过去两年那么陡峭。这意味着什么意味着那些现在烧钱买规模的团队如果没法在成本下降窗口期内建立起足够的壁垒会非常难受。另外一个常被忽视的点是成本下降并不对所有人都有利。比如API调用价格大幅下降对使用API的应用层开发者是利好但对那些花大价钱自建算力的公司来说反而意味着它们的固定资产在贬值。同一波成本下降对不同角色的影响方向是完全相反的。5.2 私有化算力的叙事算力最稀缺的时候恰好是泡沫最危险的时候我们正在经历的阶段算力确实稀缺也确实能创造巨大财富。但历史上每一次“稀缺创造财富”的叙事都会吸引过量资本涌入导致供给过剩最终价格暴跌。芯片、存储、光伏都走过相同的路径。现在全球各地都在兴建AI数据中心产能规划极其庞大。这些产能两三年后集中释放时市场会不会从“算力荒”变成“算力过剩”我觉得完全有可能。到那时手持大量算力但签了长期高额电力合同的公司可能会面临非常被动的局面。这不是劝你远离AI而是想提醒所有稀缺都有周期所有造富机器都有熄火的那一天。最好的策略不是追着稀缺跑而是提前想清楚——当算力不再稀缺的时候你手里还有什么东西是稀缺的这个问题值得每一个押注AI的人认真想一想。6. 从个人开发者到中型团队在巨头阴影下的生存之道聊了一大圈行业格局和资本博弈最后回到最现实的问题作为个人开发者或中小团队在算力和资本双重集中的格局下应该怎么找到自己的生存空间核心思路只有四个字错位竞争。不要去碰巨头擅长的事情——不训练基座模型不硬拼通用能力不烧钱囤算力。这些仗你打不赢也不该打。你的优势在于灵活、专注、离客户近。找一个具体的垂直场景深入进去用AI把这个问题解决得比任何人都好。这种微小但锋利的切入点才是中小玩家的生存之道。具体来说有几个方向我认为值得关注。一是基于开源模型做深度定制针对特定行业的数据分布做微调和优化。二是做“模型中间件”把底层模型的复杂性和上层应用的简洁性之间的鸿沟填平。三是做数据工程为垂直场景准备高质量的训练数据——这个活儿又脏又累巨头看不上但对模型效果却是决定性的。6.1 小团队算力策略租不如买买不如借算力获取有几种方式自建机房、买整机托管、租云GPU、调用API。对中小团队来说我的建议非常简单——能用API就用API不够再租云GPU无论如何不要轻易自建机房。自建机房的隐性成本远比你想象的复杂。除了采购成本你还要考虑供电、散热、带宽、安保、运维人员。一个小团队如果只有三五个工程师还要分心去维护硬件基本等于自废武功。租云GPU是一个折中方案。弹性伸缩、按需付费、免运维缺点是长期使用的单位成本高于自建。但对大多数中小团队来说用“单位成本高一点点”换“运维精力和资金灵活性”是一笔非常划算的买卖。API模式则最适合早期探索阶段。你的产品还在验证期根本不知道用户量能有多少这时候自建算力就是自杀。用API把产品跑起来等数据证明市场确实存在再逐步过渡到更可控的算力方案。这个节奏我认为是最稳健的。6.2 技术与场景的匹配模型不是越强越好很多开发者选模型时有个执念要用最强的模型。但“最强”往往意味着“最贵”和“最慢”。对实际产品来说合适的模型才是最好的模型。我做过一个客服机器人项目最初的方案调用了参数量最大的模型效果确实好但每次调用的延迟接近三秒、成本也不低。后来优化了一下prompt和流程换了小得多的模型延迟降到一秒钟以内成本降了十倍用户体验反而提升了不少。这个案例给我最大的启发是不要替用户承担你假设的性能需求用实际数据和反馈来驱动模型选型。另一个常见误区是盲目追求“大而全”。大模型确实什么都会一点但什么都不够专。垂直领域的模型虽然覆盖面窄但在特定任务上的表现往往更好、更快、更便宜。与其用一个什么都会的通用模型不如在关键路径上部署一个专门打磨过的专用模型。6.3 长期主义的姿势紧跟效率曲线而不是紧追算力规模最后想聊一个心态问题。面对巨头疯狂的算力扩张中小玩家很容易陷入焦虑觉得再不追赶就要被甩开了。但我想说的是算力规模的追赶是一条永远追不完的路但效率曲线的追赶永远有机会。所谓效率曲线就是单位成本创造价值的能力。巨头有算力但未必有对特定场景的深刻理解巨头有通用模型但未必愿意为某个细分的“脏活累活”专项优化。这些缝隙就是中小玩家的机会。我常用的一个判断标准是你的项目在“算力密集”和“知识密集”之间更偏向哪一边。如果纯粹是算力密集——比如从零训练一个超大模型——那就别做了这个领域巨头已经锁死。如果是知识密集——需要深入了解某个行业的具体问题、某个用户群的真实痛点——那你的优势反而是巨头难以复制的。行业喧嚣也好、泡沫唱衰也好、资本寒冬也好AI落地这件事本身依然在往前走。工具会变平台会变算力价格会变但“用技术解决实际问题”这一点永远不会变。持续关注效率、贴近场景、保持灵活无论行业怎么震荡总会有属于你的一席之地。我自己这几年最大的体会是看到过太多团队在追赶算力规模的路上烧光了弹药也看到过太多小团队靠聪明巧劲在巨头阴影下活得越来越好。差距不在资源多少而在思考方式。AI是巨兽也好、造富机器也好都是别人的叙事。你自己的叙事应该由你解决的问题来定义。
阅读完成 · 觉得有帮助？
