★ FEATURED ARTICLE 凌晨刷到一条聚合新闻Aleph Alpha 开源 KolibriCoreWeave 把一套 NVL72 系统交给了 Cognition。这一行字像压缩包懂行的人一眼就能把三家公司、两个事件、一个算力代号解压开不了解的人只会看到又一条 AI 行业动态。我在这个领域待的时间不短看到这条消息时第一反应不是“又有大新闻”而是“模型和算力两个方向的水位真的都开始变了”。具体来说前半句是一个以欧洲市场为根基的 AI 实验室放开了一个可私有化部署的多模态模型后半句是一家 GPU 云厂商在向一个做 AI 编程智能体的团队交付一整柜高性能计算系统。两者表面无关实际上都有同一个指向AI 正在从“少数巨头独享的奢侈品”变成“随手可租、可下载的基础设施”。这篇文章不写通稿我把这两件事拆成实际工程视角聊聊它们各自的来龙去脉以及对我们这种做应用、做产品、做基础设施的人到底意味着什么。1. 把新闻标题拆开Kolibri 开源和 NVL72 交付各自意味着什么1.1 Aleph Alpha 和 Kolibri 的定位Aleph Alpha 这家公司前几年在欧洲 AI 圈子里一直以“稳健”两个字出名。它不像一些硅谷同行那样追求最大规模而是把开放、隐私、可控这些词挂在嘴上服务对象主要是欧洲企业、公共部门、医疗和政务这类高敏感场景。Kolibri 是它拿出来的开源多模态模型系列能同时处理文本和图像并覆盖了德语、英语、法语等语言。名字里的蜂鸟Kolibri 就是德语里的蜂鸟暗示这款模型主打轻盈、快速、便宜部署。一个值得注意的产业信号是Aleph Alpha 没有选择继续把最强模型锁在 API 后面而是开放了权重。这样做的好处很实际让潜在的企业客户拿到手里先跑起来没有 API 账单和试用配额总比让人家望梅止渴更能建立信任。加上欧洲本来就有比较强的数据保护执法环境像 Kolibri 这种自带多语言基因的开源模型在很多政企项目招标里会比通用模型更有说服力。当然我能看到的是产品层面的信息更深层的训练细节、数据集构成、完整评测分数公开文档并没有全部披露。但从工程经验来推断这类模型通常会走“用较大模型蒸馏或协同训练再在部署侧做量化压缩”的路径不然很难在私有化场景里做到低成本运行。你把这个逻辑记住后续选型时会少很多困惑。1.2 CoreWeave 交付的 NVL72 到底是一套什么系统再看后半句。CoreWeave 是一家以 GPU 云服务起家的厂商它对外的故事一直很清晰我们不只卖虚拟机还卖专门为 AI 工作负载设计的整体基础设施。Cognition 则是因为 AI 编程智能体产品出名的团队这类产品主打的是“让 AI 像一个正式的初级软件工程师那样干活”——给它一个仓库、一个任务描述它自己拆解、写代码、跑测试、修 bug。新闻里的关键词是 NVL72。它指的是一个机柜级 GPU 系统标准形态里包含 72 个 GPU 和 36 个 CPUGPU 之间通过高速 NVLink 互连整体采用液冷散热。你可以把它理解为过去你至少要买十几台 8 卡服务器再自己搞一台昂贵的大交换机才能连起来的算力集群现在一个机柜就给你封装好了。无论是训练、微调还是大批量推理这个单元整体上都比零散服务器更省心。所以“CoreWeave 把它交给 Cognition”这句话的份量在于一家跑重负载 AI 应用的公司最珍贵的不是那一张张 GPU而是一套能持续大规模运行、故障率低、运维省心的算力系统。Cognition 选择云交付而不是自建机房说明它们在算力策略上的态度很明确把硬件的脏活外包出去自己专注模型、数据和产品。1.3 两件事放在同一则标题里的化学反应把前后两个半句拼在一起更有意思。Aleph Alpha 正在做的事情是让“模型能力”从少数玩家的 API 中解放出来CoreWeave 和 Cognition 这单交付则是让“算力组织”从高门槛的自建中解放出来。两条线汇合以后任何人只要有一台普通服务器甚至一个云端租到的机柜就能复现很多曾经只有巨头才能做的事。我不觉得这单纯是新闻或者广告对认真做 AI 应用的人来说这其实在提醒你基础设施的门槛正在被拆掉。如果你还在用“我们没有大模型能力”“我们没有 GPU”作为不行动的理由接下来这个理由会越来越站不住脚。2. 参数竞赛退潮后开源模型靠什么吸引企业用户2.1 效率与落地成为主战场前几年开源模型一放出来大家第一眼都会看参数量。7B、30B、70B 往上堆好像数字越大越了不起。现在这个逻辑明显变弱了。原因很简单单纯堆参数解决不了“跑得动、用得起、调得动”的问题。一个 70B 模型就算能力再强中小团队没有足够的显存和推理优化根本伺候不起。所以行业转头去拼效率同样参数规模谁的推理速度更快同样能力水平谁的显存占用更低同样结构谁能塞进更长上下文。Kolibri 走的就是这条路先保证视觉和语言都能干再把部署门槛压到尽量低让企业不用改造太多硬件就能跑。这个方向说明开源社区已经默认了一个共识未来拼的是单位成本下的有效能力而不是纸面参数。我见过不少团队拿着大参数模型做原型跑通以后一算成本立刻放弃又换回中型模型做量化蒸馏最后线上效果反而更稳。这类经验一次两次就会发现参数量只是起点不是终点。2.2 多语言能力是欧洲实验室打出的差异化牌还有一个点特别容易被忽略就是多语言。全球开源模型排行榜大多以英语为主你看一份榜单的 top 模型能看懂很多能流利写德语的却没几个。欧洲实验室做的模型天然有优势因为它们的训练语料、评测基准、产品验证都会覆盖当地语言。Kolibri 强调德语、法语等语言能力本质上是把“语言本地化”当成核心卖点而不是附加功能。这对我们做应用的人很有启发。如果你的产品要进入欧洲市场或者要处理非英语内容选模型时不能只看英语 benchmark。用一批自己业务里的真实文本去做小样本测试看它能不能准确理解术语和语境比看榜单总分可靠得多。德语那种大段复合词和长句很多通用模型都会直接翻译歪这一点我在实际项目里见得太多了。也许有人会觉得多语言离自己很远但换个角度想跨境电商的客服、出海 SaaS 的文档、跨国企业的内部知识库哪一样不是多语言场景在非英语语料上做得好的开源模型一旦进入这些赛道优势会非常直接。2.3 企业选择开源模型时真正关心的三件事企业选型问的第一个问题往往不是跑分多少而是“这模型能不能在离线环境部署商业化使用是不是自由”。名气再大的闭源 API数据出不了内网一切都白搭。开源模型在这一点上天然占优但“开源”这个词也分层次开放权重是一回事开放全部训练代码是另一回事商用许可是第三回事。我自己的检查清单是三条一看许可证是否允许商用二看重那些依赖项比如 tokenizer、配套工具是不是也开源或可商用三看社区的 issue 响应速度。很多小团队拿到一个模型发现权重能下载结果内部配套代码是别的协议恰好卡在商用边界上项目黄得很冤枉。Aleph Alpha 这类有政企基因的实验室在协议设计上通常更注意边界这对企业用户是加分项。再补充一点不要只看模型页面的“Star 数”要看最近一个月的 commit 活跃度。很多模型发布即巅峰后续 bug 修复和生态更新接近于零这种项目在生产环境里用起来能让人崩溃。3. 一个编程智能体为什么需要一整柜 GPU3.1 从单卡到整柜NVL72 的硬件构成和核心价值先把 NVL72 的硬件逻辑讲透。在传统数据中心里一组 8 卡服务器要协同工作靠的是外部交换机互联GPU 之间要走网络协议延迟高、带宽低通信开销一大效率就掉下来。NVL72 把 72 个 GPU 放进同一个高速域互连里让它们之间通信快得像在同一个盒子内部。这意味着大规模并行训练时梯度和中间结果不用频繁绕网络整柜的利用率能明显提高。再加上 36 个 Grace CPU 作为控制和管理节点以及配套的液冷散热一个机柜就能顶过去一列机柜的算力密度。正因为这种紧耦合设计NVL72 不太适合那种“随便塞几张卡跑个小任务”的场景它的主战场就是大模型训练、推理集群、AI 智能体这类高并发高带宽负载。液冷这一点也值得多说两句。GPU 功率密度越来越高风冷已经到了极限风扇转速再快也压不住连续满载的热量。液冷不仅解决散热还能降低整柜噪音让数据中心可以在同样面积里放更多算力。云的运维同学应该深有体会风冷机房改液冷其实是在和物理规律抢时间。3.2 AI 编程的工作负载画像长上下文、多智能体、持续运行那么为什么是 Cognition 这种“编程智能体”公司需要它我想用一句话概括编程智能体的工作负载是所有 AI 应用里最接近“人类持续加班干活”的。普通聊天机器人问一句答一句一次推理就结束编程智能体却要读代码、定位问题、改文件、跑测试、看报错、再改整个生命周期可能持续几十分钟甚至更长。长任务意味着模型必须在长时间窗口里保持完整上下文。这些上下文可能是几万行代码、几十个文件、无数日志输出全部要放在显存或高速内存里。同时智能体往往还会起多个并发子任务比如同时检索文档、执行命令、等待测试结果这些都要求推理服务有很强的吞吐能力。再加上这类产品对交互手感要求很高延迟一高用户就会觉得 AI 很笨。所以一整柜 NVL72 不是炫技是真能派上用场。另一个容易忽视的点是测试和沙箱环境的资源消耗。编程智能体跑测试要起容器、编译代码、执行命令这些负载虽然是 CPU 和内存为主但和 GPU 推理并发叠加起来对整机资源的要求会成倍上升。早年大家只关注“推理卡够不够”现在做智能体的团队都会把沙箱容量一并算进预算。3.3 为什么是“租”而不是“建”算力交付方式变化的逻辑另一个问题Cognition 为什么不自己买下一柜设备其实自建有自建的好处长时间满载、成本可控但是自建也得承担硬件贬值、机房租赁、供应链采购、专职运维团队这些成本。对一个产品迭代速度极快的公司来说把时间花在业务比赛上而不是和机器故障作斗争显然更划算。CoreWeave 这类云厂商做的事情本质是“算力基础设施服务化”。把复杂的机柜、网络、散热、监控打包成一种可以按月购买的资源用户只关心今天我需要多少容量。这种模式在 AI 时代像极了用电你不会因为家里耗电多就先自己建个发电厂而是让电网来解决供应你买服务。我知道有人会担心长期成本觉得租三年比自己买还贵。这个担心有道理但它忽略了一个变量硬件迭代速度。AI 加速卡每一年半到两年就换一代自己买的设备还没回本就可能失去竞争力而租用模式可以把设备更新风险转移给服务商。对于大多数公司来说这个账算下来往往是租更划算。4. 两条动态指向同一个产业趋势模型开源化算力服务化4.1 模型层的内卷转向能力开源竞争下沉模型层这两年最明显的变化就是基础模型本身从“竞争力”变成了“入场券”。Aleph Alpha 开源 Kolibri和过去许多实验室开放权重本质上都在承认一个事实大模型技术已经扩散得足够充分闭源优势很难永久保持真正能沉淀下来的壁垒是数据、场景、行业知识以及把它们和模型结合起来的工程能力。把模型比喻成操作系统这个类比很合适。底层操作系统曾经是封闭的但开源版本出现后底层能力的价值开始被稀释大家拼的是谁在特定场景里用得更顺手。开源模型对应用层的意义是一样的你不必再从神经网络的前向传播开始做起把注意力放在解决实际业务问题就好。这个趋势对甲方也有一个直接好处议价权变强了。过去生态模型只能找一两家 API价格说涨就涨现在开源模型随便挑闭源 API 想留住客户就得在价格、速度、附加服务上让步。这也是我在拜访企业客户时越来越常听到的话——“你们的模型如果不如开源的好我们为什么买单”4.2 算力层的形态变化从买零件到租系统算力层也在经历类似变化但形态不同。以前一个大公司想搞 AI先买几百张 GPU招聘懂高速网络、懂组网的工程师自己搭集群。现在云厂商已经把整柜 NVL72 都标准化了交付周期从数月压缩到数周甚至更短。算力变成了一种“按需挑选的服务”而不是“资产沉淀”。这个转变对行业格局影响很大。硬件越来越标准化服务就越来越成为关键谁能把成本做低、把稳定性做高、把调度做得更细谁就能赢得客户。对中小团队来说这意味着你不再需要和巨头拼采购量也能用上同一级别的算力。我认识一些早期就囤了大量显卡的团队现在反而发愁新架构一出旧卡租不上价转卖又要折价还得养人维护机房。相比之下那些从一开始就坚持“只用云、不自建”的团队反而能随时切换到最新硬件没有包袱。硬件红利期已经过去了服务红利期正在开始。4.3 对创业者和独立开发者的三个策略启发落到个人我一直觉得现在是做 AI 应用创业最好的窗口期。第一不要在基础模型上和别人赛跑那已经不是你的主场第二把 GPU 当作水电煤做预算而不是做资产第三主动寻找“通用模型 行业工作流”之间的空白比如编程智能体、文档智能体、客服智能体、数据分析智能体。这背后的原因很直接开源模型把技术门槛拉平了云算力把资源门槛也拉平了。剩下的门槛只剩两类一是对具体业务的深刻理解二是把模型接入复杂流程的工程能力。这两个门槛恰恰是小型团队可以赢过巨头的地方。独立开发者尤其要注意别一上来就搭一个十人的队。先用现成的开源模型加云算力做出一个能被 100 个用户用起来的小产品验证需求和付费意愿再考虑扩张。现在的人工智能成本结构已经允许你单枪匹马跑通整个闭环关键是你愿不愿意从最轻的方式开始。5. 落地参考开源模型选型与算力预算的实操建议5.1 选择开源多模态模型前的四个检查项如果看完这两条新闻你想在自己的项目里试试开源多模态模型我建议不要直接跳到“下载权重”这一步。先做四个检查。第一数据合规。确认模型允许在你的目标环境部署并且商用协议没有隐含限制。不是所有叫“开源”的模型都能拿去商业化。第二语言覆盖。用实际业务语言样本测试而不是只看英语分数。多语言模型在非英语环境下的表现差异极大尤其要注意术语、缩略语和长句。第三视觉能力。如果业务涉及截图、表格、扫描件准备 20 张真实样图人工对比模型输出。多模态模型的视觉能力经常被高估跑分漂亮不等于能准确读出你业务里的复杂表格。第四上下文窗口。编程智能体、长文档问答对窗口要求很高小窗口模型在长输入下会出现严重的注意力衰减表现为越到后面越答非所问。别为了省显存选了小窗口最后得不偿失。5.2 算力需求粗估公式与一个示例算力预算我提供一个粗估思路。假设你要跑一个 7B 参数模型单次任务输出 1000 token每 token 生成需要的计算量和模型结构有关大致在几 GFLOPs 级别。把一天的请求数量乘以单次 token 数得到日产出 token 量再除以单 GPU 在批处理、量化后的实际吞吐比如 3000 token/秒就能得到最低运行的 GPU 总数。最后乘以并发峰值系数比如 1.5 到 2 倍作为冗余。举一个具体例子某客服智能体每天推理 10 万次平均每次输入 2000 token、输出 500 token。日输出 token 就是 5000 万按单卡平均吞吐 3000 token/秒算一天能产出的 token 数是 3000 × 86400 ≈ 2.6 亿。看起来一张卡就够没错这是把 24 小时均匀分摊的理想值。实际峰值可能在某个小时内达到全天流量的 30%也就是每小时 3 万次请求每秒约 8 次请求每次推理含输入输出共 2500 token假设耗时 5 秒那并发需要约 40 个推理进程对应 40 卡左右。这样一算峰值冗余翻几十倍都是可能的。所以我见过太多团队拿日总量算结果上线第一天就被峰值打爆。正确做法先拿一个小实例做压测把 P95 延迟和吞吐拿准再按峰值公式放容量。一切没有压测过的算力规划都是拍脑袋。5.3 上线后必须盯死的四个运维指标上线之后运维层面要盯四个指标。GPU 利用率低于 60%说明负载不饱和或者调度有毛病显存占用长期接近极限说明上下文或批大小设置不合理生成吞吐token/s是用户体验的晴雨表失败重试率是智能体的健康度指标一旦工具调用频繁超时往往意味着网络带宽不匹配或模型容量不足。这四类指标用 Prometheus 加 Grafana 这类开源组合都能搭起来半天能装好。真正难的其实是坚持每两周复盘一次。很多人搭了监控就再也不看等用户投诉了才去翻日志那就失去了监控的意义。顺便说一句如果用的是云厂商交付的 NVL72 这类整柜系统很多底层硬件指标温度、风扇、互联带宽已经由服务商帮你盯了。你要盯的是自己应用层的指标也就是上面这四个。把分工明确好运维压力会小很多这也是为什么我越来越倾向于推荐“租系统”而不是“自己攒机器”。最后再聊一点个人体会。我在这个行业里摸爬了几年最大的感受是AI 的变化永远比新闻标题还快。Aleph Alpha 开源的一天和 CoreWeave 交付 NVL72 的一天看起来是两件独立的事其实都在推高同一个水位让模型更可用让算力更易得。一个认真做产品的团队现在更应该多花时间思考业务而不是把精力消耗在底层门槛上。开源模型不合适就换一个这个柜子不够就再加一个真正值得珍惜的是你对业务的独特理解和把模型变成生产力的那群人。
阅读完成 · 觉得有帮助？
