★ FEATURED ARTICLE Dwarkesh Podcast 深度技术对谈 | 对话嘉宾Beren MillidgeZyphra CTO、Charlie O’Neill 与 John Schulman | 核心议题数字心智的经验累积悖论、持续学习死结与大模型中训练架构演进核心洞察“人类终其一生只能拥有 40 到 50 年的真实工作经验而一个被部署在全球各行各业的数字心智通过无数并发实例每天都在吞吐成千上万年的实际经济活动经验。”然而目前软件产业最残酷的现实是这些价值连城的部署数据Deployment Data在现实中几乎完全无法直接回流让模型变得更聪明。受制于神经网络灾难性遗忘与可塑性流失的百年困境工业界不得不借助繁复的“中训练Mid-training”与回滚检查点进行离线重构。谁能率先打破部署数据孤岛并攻克在线持续学习谁就能真正点燃大模型递归自进化的超级飞轮。01 经验鸿沟碳基个体的 50 年 vs 硅基并发的“百万年工龄”在著名科技播客 Dwarkesh Patel 与 Zyphra CTO Beren Millidge、AI 研究员 Charlie O’Neill 及 OpenAI 联合创始人 John Schulman 的闭门深度对谈中学者们探讨了数字心智相比于人类肉身最本质的理论优势并行经验的时间折叠。生物肉身的经验天花板受限于人类生理代谢、单线程注意力与物理寿命即便是最卓越的领域专家终其一生的全职深度工作经验也仅有约 50 年约 10 万小时刻意练习。并发实例的经验聚合大模型一旦完成端到端推理部署数万甚至数百万个云端 Agent 可以在全球金融、医疗、法律、编程等实体经济核心场景中同时处理复杂长程任务。数百万年的理论红利如果能将每一个在岗实例遭遇的长尾 Bug、谈判博弈与系统故障无损转化为权重的永久智慧AI 将在一两年内吞下人类文明累积数千年的全行业实操经验。然而现实却展现出极大的讽刺当前所有被部署在生产环境中的大模型从 ChatGPT、Claude 到各类企业级 Agent在完成任务关闭会话的那一刻系统内部的权重并没有发生哪怕 0.0001% 的改变。这些奔流不息的“真实工作历练”绝大多数都沦为了被随手丢弃的服务器临时日志。02 部署数据断层为什么大模型无法“在岗自学”为什么顶级实验室不直接开启在线梯度更新Online Gradient Updates让大模型边工作边优化Beren Millidge 与 John Schulman 深刻剖析了隐藏在深度学习底层数学中的两条难以逾越的铁律灾难性遗忘Catastrophic Forgetting如果在生产环境中对特定企业的新业务场景直接进行反向传播模型在剧烈更新部分权重的瞬间极易在无意中覆盖掉预训练阶段学到的通用数学、常识逻辑与对齐安全护栏。可塑性流失Loss of Plasticity神经网络在经历持续的非平稳数据流Non-stationary Data微调后权重会迅速陷入不可逆的退化状态梯度更新饱和模型失去吸收全新知识的能力彻底“僵死”。长程因果与信用分配Credit Assignment在长达数周的企业真实项目中一次代码重构的成败往往由数百个前置决策交织决定缺乏上帝视角的即时反馈模型根本无法判断究竟该奖励哪一步操作。正因如此“在岗自学”绝非简单的开一个训练接口。在没有彻底解决持续学习Continual Learning理论框架之前任何贸然的在线自迭代都只会将一个原本通晓天文地理的通识大师迅速催化成一个在狭隘业务中频频出现幻觉的神经错乱者。03 工业界的妥协方案中训练Mid-training与离线重构为了在严酷的理论铁壁前撕开一道缝隙当下一线大模型实验室演化出了一套极为复杂的工程折中机制——中训练Mid-training与周期性批次蒸馏Batch Distillation训练演进阶段核心数据来源与规模更新机制与工程动作优缺点与生命周期限制预训练 (Pre-training)互联网公网数据 (数十万亿 Token)自回归自监督全参数学习构建通用世界底座成本极高数千万美元级静态冻结完全无部署经验中训练 (Mid-training)高价值合成环境、特定领域精修语料在基础底座上注入专业技能如代码执行环境、数学定理证明提升特定领域推理能力但不能无限累加过多轮次会导致基础能力饱和坍缩部署数据离线清洗真实生产环境脱敏日志、高价值 Trajectory通过筛选、重放Experience Replay与强模型打分提纯将海量垃圾数据中提取 1% 的真金作为下一代模型的增量养料回滚检查点迭代定期冻结并回滚至纯净权重底座将清洗出的部署经验混入新一轮中训练批次中重新烘烤工程繁重滞后周期长达数月无法满足企业级实时进化需求Beren Millidge 与 Charlie O’Neill 特别警告道“中训练并不是一条可以无限走下去的康庄大道。”当团队试图对同一个权重底座连续喂入多轮中训练数据时模型的性能曲线会迅速迎来渐近线天花板Asymptote。这意味着现阶段业界为了吸收新的行业经验往往不得不耗费巨资重新从第一步开始预训练一个全新的基础模型底座。04 终局推演突破持续学习死结开启自举智能奇点尽管前路布满暗礁但所有学者均一致认同一旦打破这层技术天花板整个通用人工智能AGI乃至超级智能ASI的进化速度将被彻底改写。对谈最后勾勒出了破局的三大技术前沿方向权重池化与中心化蒸馏Pooled Weight Updates数百万个分布式部署实例在本地仅进行低秩适应如 LoRA 或记忆外挂核心服务器以周期性联邦批处理的方式通过高质量验证器Verifier对有效权重增量进行聚类、去噪与蒸馏合并。元学习与长上下文测试时学习In-Context Continual Learning绕过易碎的物理权重反向传播将整个学习过程完全置于数百万 Token 的超长上下文窗口内。利用类似人脑工作记忆的方式在测试时Test-time直接实现终身学习。从离线作坊到自我进化的有机体攻克持续学习的那一天AI 将彻底从由人类工程师手动烧结、发版的“离线工业品”蜕变为真正无时无刻不在呼吸人类经济全貌、自我纠错与自我升级的“活体数字物种”。正如 Beren Millidge 所总结的人类文明目前正处在一个奇特的技术夹缝中我们已经拥有了能产生数百万年经验的数字工人却还没有造出能将这些经验无损吸收消化的超级海绵。而这一场关于神经网络可塑性、记忆维持与自进化算法的隐秘较量正是决定下个十年 AI 能否真正跨入超级智能神殿的核心决战。本文由技术团队基于著名播客 Dwarkesh Patel 对谈 Zyphra CTO Beren Millidge、Charlie O’Neill 与 OpenAI 联合创始人 John Schulman 的闭门访谈精髓深度提炼。拆解大模型部署数据断层、灾难性遗忘与中训练架构演进的前沿真实现状。
阅读完成 · 觉得有帮助？
