★ FEATURED ARTICLE 开源大模型圈子里每隔一阵就会冒出一个让人坐不住的项目。MiMo-V2.6就是最近这个例子——第一开源大模型、自我改进的强化学习规模化两个标签叠在一起让做推理模型、做RL训练、甚至只是做应用选型的人都把团队的技术报告反复翻了几遍。这篇我就结合自己跑模型、做训练的一些真实体会把这份技术报告拆开聊聊重点说说它到底改变了什么、你该怎么复现、以及落地时会踩哪些坑。1. 为什么说 MiMo-V2.6 踩准了“自我改进”这个节拍1.1 从预训练堆规模到推理模型的范式转移过去两年开源大模型的竞争基本围绕一个主线把预训练规模做得更大把基座模型训得更聪明。但MiMo-V2.6的立足点完全不在基座而在后训练。团队把强化学习规模化作为主战场目标不是再堆一个千亿参数怪兽而是让模型在推理阶段通过自我交互和自我修正持续把能力上限往上顶。这个转向意味着什么预训练阶段的Scaling Law已经逼近边际收益递减继续加数据和算力回答质量的提升越来越小。而强化学习阶段恰好是过去开源社区投入最少、天花板却最高的环节。MiMo-V2.6相当于明说与其重训基座不如把预算砸在RL阶段让模型自己给自己出题、自己判卷、自己改错。我在本地复现MiMo-V2.6的时候最深的感觉是这个模型的代码和数学推理风格非常“会反思”。遇到复杂题目它生成的中间过程里会主动出现类似“等一下上一步的假设可能不成立”这样的自我纠正节点。这不是模板而是强化学习在大量试错中长出来的行为模式。对做应用的团队来说这种能力比单纯的准确率提升更有价值。1.2 强化学习规模化到底“规模化”了什么很多人听到“强化学习规模化”第一反应是加大RL训练时的算力。报告拆解下来规模化其实体现在三个层面。第一是合成数据的规模化。MiMo-V2.6的训练数据里有大量通过模型自身生成、再经过筛选和标注构造出来的难题而不是单纯依赖人工标注或公开数据集。此前的开源模型舍不得在RL阶段投入那么多合成数据因为生成成本高、噪声大。但MiMo-V2.6的做法是先把数据规模做上去再用奖励模型和规则校验把噪声压下去。第二是训练轮次和任务分布的规模化。报告里描述的强化学习流程不是单轮RLHF就收工而是多轮迭代生成一批数据、训练奖励模型、用策略模型采样、筛选高质量轨迹、再混合训练。每一轮之间模型的能力都会被重新评估然后针对弱点生成新的训练数据。传统RLHF只改“回答偏好”MiMo-V2.6改的是“任务分布本身”。第三是评估闭环的规模化。为了让模型知道自己错在哪需要一套可以自动判断对错的评估机制。代码跑测试用例、数学题对答案天然适合自动判分。MiMo-V2.6和DeepSeek-Kimi的思路类似都重点盯数学和代码这两个“规则可验证”的领域把强化学习的反馈信号做得非常干净。注意这三个规模化不是独立发生的。合成数据决定模型见过什么问题训练轮次决定模型能改多深评估闭环决定模型改完有没有跑偏。三者必须咬合在一起只放大某一个反而容易让模型在窄领域上过拟合。1.3 为什么数学和代码是强化学习的最佳试验田这不是偏好问题而是技术选择。强化学习的核心是奖励信号但绝大多数自然语言任务根本没有客观的“对”和“错”。你很难写一个程序判断“这段营销文案好不好”但你可以用单元测试判断“这段Python代码能不能跑通”用标准答案判断“这道数学题的最终结果对不对”。MiMo-V2.6把全部火力集中在这两个高确定性任务上逻辑很清晰奖励信号可验证模型能够精确知道自己哪一步错了错误类型丰富既有计算错误也有推理路径错误能给强化学习提供足够的梯度信息任务边界清晰方便构造大规模合成数据甚至可以自动生成新题目所以你在MiMo-V2.6的技术报告里看到最多的词汇基本就是self-improvement、可验证奖励、合成数据。这些词背后其实是同一条技术路线让模型在错误中反复练习直到形成稳定的自我修正习惯。2. 拆解 MiMo-V2.6 的核心技术动作2.1 eagle-2.6合成数据的规模化流水线报告里反复出现的eagle-2.6是MiMo-V2.6训练数据的代号。这个名字看着高大上本质其实就是一条“合成数据流水线”。我理解它可以拆成三个步骤第一步种子数据筛选。从开源代码仓库、数学竞赛题库、公开论文里的公式推导中筛选出高质量题目作为种子。关键不是数量而是多样性。如果种子题目只集中在几个常见题型后面生成的合成数据也会跟着偏科。第二步模型自我扩写。让一个足够强的教师模型基于种子题目做改写、变形、扩展。比如把一道简单算术题扩展成多步骤应用题或者把一段顺序执行的代码改成需要分支判断的实现。这一步产出的原始数据量非常大但噪声同样大。第三步规则过滤加模型过滤。代码任务直接跑测试用例跑不通的丢弃。数学任务用符号计算验证答案对不上的丢弃。最后再用奖励模型做一遍质量打分只保留高分轨迹。这套流水线里最容易翻车的是第二步。模型扩写题目的时候经常会把条件改得自相矛盾或者把题目难度改得面目全非。我在自己的训练项目里试过类似做法教训是一定要在过滤阶段同时校验“题目本身的合法性”和“答案的唯一性”不能只看模型给出的答案对不对。2.2 self-improvement 的闭环机制MiMo-V2.6真正核心的机制是自我改进闭环。拆开看就是四步循环当前策略模型在训练任务分布上采样生成多条推理轨迹规则验证器或奖励模型对轨迹打分区分正确与错误将高分轨迹和低分轨迹混合构造偏好对或直接构造训练样本用强化学习算法更新策略模型进入下一轮这个闭环最值得琢磨的地方在于错误轨迹并没有被简单丢弃。传统做法是只保留正确答案错误答案直接扔掉。MiMo-V2.6的做法更接近“从错误中学习”让模型显式对比自己的错误路径和正确路径学习那些容易踩坑的中间状态。我试过在较小的模型上复刻这种对比式训练效果确实比只喂正确答案要好。原因也简单只看正确答案模型只能学会“这题应该这么做”看了错误答案和修正过程模型才能学会“这类题常见的坑是什么我应该绕开它”。这就是报告里self-improvement的价值所在不是让模型记住更多题而是让模型获得更强的模式识别和错误规避能力。2.3 训练策略偏好优化之外还有什么阅读技术报告时需要注意MiMo-V2.6的RL训练并非只靠单一的强化学习算法。它综合了几种手段基于偏好的优化用对比学习的方式让模型输出更贴近高分轨迹。这类方法实现简单训练稳定性好基于规则的验证优化对于代码生成和数学推理这类可验证任务直接用测试用例和标准答案作为强化信号。这类反馈最可靠但需要大量工程的配合过程奖励建模对推理的中间步骤进行奖励塑形而不是只看最终结果。这一步是“自我改进”的关键因为最终答案对了不代表推理过程没问题几个手段同时上训练复杂度会明显上升。我在实际复现过程中最大的感受是这种混合训练极其依赖数据管道的整洁度。如果训练数据里混入太多格式不统一、答案不唯一的样本强化学习的训练曲线会变得非常颠簸。3. 实操把 MiMo-V2.6 跑起来的完整路径3.1 环境准备与模型获取如果你只是想试玩MiMo-V2.6不需要拥有多么夸张的硬件。推理阶段量化到4bit的版本可以在24G显存左右的消费级显卡上跑起来。但如果要做完整的RL训练复现那就需要至少几十张A100/H800级别的GPU这一步没法省。值得提醒的是开源模型社区现在已经很规范模型权重发布后一般会有几个分发渠道模型官方发布页包含权重文件和模型卡对应的开源社区仓库通常有GFM格式的权重转换脚本第三方量化项目类似exllama、llama.cpp等社区项目会跟进量化版本建议先下载官方权重跑通推理再考虑量化版本。因为量化版本的评测结果可能和官方数据有偏差如果你要参考报告里的benchmark用官方权重更可靠。3.2 推理部署的两种方式我实测过两种部署方式分别适合不同场景。方式一使用vLLM做高性能推理服务。这是目前开源大模型部署的主流方案支持动态批处理吞吐量明显优于朴素的Transformers加载方式。我自己用vLLM部署MiMo-V2.6做批量代码生成评测同样的测试集吞吐量大概比Transformers高3到5倍。方式二使用Hugging Face Transformers做交互式试验。适合快速验证prompt效果、观察模型推理过程、调试输入格式。缺点是并发能力弱、吞吐量低只适合个人调试。两种方式的核心差异在批处理策略。vLLM会把多条请求动态拼接成同一个batch显卡利用率高Transformers默认一条条处理浪费严重。如果你准备把MiMo-V2.6接到生产环境直接上vLLM不要在Transformers上死磕。3.3 推理时的重要参数跑MiMo-V2.6这类RL训练出来的模型跟跑传统指令微调模型很不一样。最直接的差别是采样参数。我在实验中发现MiMo-V2.6在推理时对temperature和top_p非常敏感数学推理任务temperature建议0.6到0.8太低会让模型过于保守太高又会引入过多随机性破坏推理链的严谨性代码生成任务temperature可以稍微高一点方便模型探索多种实现路径但也要控制在1.0以内top_p建议保持0.9左右配合temperature使用另外这类模型往往自带“长思维链”倾向。报告里也强调模型会在正式回答之前生成一段长达数百token的推理过程。这个特性对最终答案质量有帮助但会增加推理延迟和计算成本。如果你的场景对延迟敏感可以考虑训练一个轻量judge模型判断当前任务是否需要长推理或者直接在prompt中限定“简短推理后直接给出答案”我在实际测试中把prompt改成“think step by step but keep it concise”之后MiMo-V2.6在部分简单任务上的推理长度缩短了约一半准确率没有明显下降。不过在复杂任务上不要轻易限长否则模型容易偷懒跳步。3.4 本地微调的注意事项如果你想把MiMo-V2.6适配到自己的垂直领域微调是绕不开的步骤。这时候有几个坑要提前避。第一不要用基座版本直接训练。MiMo-V2.6发布时通常包含基座模型和指令模型两个权重微调必须基于你最终部署形态对应的版本。要做RLHF或DPO从指令版开始要继续做预训练增强才从基座版开始。第二LoRA微调对这类已经深度强化学习过的模型效果比预期更好。我的理解是模型的底层能力已经在RL阶段被充分激活LoRA只需要调整最后的输出分布和任务偏好不需要也不应该破坏底层的推理能力。第三数据质量权重远大于数据数量。我见过很多团队拿几千条垂直领域数据做LoRA效果比拿几万条低质量数据还好。用MiMo-V2.6这种已经很强的模型做底座垂直领域的微调数据尤其要精宁缺毋滥。第四微调时建议降低学习率。RL训练后的模型参数分布在比较“脆”的状态过大的学习率很容易把它们打乱。我在类似模型上微调学习率一般设置在1e-5到3e-5之间批次大小控制在能稳定梯度更新的范围。4. 从中读懂强化学习规模化的几个关键参数4.1 奖励模型怎么设计MiMo-V2.6的训练效果一多半取决于奖励模型和规则验证器的设计。别以为奖励模型只是给回答打个分它直接决定了强化学习的方向感。规则验证器负责客观对错奖励模型负责主观质量。做代码任务时规则验证器可以是一个测试用例运行器做数学任务时可以是一个符号计算引擎。这些信号准确率高、不改参数就能用所以是训练的主反馈。奖励模型则负责补充规则覆盖不到的评价维度比如推理链是否顺畅、解题思路是否清晰、代码风格是否可读。这类信号主观性强但恰恰是模型“自我改进”的关键。只对最终结果打分模型会学会猜答案对推理过程打分模型才会学会严谨推理。我的建议是如果你要复现一个缩小版的MiMo-V2.6训练流程先把规则验证器做到极致奖励模型可以后面再加。规则信号不准确奖励模型训练得再好也是带偏的。4.2 训练超参与收敛判断强化学习训练的稳定性一直是开源复现中最让人头疼的部分。MiMo-V2.6的报告里虽然没有把所有超参数都列出来但从技术路线上可以推断出几个关键设置KL散度系数限制策略模型与参考模型的偏离程度防止模型在RL训练中崩坏。系数太小模型容易钻奖励漏洞系数太大训练基本不生效优势估计的GAE参数影响信用分配决定模型能否精确定位错误步骤生成温度数据采样阶段的温度一般比推理阶段高目的是增加轨迹多样性批次大小RL阶段的批次大小远大于SFT阶段保证每次策略更新都基于足够多样的样本关于收敛判断我的经验是别只看平均奖励。MiMo-V2.6这个级别的模型在RL训练中平均奖励会稳步上升但模型的单点极端表现可能出现回退。我更倾向于关注两个指标奖励分布的方差有没有在逐步收窄不同难度任务上的表现有没有同步提升如果方差一直在震荡说明训练信号还不够稳定。如果简单任务涨、复杂任务降说明模型在走捷径需要检查数据分布是否失衡。4.3 评估闭环与数据返工强化学习训练是唯一一个“数据质量不足模型会越练越差”的环节。SFT阶段喂几条坏数据最多影响一个方向RL阶段如果奖励信号被污染模型会主动去追求错误的策略。结果就是训练轮次越多模型越走偏。避免这个问题只有一个土办法定期用独立评估集做阶段测试发现效果回退立刻停止训练排查数据或奖励模型的问题。而且是每训练一定步数就做一次真的没有捷径。我在复现过程中遇到过一次很典型的情况某一轮强化训练之后模型的数学能力明显上涨但代码风格突然变差。排查下来发现是上一轮数据生成时代码任务的测试用例覆盖率不足模型学会了“看输入猜输出”的旁门左道。这种问题光看训练loss是发现不了的必须靠独立评估集。5. 常见问题与避坑实录5.1 合成数据被污染怎么排查合成数据最大的坑是“看似对其实错”。模型扩写题目时可能把题干改出歧义或者把两个解题路径强行合并成一条不符合逻辑的推理链。普通规则验证器很难发现这类问题因为它们只验证最终答案。我的排查方法有两个。第一在训练前随机抽样一定比例的数据人工做质量抽检。别嫌土这招最有效。5000条扩写数据里抽100条人工看一遍基本就能判断数据流水线是否跑偏。第二做“反推验证”。把模型生成的题目喂给另一个不同系列的强模型看它能否稳定给出相同答案。如果两个模型答案不一致大概率数据有问题。这个技巧成本高一点但可以发现隐藏很深的逻辑矛盾。5.2 强化学习训练不稳定怎么办症状通常是这么几个训练早期loss就疯狂震荡、奖励曲线过平滑区后突然暴跌、模型生成内容出现大量重复或瘫痪。我踩过几次坑后的排查顺序是先查学习率太高就降对比训练初期KL散度是否异常再查奖励模型确认它对新一批数据的打分分布是否稳定然后查数据管道看最近引入的合成数据是否格式突变最后查采样参数生成temperature是否设置过高导致轨迹质量崩坏这里面我最想强调的一点是训练不稳定并不总是超参数问题往往是因为数据管道出现了肉眼看不到的漂移。上上轮生成的数据可能还是高质量的上轮因为某个筛选条件放宽悄悄混进了大量低质量数据模型就会被带歪。5.3 开源社区的复现陷阱开源模型最大的优点是公开透明最大的坑是“你以为能复现其实不能”。MiMo-V2.6这类模型报告里给出的benchmark数字往往是在特定数据分布、特定采样参数下得到的。别人出成绩不一定代表你拿到代码就能跑出同样成绩。复现时要注意几个变量评测时的提示词模板一个小改动就能让分数波动采样参数的设定temperature差0.1结果可能差很多生成轮数和投票机制有些模型报告用了多次采样投票单次生成分数会明显偏低如果你发现自己的复现分数和官方报告差不少先别急着骂。逐步对齐这些变量通常就能找到差异来源。5.4 与开源模型对比的小技巧最后分享一个我做开源模型选型和评测的小技巧不要只盯单一基准测试的总分一定把数学、代码、指令跟随等子项分数拆开看。MiMo-V2.6的强项在数学推理和代码生成。如果你的应用场景是长文本写作或开放问答它未必比同期的通用模型更合适。反过来如果你的项目每天要跑大量代码生成和逻辑推理任务这类强化学习规模化的模型很可能是性价比最高的选择。我现在做模型选型时的习惯是先明确任务类型是否属于“规则可验证”的范畴如果是优先关注这类强化学习特化模型如果不是再回头考虑通用SFT模型。这个小习惯帮我省下了不少试错成本。写在最后从MiMo-V2.6这个项目上我最深的体会是大模型的能力上限已经从预训练阶段悄悄转移到了强化学习阶段。开源社区正在经历一次从“堆基座”到“抠后训练”的转型。对普通开发者和中小团队来说这其实是个好消息——你不再需要几百张卡去复现千亿基座模型但你完全可以用几十张卡在一个已经很成熟的开源基座之上通过强化学习训练出某个特定能力极强的小模型。以后再看到开源模型发布不妨多留意它的训练报告中关于RL阶段的内容数据怎么生成、奖励怎么设计、评估怎么闭环。这些才是决定模型真实水平的核心细节也是每个想训练自己模型的人都应该补上的功课。
阅读完成 · 觉得有帮助？
