★ FEATURED ARTICLE 【免费下载链接】Macaron-V1-Tall项目地址https://ai.gitcode.com/hf_mirrors/mindlab-research/Macaron-V1-Tall点击查看免费下载Macaron-V1-Tall 是 MindLab Research 开源的持续学习大模型它基于 Qwen3.6-35B-A3B 底座用 Mixture-of-LoRAMoL多专家架构承载递归自我改进循环让模型在几乎不遗忘旧技能的前提下持续自进化。本文用尽量通俗的方式剖析它的原理、路由机制、评测表现与上手方法。一句话认识 Macaron-V1-Tall基座 四位专家先把这张名片看一遍后面所有原理都围绕它展开项目值基座模型Qwen3.6-35B-A3BMoE256 个专家 / 每 token 激活 8 个架构冻结基座 4 个 LoRA 专家Mixture of LoRALoRA 配置r 64α 128每适配器约 37.7 亿参数专家分工L0 Chat / L1 Agent / L2 Coding / L3 GenUI上下文长度262K发布规模约 50BBF16L2 专家为 F32许可证MIT基座架构定义在 config.jsonQwen3_5MoeForConditionalGeneration40 层、hidden size 2048而真正让持续学习成为可能的是loras/目录下的 4 个适配器。为什么大模型需要持续学习大多数人以为微调就是让模型学会新东西但传统微调路线有三个绕不开的痛点一次性成本高——每学一项新能力都要重训全量权重算力开销巨大灾难性遗忘——教会新技能时旧技能往往被冲掉定制互相污染——A 用户的个性化训练会覆盖 B 用户的体验。Macaron-V1-Tall 的设计思路恰好逐条回应基座永远冻结学习只发生在轻量的 LoRA 适配器上。想升级某项能力只替换那一个适配器即可基座和其他专家纹丝不动。这就是它持续学习的物理基础。Mixture of LoRA 架构四个专家如何分工LoRALow-Rank Adaptation是一种只训练少量附加参数、主权重保持冻结的轻量微调方法。Macaron-V1-Tall 更进一步它不挂一个 LoRA而是并行挂载 4 个专职 LoRA 专家README.md#L152-L161适配器角色负责什么loras/L0Chat对话与指令遵循同时兼任路由入口loras/L1Agent个人助理任务、重度工具调用、长程规划loras/L2Coding代码理解、SWE 任务、终端与仓库级工作流loras/L3GenUIUI4A 界面渲染与 UI 驱动动作四个适配器的训练配置高度一致loras/L0/adapter_config.json、loras/L1/adapter_config.json、loras/L2/adapter_config.json、loras/L3/adapter_config.json目标模块注意力投影q_proj、k_proj、v_proj、out_proj、in_proj_*等 MoE 专家参数experts.gate_up_proj、experts.down_proj刻意排除gate、lm_head、shared_expert_gate——这些是基座通用能力的核心专家不碰预算每个适配器约 3,775,651,840 个参数约为全量基座的十分之一量级。 一个类比基座模型像全科医生每个 LoRA 像一枚专科插件。给插件升级不用给全科医生动手术——这正是持续学习能长期运转的关键。递归自我改进循环模型自进化的核心引擎Macaron-V1 持续学习的灵魂是官技术报告arXiv:2608.09819提出的递归自我改进循环recursive self-improvement loop产出当前模型在真实工作流对话、工具调用、编码、界面生成中产生高质量任务数据训练用这些自产数据训练对应领域的 LoRA 专家后训练系统为 MinT MindForge替换新适配器顶替旧适配器上线基座权重始终不变迭代更强的模型在下一轮产出更好的数据循环往复。这个循环里有三个让自进化安全可控的设计决策基座冻结所有学习沉淀进各约 37.7 亿参数的适配器永远不会扰动基座通用能力从机制上规避灾难性遗忘能力级隔离Chat、Agent、Coding、GenUI 各持独立适配器——升级编码能力只需重训 L2其余三位专家零影响。训练轨迹完全公开README.md#L234-L244AdamW、学习率 5e-6、线性预热余弦调度L0/L2 训 4 个 epochL1/L3 训 1 个 epoch快照化发布README.md 明确说明本次发布是递归自我改进循环的单次快照并附带完整可复现的边界条件适配器版本 兼容基座 推理框架配置。⚠️ 诚实提示官方 Limitations 明确写道One snapshot, not a demonstrated learning curve——单次快照尚不能区分跨代复合提升与单轮自产数据训练跨代收益尚未量化README.md#L212。这是该系列最值得关注的开放问题。L0 路由机制请求如何被分派给正确的专家运行时四位专家并不混合工作而是由 L0 担任路由器每来一条新的用户请求L0 先做一段极短的约束解码约 24 个 token选出本轮专家整轮推理与工具交互都在所选专家内进行任务完成后再以一份不超过 192 token 的摘要与其他专家共享跨专家的记忆由此流转README.md#L161。官方实测的单请求循环成本48 条多轮混合领域请求temperature 0README.md#L163-L172环节平均延迟占比路由L0 约束解码24 tok0.20 s11%专家回答生成1.24 s70%摘要共享192 tok 上限0.32 s19%合计1.76 s100%在 6,448 条样本的轨迹上路由准确率达99.04%其中 GenUIL3为 100%AgentL1最低为 95.1%README.md#L174。相比同家族的 748B 配置 Macaron-V1-Venti4.68 sTall 的端到端延迟约为其 1/2.7——持续学习的多专家开销被控制在了可接受的范围内。评测数据自进化模型的实际表现Macaron-V1-Tall 与基座 Qwen3.6-35B-A3B 在 7 项基准上对比归一化 0–100越高越好README.md#L180-L188BenchmarkMacaron-V1-TallQwen3.6-35B-A3BMacaron ChatBench54.948.0Macaron LivingBench48.447.1PinchBench86.282.5ClawGym64.058.6SWE-bench Verified75.473.4TerminalBench 2.156.252.5UI4A-Bench (Final Score)59.333.9七项全胜。涨幅最大的正是 Generative UIUI4A-Bench 从 33.9 跃升到 59.325.4直接受益于 L3 GenUI 专家的专职持续训练——这正是专家分工 持续学习能带来、而通用基座给不了的能力增量。持续学习的边界官方的诚实回答在总结前值得先正视官方列出的局限README.md#L208-L218单次快照 ≠ 学习曲线尚无跨代复合提升的量化证据多模态是继承不是调优四位专家仅用纯文本数据训练视觉能力继承自 Qwen3.6 基座单意图路由每轮请求整体分派给一个专家多意图分解仍是探索性功能状态化工具调用偏弱BFCL v4 上 observe-before-commit 风格得分 49.5%低于离散函数调用54.0%无组件级归因增益来自专家、路由还是二者的交互尚无受控实验拆解。这些边界本身就是持续学习领域下一程的路线图。快速上手本地部署 Macaron-V1-Tall先拿到仓库约 50B 发布规模BF16 基座 4 个 LoRA 适配器git clone https://gitcode.com/hf_mirrors/mindlab-research/Macaron-V1-Tall只想跑基座 checkpoint 时用 Transformers 加载即可from transformers import AutoModelForCausalLM, AutoTokenizer import torch repo_id mindlab-research/Macaron-V1-Tall tokenizer AutoTokenizer.from_pretrained(repo_id, trust_remote_codeTrue) model AutoModelForCausalLM.from_pretrained( repo_id, torch_dtypetorch.bfloat16, device_mapauto, trust_remote_codeTrue )⚠️ 注意上面加载的是未启用 MoL 路由的基座。想要完整的路由 专家切换持续学习体验需要官方 Mixture of LoRA serving harness 部署——它在保持 OpenAI 兼容端点的同时加入 L0 路由器和同请求专家切换。几个常用的仓库文件索引模型主权重仓库根目录 26 个model-000XX-of-00026.safetensors分片索引见 model.safetensors.index.json基座架构配置config.json四个 LoRA 专家loras/ 目录L0–L3 各含 adapter 权重与配置对话模板chat_template.jinja生成参数generation_config.jsontop_p 0.95 / top_k 20写在最后让模型自己进化意味着什么三句话收束全文基座冻结、适配器学习——持续学习的物理基础基座提供通用能力LoRA 专家承载不断进化的专业技能循环是递归的——模型自己的输出成为下一轮的训练数据能力与数据互为燃料、共同增长路由把多个专家变回一个模型——L0 以约 0.2 秒的开销完成分派用户面对的始终是一个统一入口。Macaron-V1-Tall 的价值在于把这个循环做成了开放、可复现、MIT 许可的适配器、路由行为、训练超参全部公开。哪怕跨代收益仍是一个问号任何人都能基于这份快照去验证、复现甚至开启属于自己的那轮自我进化实验。赞分享【免费下载链接】Macaron-V1-Tall项目地址https://ai.gitcode.com/hf_mirrors/mindlab-research/Macaron-V1-Tall点击查看免费下载相关推荐RetroArch Android TV 控制器配置实战遥控器到手柄一次搞定RetroArch Android TV 控制器配置实战遥控器到手柄一次搞定 手柄在电视设置里明明显示已连接一进 RetroArch 却只跳 A 键、方桌面应用音视频Macaron-V1-Tall vs Macaron-V1-Venti 选型指南同门两大 MoL 模型怎么选Macaron V1 Tall vs Macaron V1 Venti 选型指南同门两大 MoL 模型怎么选 Macaron V1 Tall 是 MindLaDCIntrospect核心功能解析视图框架高亮、属性日志和布局调试DCIntrospect核心功能解析视图框架高亮、属性日志和布局调试 DCIntrospect是一款专为iOS开发者打造的轻量级视觉调试工具库能够帮助开发者开发工具移动开发创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
