★ FEATURED ARTICLE 人工智能大模型基础模型多模态语音【免费下载链接】MiMo-V2.6-Flash-MOPD项目地址https://ai.gitcode.com/XiaomiMiMo/MiMo-V2.6-Flash-MOPD点击查看免费下载MiMo-V2.6-Flash-MOPD是小米 MiMo 团队开源的旗舰级多模态大模型采用稀疏 MoE混合专家架构总参数 309B但每个 token 前向时只激活约 15B 参数支持文本、图像、视频、音频全模态输入并提供 1M约一百万token 超长上下文。本文带你快速看懂它的架构设计、专家路由原理和 MOPD 蒸馏升级点适合想部署或研究该 MoE 大模型的新手。一图读懂 MiMo-V2.6-Flash-MOPD 核心规格 关键项数值说明总参数 / 激活参数309B / 15B稀疏 MoE推理成本低层数48 层39 SWA 9 GA局部全局混合注意力路由专家256 个每 token 激活 8 个无共享专家上下文长度1M tokens长文档、长视频友好模态文本 / 图像 / 视频 / 音频全模态编码器推测解码5 层 MTP 草稿模型DFlash 风格加速生成主模型配置可参考 config.json完整说明见 README.md。图MiMo-V2.6 架构总览——全模态编码器 混合 SWA 主干 MTP 推测解码块稀疏 MoE 专家路由256 个专家为何只激活 8 个这是本模型最核心的设计。传统 Dense 模型的每一层对所有 token 都执行同一个大 FFN而 MoE 把 FFN 拆成多个专家expert由一个路由器gate决定每个 token 走哪几个专家。MiMo-V2.6-Flash-MOPD 的做法是每层 256 个路由专家中间维度 2048单个专家约 25M 参数每个 token 只选 8 个专家num_experts_per_tok: 8按 sigmoid 打分 top-k 归一化加权求和不设共享专家n_shared_experts为 null路由更纯粹第 0 层例外用 Dense FFN 打底moe_layer_freq首位为 0保证底层表征稳健。参数账本近似计算单层专家组 ≈ 256 × 25M ≈ 6.4B 参数47 个 MoE 层累计约 303B加上注意力层与词表嵌入152576 × 4096刚好凑足 309B 总参数而每个 token 只流经 8 个专家约 200M/层48 层累加约 15B 激活参数。这就是309B 容量、15B 开销的答案——用大参数容量换知识广度用稀疏激活换推理速度。路由门控的实现见 modeling_mimo_v2.py权重按专家分片存放在model_pp0_ep0_shard0.safetensors~model_pp0_ep127_shard0.safetensors这 128 个分片中每片承载每层 2 个专家便于按 EP专家并行切分到多卡。混合 SWA 注意力1M 长上下文的秘密 全注意力Full Attention在百万级上下文下KV Cache 与计算量都会爆炸。MiMo-V2.6 采用39 层滑动窗口注意力SWA窗口仅 128 9 层全局注意力GA交替排布见 config.json 中的hybrid_layer_patternSWA 层只关注局部窗口KV Cache 占用极小GA 层负责长程依赖与全局信息汇聚SWA/GA 使用不同的 RoPE 基频10000 vs 10000000与 KV 头数8 vs 4细节见 MiMoV2RotaryEmbedding。组装逻辑很直观MiMoV2DecoderLayer 根据hybrid_layer_pattern[layer_idx]决定本层是 SWA 还是 GA是 MoE 还是 Dense FFN。多模态编码器图像、视频、音频如何接入模型把三种非文本模态的编码结果替换到输入序列中对应的占位 token 位置上逻辑见 _get_multimodal_embeds组件规模要点MiMo ViT 视觉编码器681M28 层24 SWA 4 Full视觉侧也用混合窗口注意力2×2 空间合并AudioTokenizer 音频编码器308M24 层20 路 RVQ 码本独立权重见 audio_tokenizer/音频 patch 编码器127M6 层4 帧合并25Hz → 6.25Hz 降采样视频直接复用视觉编码器按 2 token/秒采样无需单独训练视频塔。MTP 推测解码5 层草稿模型提速生成 ⚡MoE 模型虽然单步激活少但逐 token 自回归生成仍是瓶颈。MiMo-V2.6 在主干之外挂了一个DFlash 风格的 5 层 SWA 草稿模型它从主干第 0/11/23/35/47 层抽取中间特征作为上下文见 dflash/config.json 的target_layer_ids一次前向并行起草7 个后续 tokenblock_size8由主干并行验证命中即整块接受实现见 dflash/dflash.py 中的DFlashDraftModel权重单独存放在model_mtp.safetensors。部署时用 SGLang 的--speculative-algorithm EAGLE --enable-multi-layer-eagle即可启用配合 DP 注意力--enable-dp-attention进一步摊薄开销。MOPD 蒸馏专治工具调用复读机 本版本是MiMo-V2.6-Flash-RL 的 MOPD 升级版。MOPD2 把多个领域专家教师模型融合蒸馏进同一个学生模型覆盖三类更新流Standard MOPDmixRL 教师监督完整自主 rollout适合可验证任务Teacher-Prefix OPD用教师轨迹做前缀学生续写一轮再由教师打分SFT-Prefix OPD用合成演示做前缀学生自续写适合奖励难设计的开放域任务如长周期游戏开发、科研、具身智能。另一大亮点是修复了 V2.6 发布后最显眼的 Agent 缺陷——工具调用重复模型反复发出相同或高度相似的 tool call看起来很忙却没进展。MOPD 阶段用一小段专项教师训练即可快速收敛。图响应级重复率对比——MOPD 后在各上下文长度与 Agent 框架下均显著下降快速上手部署如何最快跑起来 权重采用 FP8 量化128×128 分块 MXFP4 存储o_proj等敏感层保持高精度配置见 config.json 的quantization_config。推荐 SGLang 或 vLLM 部署采样建议temperature1.0、top_p0.95sglang serve --trust-remote-code \ --model-path XiaomiMiMo/MiMo-V2.6-Flash-MOPD \ --tp 8 --dp 2 --enable-dp-attention \ --speculative-algorithm EAGLE --enable-multi-layer-eagle完整启动参数含多模态 DP 编码器、chunked prefill 等见 README.md 的 Deployment 章节。关键文件速查 主模型配置config.json模型实现注意力/MoE/多模态modeling_mimo_v2.py推测解码草稿模型dflash/音频 Tokenizer 权重audio_tokenizer/架构总览图assets/architecture.png总结MiMo-V2.6-Flash-MOPD 是一份工程与算法双满分的开源答卷309B 稀疏 MoE 只激活 15B 参数控制推理成本SWAGA 混合注意力撑起 1M 上下文5 层 MTP 草稿模型加速生成再用 MOPD2 多教师蒸馏补齐 Agent 场景的工具调用重复问题。对于想研究大规模 MoE 架构、长上下文工程或投机解码机制的同学这个仓库的配置文件与模型源码是非常好的实战样本。赞分享人工智能大模型基础模型多模态语音【免费下载链接】MiMo-V2.6-Flash-MOPD项目地址https://ai.gitcode.com/XiaomiMiMo/MiMo-V2.6-Flash-MOPD点击查看免费下载相关推荐小米MiMo-V2.6-Flash-RL正式发布309B MoE全模态智能体模型的6大亮点完整指南小米MiMo V2.6 Flash RL正式发布309B MoE全模态智能体模型的6大亮点完整指南 小米 MiMo V2.6 Flash RL 是小米 MiM人工智能大模型基础模型多模态强化学习推理模型语音计算机视觉openpilot 上手手册驾驶辅助系统从克隆到第一次跑起来openpilot 上手手册驾驶辅助系统从克隆到第一次跑起来 openpilot 是一个开源驾驶辅助系统把 300 多种车型的自带辅助驾驶升级成自动车道居中自动驾驶人工智能深度学习计算机视觉Genkit Go Skills 中间件实战从 pirate 技能文件的 SKILL.md 格式到 use_skill 加载机制Genkit Go Skills 中间件实战从 pirate 技能文件的 SKILL.md 格式到 use_skill 加载机制 本文以 Genkit Go人工智能大模型多模态计算机视觉推理模型上一篇【免费下载】 开源项目教程视频特征提取器video_feature_extractor下一篇Home Assistant Kindle 屏保生成器教程创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
