★ FEATURED ARTICLE 【免费下载链接】NVIDIA-Nemotron-Labs-Teacher-Chat项目地址https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-Labs-Teacher-Chat点击查看免费下载 本文带你完整拆解NVIDIA-Nemotron-Labs-Teacher-Chat的训练配方这是一款 550B 总参数55B 激活的 MoE 大模型经历了20T token 预训练、监督微调、强化学习GRPO到RLHF对齐的全链路四阶段训练。即使你没有大模型训练经验也能读懂每个阶段在做什么、为什么这么做。 先认识主角NVIDIA-Nemotron-Labs-Teacher-Chat 是什么它是 Nemotron 3 Ultra 家族中的一个对话特化教师模型chat-focused teacher。它的双重身份是独立的强对话模型擅长多轮对话、开放写作、语气拿捏和人类偏好对齐可以直接部署使用蒸馏教师它是超过 10 个领域特化教师模型之一专门为最终版 Nemotron 3 Ultra 的MOPDMulti-Teacher On-Policy Distillation多教师在线策略蒸馏阶段提供训练信号。官方 Model Summary 中的核心规格如下引自 README.md项目规格总参数 / 激活参数550B / 55B架构LatentMoEMamba-2 MoE Attention 混合 MTP 多token预测上下文长度最高 1M tokens最低硬件要求4×B200、4×GB200 或 8×H100支持语言中、英、法、西、德、意、日、韩、印地、阿拉伯等 12 种推理模式可通过enable_thinking开关控制思考链 550B 总参数 / 55B 激活意味着虽然模型很大但每个 token 实际只调用约 10% 的专家参数兼顾了知识容量和推理成本。️ 四阶段训练配方总览整条链路可以概括为一句话先学知识预训练→ 再学做事SFT→ 然后自我改进RL→ 最后打磨对话MOPD 特化 RLHF。四个阶段如下阶段名称核心任务关键技术1Pre-Training建立世界知识与代码/数学能力20T token 语料 NVFP4 量化感知预训练2SFT学会遵循指令与工具调用合成数据 结构化输出训练3Reinforcement Learning在真实环境中试错提升推理异步 GRPO 多环境强化学习 RLHF4MOPD 对话特化成为会聊天的领域教师生成式奖励模型选优 人类偏好 RLHF完整训练方法学披露在 README.md 的 Training Methodology 章节下面逐阶段拆解。 Stage 120T token 预训练——打地基第一阶段基于 Nemotron 3 Ultra Base 完成训练规模约 20T20 万亿token使用爬虫与合成的代码、数学、科学与通用知识数据训练框架为 Megatron-LM。两个值得新手记住的亮点NVFP4 训练配方大多数线性层在权重、激活和梯度上都采用 NVFP4 低精度显著降低大模型预训练的算力成本语料规模惊人整个训练数据盘子达53.8 TiB约 14.8 万亿 token、226 个数据集覆盖 2013–2026 年包括网页、代码、数学、法律、科学等文档类型。预训练语料的家底引自 README.md语料集合Token 量内容Nemotron-CC-v2 / v2.19.1TCommon Crawl 英文网页数据含 2.5T 新合成内容Nemotron-Pretraining-Code v1~v31.7T精选 GitHub 代码 大规模合成代码Nemotron-CC-Math-v1133B保留 LaTeX 结构的数学数据Nemotron-Pretraining-Specialized660BSTEM 推理与科学编程合成数据 数据有截止日期预训练数据截止 2025 年 9 月后训练数据截止 2026 年 5 月。想复现配方可以先从官方开源的 Pre/Post-Training Datasets 集合入手。 Stage 2监督微调——学会听指令在预训练基础上第二阶段在合成代码、数学、科学、工具调用tool calling、指令遵循、结构化输出等数据上继续微调并特别加入了支持长程检索long-range retrieval和多文档聚合的数据为后续 1M 上下文的 agentic 能力做准备。这个阶段大量使用合成数据工程用强教师模型从真实任务出发蒸馏出推理轨迹与解答再叠加编译器验证、数值检查、语言识别等自动化质量过滤——数据设计本身就是配方的一部分。️ Stage 3强化学习——在环境中试错成长这是整条链路中最硬核的阶段。模型进行了多环境强化学习覆盖数学、代码、科学、指令遵循、多步工具使用、多轮对话和结构化输出等多种环境。对新手来说这里有三个工程概念值得了解GRPOGroup Relative Policy Optimization用一组样本的相对表现来估计策略改进方向比传统方法更省奖励模型开销异步训练架构训练与推理完全解耦到不同 GPU 设备并利用飞行中权重更新in-flight weight updates和 MTP 加速 rollout 生成大幅缩短强化学习迭代周期RLHF 收尾在 RL 之后再用基于人类偏好的奖励模型打磨对话质量。所用软件栈包括 NeMo RL 与 NeMo GymRL 环境均已随 NeMo 开源。详见 README.md。 Stage 4MOPD 对话特化——教师-Chat诞生的关键这正是本仓库模型区别于基础版的关键阶段。从 Stage 3 产出的学生模型出发做了一轮对话特化分两步走引自 README.md对话定向 SFT由强教师模型生成大量多轮对话用生成式奖励模型做 best-of-n 选优再经模型评审过滤只保留高质量样本。数据以开放对话与写作为主包含大量关闭推理reasoning-off的对话数据并搭配适量 STEM 与通用领域数据RLHF 精修使用人类偏好奖励模型进一步提升对话质量。产出的模型随后进入MOPD 阶段——多个领域特化教师共同指导学生模型在**学生自己生成的轨迹on-policy rollouts**上学习。相比纯离线蒸馏在线策略蒸馏让学生学到的行为更接近其真实推理时的输出收益更稳定。 一句话理解Stage 1~3 塑造聪明Stage 4 塑造会说话。这就是 Teacher-Chat 后缀的由来。️ 架构揭秘LatentMoE 与 MTP 是怎么设计的翻一翻仓库里的 config.json能直观看到这个模型的骨架96 层混合结构layers_block_type字段显示 Mamba-2 层、MoE 层交替堆叠每 8 层插入一个 Attention 层——序列建模用 Mamba 控制成本关键位置用 Attention 保精度512 个路由专家每个 token 只激活 22 个路由专家num_experts_per_tok: 22 1 个共享专家Latent 路由token 先投影到 2048 维潜在空间moe_latent_size: 2048再做专家路由与计算提升单位参数的精度MTP 多 token 预测num_nextn_predict_layers配合mtp_layers_block_type: [attention, moe]用共享权重的预测头支持原生投机解码直接加速推理。模型实现源码在 modeling_nemotron_h.py其中NemotronHMoE类实现了带 Latent 投影的专家路由配置定义见 configuration_nemotron_h.py。权重文件分为225 个 safetensors 分片model.safetensors.index.json 显示总参数量约5605 亿560.5B、总大小约1.12 TBBF16。 思考链开关一个配置项控制想不想要Nemotron 3 Ultra 系列模型回答问题时会先生成推理轨迹thinking再给出最终回答而这个行为可以通过聊天模板配置开关控制。chat_template.jinja 中定义了三个关键参数参数作用enable_thinking开启/关闭思考链默认 Truemedium_effort中等推理力度显著减少推理 token 数force_nonempty_content确保总有非空正文返回适合 coding agent 场景调用时在请求体中加入chat_template_kwargs即可例如关闭思考chat_template_kwargs: {enable_thinking: false}。另外ultra_v3_reasoning_parser.py 提供了 vLLM 端的推理解析器它继承 DeepSeek-R1 解析逻辑并修正了一个关键细节——当关闭思考模式或推理超长未闭合时会把内容正确归入正文而不是丢失保证用户始终能看到回答。生成参数方面generation_config.json 默认do_sample: true、top_p: 0.95。 部署上手最低 4 张 B200 就能跑这个 550B 模型的部署门槛其实比想象中低——得益于 NVFP4 量化单节点 4×B200即可放下权重和 KV cache。官方支持三种推理后端后端推荐方式亮点vLLMDocker 容器一键启动默认 8000 端口支持专家并行、MTP 投机解码5 个投机 tokenSGLangEAGLE 投机解码长上下文与工具调用支持完善TensorRT-LLMYAML 配置吞吐/延迟模式面向极致吞吐或最低延迟的调优部署细节含多节点 Ray 集群方案都在 README.md 的 Quick Start Guide 中。新手建议路径先跑通 vLLM 单节点示例 → 用 OpenAI 兼容客户端发起对话 → 再按需调整enable_thinking与上下文长度。✅ 总结这张配方卡教给我们什么NVIDIA-Nemotron-Labs-Teacher-Chat 的四阶段配方几乎是当前前沿大模型训练范式的完整缩影预训练拼数据与精度20T token NVFP4用工程效率换算力成本SFT 拼数据工程合成数据 自动化验证是主力RL 拼系统架构异步训练推理分离决定迭代速度对齐拼选优策略生成式奖励模型 best-of-n 人类偏好 RLHF 组合拳多教师蒸馏MOPD用学生自己生成的轨迹做训练场是比离线蒸馏更强的后训练范式。想深入细节建议按顺序阅读README.md模型卡片与全部数据集披露→ config.json架构参数→ chat_template.jinja对话与思考链模板→ modeling_nemotron_h.py架构实现源码。赞分享【免费下载链接】NVIDIA-Nemotron-Labs-Teacher-Chat项目地址https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-Labs-Teacher-Chat点击查看免费下载相关推荐它是如何炼成的NVIDIA-Nemotron-Labs-Teacher-General-Reasoning从20T预训练到MOPD蒸馏的4阶段训练配方全解它是如何炼成的NVIDIA Nemotron Labs Teacher General Reasoning从20T预训练到MOPD蒸馏的4阶段训练配方全解 NNVIDIA-Nemotron-Labs-Teacher-STEM 训练配方揭秘从 20T tokens 预训练到 MOPD 多教师在线蒸馏的 4 个阶段NVIDIA Nemotron Labs Teacher STEM 训练配方揭秘从 20T tokens 预训练到 MOPD 多教师在线蒸馏的 4 个阶段 NNVIDIA-Nemotron-3.5-Super-VL-120B-A12B-NVFP4 六阶段训练流水线揭秘从20T token预训练到强化学习蒸馏的深度复盘NVIDIA Nemotron 3.5 Super VL 120B A12B NVFP4 六阶段训练流水线揭秘从20T token预训练到强化学习蒸馏的深度复上一篇srclib架构深度解析标准化代码分析接口的设计哲学下一篇Zenodo数据上传与管理完全教程从零开始掌握研究数据共享创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
