★ FEATURED ARTICLE 大模型基础模型多模态模型量化本地部署AI Agent推理模型【免费下载链接】NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF项目地址https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF点击查看免费下载NVIDIA Nemotron 3.5 Bolt 74B-A9B 是英伟达推出的一款 24GB 轻量视觉语言模型VLM用一套完整的「五阶段训练流水线」从 120B 的父模型压缩而来。本文带你逐层拆解这套流水线——Star Elastic 架构搜索、视觉适配器训练、监督微调、强化学习再到 2-bit 量化搞懂它如何在 24GB 显存里装下 74B 总参数、却只激活 9B 参数的魔法。为什么非要从 120B 瘦身到 24GB很多新手第一反应是参数越多越聪明74B 是不是缩水版其实完全相反。NVIDIA 想解决的是日常 AI 任务能不能在本地流畅跑这个痛点——传统大模型动辄需要 80GB、甚至多卡才跑得动普通用户根本碰不到。于是 NVIDIA 把旗舰视觉模型Super VL 120B-A12B当作老师通过知识蒸馏把它的本事搬进一个更小的身体里最终得到 24GB 就能运行的 Bolt 74B-A9B。这里的关键在于74B 是总参数但每个 token 只激活 9B 参数MoE 稀疏架构所以推理又省又快。一张表看懂模型底细维度规格 总参数 / 激活参数74B / 9B️ 架构Mamba-2–Transformer 混合 LatentMoE C-RADIO v4-H 视觉编码器⚡ 精度IQ22-bit 量化 量化感知训练GGUF 格式 上下文长度最高 256K token 输入 / 输出文本、图像、视频 → 文本 最佳用途用 llama.cpp 在本地跑日常 Agent 任务 许可证OpenMDW-1.1可商用 换句话说总参数大知识储备多 激活参数小每次算得少 2-bit 量化占地小这就是它小身板大能量的根本来源。五阶段训练流水线全解析下面进入本文核心——这套流水线如何一步步把 120B 的大模型炼成 24GB 的轻骑兵。五个阶段环环相扣缺一不可。阶段 1Star Elastic 架构搜索与压缩这是整条流水线的地基。NVIDIA 用自研的Star Elastic算法一种一键式、路由器引导的架构搜索 端到端压缩技术把父模型压缩成 74B-A9B 结构。它做了什么想象一个预算路由器它在每一层动态决定该用多少专家Expert、多宽的中间层把专家的 top-K 从父模型的 22 砍到 9。它的目标很明确——在24GB、batch1、128K 上下文这个内存预算下找到知识蒸馏损失最小的架构。训练调度也很讲究先在 8K 上下文快速恢复能力前 8B token 让路由器收敛再用 72B token 巩固最后用 48B token 扩展到 128K 长上下文总计 120B token。这样比一步到位直接上长上下文更省、更快。阶段 2视觉适配器训练Vision Adaptor压缩只发生在文本塔上视觉部分怎么办NVIDIA 的做法是把父模型训练好的视觉塔原封不动接回来只轻量微调视觉→语言投影层即视觉适配器。这一阶段用了约660 万样本/epoch的纯图像数据混合 通用英文混合集图像描述、视觉问答、计数、文档约 200 万样本️ 用 Qwen3-30B 重新打字的 CC3M 图像约 170 万样本 中文文档 OCR 数据约 250 万样本外加 PDF / 表格文档数据和 NVCLIP OCR 训练集关键点这里完全不用视频、也不用纯文本数据纯粹为了让视觉接得稳。阶段 3监督微调SFT接好视觉塔后模型还要回血。这一阶段用视觉密集型 SFT 数据进一步找回视觉能力然后再进入多轮 Agent 训练。NVIDIA 在这里还用了两次检查点合并checkpoint merging——分别合并纯视觉适配器训练版和SFT 版用 SLERP 插值取两者之长让文本和视觉能力都更均衡。数据配方非常对症下药直接瞄准各大基准️ 视觉侧面向ScreenSpot Pro约 101 亿 token和WebArena约 95 亿 token的数据混合辅以图表、多页文档、BabyVision 推理数据✍️ 文本侧用 Kimi-K3 生成的合成数据定向覆盖 AIME、GPQA Diamond、Terminal Bench 2.1、SciCode 等基准一个细节压缩阶段只蒸馏了文本能力所以视觉基准必须靠阶段 2 阶段 3 重新找回而文本能力几乎零损失。阶段 4强化学习RLHF E2E RL到了练本事的环节。这一阶段用RLHF 多轮端到端强化学习E2E RL来提升 Agent 能力、缩短工具密集型多轮任务的完成时间。几个硬核细节 RLHF 使用Nemotron 3 Ultra GenRM做奖励模型还额外加了推理惩罚来逼它说话更省 token️MCP 环境模拟一个 MCP 服务器任务需要多轮工具交互才能完成。在这个环境训练后MCP-Atlas 基准从约 48 提升到约 56满分 1000 题中的 500 题子集SWE软件工程RL64 个提示词 × 每个 16 条生成 每优化步 1024 条轨迹序列最长 196,608 token学习率3e-6。顺带把通用基准 PinchBench 也刷到了 90.4阶段 52-bit 量化真正的压进 24GB最后一步也是最险的一步——把所有专家压到2-bitIQ2-XXS每个参数约 2.0625 bit让网络真正塞进 RTX Spark 的显存。 用量化感知蒸馏QAD找回压缩丢掉的精度️ 用Modelopt工具完成量化⚖️ 采用混合精度Mamba 层保 NVFP4、Embedding 与输出层保 Q8_0其余压到 2-bit既满足内存又不伤能力为什么 2-bit 反而更划算NVIDIA 引了 ParetoQ、Quest 等研究低批推理下2-bit 的延迟随压缩率线性下降。算得少 权重小速度收益非常可观。小身板大能量基准表现怎么样压缩最怕变笨。实测结果很有说服力——74B-A9B 在 IQ2 精度下多项指标不仅没输还反超了同级别甚至更大的 BF16 模型。基准Qwen3.6-35B-A3B (BF16)Gemma4 26B-A4B (BF16)Nemotron 3.5 Bolt 74B-A9B (IQ2)Terminal-Bench 2.144.3837.2250.98GPQA Diamond83.4079.6186.43SciCode35.3340.2841.02BrowseComp网页浏览48.7426.3066.75WebArena视觉操作36.6038.2050.86MCP-Atlas工具调用51.20—52.20解读在 Terminal终端操作、网页浏览、视觉 GUI 操作这些Agent 真实干活的场景上Bolt 74B-A9B 全面领先——这正是它作为本地 Agent 模型的立身之本。如何在本地跑起来部署配置好消息是这已经是GGUF 格式直接用llama.cpp就能跑官方给了两套配方。新手照着下表选硬件即可。按显存选配方硬件推荐配方上下文RTX Spark 128GB / 离卡 48GB32GB 方案262,144 tokenRTX Spark 64GB / 离卡 32GB28GB 方案65,536 token最快启动方法核心命令示意下载主模型 视觉投影mmproj 投机解码草稿模型后用llama-server拉起即可关键参数如下Linux 示例llama-server \ --model $MODEL \ --mmproj $MMPROJ \ --spec-type draft-dflash \ --spec-draft-model $SPEC_DRAFT \ --ctx-size 65536 \ -ngl 999 \ --temp 1.0 --top-p 0.95 \ --flash-attn on --jinja 推荐采样参数temperature 1.0、top_p 0.95需要思考模式时在 chat-template 里传enable_thinkingTrue/False控制。想省资源用 28GB 方案记得加上--cache-type-k q8_0和--cache-type-v q8_0。完整步骤、Windows 与 Linux 差异、以及 OpenAI 兼容 API 的工具调用示例可参考 README.md 的 Quick Start Guide 章节。文件清单与延伸阅读仓库里每个文件都干实事按需查看即可 主模型权重NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf️ 视觉投影文件mmproj-NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB.gguf 完整模型卡架构、训练方法、数据集README.md️ 安全与边界safety.md⚖️ 偏见说明bias.md 可解释性explainability.md 隐私声明privacy.md写在最后NVIDIA Nemotron 3.5 Bolt 74B-A9B 的精髓在于用一套工程化、可复现的五阶段流水线把大模型的脑子压缩进能随身带的身体Star Elastic定架构 → 2.视觉适配器接视觉 → 3.SFT找回能力 → 4.强化学习练 Agent → 5.2-bit 量化压进 24GB。对新手而言你不需要理解每一步的数学细节只要记住一句话74B 的知识储备 9B 的激活成本 2-bit 的极致压缩 24GB 显存里跑得动、跑得快的本地视觉 Agent 模型。这就是它从 120B 到 74B的真正意义。赞分享大模型基础模型多模态模型量化本地部署AI Agent推理模型【免费下载链接】NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF项目地址https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-GGUF点击查看免费下载相关推荐从120B压缩到74BNVIDIA Nemotron 3.5 Bolt 四阶段训练方法完整揭秘从120B压缩到74BNVIDIA Nemotron 3.5 Bolt 四阶段训练方法完整揭秘 NVIDIA Nemotron 3.5 Bolt 74B A9人工智能大模型多模态基础模型推理模型NVIDIA Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr-GGUF 训练数据全揭秘1B 到 10T 级合成数据如何炼成投机解码草稿模型NVIDIA Nemotron 3.5 Bolt 74B A9B 24GB LiLiCorr GGUF 训练数据全揭秘1B 到 10T 级合成数据如何炼成投机为什么 24GB 显存能跑 74B 大模型NVIDIA Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr-GGUF 背后的 MoE 激活奥秘为什么 24GB 显存能跑 74B 大模型NVIDIA Nemotron 3.5 Bolt 74B A9B 24GB LiLiCorr GGUF 背后的 Mo上一篇RedwoodJS 部署到 Layer0边缘 CDN 部署实战指南下一篇5分钟掌握全网资源下载神器从零开始高效获取视频音频资源创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
