图片与视频输入全指南：如何喂图给NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF，看懂2分钟视频

图片与视频输入全指南如何喂图给NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF看懂2分钟视频NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF 是 NVIDIA 开源视觉语言模型 Nemotron 3.5 Bolt 的 GGUF 量化包74B 总参数 / 9B 激活。它原生支持图片输入、视频理解与 256K 长上下文可完全在本地电脑运行——把一张图片、一段 2 分钟的视频喂给它就能返回文字描述、问答与分析结果。为什么它能看懂图片一个视觉编码器是关键 这个模型不是文字模型加了贴图而是真正的视觉语言模型VLM架构Mamba-2–Transformer 混合 LatentMoE搭配C-RADIO v4-H 视觉编码器通过 MLP 投影器把图像特征翻译给语言主干输入文本、图片RGBjpeg/png、视频mp4最多 2 分钟输出纯文本支持 JSON 结构化输出、思维链推理与工具调用上下文最长 256K tokens图片、视频帧与对话历史共享这一窗口。其中视觉投影器单独存放在仓库根目录的 mmproj-BF16.gguf喂图/喂视频时必须和主模型一起加载这是很多人模型跑起来了却看不见图片的原因。图片输入快速上手三步完成选一个量化版本选型建议见下文挑选合适的量化加载模型 视觉投影器以 llama.cpp 为例启动时同时指定两个文件llama-server -m 你的模型.gguf --mmproj mmproj-BF16.gguf在 LM Studio、Open WebUI 等图形界面中一般只需在设置里分别选择主模型和 mmproj 文件即可在对话框直接拖入图片配上问题如描述这张图里的表格内容发送。 官方推荐采样参数temperature 1.0、top_p 0.95聊天模板还提供enable_thinkingTrue/False开关控制是否输出推理过程。看懂 2 分钟视频帧采样规则 ⏱️视频理解靠的是抽帧——模型把视频按固定帧率采样成一组图像帧再交给视觉编码器处理。官方给出的推荐规则视频规格采样帧率最大采样帧数1080p最高 1 FPS128 帧720p最高 2 FPS256 帧时长上限2 分钟超出部分无法完整覆盖几个实用建议视频格式用mp4音频轨道不参与理解模型只看画面想要更细的时序细节可把视频转成 720p允许 2 FPS 采样2 分钟以上的长视频建议剪成多段分别提问或利用 256K 上下文逐段汇总典型场景会议录屏问答、操作教程复盘、监控片段摘要、网页浏览视频回放。挑选合适的量化显存决定一切 仓库内置了从全精度到 2-bit 的完整量化阶梯按需取用文件位置量化格式定位BF16/BF16 全精度4 分片微调、蒸馏等定制场景非日常推理首选Q8_0/Q8_03 分片近乎无损显存充裕选它UD-Q6_K_XL/UD-Q6_K_XL3 分片高质量均衡UD-Q5_K_XL/UD-Q5_K_XL3 分片质量与容量平衡UD-Q4_K_XL/UD-Q4_K_XL3 分片主流甜点多数人的起点根目录单文件UD-Q3_K_XL → UD-IQ1_S 等低显存方案其中 2-bit 级如 NVIDIA-Nemotron-3.5-Bolt-74B-A9B-UD-IQ2_M.gguf面向 24GB 级显存可与其他应用共存注意分片版-00001-of-00003.gguf这类文件必须同目录放齐全部分片再加载低比特版本会牺牲一部分视觉细节跑图片 OCR、图表识别时建议至少选 Q4_K_XL 以上。加速技巧DFlash 投机解码根目录的 dflash-NVIDIA-Nemotron-3.5-Bolt-74B-A9B-NVFP4.gguf 是配套的 NVFP4 草稿模型drafter在支持投机解码的推理框架如 vLLM 官方配方中可一次投机 7 个 token显著降低首字延迟与生成耗时。搭配方式主模型 mmproj dflash 草稿器三者同载。常见问题 ❓中文能用吗可以。官方输入说明覆盖英文、中文、法、西、意、德、日、韩、印地、巴西葡语等 10 种语言。视频里的声音能听吗不能视频通过抽帧理解音频不参与。隐私安全吗全程本地推理图片与视频不离开你的机器。更多官方细节完整模型卡架构、训练方法、基准测试见 README.md。小结主模型 mmproj-BF16.gguf是喂图的必备组合图片直接拖入对话框视频按 mp4、2 分钟以内、抽帧规则处理显存不足时从 UD-Q4_K_XL 逐级往下选量化即可。创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考