★ FEATURED ARTICLE 【免费下载链接】Qwen3.6-35B-A3B-NVFP4-Fast项目地址https://ai.gitcode.com/hf_mirrors/unsloth/Qwen3.6-35B-A3B-NVFP4-Fast点击查看免费下载本文带你把Qwen3.6-35B-A3B-NVFP4-FastUnsloth 发布的 NVFP4 量化版 Qwen3.6 多模态 MoE 大模型在本地 32GB 显存的 GPU 上跑起来并横向对比 Transformers、vLLM、SGLang 三种加载框架的用法、性能与适用场景帮你用最快的方式完成部署。这是什么模型为什么值得本地部署Qwen3.6-35B-A3B-NVFP4-Fast是 Unsloth 基于 Qwen3.6-35B-A3B 开源权重制作的NVFP4 混合精度量化检查点核心卖点非常直接特性说明 更快官方宣称吞吐量是其他 NVFP4 量化版的1.79 倍 更省35B 总参数、仅激活 3B 的 MoE 架构 NVFP4 量化32GB 显存 GPU 即可运行 更准MMLU-Pro 85.58 / GPQA 87.75 / AIME 2025 91.67精度与 FP8、BF16 原版几乎无差️ 多模态带视觉编码器支持文本、图像、视频输入 自带 MTP内置 Multi-Token Prediction 模块可自投机解码进一步加快输出它本质上是一个HF Transformers 格式的模型仓库权重分片存为 5 个 safetensors 文件见 model-00001-of-00005.safetensors 至 model-00005-of-00005.safetensors由 model.safetensors.index.json 做索引因此 Transformers、vLLM、SGLang、KTransformers 等主流框架都能直接加载。量化细节可以从 config.json 里看到模型采用mixed-precision策略——注意力层权重用 FP8float-quantizedMoE 专家层权重用 NVFP4nvfp4-pack-quantized4-bit、group_size16视觉塔和 MTP 模块则保持不量化ignore列表。这就是它既快又准的原因。第一步下载模型文件如果你需要 clone 整个仓库仓库地址为git clone https://gitcode.com/hf_mirrors/unsloth/Qwen3.6-35B-A3B-NVFP4-Fast也可以用huggingface-cli download或modelscope download拉取模型 IDunsloth/Qwen3.6-35B-A3B-NVFP4-Fast。下载完成后目录里应该能看到这些关键文件文件作用config.json模型架构、量化配置、层类型线性注意力/全注意力定义generation_config.json默认采样参数temperature1.0, top_p0.95, top_k20chat_template.jinja对话模板支持 thinking 模式与图片/视频占位符tokenizer.json、vocab.json词表与分词器processor_config.json图像/视频预处理参数Qwen3VLProcessorvideo_preprocessor_config.json视频帧采样配置默认 fps2model-0000X-of-00005.safetensors× 5模型权重分片 判断本地是否装好文件总大小应与 5 个分片之和一致且huggingface-cli download会输出下载校验信息。三种框架怎么选先看对比表模型默认上下文为262,144 tokens可扩展到约 100 万。三个框架都提供 OpenAI 兼容 API区别主要在吞吐和易用性对比项TransformersvLLMSGLang定位轻量内置服务、快速试验高吞吐生产推理官方推荐路径高并发服务、复杂推理调度安装pip install transformers[serving]uv pip install vllm --torch-backendautouv pip install sglang[all]显存效率中等高PagedAttention 连续批处理高RadixAttention 前缀缓存适合场景开发调试、中等负载单机/多卡生产部署高并发 API、长上下文共享前缀版本建议最新版 transformersvllm0.25.0Fast 版sglang0.5.10新手建议路径先用 Transformers 验证能跑通 → 追求速度换 vLLM官方明确推荐 → 需要高并发或长上下文缓存选 SGLang。方式一用 Transformers 最快跑通Transformers 自带轻量服务适合第一次验证模型是否可用pip install transformers[serving] # 同时装好 torchvision、pillow transformers serve unsloth/Qwen3.6-35B-A3B-NVFP4-Fast --port 8000 --continuous-batching服务启动后API 端点在http://localhost:8000/v1。由于该检查点是多模态架构processor_config.json 中定义了image_processor与video_processor调用时直接发送标准 Chat Completions 请求即可文本、图片、视频内容都能处理。⚠️ 遇到 OOM 时优先调小上下文长度但 README 建议至少保留 128K 上下文以保住模型的思考thinking能力。方式二vLLM 部署官方推荐的 NVFP4 路径这是这个检查点的黄金路径吞吐量最高。1️⃣ 创建独立环境uv venv unsloth-nvfp4-env --python 3.13 source unsloth-nvfp4-env/bin/activate uv pip install vllm0.25.0 flashinfer-python0.6.13 nvidia-cutlass-dsl4.5.2 --torch-backendauto2️⃣ 一行命令启动服务vllm serve unsloth/Qwen3.6-35B-A3B-NVFP4-Fast3️⃣ 两个重要的性能坑务必看不要用 Marlin 后端官方测试 Marlin 慢 2 倍请让它自动选择 cute-DSL / CUTLASS / flashinfer_trtllm 后端。DGX Spark 用户必须设置环境变量否则会慢 2 倍export CUTE_DSL_ARCHsm_121a vllm serve unsloth/Qwen3.6-35B-A3B-NVFP4-Fast --moe-backend flashinfer_b12x官方 B200 上的实测数据可以帮你建立预期Unsloth 35B-A3Bcute-DSL trtllm解码295.2 tok/s128 并发总吞吐15,636 tok/s。4️⃣ 开启 MTP 投机解码可选该检查点自带 MTP 模块可以让模型自己当草稿加快逐 token 输出vllm serve unsloth/Qwen3.6-35B-A3B-NVFP4-Fast \ --speculative-config {method: mtp, num_speculative_tokens: 2}适合单用户对话场景解码更快如果是高吞吐批量服务吞吐反而可能略降按需取舍。方式三SGLang 部署高并发与长上下文SGLang 的 RadixAttention 前缀缓存对多轮共享长系统提示的场景特别友好适合高并发 API 服务。uv pip install sglang[all]以 8 卡张量并行启动、开满 262K 上下文并启用 Qwen3 推理解析器python -m sglang.launch_server \ --model-path unsloth/Qwen3.6-35B-A3B-NVFP4-Fast \ --port 8000 --tp-size 8 \ --mem-fraction-static 0.8 \ --context-length 262144 \ --reasoning-parser qwen3需要工具调用Function Call追加--tool-call-parser qwen3_coder需要 MTP 投机SGLang 走 NEXTN 方式追加--speculative-algo NEXTN --speculative-num-steps 3 --speculative-eagle-topk 1 --speculative-num-draft-tokens 4单卡 32GB 显存环境下把--tp-size 8去掉、--context-length调小到实际可容纳的值即可。采样参数与长上下文技巧三个框架通用直接抄作业模式 / 任务推荐参数思考模式 · 通用任务temperature1.0, top_p0.95, top_k20, presence_penalty1.5思考模式 · 精确编码temperature0.6, top_p0.95, top_k20, presence_penalty0.0指令模式 · 通用任务temperature0.7, top_p0.8, top_k20, presence_penalty1.5更多细节见 README.md 的 Best Practices 章节。超长文本262K可启用 YaRN 扩展上下文。vLLM 通过启动参数覆盖配置实现VLLM_ALLOW_LONG_MAX_MODEL_LEN1 vllm serve unsloth/Qwen3.6-35B-A3B-NVFP4-Fast \ --hf-overrides {text_config: {rope_parameters: {mrope_interleaved: true, mrope_section: [11, 11, 10], rope_type: yarn, rope_theta: 10000000, partial_rotary_factor: 0.25, factor: 4.0, original_max_position_embeddings: 262144}}} \ --max-model-len 1010000注意静态 YaRN 缩放可能影响短文本表现只在确实需要超长上下文时再改。SGLang / KTransformers 则用SGLANG_ALLOW_OVERWRITE_LONGER_CONTEXT_LEN1--json-model-override-args实现同样的效果。常见问题速查问题排查方向显存 OOM调小--max-model-len/--context-length保留 ≥128K 以维持思考能力推理特别慢检查是否误用 Marlin 后端DGX Spark 是否漏设CUTE_DSL_ARCH输出一直重复presence_penalty在 0~2 之间调大检查repetition_penalty1.0模型不直接回答默认是 thinking 模式在请求中传chat_template_kwargs: {enable_thinking: false}关闭视频理解帧率低调大 video_preprocessor_config.json 中的longest_edge推荐 469762048总结一张表记住部署路线你的需求推荐方案关键命令先验证能不能跑Transformerstransformers serve 模型 --port 8000 --continuous-batching追求最高吞吐生产vLLMvllm serve unsloth/Qwen3.6-35B-A3B-NVFP4-Fast高并发 / 长前缀复用SGLangpython -m sglang.launch_server --model-path 模型 --reasoning-parser qwen3单用户对话更快vLLM MTP--speculative-config {method: mtp, num_speculative_tokens: 2}一句话总结新手用 Transformers 跑通、生产用 vLLM 提速、高并发用 SGLang 兜底——这个 32GB 显存就能跑的 NVFP4 量化版 Qwen3.6正是单机也能上旗舰 MoE的最好例子。 延伸阅读本仓库 README.md 内含完整基准数据与 API 示例架构细节可对照 config.json 中的layer_types10 × 3 线性注意力 1 全注意力与 256 专家 MoE 配置。赞分享【免费下载链接】Qwen3.6-35B-A3B-NVFP4-Fast项目地址https://ai.gitcode.com/hf_mirrors/unsloth/Qwen3.6-35B-A3B-NVFP4-Fast点击查看免费下载相关推荐Qwen3.6-35B-A3B-NVFP4-Fast 如何突破百万 tokenYaRN 长上下文配置完整指南Qwen3.6 35B A3B NVFP4 Fast 如何突破百万 tokenYaRN 长上下文配置完整指南 Qwen3.6 35B A3B NVFP4 Fa不只是纯文本Qwen3.6-35B-A3B-NVFP4 图文多模态能力实战指南不只是纯文本Qwen3.6 35B A3B NVFP4 图文多模态能力实战指南 RedHatAI/Qwen3.6 35B A3B NVFP4 是基于 NVFPNVFP4量化到底是什么Qwen3.6-35B-A3B-NVFP4项目完整入门指南NVFP4量化到底是什么Qwen3.6 35B A3B NVFP4项目完整入门指南 如果你听说过大模型瘦身那 NVFP4 量化就是目前最前沿的方案之一。上一篇MinecraftForge机器学习应用指南让游戏体验更智能的终极教程下一篇prerender-spa-plugin跨平台适配从PC到智能设备渲染策略创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
