★ FEATURED ARTICLE 人工智能大模型模型量化本地部署模型评测Qwen【免费下载链接】Qwen3.6-35B-A3B-Quark-UINT4-G32-GGUF项目地址https://ai.gitcode.com/hf_mirrors/amd/Qwen3.6-35B-A3B-Quark-UINT4-G32-GGUF点击查看免费下载大模型量化真的无损吗 这篇文章基于Qwen3.6-35B-A3B-Quark-UINT4-G32-GGUF的实测数据用 PPL 困惑度、GSM8K 数学基准和 Open LLM Leaderboard v2OLLv2六项任务带你完整看懂这款 Q4_1 量化 GGUF 模型到底损失了多少精度——结论可能会让你意外。一、量化方案速览这个模型是怎么来的在跑评测之前先花 1 分钟了解这个量化模型的身世这决定了后面所有数据的解读方式。项目说明基座模型Qwen3.6-35B-A3BMoE 架构混合 linear_attn self_attn量化工具Quark RTN运行于 AMD ROCm / Strix Halo量化方案uint4_wo_32非对称 uint4group_size32导出格式GGUF Q4_1llama.cpp 推理保留 FP16 的模块mlp.gate、shared_expert、lm_head、visual、mtp模型体积3 个分片约21 GBF16 原版约 71 GB压缩到约 30% 注意两点细节不是所有层都量化了——门控gate、共享专家等敏感小模块被特意保留为 FP16这是控制精度损失的关键设计导出路径经过优化——160 个张量直接从 Quark 原生打包进 Q4_1另有部分张量如linear_attn需要先反量化再重排 V-head 后重新量化这个重排修复对最终精度影响巨大后文 PPL 部分会看到。完整的方案说明见 README.md量化复现入口在 scripts/quantize_q4_1.py其中PERF_EXCLUDE列表定义了哪些层不量化。二、如何下载与快速上手推理git clone https://gitcode.com/hf_mirrors/amd/Qwen3.6-35B-A3B-Quark-UINT4-G32-GGUF仓库内 GGUF 模型位于gguf-q4_1/目录3 个分片单片约 7 GB使用 llama.cpp 的 ROCmbuild-hip版本即可加载。实测数据单机冒烟测试llama-cli加载成功生成速度约45 tok/sGSM8K 评测全程约33.1 tok/scompletion 吞吐0.262 题/秒也就是说这套 Q4_1 量化 GGUF 在消费级 ROCm 硬件上就能跑出流畅的推理速度这正是量化模型的核心价值之一。三、评测一PPL 困惑度测试——量化丢了多少精度困惑度Perplexity简称 PPL是衡量语言模型预测下一个 token 能力的经典指标数值越低越好。三项测试统一使用 llama.cpp 的llama-perplexity在 wikitext-2 测试集上以相同参数n_ctx512、20 个 chunks运行完全可比。格式PPL相对 F16体积F16 float基线6.61 ±0.23—71 GBQ4_1UINT4 仿射6.73 ±0.241.8%~21 GBQ4_0INT4 对称6.79 ±0.242.7%~21 GB 两个关键结论Q4_1 相比浮点基线仅上升 1.8%而体积压缩到约 30%属于接近无损的量化Q4_1 略优于 Q4_0——uint4_wo_32是非对称仿射量化每个 32 权重组带独立的缩放因子对分布不居中的权重更友好。⚠️ 还有一个值得新手记住的翻车故事在修复linear_attn的 V-head 重排问题之前Q4_0 的 PPL 高达2,619,116模型基本完全坏掉修复后降到 6.79。这说明量化模型的异常表现往往不是量化本身的问题而是导出/打包环节出了错。该部分数据详见 README.md 的 Perplexity 小节。四、评测二GSM8K 数学基准——真实任务表现如何GSM8K 是小学数学应用题基准test 集 1319 题。本次评测采用gsm8k_nothink对齐协议对齐 lm-eval 标准关键配置5-shot少样本提示temperature0max_tokens256提示词注入空的think块抑制 Qwen3.6 默认的思考输出用 lm-eval 的flexible-extract/strict-match两种规则判分指标结果flexible-extract91.81%1211 / 1319strict-match91.51%1207 / 1319总耗时约 84 分钟5041 s✅ 91% 的分数对一个 4bit 量化模型来说相当扎实。更有意思的是协议对比旧版未对齐的评测脚本普通Answer:补全 取最后一个数字判分只跑出70.66%。同样的模型分数差了 21 个百分点——评测协议提示词、判分规则对结果的影响甚至可能超过量化本身。想复现的话直接运行 scripts/run_gsm8k_nothink.sh判分规则定义在 scripts/gsm8k_nothink.yaml# 完整评测1319 题 ./scripts/run_gsm8k_nothink.sh # 快速冒烟测试10 题 NUM_QUESTIONS10 ./scripts/run_gsm8k_nothink.sh五、评测三OLLv2 六项任务——综合能力全面体检Open LLM Leaderboard v2 包含 6 个任务分两类判分方式这也是本仓库最有技术含量的一处工作生成式任务generate_untilIFEval、MATH-hard。模型自由生成文本后与规则/参考答案匹配任何能生成的后端都能测选择题任务loglikelihoodBBH、GPQA、MMLU-Pro、MuSR。需要把每个候选答案拼接到题干后计算输入 token 的 logprob并取最高分。原版llama-server只返回生成 token 的 logprob导致四个选择题任务最初无法在 GGUF 上评分——后来通过给llama-server打补丁支持 prompt token 的 logprob 输出彻底解决6 项任务全部直接在 GGUF 文件上完成测量无需 vLLM/safetensors 替代。任务指标BF16基座本 GGUFllama.cppIFEvalprompt_level_strict0.32350.3512IFEvalinst_level_strict0.45800.4808MATH-hardexact_match0.52870.5211BBHacc_norm0.65460.6449GPQAacc_norm0.43370.4018MMLU-Proacc0.59680.5837MuSRacc_norm0.43390.4180 如何解读这张表生成式任务IFEval、MATH-hard与 BF16 基线基本持平甚至略高IFEval 超出约 2.8 个百分点属正常波动范围选择题任务略低于 BF16差距普遍在 1~7 个百分点内其中 GPQA 差值最大约 3.2 个百分点这是量化 后端差异的综合影响整体表现紧密跟随 BF16 基线说明量化导出是忠实的没有偷偷损伤能力。测试细节与参考列说明见 README.md 的 OLLv2 小节。六、结论量化真的无损吗综合三组数据给新手一个可以直接带走的答案数学上不是无损Q4_1 的 PPL 比 F16 高 1.8%选择题任务有轻微下降这些都是量化固有的信息损失实用意义上接近无损体积从 71 GB 压到约 21 GB-70%GSM8K 仍保持 91%OLLv2 六项任务紧贴基线日常推理体验几乎无感——这是量化最理想的落点Q4_1 Q4_0同样 21 GB非对称 uint4仿射方案 PPL 更低同等显存预算下优先选仿射量化警惕导出陷阱本项目的linear_attn重排修复让 PPL 从 260 万回到 6.79说明量化后模型变笨要先排查导出/打包正确性再下结论。 一句话总结4bit 量化不是魔法但 1.8% 的 PPL 代价换来 70% 的体积缩减这笔账非常划算。延伸阅读与参考文件文件用途README.md完整项目说明量化方案、GGUF 导出、全部评测数据scripts/quantize_q4_1.py一键量化并直接导出 GGUF Q4_1 的入口脚本scripts/run_gsm8k_nothink.sh复现 GSM8K 对齐评测支持NUM_QUESTIONS冒烟测试scripts/gsm8k_nothink.yamllm-eval 兼容任务配置提示词模板与两种判分规则想深入了解某项评测的原始配置直接点开上表对应文件即可所有参数few-shot 数、判分正则、停止符等都白纸黑字写在里面可自行复现。赞分享人工智能大模型模型量化本地部署模型评测Qwen【免费下载链接】Qwen3.6-35B-A3B-Quark-UINT4-G32-GGUF项目地址https://ai.gitcode.com/hf_mirrors/amd/Qwen3.6-35B-A3B-Quark-UINT4-G32-GGUF点击查看免费下载相关推荐让GGUF解锁logprob打分llama-server补丁全解析Qwen3.6-35B-A3B-Quark-UINT4-G32-GGUF跑通OLLv2全部6任务让GGUF解锁logprob打分llama server补丁全解析Qwen3.6 35B A3B Quark UINT4 G32 GGUF跑通OLLv2全部人工智能大模型模型量化本地部署模型评测Qwen35B MoE模型如何压进21GBQwen3.6-35B-A3B-Quark-UINT4-G32-GGUF量化项目概览近乎无损推理GSM8K达91.8%35B MoE模型如何压进21GBQwen3.6 35B A3B Quark UINT4 G32 GGUF量化项目概览近乎无损推理GSM8K达91.8%人工智能大模型模型量化本地部署模型评测Qwen如何评估量化模型质量Qwen3.6-35B-A3B-Quark-INT4-G128的PPL与GSM8K评测全流程如何评估量化模型质量Qwen3.6 35B A3B Quark INT4 G128的PPL与GSM8K评测全流程 量化模型质量怎么评估以 Qwen3.6 3上一篇Colfer未来路线图即将发布的5大令人期待的新特性下一篇终极Go WASM依赖注入指南用Wire轻松解决WebAssembly开发痛点创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
