★ FEATURED ARTICLE 人工智能大模型多模态模型量化本地部署模型推理服务【免费下载链接】DeepSeek-V4.1-Flash-1017-oQ3e-ngram-mtp项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/DeepSeek-V4.1-Flash-1017-oQ3e-ngram-mtp点击查看免费下载DeepSeek-V4.1-Flash-1017-oQ3e-ngram-mtp是 DeepSeek-V4.1-Flash-1017552B 多模态 MoE 模型的 MLX 混合精度量化版本。它采用oQ3e 量化方案让71.2% 的权重仅用 3 比特存储整个 763B 参数的 checkpoint 压缩到428.174 GiB而 Engram N-gram 记忆表则保留原始 FP8 精度、支持 SSD 卸载——本文将带你看懂这份量化报告的每个数字。先搞懂什么是 oQ3e 混合精度量化混合精度量化的核心思想是不同层对量化的抗痛能力不同精度预算应该花在刀刃上而不是一刀切。oQ3eImproved oQe Quantization由 oQoMLX v0.7.1实现工作流程可以概括为三步实测层敏感度不是拍脑袋决定哪层用几位而是用校准数据测量每一层降精度后的损失按敏感度分配比特配置项allocation: measured_layer_sensitivity_affine重要性矩阵引导舍入每个 64 元素的小组group在量化时借助1024 样本 × 512 token 的重要性矩阵imatrix决定向哪个量化点舍入本仓库中有427 个模块应用了这一步加权最小二乘重拟合舍入后再对缩放因子scale和偏置bias做一次加权最小二乘重拟合把舍入误差再救回一些。最终产物使用affine 量化模式、group_size 64即每 64 个权重共享一组 scale/bias。量化报告里的关键参数都写了什么打开仓库里的 quantization_report.json开头几个字段就揭示了预算策略字段值含义oq_level3oQ 量化档位target_bpw3.5目标平均比特/权重hard_cap_bpw3.7硬性上限不允许突破allocationmeasured_layer_sensitivity_affine按实测敏感度分配比特budget_scoperemaining_weights_excluding_engramEngram 表不计入比特预算shard_count65权重切分为 65 个分片其中budget_scope是一个精妙的设计196.6B 参数的 Engram N-gram 表被直接排除出量化预算——因为 oMLX 运行时可以把它们从 SSD 按需读取不占内存自然也不需要为省空间而牺牲精度。71% 权重 3 比特的秘密比特预算分配表README.md 中给出了完整的比特分布Logical weights 指逻辑参数量Tensor storage 是实际占用的磁盘空间存储格式逻辑权重占比实际存储有效比特/权重Affine 3-bitgroup 64543.582B71.224%221.484 GiB3.50Affine 4-bitgroup 642.055B0.269%1.077 GiB4.50MXFP4group 3213.590B1.781%6.724 GiB4.25Affine 6-bitgroup 641.258B0.165%0.952 GiB6.50Affine 8-bitgroup 641.886B0.247%1.866 GiB8.50MXFP8group 320.779B0.102%0.748 GiB8.25BF163.399B0.445%6.332 GiB16.00FP320.042B0.006%0.158 GiB32.00Engram MXFP8group 32196.614B25.762%188.833 GiB8.25合计763.205B100%428.174 GiB4.819 注意有效比特/权重比名义值高一点如 3-bit 实际是 3.50这就是 group 64 中 scale/bias 分摊下来的量化开销32 个权重才为一组存一组参数摊薄后每个权重多花约 0.5 bit。剔除 Engram 表后平均只有 3.629 bit/weight——非常接近 3.5 的目标值说明预算控制相当精准没有突破 3.7 的硬上限。比特都花在哪了拆解各层级的保护策略从 config.json 的omlx_deepseek_v41.quantized_modules段460 个模块可以看到非常清晰的分级保护路由专家ffn.experts.w1/w2/w340 个主层全部压到3-bit是 71% 占比的主力。MoE 路由专家单次只激活 6/384 个单专家出错的影响被稀释是量化收益最大的部分共享专家ffn.shared_experts全部保持8-bit。共享专家每个 token 都参与没有容错余地注意力投影wq_a/wq_b/wkv大部分层4-bit少数敏感层升到8-bit输出投影wo_b敏感度驱动下的典型混合精度样本——敏感层用8-bit其余层6-bit两种精度各占 13 层和 30 层完全没有一刀切。另外有503 个模块被明确豁免量化报告中按原因分类precision_policy196 个整个视觉编码器 aligner按精度策略整体保留ineligible_shape183 个norm 等形状不适合分组的模块uncalibrated122 个没有进入校准流程的模块如 3 层 MTP 头、词表 embedding、gate 等outside_layer_sensitivity2 个Engram 层的 wkv。Engram N-gram 表为什么 196B 参数坚持用 FP8这个模型带有一个Engram 条件记忆模块两张 N-gram 表engram_num_embeddings各约 3.84 亿行最大 n-gram 大小为 4总计196.614B 参数占全模型 25.8%。N-gram 表本质是查表记忆——存的不是可平滑的权重而是离散的 n-gram 索引映射。对这类结构做低位量化丢掉的不是噪声而是事实效果损失不可逆。因此保留源模型的FP8MXFP8group 32格式E4M3 数值 每 32 通道一个 E8M0 缩放因子不计入量化比特预算交给 oMLX 的SSD 卸载机制从磁盘按需读取。结果就是内存里跑的是轻量化语言主干硬盘上放的是满精度记忆库两者互不挤占。存储结构与仓库文件一览整个 checkpoint 按unified_safetensors_index布局切分为65 个分片可通过索引文件定位任意张量文件作用model.safetensors.index.json2282 个张量到 65 个分片的映射索引config.json模型结构 omlx_deepseek_v41量化模块清单quantization_report.json完整量化报告预算、分配、豁免模块model-00001-of-00065.safetensors 等65 个权重分片Git LFS 存储tokenizer.json / tokenizer_config.json分词器129280 词表LICENSEMIT 许可证按组件拆分语言主干 230.9 GiB、Engram 表 188.8 GiB、视觉编码器 0.9 GiB、MTP 头 7.5 GiB。如何下载并在 MLX 上运行权重文件由 Git LFS 托管需要git-lfs拉取真实数据git clone https://gitcode.com/hf_mirrors/mlx-community/DeepSeek-V4.1-Flash-1017-oQ3e-ngram-mtp⚠️ 磁盘至少预留450 GB428.174 GiB 权重 文件系统开销。由于是 MoE 架构384 个路由专家、每 token 激活 6 个推理时激活参数远小于总量配合 MTP 推测解码num_nextn_predict_layers: 3与 1M 上下文的 YaRN 外推这套权重面向的是 Apple 生态下的高效本地推理场景。总结oQ3e 做对了哪三件事按敏感度花钱用实测数据把 3-bit 预算集中砸在 MoE 路由专家上换来 71.2% 权重的 3-bit 存储平均 3.629 bit/weight 逼近 3.5 目标按重要性舍入imatrix 加权最小二乘重拟合让低位量化的舍入方向朝着对输出影响最小的方向走不量化不该量化的Engram 表保 FP8 走 SSD、共享专家保 8-bit、norm 和 gate 整体豁免——该省的省该保的一个 bit 都不丢。这就是 oQ3e 混合精度量化能让 552B 主干瘦下来的完整逻辑不是简单地少存 bit而是让每一个 bit 都花在模型最需要的地方。赞分享人工智能大模型多模态模型量化本地部署模型推理服务【免费下载链接】DeepSeek-V4.1-Flash-1017-oQ3e-ngram-mtp项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/DeepSeek-V4.1-Flash-1017-oQ3e-ngram-mtp点击查看免费下载相关推荐KOReader KOSync 阅读进度同步配置5 步在多台设备间无缝续读KOReader KOSync 阅读进度同步配置5 步在多台设备间无缝续读 在 Kindle、Kobo 和安卓手机上同时跑 KOReader 的人都知道一个痛嵌入式桌面应用oQ3e-mtp还是ngram-mtpDeepSeek-V4.1-Flash-1017-oQ3e-ngram-mtp版本差异对比与选型清单oQ3e mtp还是ngram mtpDeepSeek V4.1 Flash 1017 oQ3e ngram mtp版本差异对比与选型清单 本文讲清楚 Dee人工智能大模型多模态模型量化本地部署模型推理服务进阶教程如何用oMLX自量化复现DeepSeek-V4.1-Flash-1017-oQ3e-mtp级混合精度检查点进阶教程如何用oMLX自量化复现DeepSeek V4.1 Flash 1017 oQ3e mtp级混合精度检查点 本教程以 DeepSeek V4.1 F大模型模型量化本地部署多模态上一篇Mod完全攻略awesome-unofficial-pc-ports移植游戏的材质包、画质增强与Mod管理器详解下一篇RLT快速上手Recurrent Looped Transformer论文、幻灯片、中文版本与全部实验图表汇总创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
