★ FEATURED ARTICLE oQ3e-mtp还是ngram-mtpDeepSeek-V4.1-Flash-1017-oQ3e-ngram-mtp版本差异对比与选型清单本文讲清楚DeepSeek-V4.1-Flash-1017-oQ3e-ngram-mtp与oQ3e-mtp两个 MLX 量化版本的版本差异并给出一份可直接照着选的选型清单。这是一个基于 oQ 混合精度量化的 DeepSeek-V4.1-Flash-1017 多模态 MoE 模型检查点552B 主干 视觉编码器 Engram N-gram 记忆表 MTP 投机解码权重总量约428 GiB分 65 个 safetensors 分片存放。一句话结论两个版本的主干权重完全相同唯一区别是 EngramN-gram表存 FP8 原精度还是压进量化位宽预算。你的运行环境支持 Engram SSD offload 吗支持就选 ngram-mtp。两个版本到底是什么关系先破除一个常见误解它们不是两套模型而是同一个量化产出的两种存储策略。根据 README.md 的说明ngram-mtp 版本中N-gramEngram表保留原始 FP8 精度E4M3 数值 每 32 通道一个 E8M0 缩放其余所有权重与 oQ3e-mtp 版本逐一相同在 Engram SSD offload 开启时常驻内存占用两者一致。也就是说ngram-mtp 是精度优先版本把最不适合压缩、也最占空间的那部分约 196.6B 参数的 Engram 表原样保留靠运行时从 SSD 按需读取来换精度。核心差异对比表对比维度ngram-mtp本仓库oQ3e-mtp语言主干551.9BoQ3e 混合精度约 230.9 GiB完全相同MTP 头14.2B完全相同约 7.5 GiB完全相同视觉编码器0.49B完全相同约 0.9 GiB完全相同Engram 表196.6B保留 FP8 原精度188.8 GiB压缩进量化位宽预算体积更小总 checkpoint 体积428.2 GiB65 分片更小Engram 被压缩常驻内存开启 SSD offload相同相同适用场景精度优先 支持 Engram offload内存/磁盘受限Engram 需常驻内存 记忆口诀ngram Engram 不压缩mtp 自带 MTP 投机解码权重两个版本都带 MTP名字里的 mtp 指的是包含 MTP 头与 Engram 策略无关。EngramN-gram表为什么特殊Engram 是 DeepSeek-V4.1-Flash 的条件记忆机制用 N-gram 匹配直接查表取向量对长文本中的重复短语、固定表达召回效果很好。相关结构参数见 config.json挂载在第 1、14 层engram_layer_ids: [1, 14]两张表合计约7.68 亿条 embedding每张约 3.84 亿行最大 N-gram 长度 4engram_max_ngram_size: 4词表规模 1600 万量化报告中标注其precision: source、有效位宽8.25 bpw即维持源精度quantization_report.json这类查表型权重对低比特量化非常敏感硬压容易让 N-gram 命中结果失真所以 ngram-mtp 版本直接选择保留 FP8 原样存储。MTP 投机解码配置一览两个版本都包含 DSpark MTP 权重关键参数见 config.json参数值含义num_nextn_predict_layers33 层预测层dspark_block_size5每次推测 5 个 tokendspark_markov_rank256马尔可夫头秩dspark_n_routed_experts128推测专用专家数MTP 头本体 14.225B 参数、约 8.05 GB 存储在量化报告中按源精度保留策略处理quantization_report.json 中 mtp 相关模块均为 preserved。量化质量3.629 bpw 是怎么来的本版本使用 oQoMLX v0.7.1混合精度量化采用按层敏感度分配比特 重要性矩阵 加权最小二乘重拟合缩放/偏置的策略目标位宽 3.5、硬上限 3.7quantization_report.json。位宽分布如下摘自 README.md存储格式占比有效位宽Affine 3-bitgroup 6471.22%3.50Engram MXFP8group 3225.76%8.25MXFP4group 321.78%4.254-bit / 6-bit / 8-bit / BF16 / FP32 等约 1.2%4.5 ~ 32不含 Engram 表551.9B 主干有效3.629 bits/weightquantization_report.json含 Engram 表的完整 checkpoint4.819 bits/weight总存储 459.7 GB / 428.2 GiB选型清单照着勾选即可✅选 ngram-mtp本仓库如果你的运行时oMLX支持 EngramSSD offload——这是前提磁盘空间充足checkpoint 需 428.2 GiB另有临时/缓存开销你跑长文本、多轮重复上下文N-gram 表精度红利最大在意代码/长上下文中的短语级精确召回✅选 oQ3e-mtp 如果磁盘紧张希望 checkpoint 明显更小你的环境不支持Engram offloadEngram 必须常驻内存只需要中短上下文N-gram 表精度损失可接受⚠️两者都不要纠结的情况主干、视觉、MTP 权重完全一致——你切换版本时不用重新评估主干质量只影响 Engram 表的查表精度与存储形态。文件速查仓库里有什么文件作用config.json模型结构配置Engram / MTP / MoE / 视觉参数都在text_configquantization_report.json量化审计报告位宽分配、逐层敏感度、保留模块清单model.safetensors.index.json权重索引2282 张量到 65 个分片的映射model-00001-of-00065.safetensors 等 65 个分片模型权重本体分片 1、2 装 Engram 表分片 3 起装视觉编码器tokenizer.json、tokenizer_config.json词表与分词配置词表 129280README.md官方说明量化方法、位宽分布、存储明细LICENSEMIT 许可证沿用源模型 小技巧想核对某个权重在哪个分片直接在 model.safetensors.index.json 里搜权重名即可例如language_model.layers.14.engram.embed.weight位于分片 1。常见问题 FAQQ1为什么平均位宽有 3.629 和 4.819 两个数字3.629 是剔除 Engram 表后主干的真实量化强度4.819 是含 196.6B Engram 表8.25 bpw摊到全部 763.2B 参数后的整体值。对比版本时务必对齐口径。Q2ngram-mtp 会不会比 oQ3e-mtp 更慢主干计算完全一致差异只在 Engram 表来源SSD offload 下会有随机读盘开销但换来查表精度不损失如果 offload 未生效两者行为趋同。Q3如何验证下载完整65 个 safetensors 分片 索引 配置 分词器总存储 428.2 GiB。可对照 README.md 的 Storage Breakdown 表主干 247.97 GB / Engram 202.76 GB / 视觉 0.97 GB / MTP 8.05 GB核对量级。Q4名字里的 1017 是什么指源模型 DeepSeek-V4.1-Flash-1017 的发布批次标识属于模型版本名的一部分与量化无关。总结选型只取决于一件事你的环境能不能把 Engram 表放 SSD 上按需读取。能 → ngram-mtp精度无损不能或磁盘紧张 → oQ3e-mtp。两个版本共享同一套 oQ3e 混合精度主干切换成本极低可以放心按存储与 offload 能力二选一。创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
