★ FEATURED ARTICLE 人工智能大模型模型量化模型优化本地部署【免费下载链接】Agents-A1-OptiQ-4bit-REAP-19B项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Agents-A1-OptiQ-4bit-REAP-19B点击查看免费下载更正标题笔误# Agents-A1-OptiQ-4bit-REAP-19B文件结构全解safetensors、kv_config与optiq_metadata完全清单Agents-A1-OptiQ-4bit-REAP-19B是运行在 Apple SiliconMLX上的 19B 级 MoE 多模态模型它把父模型的 35.1B 参数剪枝到 18.8B磁盘占用从 21.5 GB 降到12.3 GB运行仅需约 14.5 GB 内存。本文带你逐个读懂仓库里的 11 个文件——从safetensors权重分片、model.safetensors.index.json索引到kv_config.json、optiq_metadata.json两大量化元数据一次看清这套模型包的完整结构。 一眼看懂这套模型文件是干什么的先记住这张身份卡后面每个文件都能对号入座属性数值出处架构Qwen3_5MoeForConditionalGenerationMoE 多模态config.json总参数量18.8B父模型 35.1B−47%README.md磁盘大小12.3 GB父模型 21.5 GB−43%README.md量化方案OptiQ 4bit 混合精度实际约 4.51 bpwoptiq_metadata.json专家剪枝REAP每层 256 → 128 个专家top-8 路由不变optiq_metadata.json 关键机制一句话剪掉的只是没被路由选中的专家每个 token 激活的专家数仍是 8 个——所以模型变小了速度却不变慢。️ 文件完全清单11 个文件各管一摊文件角色一句话说明model-00001-of-00003.safetensors 等 3 个分片权重本体语言模型 1757 个张量约 12.3 GBmodel.safetensors.index.json权重索引2090 个张量 → 分片位置的对照表optiq/optiq_vision.safetensors视觉侧车权重333 个张量bfloat16 原精度保留config.json架构 量化配置40 层、128 专家、逐层混合位宽kv_config.jsonKV Cache 量化清单10 个全注意力层的 4/8bit 配置optiq_metadata.json量化/剪枝元数据混合精度位图 REAP 剪枝全过程记录tokenizer.json、tokenizer_config.json分词器Qwen2Tokenizer支持 262144 上下文chat_template.jinja对话模板定义消息如何拼进模型README.md模型卡片压缩比、剪枝方法与使用示例.gitattributesLFS 规则声明大文件走 Git LFS 下载 safetensors 权重分片12.3 GB 如何切成 3 块三个model-000XX-of-00003.safetensors分片按张量切分存放语言模型权重分布并不均匀第 1 分片553 个张量含embed_tokens、前部网络层第 2 分片712 个张量最重的中间层段第 3 分片492 个张量含lm_head等尾部权重三个分片合计1757 个张量总字节数12,355,664,128约 12.3 GB这个数字就写在 model.safetensors.index.json 的metadata.total_size里。另外注意*.safetensors和tokenizer.json都在 .gitattributes 中被声明为Git LFS文件。如果你在本地 mirror 里看到它们只有 100 多字节那是 LFS 指针文件——用git lfs pull或git lfs install后重新 clone 即可拉到真实权重。optiq_vision.safetensors视觉塔为何单独存放optiq/optiq_vision.safetensors 是一个侧车sidecar文件存放视觉编码器vision tower的全部333 个张量以bfloat16 原精度保留、不参与 4bit 量化。索引表中它们同样登记在册例如vision_tower.blocks.0.attn.qkv.weight→optiq/optiq_vision.safetensorsvision_tower.blocks.27.attn.proj.bias→optiq/optiq_vision.safetensors这种语言侧量化、视觉侧保精度的拆分正是 OptiQ 多模态模型的典型做法配置入口在 config.json 的optiq_vision字段sidecar: optiq/optiq_vision.safetensors。️ model.safetensors.index.json张量分布速查表这个 206 KB 的 JSON 是整个权重包的目录页两大块内容{ metadata: { total_size: 12355664128 }, weight_map: { language_model.model.embed_tokens.weight: model-00001-of-00003.safetensors, ...共 2090 个张量条目... } }张量名本身也透露了量化细节每个量化矩阵都拆成三份——张量后缀含义.weight4bit/8bit 量化后的主权重.scales每组 64 个元素的缩放因子affine 模式.biases偏置项注意力投影层才有比如language_model.model.layers.0.linear_attn.in_proj_a.weight / .scales / .biases三个张量同属第 0 层的线性注意力输入投影。⚙️ config.json架构与混合精度配置config.json约 116 KB大部分篇幅是逐层量化位宽顶层关键字段architecturesQwen3_5MoeForConditionalGeneration——带视觉/视频 token 的 MoE 生成模型image_token_id: 248056、video_token_id: 248057text_config40 层num_hidden_layers: 40、隐藏维度 2048、词表 248320剪枝后num_experts: 128num_experts_per_tok: 8注意力混合layer_types中 30 层是linear_attention每 4 层插一层full_attention即第 3、7、11…39 层quantization默认bits: 4, group_size: 64, mode: affine再用 500 多条逐层覆写把敏感层提到 8bit 剪枝痕迹就藏在num_experts父模型每层 256 个专家这里只剩 128——-19B这个名字由此而来。 kv_config.jsonKV Cache 量化清单仅 10 行配置kv_config.json 很小却直接决定长上下文的内存开销。它只列出全注意力层线性注意力层不需要 KV Cache的缓存量化位宽layer_idxbitslayer_idxbits3423474274118314158354194394规律一目了然8 个层用 4bit KV仅第 11、15 层用 8bit 保精度全部group_size: 64。推理框架读到这个文件就会对相应层的 K/V 缓存按位宽压缩显著降低长对话的显存压力。 optiq_metadata.json量化与剪枝的完整档案optiq_metadata.json约 122 KB是理解这个模型为什么是现在这个样子的核心档案分四块1️⃣ 混合精度总览字段值说明methodoptiq_mixed_precision_transferred位宽图从同架构模型迁移而来base_modelInternScience/Agents-A1原始基础模型target_bpw/achieved_bpw4.5 /4.513目标与实际比特数bits per weightn_high_bits/n_low_bits397 / 1138bit 层 397 个4bit 层 113 个threshold0.0敏感度判定阈值即绝大多数张量压到 4bit397 个对精度敏感的张量如各层注意力投影、共享专家、lm_head保留 8bit最终平均4.513 bpw。2️⃣ per_layer510 条逐张量位宽表per_layer按层号.模块名给出每个张量的bits与group_size与 config.json 的quantization一一对应例如language_model.model.layers.39.mlp.shared_expert_gate: { bits: 8, group_size: 64 }3️⃣ expert_pruningREAP 剪枝全程记录方法reap路由器权重 × 专家输出范数的条件均值排序保留排名靠前的专家规模每层256 → 128uniform_retention: truetop_k: 8路由不变体积专家权重从19.6 GB 砍到 9.8 GBexpert_bytes_before/after校准optiq 六领域混合 8 个样本seed: 42专家覆盖率下限 0.9766retained_experts逐层列出被保留的 128 个专家编号可复现验证参考同架构的验证结论50% 保留率下 KL 散度仅0.077明显退化的剪枝模型 1.0生成质量在人工评审中难以区分。详见 README.md。4️⃣ 与 config.json 的对应关系optiq_metadata.json是制作过程档案谁做的、怎么选的config.json的quantization是运行时配置加载时真正读取的位宽。两者数值一致修改模型行为时以config.json为准。️ 推理三件套tokenizer、模板与加载方式文件要点tokenizer.jsonQwen2Tokenizer 词表本体LFS 大文件含图像/视频/音频特殊 tokentokenizer_config.jsonmodel_max_length: 262144256K 上下文、tool_parser_type: qwen3_coderchat_template.jinjaJinja 对话模板定义 system/user/assistant 的拼装格式在装有mlx-lm的环境里两条命令即可跑起来pip install mlx-optiq optiq serve --model mlx-community/Agents-A1-OptiQ-4bit-REAP-19B或直接用mlx_lm加载权重、分词器、kv_config.json都会按上文结构自动解析。✅ 文件结构检查清单下载后核对model.safetensors.index.json的total_size12355664128字节 ✅3 个 safetensors 分片共1757张量 侧车333张量 2090✅config.json 中num_experts为128而非 256✅kv_config.json 恰好10条全注意力层记录 ✅optiq_metadata.json 的achieved_bpw ≈ 4.513✅全部对上说明权重包完整无损可以安心部署到 Apple Silicon 上体验这个更小不更慢的 19B 专家剪枝模型了。赞分享人工智能大模型模型量化模型优化本地部署【免费下载链接】Agents-A1-OptiQ-4bit-REAP-19B项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/Agents-A1-OptiQ-4bit-REAP-19B点击查看免费下载相关推荐为什么Agents-A1-OptiQ-4bit-REAP-19B变小却不更慢MoE专家剪枝技术REAP完整解析为什么Agents A1 OptiQ 4bit REAP 19B变小却不更慢MoE专家剪枝技术REAP完整解析 Agents A1 OptiQ 4bit RE人工智能大模型模型量化模型优化本地部署如何 3 步用 abogen 把 EPUB 变有声书开源文本转语音工具上手指南如何 3 步用 abogen 把 EPUB 变有声书开源文本转语音工具上手指南 abogen 是一款开源的文本转语音工具能把 EPUB、PDF 和纯文本变成人工智能大模型模型量化模型优化本地部署14.5GB内存跑大模型Agents-A1-OptiQ-4bit-REAP-19B部署与内存优化终极指南14.5GB内存跑大模型Agents A1 OptiQ 4bit REAP 19B部署与内存优化终极指南 Agents A1 OptiQ 4bit REAP人工智能大模型模型量化模型优化本地部署上一篇G6 力导向拖拽元素交互 DragElementForce 完全指南d3-force 布局下的实时重排与节点固定下一篇DLSS Swapper终极指南3分钟学会智能切换DLSS版本免费提升游戏性能创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
