★ FEATURED ARTICLE 大模型多模态本地部署计算机视觉【免费下载链接】LFM2.5-VL-3B-OptiQ-4bit项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/LFM2.5-VL-3B-OptiQ-4bit点击查看免费下载LFM2.5-VL-3B-OptiQ-4bit 是一个由 mlx-optiq 工具链生成的 MLX 混合精度量化多模态模型检查点把 Liquid 的 LFM2.5-VL-3B 视觉语言模型从 6.3 GB 压缩到 2.8 GB可在 Apple Silicon 上本地推理文本与图像。这篇文章带你读懂它的量化配方并学会自己动手量化一个属于你自己的多模态模型。 先搞清楚mlx-optiq 能帮你做什么mlx-optiq 是 MLX 原生的模型量化工具包一条流水线覆盖「量化 → 微调 → 本地部署」全程无需 PyTorch、无需云端。这个仓库就是它产出的一个标准检查点底座模型LiquidAI/LFM2.5-VL-3B-MLX-bf16SigLIP2 视觉编码器 LFM2.5 混合语言塔约 3B 参数量化方法OptiQ 混合精度以 bf16 为参考做敏感度驱动sensitivity-driven的 4/8-bit 分配语言塔88 层张量压到 4-bit、78 层保留 8-bit磁盘占用 1.98 GB视觉塔保持 bf16 精度单独存放在 sidecar 文件中占用 0.85 GB 命名说明这里的 “4bit” 遵循 llama.cpp 对混合量化模型的命名惯例指的是量化家族而不是加权平均位宽——实际平均约 5.02 bit/weight见下文target_bpw。 解剖检查点仓库里每个文件在干什么理解一个量化检查点最好的方式是从它的文件结构入手。这个仓库的每个文件都有明确职责文件作用model.safetensors model.safetensors.index.json量化后的语言塔权重约 2.7B 参数索引显示总量 1.96 GB及张量映射config.json模型结构 完整量化方案 视觉 sidecar 声明optiq/metadata.jsonOptiQ 量化元数据方法、目标位宽、逐层 bits 分配optiq/sensitivity.json敏感度分析原始数据是混合精度分配的证据链optiq/optiq_vision.safetensorsbf16 视觉塔权重441 个张量独立 sidecarkv_config.json只有 8 个 full-attention 层参与 KV cachegeneration_config.json生成参数bos/eos/pad token 等chat_template.jinja对话模板tokenizer.json / tokenizer_config.json分词器128k 词表读懂 OptiQ 的量化配方metadata.json打开 optiq/metadata.json前 9 行就是整份配方的摘要method:optiq_mixed_precision—— 混合精度量化reference:bf16—— 以 bf16 模型为精度基准target_bpw/achieved_bpw: 目标 5.0 bit/weight实际达成 5.018n_high_bits: 78、n_low_bits: 88 —— 分别有多少张量被分配为 8-bit 和 4-bit从 第 10 行开始是per_layer段逐张量记录了最终的bits和group_size本例统一为 64。例如最后一层model.layers.29.feed_forward.w2被分配了 8-bit而前一层的大部分张量是 4-bit——这正是敏感度驱动的结果。为什么某些层被保留 8-bitsensitivity.json混合精度不是拍脑袋决定的。optiq/sensitivity.json 记录了量化前的敏感度扫描配置candidate_bits: [4, 8] —— 候选位宽group_size: 64metric:kl_divergence_vs_reference—— 用与 bf16 参考的 KL 散度衡量精度损失往下翻可以看到每个张量在 4-bit 和 8-bit 下的具体敏感度数值。以 model.layers.29.feed_forward.w2 为例4-bit 敏感度 0.001098-bit 只有 0.00012损失被放大近 9 倍——所以它被保留为 8-bit。这份文件就是你复现、审计任何 OptiQ 量化的证据链。量化方案真正生效的地方config.json运行时真正读取的量化配置在 config.json全局默认bits: 4、group_size: 64、mode: affine逐张量覆盖敏感层写成 8-bit例如 model.embed_tokens 被保留 8-bit嵌入层量化极易伤质量第 1540 行的optiq_vision段声明了视觉 sidecar路径optiq/optiq_vision.safetensors、bf16 精度、441 个张量⚠️ 进阶提示如果你要自己产出检查点config.json里的quantization和quantization_config必须与optiq/目录下的元数据一致否则加载器无法正确还原混合精度布局。为什么视觉塔单独放视觉编码器SigLIP2对量化很敏感强行压缩会直接损害图像理解质量。OptiQ 的做法是语言塔激进压缩视觉塔保持 bf16 放在 sidecar。运行时视觉塔在 MLX 中原生执行不需要 PyTorch、也不需要 mlx-vlm且经过四种 patch grid 对照验证与参考实现的输出在 bf16 舍入误差内一致——图像回答是底座模型的真实水平不是近似。 为什么它能在 Mac 上跑得动混合架构 小 KV CacheLFM2.5 的语言塔采用短卷积块 全注意力块交替的混合设计见 config.json 的 layer_types30 层中只有 8 个full_attention层。只有注意力层需要 KV cache所以上下文增长时显存增长非常慢。kv_config.json 精确列出了这 8 个层第 2、5、9、13、17、21、24、27 层每层还标注了 bits 与 group_size。其他关键规格属性值隐藏维度 / 注意力头2048 / 32KV 头 8词表 / 最大上下文128,000 / 128,000视觉编码器SigLIP227 层patch 16512 分块图像 token 范围64 ~ 256最多 10 块实际效果上模型能稳定做图像描述输入白底蓝色方块输出 A blue square.README 演示。▶️ 在自己的 Mac 上跑起来两步上手第一步安装工具链要求mlx-optiq0.4.20它会注册lfm2_vl架构并加载视觉 sidecarpip install mlx-optiq0.4.20第二步用 OpenAI/Anthropic 兼容的端点服务化部署图像以image_url内容发送optiq serve --model mlx-community/LFM2.5-VL-3B-OptiQ-4bit如果只做纯文本生成也可以直接加载完整示例见 README 第 90~99 行import optiq # 注册 lfm2_vl 架构 视觉 sidecar from mlx_lm import load, generate model, tok load(mlx-community/LFM2.5-VL-3B-OptiQ-4bit) 量化质量如何能力分数与诚实的短板六项指标取平均OptiQ 标准文本评测指标分数MMLU5-shot54.3%GSM8K44.6%IFEvalstrict77.4%HumanEvalpass140.2%BFCL-V3工具调用0.0%HashHop长上下文检索11.0%Capability Score37.93两个需要知道的真实短板详见 README 能力分数一节不主动发起工具调用它会在提示词要求时正确输出调用格式但不会自己伸手去调。需要 agentic 工具使用的场景选同系列的纯文本 1.2B/2.6B 更合适。长上下文检索快速衰减单跳 40%、超过一跳接近归零——这正是少注意力层换小 KV cache的代价。️ 开发者进阶3 步量化你自己的多模态模型现在你已经看懂了一个成品检查点的每一处细节可以复刻到任意支持 MLX 的多模态模型上了第 1 步准备 bf16 参考模型拿到或转换出MLX 格式的 bf16 底座。敏感度分析必须相对一个高精度参考做这就是reference: bf16的含义。第 2 步设定预算并跑敏感度分析确定target_bpw本例 5.0与candidate_bits本例 4 和 8用kl_divergence_vs_reference这类指标逐张量扫描各候选位宽的精度损失按损失分配 bits损失小的层压 4-bit损失被放大的层保 8-bit嵌入层、关键卷积投影优先保留高位宽第 3 步导出并打包检查点语言塔按分配方案写量化权重 scalesgroup_size: 64、affine 模式视觉塔以 bf16 原样抽出写入 sidecar 文件把metadata.json、sensitivity.json放进optiq/目录并在config.json中同步quantization与optiq_vision声明最后跑一遍标准六项评测对比Capability Score与底座确认量化没有引入灾难性退化✅ 验收清单achieved_bpw是否贴近target_bpwsensitivity.json中的高敏感层是否都拿到了更高位宽sidecar 张量数是否与n_tensors一致本例 441三项都对得上检查点才是完整的。❓ 常见问题速答Q名字叫 4bit实际位宽是多少平均约 5.02 bit/weight。4bit 只是混合量化家族的标签llama.cpp 惯例精确分配见 optiq/metadata.json。Q能不能把视觉塔也量化以进一步省空间技术上可以但 SigLIP2 编码器对精度敏感本检查点选择 bf16 sidecar 换取与底座一致bf16 舍入内的图像表现。空间敏感场景可先做敏感度扫描只压缩损失可控的层。Q8 个注意力层会不会太少了看场景。牺牲长程检索能力HashHop 11%换来上下文膨胀时的 KV cache 几乎不增长——这正是边缘设备上的最优权衡。写在最后LFM2.5-VL-3B-OptiQ-4bit 不仅是一个可以直接optiq serve就跑的现成模型更是一份完整可读的混合精度量化样本从敏感度数据、位宽分配到 sidecar 打包每一步都留在仓库里。照着 config.json 和 optiq/ 目录的结构理解一遍你就能把同样的流程搬到自己的多模态模型上在 Mac 上量化、验证并部署一个只属于你的轻量多模态模型。赞分享大模型多模态本地部署计算机视觉【免费下载链接】LFM2.5-VL-3B-OptiQ-4bit项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/LFM2.5-VL-3B-OptiQ-4bit点击查看免费下载相关推荐humanizer-12b-OptiQ-4bit开发者进阶用mlx-optiq复现OptiQ混合精度量化全流程humanizer 12b OptiQ 4bit开发者进阶用mlx optiq复现OptiQ混合精度量化全流程 humanizer 12b OptiQ 4biBFCL 0.0%之谜LFM2.5-VL-3B-OptiQ-4bit 为什么从不调用工具小模型 Agentic 实践指南BFCL 0.0%之谜LFM2.5 VL 3B OptiQ 4bit 为什么从不调用工具小模型 Agentic 实践指南 LFM2.5 VL 3B Opti大模型多模态本地部署计算机视觉qBittorrent-Enhanced-Edition 测试套件实战指南启用 TESTING、运行 check 目标与理解测试架构qBittorrent Enhanced Edition 测试套件实战指南启用 TESTING、运行 check 目标与理解测试架构 本篇技术指南以 qBit大模型多模态本地部署计算机视觉上一篇RimSort让《RimWorld》模组管理变得简单的3个关键功能下一篇RimSort三步解决《RimWorld》模组冲突的终极指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
