★ FEATURED ARTICLE 【免费下载链接】MiniCPM-V-4.7-35B-A3B-nvfp4项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/MiniCPM-V-4.7-35B-A3B-nvfp4点击查看免费下载MiniCPM-V-4.7-35B-A3B-nvfp4 是开源 35B 多模态大模型 MiniCPM-V 4.7 的MLX 量化版本专为 Apple SiliconM 系列 Mac本地部署设计。它支持图片理解、视频理解与纯文本对话采用 NVFP4 4-bit 权重量化后整个模型仅约 22GB配合 MoE 稀疏激活架构35B 总参数、约 3B 激活参数在 M 系列 Mac 上也能获得流畅的多模态推理体验。这是什么模型一张表看懂核心能力MiniCPM-V 4.7 是面壁智能openbmb推出的视觉-语言多模态大模型本仓库是社区贡献的 MLX 格式转换版由 mlx-vlm 0.7.8 转换来源模型卡与转换参数记录在 conversion.json 中。项目说明架构MiniCPMV4_7ForConditionalGeneration视觉编码器 MoE 语言模型模态文本、图片、多图片、视频 → 文本image-text-to-text参数规模35B 总参数 / 每 token 激活约 3B256 个专家每次选 8 个上下文长度理论上限 256K262144 tokens量化方式NVFP44-bitgroup size 16混合精度详见下文权重体积5 个分片共约 22GB许可证Apache-2.0可自由商用视觉部分为 27 层 ViTpatch 14最大分辨率 980语言模型共 40 层其中每 4 层才有一层是 full attention其余为 linear attention这也是它长上下文开销相对可控的原因之一。为什么 35B 的模型能跑进 32GB 的 Mac很多新手看到35B就劝退但这里有两个关键设计让它变得亲民1️⃣ MoE 稀疏专家架构35B-A3B35B-A3B的含义是总参数 35B但每个 token 只激活约 3B 参数。推理速度更接近 3B 小模型而知识容量接近 35B 大模型——这正是它能在消费级 Mac 上跑起来的根本原因。2️⃣ NVFP4 混合精度量化本仓库采用 nvfp4 4-bit 权重量化group size 16同时做了精细的混合精度策略可对照 config.json 中的quantization字段主体权重NVFP4 4-bit280 个模块专家路由 gate8-bit affine 量化80 个模块保证路由精度视觉编码器、embeddings、输出层保持 BF16 不量化线性注意力的A_log张量保留源模型精度这样在显著压缩体积的同时把对精度最敏感的模块保护了起来。转换过程通过了严格重载、量化配置检查以及文本/图像生成冒烟测试结果记录在 validation.json 中。安装步骤一行命令配置 MLX 环境✅ 前提条件一台M 系列芯片的 MacmacOSPython 3.9。第 1 步安装 MLX-VLM 运行环境pip install -U mlx-vlm 如果加载时报架构不识别通常说明版本过旧升级 MLX-VLM 到最新版本即可README 中注明支持 MiniCPM-V 4.7 的是 main 分支版本详见 README.md。第 2 步无需手动下载权重mlx-vlm会在首次运行时按模型名自动拉取本仓库的 5 个分片。仓库内权重与索引文件如下文件作用model-00001-of-00005.safetensors ~ model-00005-of-00005.safetensors量化后的模型权重共 5 片model.safetensors.index.json权重分片索引config.json模型结构与量化配置tokenizer.json、tokenizer_config.json分词器chat_template.jinja对话模板mlx-vlm 自动套用processor_config.json、preprocessor_config.json图像/视频预处理配置generation_config.json默认生成参数temperature 1.0 / top_p 0.95第一次推理命令行解读图片安装完成后直接用mlx_vlm.generate发起第一次多模态对话模型名mlx-community/MiniCPM-V-4.7-35B-A3B-nvfp4会自动下载缓存mlx_vlm.generate \ --model mlx-community/MiniCPM-V-4.7-35B-A3B-nvfp4 \ --image path/to/image.jpg \ --prompt 描述这张图片 \ --max-tokens 200 \ --temperature 0几个常用变体纯文本对话去掉--image参数即可多张图片传入多个--image参数视频理解原生处理器同样支持视频输入更高的图像细节默认视觉降采样为16x传入--processor-kwargs {downsample_mode: 4x}可获得更细的识别精度代价是更长的处理时间。--temperature 0表示贪心解码结果稳定可复现想要更有创造力的回答可调高温度默认生成参数见 generation_config.json。硬件需求Mac 内存怎么选量化后权重约22GB再加上 KV cache 与激活开销参考如下Mac 统一内存体验预估32GB可以运行属于能跑的入门线长上下文需节制48GB推荐配置日常图片/文本任务从容64GB 及以上舒适区可放开更长的上下文与视频长度常见问题 FAQQ它和原始 MiniCPM-V 4.7 模型有什么区别A架构与能力一致区别仅在于这是 MLX 推理格式 NVFP4 量化体积更小、专为 Apple Silicon 加速且无需 PyTorch 与 remote code。QNVFP4 是什么A一种 4-bit 浮点权重量化格式按 16 个权重一组group size 16共享缩放因子比整数量化在低比特下精度损失更小。Q可以在 Linux/Windows 上跑吗A本仓库面向 MLX 运行时最佳平台是 Apple SiliconMLX 本身也在向其他平台扩展但 Apple Silicon 才是它的主场。Q影响输出质量的因素A浮点 4-bit 格式与常规 affine 量化在输出上可能有细微差异见 validation.json 的说明属于冒烟检查范畴具体质量以实际任务表现为准。写在最后MiniCPM-V-4.7-35B-A3B-nvfp4 展示了一条值得关注的路线MoE 稀疏架构 4-bit 量化让 35B 级别的多模态能力真正落地到桌面 Mac。如果你正打算在本地部署一个能看图、能看视频的大模型它是非常值得尝试的第一个选择。赞分享【免费下载链接】MiniCPM-V-4.7-35B-A3B-nvfp4项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/MiniCPM-V-4.7-35B-A3B-nvfp4点击查看免费下载相关推荐如何在 Mac 上本地跑起 35B 多模态大模型MiniCPM-V-4.7-35B-A3B-6bit 完整入门指南如何在 Mac 上本地跑起 35B 多模态大模型MiniCPM V 4.7 35B A3B 6bit 完整入门指南 MiniCPM V 4.7 35B A3BMiniCPM-V-4.7-35B-A3B-DSpark如何与MiniCPM-V-4.7-35B-A3B精确配对草稿-目标模型机制详解MiniCPM V 4.7 35B A3B DSpark如何与MiniCPM V 4.7 35B A3B精确配对草稿 目标模型机制详解 MiniCPM V 435B MoE模型如何在iPhone上跑到13 tokens/sMiniCPM-V-4.7-35B-A3B-AWQ端侧推理的秘密35B MoE模型如何在iPhone上跑到13 tokens/sMiniCPM V 4.7 35B A3B AWQ端侧推理的秘密 MiniCPM V 4.7大模型多模态计算机视觉NLP模型量化本地部署上一篇m4s-converterB站缓存视频拯救工具 从无法播放到跨设备流畅观看的完整方案下一篇StarRailCopilot智能助手重新定义崩坏星穹铁道游戏体验创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
