★ FEATURED ARTICLE MiniCPM-V 2.6 本地部署实战3 步在 Mac 和独显电脑上跑通多模态视觉模型【免费下载链接】MiniCPM-VSee, hear, and interact on your local devices.项目地址: https://gitcode.com/GitHub_Trending/mi/MiniCPM-VMiniCPM-V 是清华 NLP 与 ModelBest 联合开发的端侧多模态大模型让本机设备看得见图、听得懂问题。用 82 亿参数的 2.6 版本3 条命令加一次模型下载就能在浏览器里打开一个可以传图、传视频提问的聊天界面整个过程含下载通常在一小时以内。 项目名片一句话定位为本地设备优化的多模态大模型MLLM图像理解、OCR、多图与视频问答全部离线运行。几个硬指标指标数值参数量2.6 版本 8.2B图像处理任意长宽比最高约 180 万像素如 1344×1344视觉 token640 个 token 编码 180 万像素图像比多数同类模型少约 75%OCR 基准OCRBench 超过 GPT-4o、GPT-4V、Gemini 1.5 Pro幻觉率Object HalBench 上低于 GPT-4o 与 GPT-4V640 个视觉 token 这个设计是它能在消费级设备上跑得动的关键token 越少推理越省显存、首 token 延迟越低。数据摆在这里咱们看看什么样的机器能跑起来。 环境体检requirements 里锁定了torch2.1.2、transformers4.40.0、gradio4.41.0所以环境版本要跟着走。硬件门槛如下项目推荐配置最低配置不满足时的替代方案设备Apple Silicon 32GB 统一内存或 NVIDIA GPU 24GB 显存16GB 统一内存Mac/ 8GB 显存NVIDIANVIDIA 8GB → 换 int4 版7GB无独显 Mac → 全精度 bf16 或 GGUF llama.cpp 走 CPU存储空间30GB 可用20GB 可用只下 int4 版7GB即可系统macOS 12.0 / Windows / Linux——Python3.103.8–3.11用 conda 建独立环境不污染系统注意两点2.6 全精度权重约 17GBMac 上跑 bf16 时统一内存占用会超过 17GB16GB 机型会比较吃力int4 量化版依赖 bitsandbytes官方脚本明确不支持在 MacMPS上加载。环境达标后就可以拉代码了。实操主路径拉取代码并搭建环境克隆仓库并进入项目目录git clone https://gitcode.com/GitHub_Trending/mi/MiniCPM-V cd MiniCPM-V用 conda 建一个隔离的 Python 环境避免版本冲突conda create -n minicpm-v python3.10 -y conda activate minicpm-v一次性装齐 PyTorch、Transformers、Gradio 等依赖pip install -r requirements.txt下载模型先装 ModelScope 命令行再拉取 2.6 全精度权重约 17GB视网速准备 5–30 分钟pip install modelscope modelscope download --model OpenBMB/MiniCPM-V-2_6 --local_dir ./models/MiniCPM-V-2_6显存 8GB 的 NVIDIA 显卡可改下OpenBMB/MiniCPM-V-2_6-int4约 7GB。启动脚本web_demos/web_demo_2.6.py默认按模型库 idopenbmb/MiniCPM-V-2_6加载权重会在本地缓存中自动命中想指定离线目录把脚本顶部的model_path变量改成你的本地路径即可。启动 Web 界面NVIDIA 显卡直接指定 cudapython web_demos/web_demo_2.6.py --device cudaMacApple Silicon 或 AMD 显卡走 MPS并开启算子回退PYTORCH_ENABLE_MPS_FALLBACK1 python web_demos/web_demo_2.6.py --device mps服务监听在 8885 端口启动成功后浏览器打开http://localhost:8885。首次加载权重需要几分钟看到聊天框出现You can talk to me now就说明就绪了。页面打开之后它实际能玩的东西比想象中多。 上手即玩三类用法用法一多语言 OCR。把仓库自带的assets/hk_OCR.jpg拖进去输入把图片中的所有文字逐行抄录下来输出是逐行抄录的中英混排文本港式招牌、小字号、手写体都能保持较高完整度——这正是它相对 GPT-4V 系模型的主打优势。用法二多图对比。界面支持一次传多张图视频会话除外传两张同场景不同角度的照片问对比这两张图里物品的摆放差异模型会先分别描述再给差异点用法三视频问答。上传一个本地 mp4脚本按 1fps 抽帧、最多保留 64 帧后交给模型。问视频里依次出现了哪些界面它会按时间顺序回答。复杂推理类问题读公式、看图表也值得试仓库里的样例效果可以参考体验完默认参数想再压榨一点速度的人可以动下面几个旋钮。 调参提速以下均为web_demos/web_demo_2.6.py内置的默认值界面里可切换代码里也可改参数适用场景推荐值实际效果Decode Type答案求稳 vs 求快Beam Searchnum_beams3repetition_penalty1.2输出更一致换 Samplingtop_p0.8、top_k100则更快temperature描述类开放式提问0.7Sampling 默认调低更简短直接调高更发散max_new_tokens只需要要点式回答512默认 2048生成长度按比例缩短响应更快max_slice_nums处理视频、显存吃紧1默认 2超过 16 帧时脚本自动降为 1图像切片数减半显存占用同步下降参数都调顺了但初次运行还是容易撞上几个固定报错好在都有标准解法。 踩坑急救Error: running int4 model with bitsandbytes on Mac is not supported right now.→ Mac 的 MPS 不支持 bitsandbytes 的 int4 路径 → 改用全精度OpenBMB/MiniCPM-V-2_6或走 GGUF llama.cpp 的 CPU 方案。Mac 上报 MPS 算子不支持类错误如MPS backend相关→ Apple 芯片部分算子无原生实现 → 启动命令前缀加PYTORCH_ENABLE_MPS_FALLBACK1。CUDA out of memory→ 显存装不下 bf16 权重约 17GB→ 换 int4 版约 7GB或加--multi-gpus参数把模型切分到两张卡。Address already in use端口 8885→ 端口被别的进程占用 → 修改web_demos/web_demo_2.6.py底部server_port8885为空闲端口再启动。跑通之后本地就有一个不联网、能看图看视频的视觉助手了。想继续深入可以从版本文档 docs/minicpm_v2dot6_zh.md 查评测细节或到 docs/deployment_en.md 看 vLLM、llama.cpp 等更多部署方式。MiniCPM-V 的定位始终是端侧可用的多模态从 2.6 到 4.7这条路线会越来越宽值得持续关注 README.md 里的版本更新。【免费下载链接】MiniCPM-VSee, hear, and interact on your local devices.项目地址: https://gitcode.com/GitHub_Trending/mi/MiniCPM-V创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
