★ FEATURED ARTICLE 【免费下载链接】InternVL3_5-1B-Pretrained项目地址https://ai.gitcode.com/OpenGVLab/InternVL3_5-1B-Pretrained点击查看免费下载InternVL3.5-1B-Pretrained 是 OpenGVLab 开源的 1B 参数多模态大模型预训练权重通过8-bit 量化与多 GPU 推理部署最低 4GB 显存的消费级显卡也能流畅运行图像理解与图文对话任务。本文带你从零完成部署并附显存估算与常见报错排查。一、模型速览1B 参数的多模态小钢炮 InternVL3.5-1B-Pretrained 采用经典的ViT–MLP–LLM三段式架构视觉编码器InternViT-300M约 0.3B 参数语言模型Qwen3 系列约 0.8B 参数支持动态高分辨率输入图像按 448px 瓦片切分最多 12 个分块见 config.json 中max_dynamic_patch与force_image_size配置本仓库是该模型CPT多模态持续预训练阶段的权重。文件清单很精简核心构成如下文件作用config.json模型结构、视觉/语言子配置、动态分辨率参数modeling_internvl_chat.py主模型与chat/batch_chat对话接口modeling_intern_vit.pyInternViT 视觉编码器实现conversation.py对话模板internvl2_5 templategeneration_config.json默认生成参数vocab.json / merges.txt分词器词表与合并规则 提示Pretrained表示仅完成 CPT 阶段。若需要更自然的对话效果可切换到同系列完成 SFT 与强化学习的 Instruct / 正式版权重部署方式完全相同。二、部署前准备一键安装依赖 ⚙️在开始之前先克隆模型仓库本地加载可显著降低显存与网络开销git clone https://gitcode.com/OpenGVLab/InternVL3_5-1B-Pretrained安装核心依赖transformers 版本必须 ≥ 4.52.1pip install transformers4.52.1 bitsandbytes flash-attn依赖用途transformers4.52.1模型加载与推理框架bitsandbytes8-bit 量化核心库flash-attnFlashAttention 加速降低长序列显存由于仓库内自带自定义建模代码auto_map指向本地.py文件加载时必须加trust_remote_codeTrue。三、8-bit 量化部署显存直降一半 8-bit 量化的原理简单易懂将权重从 16-bitbf16压缩到 8-bit 存储权重体积约减半代价是微小的精度损失。对于 1B 模型部署方式权重大约显存推荐最低显卡显存bf16 全精度≈ 2.3 GB6 GBRTX 3060 / 40608-bit 量化≈ 1.2 GB4 GB量化加载只需在官方示例基础上把load_in_8bit置为Trueimport torch from transformers import AutoTokenizer, AutoModel path OpenGVLab/InternVL3_5-1B-Pretrained # 或本地路径 model AutoModel.from_pretrained( path, torch_dtypetorch.bfloat16, load_in_8bitTrue, # 关键启用 bitsandbytes 8-bit 量化 low_cpu_mem_usageTrue, # 关键降低 CPU 峰值内存 use_flash_attnTrue, trust_remote_codeTrue).eval().cuda() tokenizer AutoTokenizer.from_pretrained( path, trust_remote_codeTrue, use_fastFalse)三行省显存参数逐一说清load_in_8bitTrue权重以 8-bit 加载进 GPU显存占用约减半low_cpu_mem_usageTrue逐层搬运权重避免 CPU 内存先整模加载爆内存use_flash_attnTrue注意力计算不落地完整矩阵长上下文显存占用大幅降低。四、多 GPU 推理部署device_mapauto 自动分片 ️1B 模型单卡轻松放下但device_mapauto是面向 8B~30B 档位的通用部署技巧官方说明30B 以下可单卡 A10038B 需双卡 A100235B 需八卡 A100。多卡部署只需把load_in_8bit换成device_mapautotransformers 会自动把各层参数切分到多块 GPUmodel AutoModel.from_pretrained( path, torch_dtypetorch.bfloat16, device_mapauto, # 自动在多 GPU 间切分模型 low_cpu_mem_usageTrue, use_flash_attnTrue, trust_remote_codeTrue).eval()使用建议量化 多卡可叠加显存极度受限时可同时开启load_in_8bitTrue与device_mapauto双卡机器跑 1B 模型时更推荐让视觉编码器与语言模型分担负载——InternVL3.5 官方提出的DvDDecoupled Vision-Language Deployment解耦部署思想正是将 ViT 与 LLM 分到不同 GPU 上并行处理官方高性能部署可直接使用 LMDeploy / vLLM详见 README.md 的 Deployment 章节。五、跑通第一轮图文对话 ️模型加载后调用 chat 接口 即可对话。图像需先做动态高分辨率预处理切瓦片 缩略图 归一化README 中已提供完整的load_image/dynamic_preprocess工具函数直接复制使用from PIL import Image import torch # 动态高分辨率预处理README Quick Start 中的 load_image 函数 pixel_values load_image(image1.jpg, max_num12).to(torch.bfloat16).cuda() question image\nPlease describe the image shortly. response, _ model.chat( tokenizer, pixel_values, question, dict(max_new_tokens1024, do_sampleTrue), return_historyTrue) print(response)多轮对话只需把上一次的history传回chat批量推理可用 batch_chat 一次处理多张图像。六、常见问题与省显存技巧 问题原因解决方案CUDA out of memory高分辨率图像切块多、上下文长调小max_num瓦片数、降低max_new_tokens加载报trust_remote_code相关错误缺少自定义代码授权加载时加trust_remote_codeTrueflash-attn 安装失败编译依赖复杂先pip install flash-attn --no-build-isolation失败则改用use_flash_attnFalseuse_fastFalse分词报错该分词器不支持 fast tokenizer保持use_fastFalse即可进阶技巧开启 Thinking 思维模式按 README.md 设置R1_SYSTEM_PROMPT系统提示词并建议do_sampleTrue, temperature0.6避免重复输出流式输出配合 transformers 的TextIteratorStreamer实现打字机效果README 提供了完整示例量化精度权衡对精度敏感的场景优先 bf16 全精度显存吃紧再启用 8-bit。七、总结场景推荐方案4~6GB 显存消费级显卡8-bit 量化 flash-attn多卡机器 / 更大参数版本device_mapauto自动分片生产级高吞吐服务LMDeploy / vLLM 部署官方推荐InternVL3.5-1B-Pretrained 用约 1B 参数 0.3B 视觉编码器把多模态推理的门槛拉到了消费级显卡。结合本文的8-bit 量化与多 GPU 分片两套技巧无论单卡低显存还是多卡环境都能快速把模型跑起来。赞分享【免费下载链接】InternVL3_5-1B-Pretrained项目地址https://ai.gitcode.com/OpenGVLab/InternVL3_5-1B-Pretrained点击查看免费下载相关推荐低显存也能部署多模态大模型InternVL3_5-14B-MPO 8-bit量化与多GPU推理完整指南低显存也能部署多模态大模型InternVL3_5 14B MPO 8 bit量化与多GPU推理完整指南 InternVL3_5 14B MPO 是 InterInternVL3-1B-Pretrained 模型加载详解16-bit、8-bit 量化与多 GPU 部署怎么选InternVL3 1B Pretrained 模型加载详解16 bit、8 bit 量化与多 GPU 部署怎么选 InternVL3 1B Pretrai显存紧张也能跑InternVL3-38B-Pretrained 8位量化与多卡部署避坑指南显存紧张也能跑InternVL3 38B Pretrained 8位量化与多卡部署避坑指南 InternVL3 38B Pretrained 是 Intern上一篇Skills 仓库实战用 agency-grid-layout-minimal 复刻 Freelance Designer Growth Partner 极简杂志网格代理页面下一篇3大实战方案构建高效开源项目部署方案的最佳实践创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
