★ FEATURED ARTICLE 【免费下载链接】InternVL3-1B-Pretrained项目地址https://ai.gitcode.com/OpenGVLab/InternVL3-1B-Pretrained点击查看免费下载InternVL3-1B-Pretrained 是书生 InternVL3 系列的 1B 参数多模态大语言模型由约 300M 的 InternViT 视觉编码器与 Qwen2.5-0.5B 语言模型组成支持图像、多图甚至视频输入。本文将带你用LMDeploy一条命令把它部署为OpenAI 兼容 API 服务——现有 OpenAI SDK 代码几乎不用改直接接入你的业务系统无需编写任何服务框架。为什么选择 InternVL3-1B-Pretrained 做多模态 API 服务1B 级模型体积小巧、推理成本低在单卡甚至消费级 GPU 上就能流畅运行是搭建轻量级多模态 API 服务的理想选择。它的特点包括️原生多模态图像描述、OCR 文字识别、多图对比、视频理解开箱即用⚡轻量高效约 1B 参数bf16 加载即可运行支持 8-bit 量化进一步压缩显存OpenAI 接口兼容通过 LMDeploy 的api_server对外暴露标准/v1/chat/completions等接口 小提示本仓库是预训练Pretrained版本完成了原生多模态预训练但未经 SFT 指令微调与 MPO 对齐回答风格偏直给更适合作为二次微调的基座或用于图像理解类任务日常对话场景可选择已完成对齐的 InternVL3-1B 版本。模型结构可参见 config.json自定义模型代码位于 modeling_internvl_chat.py。三步搭建 OpenAI 兼容 API 服务第一步获取模型文件先安装 LMDeploy需要 0.7.3 及以上版本才能识别 InternVL3pip install lmdeploy0.7.3然后将模型文件下载到本地若直接从平台托管的仓库名加载可跳过此步git clone https://gitcode.com/OpenGVLab/InternVL3-1B-Pretrained下载完成后仓库根目录即包含模型权重与全部推理所需文件核心文件如下文件作用model.safetensors模型权重文件configuration_intern_vit.py视觉编码器配置代码modeling_internvl_chat.py多模态对话模型定义preprocessor_config.json图像预处理参数第二步一条命令启动 API 服务在模型目录执行lmdeploy serve api_server OpenGVLab/InternVL3-1B --chat-template internvl2_5 --server-port 23333 --tp 1关键参数说明--server-port 23333服务端口可自由修改--chat-template internvl2_5InternVL 系列统一使用的对话模板名模型配置 config.json 中的template字段--tp 1张量并行卡数1B 模型单卡即可--chat-template低于 LMDeploy 0.7.3 时需要用代码方式显式指定务必升级版本服务启动后监听http://0.0.0.0:23333/v1与 OpenAI 官方 API 完全同构。第三步用 OpenAI SDK 发起首次调用安装客户端并调用纯文本请求pip install openaifrom openai import OpenAI client OpenAI(api_keyYOUR_API_KEY, base_urlhttp://0.0.0.0:23333/v1) response client.chat.completions.create( modelclient.models.list().data[0].id, messages[{role: user, content: Hello, who are you?}], temperature0.8) print(response.choices[0].message.content)多模态图像请求API 也能看图说话LMDeploy 服务支持 OpenAI 多模态消息格式——在content中同时放入text与image_url两部分即可发送图像。仓库自带的示例图是一只小熊猫对应的 API 请求示例图片可换成 URL 或本地文件response client.chat.completions.create( modelmodel_name, messages[{ role: user, content: [ {type: text, text: describe this image}, {type: image_url, image_url: {url: 图片URL或本地路径}}, ], }], temperature0.8, top_p0.8)多轮对话只需把上一轮回复以assistant角色追加进messages接口与纯文本场景完全一致。视频理解则可将抽帧后的多张图片以Image-1: image的编号方式一并送入。常见问题与进阶建议Q显存不够怎么办InternVL3-1B 在 bf16 下对显存要求很低一般 8GB 级显卡即可若追求吞吐可在 LMDeploy 侧开启量化如 W4A16进一步压缩。Q多图请求响应变慢多张图会成倍增加视觉 token 数请适当调大session_lenLMDeploy 默认会话长度并按Image-1、Image-2编号提示有助于模型对齐多图。Q预训练版本回答不太听话这是 Pretrained 版本的预期行为。建议在多模态指令数据上微调后再上线对话类 API可参考 InternVL、SWIFT 等框架的微调文档或换用已完成对齐的 InternVL3-1B。Q服务能接入现有 LangChain / Dify 等平台吗可以。只要提供 OpenAI 风格的base_url与模型名绝大多数 AI 应用框架都能直接把它当作一个 OpenAI 模型接入。总结环节关键内容安装pip install lmdeploy0.7.3启动lmdeploy serve api_server ... --server-port 23333 --tp 1调用OpenAI SDKbase_url指向http://0.0.0.0:23333/v1多模态content中混合text与image_url两部分InternVL3-1B-Pretrained 以极小的体量提供了完整的图像、多图、视频理解能力配合 LMDeploy 的 OpenAI 兼容接口从模型文件到可用的多模态 API 服务只需几分钟。把它作为业务中的轻量视觉专家或微调基座都能快速落地。赞分享【免费下载链接】InternVL3-1B-Pretrained项目地址https://ai.gitcode.com/OpenGVLab/InternVL3-1B-Pretrained点击查看免费下载相关推荐InternVL3-8B-AWQ部署指南LMDeploy一行命令上线多模态API服务兼容OpenAI接口InternVL3 8B AWQ部署指南LMDeploy一行命令上线多模态API服务兼容OpenAI接口 InternVL3 8B AWQ 是开源多模态大InternVL3-2B-Pretrained 生产部署指南LMDeploy 加速推理与 OpenAI 兼容 API 服务搭建InternVL3 2B Pretrained 生产部署指南LMDeploy 加速推理与 OpenAI 兼容 API 服务搭建 InternVL3 2B PrInternVL3-8B-Pretrained部署实战LMDeploy一键上线OpenAI兼容API服务InternVL3 8B Pretrained部署实战LMDeploy一键上线OpenAI兼容API服务 本文带你快速完成 InternVL3 8B P上一篇Omarchy 仓库开发规范全解从 CLAUDE.md 到 AGENTS.md 的任务指南、命令路由与测试体系下一篇ERNIE 4.5用30亿激活参数实现75%部署成本降低的AI效率革命创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
