★ FEATURED ARTICLE 【免费下载链接】InternVL3_5-241B-A28B-Pretrained项目地址https://ai.gitcode.com/OpenGVLab/InternVL3_5-241B-A28B-Pretrained点击查看免费下载 本文介绍 InternVL3.5-241B-A28B-Pretrained 多模态大模型在 GitHub 格式与 HuggingFaceHF格式之间的相互转换方法以及如何用 Transformers 无缝加载该 241B MoE 模型进行推理与微调。 什么是 GitHub 格式和 HF 格式InternVL 系列模型为了保持与往期版本兼容官方同时提供了两种模型格式格式命名示例特点GitHub 格式customInternVL3_5-241B-A28B-Pretrained与 InternVL 系列以往版本保持一致附带自定义建模代码需要trust_remote_code加载HF 格式InternVL3_5-241B-A28B-HF对齐 Transformers 官方标准生态兼容性好可直接对接 vLLM、LMDeploy 等主流推理框架⚠️ 注意本仓库是PretrainedCPT 多模态继续预训练阶段的权重属于 InternVL3.5 系列中规模最大、参数 240.7B激活 28B的 MoE 旗舰版适合用于二次预训练、继续预训练等研究场景日常对话与推理请使用不带后缀的完整版模型。 仓库里都有什么看懂文件结构本仓库采用 GitHub 格式存放权重核心文件一览文件作用config.json主配置model_type为internvl_chat内含 LLM 配置Qwen3-235B-A22B128 专家、94 层与视觉塔配置InternViT-6B45 层model.safetensors.index.json权重索引文件共 37540 个张量到 96 个分片的映射关系layer-0-ep-0-of-1.safetensors ~ layer-93-ep-0-of-1.safetensors语言模型 94 层 MoE 权重每层一个独立文件vision.safetensors视觉编码器 InternViT-6B 权重595 个张量others.safetensors嵌入层、norm、lm_head 等其余权重modeling_internvl_chat.py自定义模型定义InternVLChatModelconfiguration_internvl_chat.py自定义配置类InternVLChatConfigmodeling_intern_vit.py / configuration_intern_vit.py视觉塔模型与配置代码conversation.py对话模板本模型使用internvl2_5模板tokenizer.json / vocab.json分词器文件 几个有意思的细节每层一个分片layer-N-ep-0-of-1.safetensors这种一层一文件的命名是 GitHub 格式的典型特征方便大模型按层流式加载与专家并行EP切分而 HF 格式通常是若干 GB 的合并分片。MoE 权重组织从索引文件可以看到每层的 128 个专家权重mlp.experts.0~127的up_proj/gate_proj/down_proj都存放在对应层文件中。动态高分辨率config.json 中dynamic_image_size: true、max_dynamic_patch: 12、force_image_size: 448说明保留了 InternVL1.5 起的动态切片策略ps_version: v2表示使用 pixel shuffle v2 连接器对应 model.safetensors.index.json 中的mlp1张量。 GitHub 格式转 HF 格式完整步骤官方提供了两个转换脚本位于 InternVL 官方代码库的internvl_chat/tools/目录下internvl_custom2hf.pyGitHub 格式 → HF 格式internvl_hf2custom.pyHF 格式 → GitHub 格式一键转换命令# GitHub 格式 → HF 格式以 241B-A28B 为例小模型同理 python internvl_custom2hf.py \ --input_dir ./InternVL3_5-241B-A28B-Pretrained \ --output_dir ./InternVL3_5-241B-A28B-Pretrained-HF转换时发生了什么合并分片把 94 个layer-*.safetensors vision.safetensors others.safetensors 按model.safetensors.index.json的索引重新打包成 HF 标准的若干 GB 级model-0000X-of-XXXXX.safetensors分片。权重命名对齐GitHub 格式的键名如language_model.model.layers.0.mlp.experts.0.up_proj.weight映射为 Transformers 原生 MoE 架构可识别的命名。配置重组把 config.json 中嵌套的llm_config、vision_config展开为 HF 标准的多模态config.json去掉auto_map自定义代码依赖。 转换是纯张量重打包操作不会改变模型参数两种格式推理结果一致。由于 241B 模型约 480GBBF16请预留足够的磁盘空间建议转换后清理原始分片以节省空间。 Transformers 无缝加载指南加载前提transformers 4.52.1README 官方建议版本241B 规模需8 张 A100 级 GPU张量并行tp8GitHub 格式加载自定义代码GitHub 格式自带建模代码加载时必须加trust_remote_codeTrueimport torch from transformers import AutoTokenizer, AutoModel path ./InternVL3_5-241B-A28B-Pretrained # 或官方仓库名 model AutoModel.from_pretrained( path, torch_dtypetorch.bfloat16, low_cpu_mem_usageTrue, use_flash_attnTrue, trust_remote_codeTrue, device_mapauto).eval() tokenizer AutoTokenizer.from_pretrained(path, trust_remote_codeTrue, use_fastFalse)AutoModel会通过 config.json 中的auto_map自动定位到 modeling_internvl_chat.py 里的InternVLChatModel无需手动导入自定义类。HF 格式加载转换后的 HF 格式走 Transformers 原生多模态接口配置中不再依赖auto_map可直接与各类微调框架SWIFT、XTuner 等无缝衔接。️ 高性能部署vLLM 与 LMDeploy生产环境推荐使用推理框架部署README 官方推荐 vLLM 与 LMDeploy 均支持# LMDeploy 服务化示例241B 需设置 tp8 lmdeploy serve api_server 模型路径 \ --server-port 23333 --tp 8 --backend pytorch部署后即可获得兼容 OpenAI 接口的 REST API方便业务集成。❓ 常见问题FAQQ1Pretrained 版本和正式版有什么区别Pretrained 只完成了 CPT多模态继续预训练未做 SFT 与强化学习对齐输出不具备指令遵循能力主要用于继续预训练/领域适配研究。Q2为什么加载时报trust_remote_code相关错误GitHub 格式依赖 configuration_internvl_chat.py 等自定义代码加载参数必须开启trust_remote_codeTrue或者干脆转换成 HF 格式后按标准方式加载。Q3小模型如 8B、14B怎么转命令完全相同只需把--input_dir换成对应模型目录。≤30B 的模型单卡 A100 即可部署38B 需 2 卡转换过程本身与 GPU 无关任意机器都可执行。Q4转换后能直接用AutoTokenizer吗可以tokenizer.json、added_tokens.json、special_tokens_map.json 等分词文件在两种格式中结构一致。✅ 小结场景推荐格式研究/继续预训练本仓库 Pretrained 权重GitHub 格式或转 HF 均可vLLM / LMDeploy 生产部署HF 格式官方微调框架SWIFT、XTuner 等HF 格式复现 InternVL 官方训练代码GitHub 格式掌握internvl_custom2hf.py与internvl_hf2custom.py两个脚本即可在两种格式间自由切换让 InternVL3.5-241B-A28B-Pretrained 无缝融入你的 Transformers 工作流 赞分享【免费下载链接】InternVL3_5-241B-A28B-Pretrained项目地址https://ai.gitcode.com/OpenGVLab/InternVL3_5-241B-A28B-Pretrained点击查看免费下载相关推荐模型格式无缝转换InternLM2.5与Hugging Face格式互转全指南模型格式无缝转换InternLM2.5与Hugging Face格式互转全指南 你是否曾因模型格式不兼容而无法在不同框架间顺畅迁移是否在部署InternLM人工智能大模型基础模型MiniMind模型转换教程PyTorch与Transformers格式互转MiniMind模型转换教程PyTorch与Transformers格式互转 1. 引言为什么模型格式转换至关重要 在大模型Large Language人工智能大模型预训练微调强化学习模型蒸馏AI Agent工具调用模型推理服务模型评测如何快速上手Gemma 4-31B5分钟安装与配置教程如何快速上手Gemma 4 31B5分钟安装与配置教程 Gemma 4 31B是Google DeepMind开发的多模态AI模型支持文本、图像、音频和视频上一篇vscode-leetcode解决方案查看leetCodeSolutionProvider功能详解下一篇FGO-py让《命运/冠位指定》自动化成为你的第二御主创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
