★ FEATURED ARTICLE 人工智能大模型深度学习预训练微调LoRA分布式训练模型优化【免费下载链接】LoongForge一个面向大语言模型LLM、视觉语言模型VLM、扩散模型及具身智能模型的高性能训练框架支持 NVIDIA GPU 和昆仑芯 XPU。已适配 Pi0.5、GR00T-N1.7、FastWAM、Cosmos3、DreamZero、DeepSeek-V4、GLM-5.3、Kimi-K3 等多种模型。项目地址https://gitcode.com/baidu-baige/LoongForge点击查看免费下载LoongForge 是由百度百舸团队开源的高性能大模型训练框架覆盖 LLM、VLM、扩散模型与具身智能模型在 NVIDIA GPU 和昆仑芯 XPU 上均可训练实测最高可获得5.04 倍训练吞吐加速。本文将带你快速看懂它凭什么加速、加速多少、新手如何三步跑通第一次训练。一、LoongForge 是什么LoongForge 是一个开箱即训的开源训练框架全模态覆盖支持 LLMDeepSeek-V3/V4、GLM-5.3、Kimi-K3、Qwen3、MiniMax 等、VLMQwen2.5-VL、Qwen3-VL、InternVL 等、扩散模型Wan2.1/2.2以及具身智能模型Pi0.5、GR00T、FastWAM、Cosmos3、DreamZero 等双后端架构基于 Megatron-LM 的 Megatron 后端服务 LLM/VLM/扩散模型原生 PyTorch 后端DDP / ZeRO-1 / FSDP / HSDP服务具身模型双硬件支持一套代码同时支持 NVIDIA GPU 与昆仑芯 XPU生产级验证脱胎于百度智能云 AIAK-Training-LLM生产环境已支撑 5000 XPU 规模训练并助力 LLaVA-OneVision 等多个开源模型训练发布。二、性能实测最高 5.04 倍训练吞吐加速LoongForge 与主流开源基线在同机型、同训练超参数下对比各模型实测训练吞吐加速如下模型类型加速倍数DeepSeek-V3.2 LiteLLM5.04×DreamZeroWAM具身4.38×Pi0.5VLA具身2.80×FastWAMWAM具身2.61×GR00T-N1.6VLA具身2.31×LingBot-VAWAM具身2.20×GR00T-N1.7VLA具身1.85×X-VLAVLA具身1.79×Qwen3-VL-30B-A3BVLM1.45×注DeepSeek-V3.2 Lite 的加速主要体现 DSA 算子级优化因测试床规模限制采用减层配置验证。数据为某时点实测可能随双方实现演进而变化。快而不飘训练 Loss 与基线高度对齐加速的前提是不牺牲训练质量。以 4.38× 加速的 DreamZeroWan2.2-5B为例社区基线每步约 2.80sLoongForge 仅 0.64s而两侧训练日志与 Loss 曲线逐点对齐更多模型的 100 步 Loss 对齐数据100-step MARE 最低仅 0.0262%三、核心特性解析加速从哪来1. LLMMoE 并行优化 自适应 FP8MoE EP 通信优化All2All 通信与计算/激活 Offload 深度重叠比上游 Megatron-LM 进一步降低显存详见 docs/source/features/moe_all2all_overlap.mdMoE 专家负载均衡TAOT拓扑感知的热点专家动态复制消除 EP 负载不均实测开销最高降低 74%、端到端提速 1.43×自适应 FP8 训练LLM/VLM 端到端 FP8可选按 GEMM 形状自适应选精度模式docs/source/features/adaptive_fp8.md长序列训练Context ParallelCP 分段流水线调度支撑 8K token 长序列预训练。2. VLM异构并行 DP 负载均衡灵活组合ViT 与 LLM 组件通过 YAML 配置直接拼装出新模型如 GLM-5.2 MoonViT无需写模型代码docs/source/features/model_combination.md组件级异构并行ViT 与 LLM 可分别设置 TP / DP / 重计算 / 冻结策略吞吐量与显存收益兼得DP 负载均衡针对 sequence packing 造成的多机数据不均做负载感知重分布DP512 场景下吞吐差距从 635 提升到 694 TGS9.2%3. 具身模型按模型深度定制优化LoongForge-Embodied 提供数据处理 → 训练 → 评测全链路统一数据加载LeRobot v2.0/v2.1/v3.0、特征缓存预计算、DDP/ZeRO-1/FSDP/HSDP 多种分布式策略以及torch.compile、CUDA Graph、自定义融合算子、FP8 通信压缩等按模型瓶颈定制的优化最终实现1.79×–4.38×吞吐提升。团队还开源了 LoongForge-VLDALIBERO 98.5%与 ego2robot 数据管线见 cookbook/loongforge-vlda/。4. 扩散模型上下文并行 样本打包Wan 2.2 训练提速116%支持 Ring / Ulysses / 混合 Context Parallel 切分长视频序列并将多个变长视频样本打包进单条序列以减少 padding 浪费docs/source/features/。5. 工程友好检查点转换与硬件兼容Mcore Bridge支持 Megatron ↔ HuggingFace 离线双向转换也支持在线原生 HF 加载/保存tools/mcore_bridge/HF 权重可直接开训40 模型开箱即用每个模型都提供预训练 / SFT / 检查点转换脚本examples/ 为 NVIDIA GPU 版examples_xpu/ 为昆仑 XPU 版模型参数配置集中在 configs/models/。四、新手快速上手3 步跑通第一次训练第 1 步克隆仓库并拉取 Docker 镜像git clone --recurse-submodules https://gitcode.com/baidu-baige/LoongForge.git所有模型家族LLM / VLM / 具身 / 扩散共用同一个预构建镜像docker pull loongforge/loongforge:latest mkdir -p workspace docker run --gpus all --ipchost -it --rm \ -v $(pwd)/workspace:/workspace/data \ -w /workspace/LoongForge \ loongforge/loongforge:latest bash挂载的./workspace用于存放权重、数据集与训练输出容器退出后依然保留。第 2 步准备权重与数据集以 Pi0.5 为例hf为 Hugging Face CLIhf download lerobot/pi05_base --local-dir /workspace/data/pi05_base hf download google/paligemma-3b-pt-224 --local-dir /workspace/data/paligemma-3b-pt-224 hf download lerobot/libero_10 --repo-type dataset --local-dir /workspace/data/libero_10第 3 步一条命令启动训练export CHECKPOINT_PATH/workspace/data/pi05_base export TOKENIZER_PATH/workspace/data/paligemma-3b-pt-224 export DATA_PATH/workspace/data/libero_10 export OUTPUT_DIR/workspace/data/outputs/pi05 bash examples/embodied/pi05/run_pi05_ddp_finetune.sh日志与 TensorBoard 数据保存在OUTPUT_DIR其余模型只需替换对应脚本例如 DeepSeek-V3 预训练见 examples/deepseek_v3/pretrain/。并行策略TP/PP/CP/EP与显存优化的完整开关速查可参考 docs/source/get_started/optimization_guide.md。五、总结谁适合用 LoongForge你的场景LoongForge 给你的价值预训练 / SFT 主流 LLMMoE、超长上下文MoE All2All 重叠、TAOT 专家均衡、FP8、CP最高 5.04× 加速训练 VLM / 多模态模型组件级异构并行、ViTLLM 免代码拼装、DP 负载均衡训练具身智能VLA/WAM数据-训练-评测全链路1.79×–4.38× 加速且 Loss 对齐训练视频扩散模型混合上下文并行 变长样本打包Wan 2.2 提速 116%使用昆仑芯 XPU一套代码 GPU / XPU 通吃生产验证 5000 XPU如果你想把训练周期从以周计压缩到以天计LoongForge 值得纳入你的技术选型清单——先跑一个 8 卡小实验吞吐数字会直接说服你。赞分享人工智能大模型深度学习预训练微调LoRA分布式训练模型优化【免费下载链接】LoongForge一个面向大语言模型LLM、视觉语言模型VLM、扩散模型及具身智能模型的高性能训练框架支持 NVIDIA GPU 和昆仑芯 XPU。已适配 Pi0.5、GR00T-N1.7、FastWAM、Cosmos3、DreamZero、DeepSeek-V4、GLM-5.3、Kimi-K3 等多种模型。项目地址https://gitcode.com/baidu-baige/LoongForge点击查看免费下载相关推荐StyleGAN3训练加速秘籍深度解析torch_utils模块的5大核心技巧StyleGAN3训练加速秘籍深度解析torch_utils模块的5大核心技巧 StyleGAN3作为Official PyTorch implementat人工智能深度学习计算机视觉媒体生成5倍加速60%降内存Unsloth内核级优化如何重塑大模型训练5倍加速60%降内存Unsloth内核级优化如何重塑大模型训练 Unsloth是一款革命性的大模型训练优化工具通过内核级优化实现了5倍训练加速和60%内存节人工智能大模型微调LoRA本地部署模型推理服务AI 应用快速把任意网页变成桌面应用零代码一键打包完整指南快速把任意网页变成桌面应用零代码一键打包完整指南 周末想给爸妈做一个“一键打开新闻”的小工具又想让常用的小红书、抖音不再挤在浏览器标签页里先别急着装 No开发工具桌面应用移动开发上一篇IndexTTS2社区贡献指南如何参与开源项目开发与改进下一篇如何快速找出车机上未修复的CVEVehicle-Security-Toolkit源码级与补丁对比双重检测实战创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
