★ FEATURED ARTICLE 人工智能大模型具身智能机器人【免费下载链接】flux-3-action-so101项目地址https://ai.gitcode.com/hf_mirrors/black-forest-labs/flux-3-action-so101点击查看免费下载FLUX 3 Action SO-101 是 Black Forest Labs 面向 SO-101 机械臂发布的 7B 开放权重世界动作模型World Action Model。它的核心机制是动作与视频联合去噪模型把摄像头画面、机器人状态和文字指令作为输入在同一条扩散去噪过程中同时生成未来的视频帧和下一段动作序列真正做到边看未来、边出动作。本文带你读懂它的工作原理、关键参数与使用方法。 一句话理解什么是世界动作模型传统机器人策略模型只回答一个问题下一步该动多少 而 FLUX 3 Action 是一个世界模型 动作模型的结合体世界模型部分预测接下来画面会变成什么样视频帧去噪动作模型部分预测机器人该怎么动动作 chunk 去噪。两者在同一个网络里共享表征、联合去噪让动作决策建立在对未来的视觉想象之上——这正是它比纯视觉策略更稳健的原因。 官方演示视频双臂抓取等任务实录assets/flux-3-action-demo.mp4⚙️ 输入契约两台相机、6 维状态、8 步历史模型的输入输出约定完整定义在 config.json 中项目配置说明相机observation.images.sceneobservation.images.wrist场景相机 腕部相机各 256×256相机拼接camera_layout: side_by_side左右拼成 256×512 画布机器人状态observation.state6 维5 个关节 夹爪观测历史n_obs_steps: 8输入最近 8 步观测视觉快照history_snapshots: 2其中 2 个关键帧用于视觉去噪历史动作condition_on_past_actions: true已执行的动作也参与条件化文字指令text_fixed_length: 320固定长度文本指令由文本编码器处理动作输出action6 维action_representation: delta关节增量动作夹爪第 6 维delta_absolute_dims: [-1]为绝对值 值得注意的细节夹爪用绝对值表示开多大就是多大关节用增量表示相对当前位置动多少。这种混合表示让训练更稳定、执行更安全。 联合去噪原理为什么视频和动作一起去噪FLUX 3 Action 基于扩散模型Diffusion范式去噪过程可以分三步理解加噪与条件注入把目标视频帧和目标动作 chunk 分别加上噪声同时把历史观测、历史动作、文字指令作为条件输入。配置中conditioning: history、separate_timesteps: true表示视频和动作使用各自独立的时间步即两条模态可以处于不同的去噪进度互不牵制。联合迭代去噪网络在同一前向中同时逼近干净的画面和干净的动作。separate_timesteps允许视觉先收敛、动作后精修或按需分配算力。多模态损失约束训练时video_loss_weight: 1.0、action_loss_weight: 0.5视觉负责构建未来想象动作是最终目标但权重略低action_channel_weights中夹爪通道权重为 2.0是其他关节的 2 倍——因为夹爪开合往往决定任务成败。换句话说视频不是附赠品而是动作的思维过程。模型先想清楚接下来会发生什么再给出对应的关节指令。 去噪关键数字4 步 Euler 采样实时性拉满推理侧的参数同样写在 config.json 里这套配置是低成本实时推理的典型样例参数取值作用samplereulerEuler 采样器4 步即可收敛num_inference_steps4每次决策只需 4 次去噪sampler_shift6.93噪声调度偏移平衡细节与速度guidance_scale3.0指令引导强度值小 → 更灵活inference_seed42固定随机种子结果可复现dtypebfloat16BF16 半精度推理省显存 只需要4 步去噪就输出一整段动作是它能以 30 Hz 控制频率做预测-执行-重规划循环的关键。 从归一化到真实关节角前后处理流水线模型内部处理的是归一化后的数值真实输入输出由两条流水线负责配置分别是 policy_preprocessor.json 和 policy_postprocessor.json预处理5 步观测重命名 → 2. 批次化 → 3. 搬运到 GPU观测历史归一化policy_preprocessor_step_3_flux3_observation_history_normalizer.safetensors含 8 步历史、delta 表示、6.0 截断等状态动作目标归一化policy_preprocessor_step_4_flux3_action_target_normalizer.safetensors后处理1 步动作历史反归一化policy_postprocessor_step_0_flux3_action_history_unnormalizer.safetensors把模型输出的 delta 转回真实关节量再搬回 CPU。归一化统计量q01/q99 分位数、clip6.0来自 dataset_statistics.json它由训练数据统计得到保证不同关节量纲统一到同一尺度。加载模型时只需三行代码来自 README.mdfrom lerobot.policies.flux3 import Flux3Policy policy Flux3Policy.from_pretrained(black-forest-labs/flux-3-action-so101)两个冻结的共享编码器视频 VAE、Qwen3-VL-4B-Instruct 文本编码器会自动从底仓flux-3-action-base加载本仓库不重复存放这些权重。 42 预测、32 执行滚动式重规划策略这是动作 chunk 模型的经典用法配置对应chunk_size: 42、n_action_steps: 32、fps: 30.0一次预测 42 步动作约 1.4 秒只执行前 32 步约 1.07 秒执行完 32 步后立刻重新观测、重新预测丢弃剩余 10 步。多预测但不多执行的滚动重规划让模型始终基于最新画面决策兼顾了推理开销与实时纠错能力。️ 任务适配用 LoRA 配方微调你的数据集换任务不需要从头训练。仓库内置 lora.json 微调配方LoRA rank 32r: 32, lora_alpha: 32只训练低秩适配层BF16 混合精度batch size 2梯度累积 4 步训练 10,000 步学习率 1e-4动作头等新初始化部分的学习率 ×5开启 EMAdecay 0.999平滑权重。微调流程把lora.json中的dataset.repo_id改成你的数据集、policy.path指向本模型然后运行lerobot-train --config_pathmodels/so101/lora.json ...即可。该配方自动继承本 checkpoint 的机器人/模型设置相机布局、归一化方式等。 仓库文件清单文件用途model.safetensors7B 策略模型权重config.json模型与推理超参数输入输出契约、采样器dataset_statistics.json动作/状态归一化统计量lora.jsonrank-32 LoRA 微调配方policy_preprocessor.json输入预处理流水线定义policy_postprocessor.json输出后处理流水线定义assets/flux-3-action-demo.mp4真机演示视频LICENSE.mdFLUX Kommunity License v.1.0如需用 git 拉取仓库代码git clone https://gitcode.com/hf_mirrors/black-forest-labs/flux-3-action-so101⚖️ 许可与安全须知模型遵循 LICENSE.mdFLUX Kommunity License v.1.0非商业用途免费商用需年营收低于 500 万美元的 Qualifying User 资格超出需申请商业许可。⚠️ 安全提醒来自 README模型输出的是关节目标值不约束速度、力或工作空间。落地应用必须自行限幅并保留物理急停在人附近运行前先在仿真器或开启安全限位的情况下验证。小结FLUX 3 Action SO-101 用一次 4 步去噪同时产出未来视频 动作 chunk靠separate_timesteps双时间步联合去噪、42/32 滚动执行、delta绝对夹爪的混合动作表示把世界模型推理落到了 30 Hz 的实时控制上。如果你想给自己的机器人接入会想未来的策略从这份 checkpoint 的 LoRA 配方开始是成本最低的路径。赞分享人工智能大模型具身智能机器人【免费下载链接】flux-3-action-so101项目地址https://ai.gitcode.com/hf_mirrors/black-forest-labs/flux-3-action-so101点击查看免费下载相关推荐如何构建可靠的大语言模型评估体系从理论到实践的三步跃迁如何构建可靠的大语言模型评估体系从理论到实践的三步跃迁 你是否曾遇到过这样的困境精心训练的大语言模型在测试集上表现优异却在真实场景中频频失误或者花费大量探索未来视频创作——React 驱动的动态世界Remotion 框架深度解析探索未来视频创作——React 驱动的动态世界Remotion 框架深度解析 在当今这个视觉信息主导的时代视频成为传达创意和故事的最直接有效的媒介之一。然而音视频视频AI 应用上一篇XiaoMusic不用充会员让小爱音箱免费听全网歌曲下一篇Peekaboo 精确窗口截图证明经典 screencapture 路径的范围校验与像素坐标映射创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
阅读完成 · 觉得有帮助？
