首页 / 资讯中心 / 文章详情

Video-R1: Reinforcing Video Reasoning in MLLMs

Video-R1: Reinforcing Video Reasoning in MLLMs ★ FEATURED ARTICLE
文章主要内容总结研究背景与目标本文针对多模态大语言模型(MLLMs)在视频推理任务中的不足,提出了Video-R1模型,旨在通过强化学习(RL)范式系统性提升模型的视频推理能力。现有方法在视频推理中面临两个核心挑战:缺乏时间建模能力和高质量视频推理数据稀缺。方法创新点T-GRPO算法提出时间增强的群体相对策略优化算法(T-GRPO),通过对比有序和随机打乱的视频帧序列推理结果,显式鼓励模型利用时间信息进行推理,避免依赖单帧捷径。混合数据集构建构建了两个数据集:Video-R1-COT-165k:用于监督微调(SFT)的冷启动,包含图像和视频的链式思维(CoT)注释。Video-R1-260k:用于RL训练,结合图像和视频数据,覆盖多领域推理任务(如数学、空间逻辑、知识问答等)。训练策略采用两阶段训练:首先通过SFT初始化模型,再通过T-GRPO进行RL训练,结合长度奖励机制平衡推理深度与简洁性。实验结果视频推理任务:在VSI-Bench(空间推理)、VideoMMMU(多学科知
阅读完成 · 觉得有帮助?
咨询建站