Interactive Generative Video (IGV): Survey for Gaming, Embodied AI and Autonomous Driving (arXiv:250

### 主要内容1. **交互式生成视频（IGV）概述**：IGV是结合生成能力与交互功能的技术，能生成多样高质量视频内容，并通过控制信号和反馈实现用户参与。文章介绍了视频生成的基础技术，如VAE、GAN、扩散模型、自回归模型及混合模型等。2. **IGV系统框架**：提出IGV系统的五个核心模块：生成模块，负责视频合成，面临实时生成、流生成和多模态生成等挑战；控制模块，管理用户与虚拟世界交互，需解决开放域场景下的精确控制问题；记忆模块，保持生成内容的一致性，包括静态和动态记忆；动力学模块，模拟虚拟世界物理规律，涉及物理定律模拟和物理参数调整；智能模块，包含推理和自我进化能力，推动IGV向更高智能发展。3. **IGV的应用**- **游戏领域**：生成式游戏引擎（GGE）依赖IGV技术，其发展经历从模拟到创造的转变，在交互维度和模型架构上不断演进，未来需优化一致性、提升游戏性、增强实时性能并实现自我进化。- **具身人工智能领域**：IGV为具身AI提供支持，在任务规划、策略学习和跨任务环境泛化方面发挥作用，但在实时复杂条件下的规划、缩小模拟与现实差距以及多模态集成等方面面临挑战。- **自动驾驶领域**：IGV作为逼真的视频模拟器和内部世界模型，用于大规模视频模拟和实时规划控制，但在增强模拟现实性和泛化能力、实现实时交互和系统集成方面有待改进。### 创新点1. **全面综述**：对IGV在游戏、具身AI和自动驾驶领域的应用及发展现状进行全面调研，涵盖多种模型和技术方法。2. **系统框架提出**：提出将IGV系统分解为五个基本模块的系统框架，为理解和开发IGV系统提供结构化方法。3. **技术挑战分析**：基于框架系统分析实现理想IGV系统各组件的技术挑战和未来研究方