Matrix-Game 是一款用于可控游戏世界生成的互动世界基础模型，能够基于参考图像、运动帧和用户操作生成高质量的互动视频。
一、主要功能
可控的游戏世界生成：Matrix-Game 可以根据用户的键盘和鼠标操作生成高质量的互动视频，支持精确控制角色动作和相机运动。
多样的场景生成：该模型能够生成多种《我的世界》环境，包括不同的地形和交互动态，具有良好的泛化能力。
长视频生成：采用自回归策略，能够生成长时间连贯的视频，保持视觉质量和时间一致性。
动态动作处理：能够处理在单个视频生成过程中动态变化的动作指令，适应复杂的用户操作。
跨平台潜力：除了《我的世界》，该模型还展示了在 Unreal Engine 构建的更广泛游戏场景中的应用潜力。
二、技术原理
两阶段训练流程：
大规模无标签预训练：用于环境理解，帮助模型学习游戏世界的视觉和物理特性。
动作标记微调：通过标注了键盘和鼠标操作的视频片段进行微调，使模型能够生成互动视频。
图像到世界生成范式：以单张参考图像作为主要先验，结合运动帧和用户操作，生成游戏世界和视频内容。
自回归策略：为了支持长时间视频生成，采用自回归策略，确保视频在长时间内的连贯性和一致性。
GameWorld Score 基准：提出一个统一的基准，用于评估生成视频的视觉质量、时间质量、动作可控性和物理规则理解。
三、应用场景
游戏开发：用于生成游戏中的虚拟世界和互动场景，减少人工设计的工作量。
游戏测试：自动生成测试场景，帮助开发者测试游戏的稳定性和性能。
教育与培训：在教育领域，用于创建互动教学场景，提高学习的趣味性和参与度。
娱乐内容创作：为视频创作者提供工具，生成高质量的游戏视频内容。
四、使用方法
数据准备：使用 Matrix-Game-MC 数据集，包含超过 2700 小时的无标签游戏视频片段和超过 1000 小时的高质量标注片段。
模型训练：按照两阶段训练流程，先进行无标签预训练，再进行动作标记微调。
视频生成：输入参考图像、运动帧和用户操作，模型将生成相应的互动视频。
性能评估：使用 GameWorld Score 基准对生成的视频进行评估，确保其质量和可控性。
五、适用人群
游戏开发者：用于快速生成游戏世界和互动场景，提高开发效率。
AI 研究人员：研究互动世界生成和视频生成技术，探索新的模型架构和算法。
教育工作者：创建互动教学内容，提高教学效果。
内容创作者：生成高质量的游戏视频，用于娱乐和教育。
六、优缺点介绍
优点：
高质量生成：生成的视频具有高视觉质量和时间一致性。
强可控性：能够精确控制角色动作和相机运动，满足用户操作需求。
泛化能力强：在多种《我的世界》场景中表现良好，具有跨平台潜力。
性能优越：在 GameWorld Score 基准中全面优于其他开源模型。
缺点：
数据需求大：需要大量的无标签和标注数据进行训练，数据准备成本较高。
计算资源要求高：模型参数众多，需要强大的计算资源支持训练和生成过程。
应用场景有限：目前主要针对《我的世界》和类似的游戏场景，对其他类型的游戏或应用的适配性需要进一步验证。
分类标签：人工智能、游戏开发、视频生成、互动内容