近日,腾讯 Hunyuan 团队联合华中科技大学共同推出了一款名为 Hunyuan-GameCraft 的新型高动态互动游戏视频生成框架,该框架凭借其卓越的性能和创新的技术策略,为沉浸式互动游戏体验的未来发展带来了无限可能。
一、突破局限的创新框架
当前的游戏视频生成技术虽然已经取得了一定的进展,但在动态性、普适性、长期一致性以及效率等方面仍存在诸多限制,这极大地阻碍了多样化游戏视频内容的创作。Hunyuan-GameCraft 的出现,正是为了解决这些痛点。它通过将标准键盘和鼠标输入统一到共享的相机表示空间中,实现了各种相机和运动操作之间的平滑插值,从而达到精细的动作控制效果。此外,该框架还提出了混合历史条件训练策略,能够在自回归地扩展视频序列的同时,有效保留游戏场景信息,确保了游戏视频在长时间序列中的连贯性和一致性。

二、高效优化与数据支持
为了提升模型的推理效率和可玩性,Hunyuan-GameCraft 实现了模型蒸馏,大幅降低了计算开销,使其能够适应复杂互动环境中的实时部署需求。在数据训练方面,该模型基于一个包含超过一百万段来自 100 多款 AAA 游戏的游戏玩法录制的大规模数据集进行训练,确保了其广泛的覆盖范围和多样性。随后,又在经过精心标注的合成数据集上进行了微调,进一步增强了模型的精确性和控制能力。这些高质量的游戏场景数据,显著提升了生成视频的视觉保真度、真实感以及动作可控性。

三、卓越性能的实证展示
通过一系列广泛的实验,Hunyuan-GameCraft 在控制精度、长期一致性、历史信息保留以及动态性能等方面均显著优于现有的模型,有力地推动了互动游戏视频生成的现实感和可玩性。在单动作控制的比较中,无论是在如画的乡村景观、充满活力的欧洲风格街道,还是宁静的花园场景等多种游戏场景和艺术风格下,Hunyuan-GameCraft 所生成的视频都能精准地响应输入指令,呈现出更加自然流畅的动作效果。而在多动作可视化方面,该框架能够探索单个场景的多种复杂轨迹,并生成高质量、连续且一致的整体输出。此外,在历史信息保留方面,即使在发生显著运动后,Hunyuan-GameCraft 依然能够有效保持原始场景信息,为玩家提供沉浸式的游戏体验。同时,它还能够泛化到第三人称游戏场景,实现自然的控制效果,进一步拓展了其应用场景。

四、未来应用前景广阔
Hunyuan-GameCraft 的出现,不仅为游戏开发人员提供了更强大的工具来创作更具吸引力和互动性的游戏内容,也为游戏爱好者带来了更加丰富多样的游戏体验。随着技术的不断发展和完善,它有望在未来的互动游戏领域发挥更大的作用,为游戏产业的发展注入新的活力。


