Sora是首个引起社会广泛关注的大规模通用视频生成模型。自OpenAI在2024年2月推出以来，没有其他视频生成模型能够在性能或支持广泛视频生成任务的能力上与 Sora 匹敌。此外，完全公开的视频生成模型寥寥无几，大多数都是闭源的。
为了弥补这一差距，来自理海大学、微软研究院的研究者提出了一种多智能体框架Mora，该框架整合了几种先进的视觉AI智能体，以复制Sora所展示的通用视频生成能力。特别是Mora能够利用多个视觉智能体，在各种任务中成功模仿Sora的视频生成能力，例如：文本到视频生成、文本条件下的图像到视频生成、扩展生成的视频、视频到视频编辑、连接视频以及、模拟数字世界。
广泛的实验结果表明，Mora在各种任务中达到了接近Sora的性能。然而，当从整体上评估时，Mora与 Sora之间存在明显的性能差距。总之，研究团队希望这个项目能够指导视频生成的未来轨迹，通过协作的AI智能体实现。
论文地址：https://arxiv.org/abs/2403.13248
