一、主要功能

1. 实时交互生成：借助原创的 Context Forcing 蒸馏方案与流式推理优化，可按照 24 FPS 的速度生成 720P 高清视频，让用户在生成的虚拟世界中获得流畅的实时交互体验，能及时响应用户在虚拟场景中的操作与探索行为。
2. 长范围 3D 一致性保障：通过重构记忆机制（Reconstituted Memory），支持分钟级内容的几何一致性生成。用户离开虚拟世界的某个区域后再次返回，模型能 “记住” 该区域的三维结构，呈现前后一致的场景，确保虚拟世界空间逻辑连贯，可用于构建高质量 3D 空间模拟器。
3. 多样化交互体验：适用于不同风格的游戏场景或现实场景，支持第一和第三人称视角切换；可通过实时文本触发特定事件，如输入 “远处爆炸” 指令，虚拟场景中便会呈现相应爆炸效果；还能实现视频续写功能，基于已有虚拟场景内容，延续生成连贯的视频内容。
4. 3D 点云导出：用户可选择将用于交互的 3D 场景导出为可多次使用的 3D 点云，方便后续在其他相关 3D 制作流程或项目中复用场景数据，提升创作效率。
5. 开源训练体系提供：首次开源业界最系统、最全面的实时世界模型训练体系，涵盖数据、训练、推理部署等全链路、全环节，公开模型预训练、持续训练、自回归视频模型强化学习等训练细节，为开发者和研究人员提供技术支持。

二、技术原理

1. 核心模型架构：以名为 WorldPlay 的自回归扩散模型为核心，采用 Next-Frames-Prediction 的视觉自回归任务进行训练，实现长范围几何一致性的实时交互式世界建模，破解业界在满足实时性与几何一致性方面的难题。
2. 三大核心创新技术
   • 双分支动作表征：实现对用户在虚拟世界中动作的精准控制，让模型能准确识别并响应用户的操作指令，确保交互过程中操作与反馈的精准匹配。
   • 上下文记忆重构机制：该机制是保障长范围 3D 一致性的关键，通过对虚拟场景空间信息的记忆与重构，在用户探索过程中维持场景三维结构的稳定性与连贯性。
   • 上下文对齐蒸馏技术：增强长视频生成的视觉质量和几何一致性，让模型生成的连续视频内容在视觉效果和空间逻辑上都保持高水平的一致性，提升用户观看与交互体验。
3. 强化学习后训练框架：构建基于 3D 奖励的强化学习后训练框架，进一步增强生成视频的视觉质量和几何一致性，通过持续优化模型性能，让虚拟世界的呈现效果更贴合用户预期。
4. 数据支撑：依托自动化 3D 场景渲染流程，获取大量高质量的真实世界渲染数据，为核心算法提供充足且优质的数据支持，激发算法潜力，提升模型生成虚拟世界的真实感与丰富度。

三、应用场景

1. AI 游戏开发领域：可作为智能关卡生成器，根据玩家的文本描述实时创建可探索的游戏世界，开发者无需手动构建复杂游戏场景，大幅缩短游戏开发周期，丰富游戏内容多样性，为玩家带来更具个性化的游戏体验。
2. 影视制作与虚拟现实（VR）领域：创作者通过简单的文本指令，就能快速预览和迭代场景设计。在影视制作中，可快速生成不同风格的场景原型，辅助导演确定拍摄场景基调；在 VR 领域，能为 VR 设备提供丰富且可交互的虚拟场景，提升 VR 体验的沉浸感。
3. 具身智能研究领域：为研究者提供理想的训练和测试平台，研究者可借助该平台，以更高效率、更大规模探索具身智能体的感知、决策、规划和长期交互能力，推动具身智能技术的研发与进步。
4. 教育与文旅领域：在教育方面，可生成各类虚拟教学场景，如历史场景、科学实验场景等，让学生通过实时交互探索，更直观地理解知识；在文旅方面，能还原历史古迹、文化景点的虚拟场景，用户可在线实时探索，感受不同地域的文化特色，助力文化传播与旅游推广。

四、使用方法

1. 输入触发生成：用户通过文字描述或上传图片两种方式触发虚拟世界生成。若选择文字描述，需清晰表述虚拟世界的风格、场景元素、交互需求等内容，如 “欧洲中世纪城堡，石墙高耸，护城河环绕，旗帜飘扬”；若选择图片输入，上传符合需求的场景图片即可，模型会基于输入内容生成对应的互动虚拟世界。
2. 实时探索与交互：生成虚拟世界后，用户可选择第一或第三人称视角进入场景进行实时探索。在探索过程中，可通过文本输入触发特定事件，如输入 “远处爆炸”，场景会即时呈现爆炸效果；也可自由移动，体验场景中的各类元素与空间结构。
3. 3D 点云导出：若有场景复用需求，在交互过程中或交互结束后，可操作导出功能，将当前 3D 场景导出为 3D 点云格式，便于后续在其他 3D 制作软件或项目中使用。
4. 借助开源训练体系：开发者和研究人员可获取开源的实时世界模型训练体系，参考其中的数据处理、模型训练、推理部署等细节，结合自身需求进行二次开发或技术研究，优化模型性能或拓展模型应用场景。

五、适用人群

1. 游戏开发者：无论是大型游戏公司的开发团队，还是独立游戏开发者，都可利用该模型快速生成游戏场景，降低游戏开发难度，提升开发效率，丰富游戏内容，满足不同玩家对游戏场景的需求。
2. 影视与 VR 创作者：影视行业的场景设计师、导演，以及 VR 内容制作人员，能通过该模型快速预览和迭代场景设计，减少传统场景构建的时间与成本，为影视制作和 VR 内容创作提供更多创意可能，提升作品质量。
3. 人工智能研究人员：尤其是专注于具身智能、AI 生成内容（AIGC）领域的研究人员，可借助该模型的技术架构、开源训练体系及应用场景，开展相关技术研究与实验，推动人工智能技术在虚拟世界生成与交互领域的发展。
4. 教育与文旅从业者：教育工作者可利用模型生成教学所需的虚拟场景，创新教学方式，提升学生学习兴趣；文旅行业的策划人员、文化传播者可借助模型还原文化场景，开展线上文旅推广活动，扩大文化传播范围。
5. 3D 内容爱好者与创作者：对 3D 虚拟世界创作感兴趣的普通爱好者，无需具备专业的 3D 建模技能，通过简单的文字或图片输入就能生成个性化的互动虚拟世界，满足自身创作兴趣与探索需求。

六、优缺点介绍

1. 优点
   • 实时交互体验出色：24 FPS 的 720P 高清视频生成速度，确保用户在虚拟世界中拥有流畅的交互体验，能及时响应操作，提升沉浸感，这在当前同类模型中处于较高水平。
   • 场景连贯性强：长范围 3D 一致性技术保障了虚拟场景的空间逻辑连贯，避免用户在探索过程中出现场景错乱问题，让虚拟世界更具真实感与可信度。
   • 开源赋能行业发展：开源业内最全面的实时世界模型训练体系，为开发者和研究人员提供了宝贵的技术资源，能推动整个 AI 生成内容领域的技术交流与创新，加速行业发展进程。
   • 应用场景广泛：可覆盖游戏、影视、VR、教育、文旅、科研等多个领域，满足不同行业人群的需求，具备较强的实用性与适应性。
2. 缺点
   • 对硬件有一定要求：要实现 24 FPS 的 720P 高清视频实时生成与交互，需要设备具备一定的运算能力，部分配置较低的电脑或移动设备可能无法流畅运行，限制了部分低硬件配置用户的使用。
   • 场景生成多样性仍有提升空间：虽然支持不同风格场景生成，但在面对一些极其复杂、特殊风格的场景需求时，可能无法完全精准满足用户预期，场景细节的丰富度和独特性还有优化余地。
   • 用户操作学习成本：对于不熟悉 3D 技术或 AI 生成工具的普通用户，虽然基础使用方法简单，但要充分利用模型的多样化交互功能、开源训练体系等高级特性，仍需一定的学习过程，操作门槛相对部分简单娱乐类工具略高。