Happy Oyster(快乐生蚝):阿里开源世界模型发布三维互动视频生成
3D与动画 AI开源项目 游戏开发
Happy Oyster(快乐生蚝):阿里开源世界模型发布三维互动视频生成

阿里ATH发布的世界模型产品,支持三维互动视频生成,可用于影视制作和游戏开发,目前处于限量早期体验阶段。

开通正版Chatgpt账号联系QQ:515002667

4月16日,阿里巴巴ATH事业群正式发布开放式世界模型产品Happy Oyster(快乐生蚝),这是一款能够生成动态三维环境与互动视频的AI工具,支持影视制作、游戏开发等场景。目前该产品已开启限量早期体验,用户可通过官网 happyoyster.cn 加入候补名单。

一、主要功能

漫游探索功能:Happy Oyster支持Wander漫游探索模式,可实现1分钟连续位移与镜头控制,画面质量高、风格泛化强,用户可以在生成的3D世界中自由探索与移动。
导演创作功能:独创的Direct导演模式可实现3分钟以上480p/720p实时生成,用户可在任意节点通过多模态指令改写剧情、调度角色事件,实现从被动探索到主动创作的跨越。
多模态输入支持:基于原生多模态架构,支持文本、图像、音频、视频等多模态输入与联合生成,用户可通过多种方式描述想要的场景与效果。
流式实时响应:区别于传统“输入Prompt、等待渲染、获得成片”的一次性流程,Happy Oyster在生成过程中持续接收用户指令,画面实时响应、持续演绎,交互性更强。
数字世界保存与分享:用户生成的数字世界不仅能被完整保存,还能开放给其他用户进行二次创作,推动内容共创生态。
二次创作支持:支持用户对已有世界模型进行编辑和扩展,形成创作者社区的内容共建机制。

二、技术原理

原生多模态架构:Happy Oyster基于原生多模态架构构建,其背后是支持多模态输入与音视频联合生成的流式生成世界模型,实现了跨模态信息的深度融合。
长时序世界演化建模:区别于传统文生视频模型,Happy Oyster采用时间跨度更长的世界演化建模方式,通过学习海量长视频数据以及文本、动作指令、图像参考等多样控制信号,主动理解空间、物理与因果规律。
空间物理因果理解:模型能够主动预测情节和画面的演变,把“被动生成内容”转变为“主动模拟世界演化”,为构建可交互的通用世界模拟器提供了关键技术路径。

三、应用场景

游戏开发:可快速生成游戏地图、关卡原型和动态环境,大幅降低游戏开发成本,缩短创意验证周期。
影视制作:支持电影、电视剧等长视频内容生成,为影视创作者提供新的内容生产工具。
文旅场景:可生成沉浸式虚拟旅游场景,为文旅产业提供数字化内容解决方案。
教育领域:在教育场景中可用于创建交互式学习环境,提升教学内容的可视化与互动性。
电商内容:可快速生成商品展示视频和三维展示内容,提升电商平台的内容生产效率。

四、使用方法

访问官网 happyoyster.cn 并申请加入候补名单。
填写申请信息,等待官方审核通过后获取体验资格。
登录平台后选择创作模式(Wander漫游或Direct导演)。
通过文本描述、图像参考或语音指令输入创意需求。
AI实时生成三维互动场景,用户可随时调整指令进行交互。
生成完成后可保存作品,并选择开放给社区进行二次创作。

五、适用人群

游戏开发者:需要快速生成游戏环境和关卡的独立游戏开发者或小型工作室。
影视创作者:从事短视频、网剧、动画等内容生产的影视从业者。
AI研究者:对世界模型、多模态生成技术感兴趣的研究人员。
创意爱好者:希望尝试AI生成3D互动内容的个人创作者和爱好者。
教育工作者:需要创建交互式教学内容的老师和教育技术开发者。

六、优缺点

优点:
开源发布,降低了开发者和创作者的使用门槛
流式生成技术实现实时交互体验,领先于传统文生视频工具
支持漫游与导演双模式,覆盖探索和创作两类需求
基于原生多模态架构,多模态理解与生成能力融合度高
可保存和二次创作,支持内容共建社区

缺点:
目前仅开放限量体验,尚未大规模公开使用
生成时长受限(漫游1分钟、导演3分钟以上)
720p实时生成对硬件设备要求较高
双模式尚未完全融合,用户需在不同模式间切换

相关导航