近日，Meta 与滑铁卢大学的研究团队共同开发了一款名为 MoCha 的人工智能系统，该系统能够根据文本或语音输入生成带有同步语音和自然动作的完整角色动画。这一创新技术不仅打破了传统动画生成的局限，还为内容创作带来了全新的可能性。
1. 核心技术与创新突破
MoCha 系统的核心亮点在于其能够生成全身动画，而不仅仅是面部表情或嘴型。它通过“语音-视频窗口注意力”机制，解决了视频压缩与音频分辨率不匹配以及唇部动作错位的问题。该机制通过限制每帧画面访问特定窗口范围内的音频数据，模拟人类语音的运作方式，使角色的口型与对话内容精准匹配，同时肢体语言也与文本所表达的含义自然契合。
此外，MoCha 还采用了扩散变压器（Diffusion Transformer）架构，能够生成逼真且富有表现力的全身动作。在多角色场景中，用户可以通过简单的标签（如“人物1”“人物2”）引用角色，无需重复描述，极大地简化了创作流程。
2. 强大的功能与应用场景
MoCha 支持语音驱动和文本驱动两种模式，用户可以根据需求输入语音或文本脚本，系统会自动生成角色的嘴型、面部表情、手势及身体动作。它还能够实现多角色轮番对话，生成具有上下文感知和电影连贯性的对话场景。
该系统在虚拟主播、动画影视创作、教育内容创作、数字人客服和数字遗产等多个领域具有广泛的应用前景。例如，它可以自动生成日常 Vlog、角色问答，为动画影视创作提供 AI 自动配音和动画，降低制作成本，还可以作为 AI 老师角色进行讲课或互动。
3. 性能卓越与未来展望
经过在 150 种不同场景下的测试，MoCha 在唇部同步和自然动作质量方面均优于同类系统。独立评估人员对 MoCha 生成的视频的逼真度给予了高度评价。
目前，MoCha 的开发正值各大社交媒体公司竞相发展 AI 驱动视频技术的关键时期。Meta 尚未透露该系统是否会开源，或者仍将作为研究原型存在。然而，MoCha 的出现无疑为 AI 视频技术的发展树立了新的标杆，也为未来的内容创作带来了更多的想象空间。
