AnimeGamer是由腾讯ARC实验室开发的一款基于多模态大语言模型（MLLMs）的工具，能够通过自然语言指令生成动态的动漫游戏世界，并预测下一游戏状态，为用户带来沉浸式的动漫角色交互体验。
一、主要功能
AnimeGamer的主要功能是通过自然语言指令生成动态的动漫游戏世界。用户可以扮演动漫角色，如《悬崖上的金鱼姬》中的宗介，与游戏世界进行交互。它能够生成连贯的多轮游戏状态，包括动态的动画镜头（视频）和角色状态更新（如体力、社交和娱乐值）。此外，AnimeGamer还可以让不同动漫作品中的角色进行交互，例如让《天空之城》中的帕索和《魔女宅急便》中的琪琪相遇并互动。
二、技术原理
AnimeGamer的技术架构基于多模态大语言模型（MLLMs），其训练过程分为三个阶段：
动画镜头建模：通过编码器对动画镜头进行动作感知的多模态表示建模，并训练基于扩散模型的解码器来重建视频，同时引入动作范围作为额外输入，以指示动作的强度。
游戏状态预测：训练一个MLLM来预测下一个游戏状态的表示，输入为历史指令和游戏状态表示。
解码器适应性增强：在适应阶段，通过将MLLM的预测作为输入，对解码器进行微调，以提高解码动画镜头的质量。
三、应用场景
AnimeGamer主要应用于以下几个场景：
动漫角色交互：用户可以与动漫角色进行互动，体验动漫世界中的生活。
游戏开发：为游戏开发者提供动态游戏世界的生成工具，帮助快速构建游戏场景和角色交互。
内容创作：创作者可以利用AnimeGamer生成的动态画面和角色状态更新，创作动漫相关的视频或故事。
四、使用方法
环境搭建：用户需要先下载AnimeGamer和Mistral-7B的预训练模型，并将其保存在./checkpoints文件夹中。然后通过以下命令设置运行环境：
复制
git clone https://github.com/TencentARC/AnimeGamer.git
cd AnimeGamer
conda create -n animegamer python==3.10 -y
conda activate animegamer
pip install -r requirements.txt
生成游戏状态：运行以下命令生成动作感知的多模态表示并更新角色状态：
python inference_Decoder.py
自定义指令：用户可以修改./game_demo中的指令，以自定义游戏玩法。
五、适用人群
AnimeGamer适用于以下人群：
动漫爱好者：可以体验与动漫角色互动的乐趣。
游戏开发者：可以利用该工具快速生成游戏场景和角色交互，提高开发效率。
内容创作者：可以利用生成的动态画面和角色状态创作视频或故事。
六、优缺点介绍
优点：
高度自定义：用户可以通过自然语言指令自定义游戏玩法和角色交互。
动态生成：能够生成连贯的多轮游戏状态和动态动画镜头。
角色交互：支持不同动漫作品中的角色进行交互，创造独特的体验。
缺点：
技术限制：目前仍处于早期阶段，生成的画面质量和动作流畅度可能有待提高。
资源需求：需要较高的计算资源来运行模型，对硬件要求较高。
分类标签
动漫角色交互、动态游戏生成、多模态大语言模型、内容创作工具