AnimeGamer：用语言指令生成动漫视频和角色互动的开源工具

Introduction générale

AnimeGamer 是腾讯 ARC 实验室推出的一个开源工具。用户可以用简单的语言指令，比如“宗介开紫色车兜风”，生成动漫视频，还能让不同动漫角色互动，比如《魔女宅急便》的琪琪和《天空之城》的帕祖见面。它基于多模态大语言模型（MLLM），能自动制作连贯的动画片段，同时更新角色的状态，比如体力或社交数值。项目代码和模型都在 GitHub 上免费开放，适合动漫迷和开发者用来创作或实验。

Liste des fonctions

• 生成动漫视频：输入语言指令，自动生成角色动作和场景的动画片段。
• 角色互动支持：让不同动漫角色相遇并互动，创造新故事。
• 更新角色状态：实时记录角色的体力、社交和娱乐等数值变化。
• 保持内容连贯：根据历史指令，确保视频和状态一致。
• 开源扩展：提供完整代码和模型，开发者可以自由调整。

Utiliser l'aide

AnimeGamer 需要一点编程基础，但安装和使用步骤不难。下面是详细说明，帮你快速上手。

Processus d'installation

1. 准备环境
   需要一台支持 Python 的电脑，最好有 GPU（显存至少 24GB）。先装好 Git 和 Anaconda，然后在终端输入：

git clone https://github.com/TencentARC/AnimeGamer.git
cd AnimeGamer

创建虚拟环境：

conda create -n animegamer python=3.10 -y
conda activate animegamer

2. Installation des dépendances
   在虚拟环境中运行：

pip install -r requirements.txt

这会安装 PyTorch 等必要库。

3. 下载模型
   把三个模型文件下载到 ./checkpoints 文件夹：

• AnimeGamer 模型：Hugging Face.
• Mistral-7B 模型：Hugging Face.
• CogvideoX 的 3D-VAE 模型：进入 checkpoints 文件夹，运行：

  cd checkpoints
  wget https://cloud.tsinghua.edu.cn/f/fdba7608a49c463ba754/?dl=1 -O vae.zip
  unzip vae.zip
  

确认模型都放对了位置。

4. 测试安装
   返回主目录，运行：

python inference_MLLM.py

没报错就说明安装成功。

Comment utiliser les principales fonctionnalités

AnimeGamer 的核心是用语言指令生成视频和角色互动。以下是操作方法：

生成动漫视频

• déplacer

1. 编辑 ./game_demo 文件夹里的指令文件，比如 instructions.txt.
2. 输入指令，例如：“宗介在森林里开紫色车兜风”。
3. 运行 MLLM 生成表示：

python inference_MLLM.py --instruction "宗介在森林里开紫色车兜风"

4. 解码成视频：

python inference_Decoder.py

5. 视频会保存在 ./outputs 文件夹。

• 注意
  指令要写清楚角色、动作和场景，这样视频才更符合期待。

角色互动

• déplacer

1. 输入互动指令，比如：“琪琪教帕祖飞扫帚”。
2. 按上面步骤运行，生成互动视频。

• 特点
  支持不同动漫角色混合互动，创造独特场景。

更新角色状态

• déplacer

1. 在指令中加状态描述，比如：“宗介跑步后很累”。
2. 运行 inference_MLLM.py，状态会更新到 ./outputs/state.json.

• 提示
  状态会根据历史指令自动调整，保持连贯性。

自定义与技术细节

想改功能？可以直接编辑 ./game_demo 下的代码。AnimeGamer 的技术分三步：

1. 用编码器处理动作表示，扩散解码器生成视频。
2. MLLM 根据历史指令预测下一状态。
3. 优化解码器提高视频质量。
   更多细节在 GitHub 的 README.md 里。

最新进展

• 2025年4月2日：发布《魔女宅急便》和《悬崖上的金鱼姬》的模型权重及论文（arXiv).
• 2025年4月1日：发布推理代码。
• 未来计划：推出 Gradio 交互演示和训练代码。

常见问题解决

• 生成慢？ 确认 GPU 显存够用（24GB），或更新驱动。
• 模型下载失败？ 手动从 Hugging Face 下载。
• 报错？ 检查 Python 版本（需 3.10）和依赖。

用这些步骤，你就能用 AnimeGamer 生成动漫视频和角色互动了。

scénario d'application

1. 动漫创作
   动漫迷可以用它生成视频，比如让不同角色互动，分享给朋友。
2. 游戏测试
   开发者可以用它快速制作动态内容原型，测试想法。
3. 学习实践
   学生可以用它学多模态技术和视频生成，动手体验 AI。

QA

1. 需要编程知识吗？
   是的，安装和调整需要基础 Python 知识，但简单指令就能用。
2. 支持哪些角色？
   现在支持《魔女宅急便》和《悬崖上的金鱼姬》，未来会扩展。
3. 能商用吗？
   可以，但要遵守 Apache-2.0 协议，具体看 GitHub。