MMAudio: 비디오 영상에 동기화된 음향 효과 및 사운드 트랙 생성, 비디오-오디오 멀티모달 코트레이닝 도구

일반 소개

MMAudio是一个开源项目，旨在通过多模态联合训练生成高质量的同步音频。该项目由香港中文大学的程浩基（Ho Kei Cheng）等人开发，主要功能是根据视频和/或文本输入生成同步音频。MMAudio的核心创新在于其多模态联合训练方法，能够在广泛的音视频和音文本数据集上进行训练。此外，同步模块可以将生成的音频与视频帧对齐。该项目目前仍在建设中，但单例推理功能已经可以正常使用，训练代码将陆续添加。openart 站可以搜索相关工作流。

기능 목록

• 视频到音频生成：根据输入的视频生成同步音频。
• 文本到音频生成：根据输入的文本生成音频。
• 多模态联合训练：在音视频和音文本数据集上进行联合训练。
• 同步模块：将生成的音频与视频帧对齐。
• 오픈 소스：提供完整的开源代码，便于用户进行二次开发。
• 사전 교육 모델：提供多种预训练模型，用户可以直接使用。
• 演示脚本：提供多种演示脚本，方便用户快速上手。

도움말 사용

설치 프로세스

1. 환경 준비：建议使用miniforge环境。确保安装Python 3.9+和PyTorch 2.5.1+及相应的torchvision/torchaudio。
2. 종속성 설치：运行以下命令安装必要的依赖项：

   pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 --upgrade

3. 클론 창고：使用以下命令克隆MMAudio仓库：

   git clone https://github.com/hkchengrex/MMAudio.git

4. 安装MMAudio：进入MMAudio目录并运行安装命令：

   cd MMAudio
pip install -e .

사용법

1. 运行演示脚本：MMAudio提供了多个演示脚本，用户可以通过以下命令运行默认的large_44k模型：

   python demo.py

2. 输入视频或文本：根据需要输入视频文件或文本，MMAudio将生成相应的同步音频。
3. 결과 보기：生成的音频将与输入的视频帧同步，用户可以直接查看和使用。

세부 기능 작동 흐름

• 视频到音频生成：将视频文件作为输入，运行演示脚本，MMAudio将自动生成与视频同步的音频。
• 文本到音频生成：将文本作为输入，运行相应的脚本，MMAudio将生成对应的音频。
• 多模态联合训练：用户可以根据提供的训练代码，在自己的数据集上进行多模态联合训练，以提升模型的生成效果。
• 同步模块：该模块自动将生成的音频与视频帧对齐，确保音视频同步。

주의

• 환경 요구 사항：目前仅在Ubuntu系统上进行了测试，其他系统可能需要额外配置。
• 依赖版本：确保安装的依赖版本与项目要求一致，以避免兼容性问题。
• 사전 교육 모델：预训练模型将在运行演示脚本时自动下载，用户也可以手动下载并放置在指定目录。

通过以上步骤，用户可以快速安装和使用MMAudio，生成高质量的同步音频。详细的使用帮助和演示脚本将帮助用户更好地理解和操作该工具。