SoniTranslate：开源视频翻译配音解决方案，多人配音、调整语速与模仿原声

일반 소개

SoniTranslate 是一个强大且用户友好的视频多语言配音工具，旨在提供视频翻译和同步音频的解决方案。它利用先进的语音识别和机器翻译技术，将视频内容翻译成多种语言，并保持音频同步。该项目基于 Gradio 库构建，提供了用户友好的 Web 界面，支持多种语言和多种输出格式，适用于内容创作者和需要多语言视频翻译的用户。

Colab 笔记本：https://colab.research.google.com/github/R3gm/SoniTranslate/blob/main/SoniTranslate_Colab.ipynb

在线演示：https://huggingface.co/spaces/r3gm/SoniTranslate_translate_audio_of_a_video_content

기능 목록

• 视频翻译：将视频内容翻译成多种语言。
• 同步音频：保持翻译后的音频与视频同步。
• 다국어 지원：支持超过 80 种语言的翻译。
• 字幕生成：自动生成翻译后的字幕文件。
• 语音替换：使用 TTS 模型替换视频中的原始语音。
• 사용자 친화적인 인터페이스：基于 Gradio 库构建的 Web 界面，操作简便。
• 多种输出格式：支持 MP3、MP4、MKV、WAV 和 OGG 等多种格式的输出。

도움말 사용

설치 프로세스

1. 환경 준비하기：确保已安装 NVIDIA 驱动程序和 CUDA 11.8.0。
2. 安装 FFmpeg：用于处理视频和音频文件。
3. 安装 SoniTranslate::
   • 克隆 GitHub 仓库：git clone https://github.com/R3gm/SoniTranslate.git
   • 프로젝트 카탈로그로 이동합니다:cd SoniTranslate
   • 创建并激活 Conda 环境：conda create -n sonitr python=3.8(수학.) 속conda activate sonitr
   • 종속성을 설치합니다:pip install -r requirements.txt
4. 运行应用::
   • 启动应用：python app_rvc.py
   • 打开浏览器访问本地 URL：http://127.0.0.1:7860

사용 프로세스

1. 동영상 업로드：在 Web 界面中上传需要翻译的视频文件。
2. 언어 선택：选择目标翻译语言。
3. 配置选项：根据需要配置字幕生成、语音替换等选项。
4. 번역 시작：点击“开始翻译”按钮，等待翻译完成。
5. 결과 다운로드：翻译完成后，下载生成的翻译视频、音频或字幕文件。

详细操作步骤

1. 동영상 업로드：点击“上传视频”按钮，选择本地视频文件进行上传。
2. 언어 선택：在“目标语言”下拉菜单中选择需要翻译的语言。
3. 配置选项::
   • 字幕生成：勾选“生成字幕”选项，系统将自动生成翻译后的字幕文件。
   • 语音替换：勾选“语音替换”选项，系统将使用 TTS 模型替换视频中的原始语音。
4. 번역 시작：点击“开始翻译”按钮，系统将开始处理视频并进行翻译。
5. 진행 상황 보기：在“翻译进度”栏中查看当前翻译进度，等待翻译完成。
6. 결과 다운로드：翻译完成后，点击“下载”按钮，选择需要的输出格式（MP3、MP4、MKV、WAV 或 OGG），下载生成的文件。