VideoReTalking：音频驱动的嘴唇同步和视频编辑系统

综合介绍

VideoReTalking是一款创新的系统，允许用户根据输入音频生成唇形同步的面部视频，即使有不同的情绪，也能产生高质量且嘴唇同步的输出视频。系统将这一目标分解为三个连续任务：带有典型表情的面部视频生成、音频驱动的嘴唇同步和面部增强以提高照片的真实感。它使用基于学习的方法处理所有三个步骤，在没有用户干预的情况下可以顺序进行。通过提供的链接探索VideoReTalking及其在音频驱动的嘴唇同步谈话头视频编辑中的应用。

(不清晰，需要二次增强视频画质，对中文唇形同步略差)

功能列表

面部视频生成：根据输入音频生成带有典型表情的面部视频。
音频驱动的嘴唇同步：根据给定的音频生成嘴唇同步的视频。
面部增强：通过身份识别感知的面部增强网络和后处理提高合成面部的照片真实感。

使用帮助

下载预训练的模型并放在`./checkpoints`中。
运行`python3 inference.py`进行视频的快速推理。
可以通过添加参数`--exp_img`或`--up_face`来控制表情。

在线体验地址

replicate体验地址

VideoReTalking Colab 运行地址