HelloMeme：生成局部高保真表情动作一致的图像或视频，Runway Act one 开源平替

Introducción general

HelloMeme 是由 HelloVision 开发的一个开源项目，旨在通过集成空间编织注意力机制（Spatial Knitting Attentions）在扩散模型中嵌入高层次和高保真条件，从而生成高质量的图像和视频。该项目的代码和模型实现均托管在 GitHub 上，用户可以自由下载和使用。HelloMeme 提供了多种功能模块，包括图像生成、视频生成以及与 Gradio 和 ComfyUI 的集成，方便用户进行各种实验和应用。

相关：

LivePortrait：静态图像、视频生成动态肖像动画工具（开源）

ConsisID: un mapa de referencia de retratos para generar vídeos coherentes con los personajes, rápida integración multiterminal（开源）

Reface: sustitución de caras y generación de vídeos mediante IA para crear divertidas imágenes animadas (de pago)

Lista de funciones

• Generación de imágenes：通过参考图像和驱动图像生成高质量的图像。
• Generación de vídeo：基于参考视频和驱动视频生成高保真视频。
• Gradio 集成：提供 Gradio 界面，方便用户进行交互操作。
• ComfyUI 集成：支持 ComfyUI 界面，简化用户操作流程。
• 实验模块：包含多种实验代码，方便用户进行不同的实验和测试。
• 高效算法：优化算法以减少 VRAM 使用，提高生成效率。

Utilizar la ayuda

Proceso de instalación

1. Creación de un entorno Conda::

   conda create -n hellomeme python=3.10.11
conda activate hellomeme

2. 安装 PyTorch 和 FFmpeg： 请参考 PyTorch 和 FFmpeg 的官方网站进行详细安装。
3. Instalación de dependencias::

   pip install diffusers transformers einops scipy opencv-python tqdm pillow onnxruntime onnx safetensors accelerate peft

4. almacén de clones::

   git clone https://github.com/HelloVision/HelloMeme
cd HelloMeme

5. 运行代码::
   • 图像生成： bash
python inference_image.py

   • 视频生成： bash
python inference_video.py

6. 安装 Gradio 应用::

   pip install gradio
pip install imageio[ffmpeg]
python app.py

Función Flujo de operaciones

Generación de imágenes

1. Preparación de la imagen de entrada：准备参考图像和驱动图像。
2. 运行图像生成脚本::

   python inference_image.py --reference_image path/to/reference.jpg --drive_image path/to/drive.jpg

3. 查看生成结果：生成的图像将保存在指定目录中。

Generación de vídeo

1. 准备输入视频：准备参考视频和驱动视频。
2. 运行视频生成脚本::

   python inference_video.py --reference_video path/to/reference.mp4 --drive_video path/to/drive.mp4

3. 查看生成结果：生成的视频将保存在指定目录中。

使用 Gradio 界面

1. 启动 Gradio 应用::

   python app.py

2. 通过浏览器访问：打开浏览器并访问 http://localhost:7860，即可使用 Gradio 界面进行图像和视频生成。

使用 ComfyUI 界面

1. 安装 ComfyUI：请参考 ComfyUI 的官方网站进行安装。
2. 运行 HelloMeme::

   python comfyui_hellomeme.py

3. 通过 ComfyUI 界面操作：根据需要选择图像或视频生成功能，上传参考和驱动文件，点击生成按钮。

advertencia

• 依赖版本：请注意 diffusers 的版本要求，目前支持的版本为 diffusers==0.31.0.
• VRAM 使用：生成视频时，驱动视频越长，所需的 VRAM 越多，请根据实际情况调整。
• Descarga de modelos：首次运行时，所有模型将自动下载，可能需要较长时间。