HelloMeme: 로컬 고 충실도 표현 액션 일관된 이미지 또는 비디오 생성, 런웨이 액트 원 오픈 소스 탁구!

일반 소개

HelloMeme 是由 HelloVision 开发的一个开源项目，旨在通过集成空间编织注意力机制（Spatial Knitting Attentions）在扩散模型中嵌入高层次和高保真条件，从而生成高质量的图像和视频。该项目的代码和模型实现均托管在 GitHub 上，用户可以自由下载和使用。HelloMeme 提供了多种功能模块，包括图像生成、视频生成以及与 Gradio 和 ComfyUI 的集成，方便用户进行各种实验和应用。

相关：

LivePortrait: 정지 이미지와 동영상에서 역동적인 인물 사진을 생성하는 애니메이션 도구（开源）

ConsisID: 캐릭터가 일관된 비디오를 생성하는 인물 참조 맵, 신속한 다중 터미널 통합（开源）

Reface: AI를 사용한 얼굴 교체 및 동영상 생성으로 재미있는 애니메이션 이미지 만들기(유료)

기능 목록

• 이미지 생성：通过参考图像和驱动图像生成高质量的图像。
• 비디오 생성：基于参考视频和驱动视频生成高保真视频。
• Gradio 集成：提供 Gradio 界面，方便用户进行交互操作。
• ComfyUI 集成：支持 ComfyUI 界面，简化用户操作流程。
• 实验模块：包含多种实验代码，方便用户进行不同的实验和测试。
• 효율적인 알고리즘：优化算法以减少 VRAM 使用，提高生成效率。

도움말 사용

설치 프로세스

1. 创建 Conda 环境::

   conda create -n hellomeme python=3.10.11
conda activate hellomeme

2. 安装 PyTorch 和 FFmpeg： 请参考 PyTorch 和 FFmpeg 的官方网站进行详细安装。
3. 종속성 설치::

   pip install diffusers transformers einops scipy opencv-python tqdm pillow onnxruntime onnx safetensors accelerate peft

4. 클론 창고::

   git clone https://github.com/HelloVision/HelloMeme
cd HelloMeme

5. 运行代码::
   • 图像生成： bash
python inference_image.py

   • 视频生成： bash
python inference_video.py

6. 安装 Gradio 应用::

   pip install gradio
pip install imageio[ffmpeg]
python app.py

기능 작동 흐름

이미지 생성

1. 입력 이미지 준비하기：准备参考图像和驱动图像。
2. 运行图像生成脚本::

   python inference_image.py --reference_image path/to/reference.jpg --drive_image path/to/drive.jpg

3. 查看生成结果：生成的图像将保存在指定目录中。

비디오 생성

1. 准备输入视频：准备参考视频和驱动视频。
2. 运行视频生成脚本::

   python inference_video.py --reference_video path/to/reference.mp4 --drive_video path/to/drive.mp4

3. 查看生成结果：生成的视频将保存在指定目录中。

使用 Gradio 界面

1. 启动 Gradio 应用::

   python app.py

2. 브라우저를 통한 액세스：打开浏览器并访问 http://localhost:7860，即可使用 Gradio 界面进行图像和视频生成。

使用 ComfyUI 界面

1. ComfyUI 설치：请参考 ComfyUI 的官方网站进行安装。
2. 运行 HelloMeme::

   python comfyui_hellomeme.py

3. 通过 ComfyUI 界面操作：根据需要选择图像或视频生成功能，上传参考和驱动文件，点击生成按钮。

주의

• 依赖版本：请注意 diffusers 的版本要求，目前支持的版本为 diffusers==0.31.0.
• VRAM 使用：生成视频时，驱动视频越长，所需的 VRAM 越多，请根据实际情况调整。
• 模型下载：首次运行时，所有模型将自动下载，可能需要较长时间。