EasyControl: 인물 사진을 지브리 스타일의 이미지로 변환하는 무료 도구

673 0

일반 소개

EasyControl 是一个开源项目，项目基于扩散变换器（DiT）架构，提供高效、灵活的图像生成控制。其中，Ghibli Control LoRA 是其特色功能之一，通过仅用 100 张亚洲人脸及其 GPT-4o 生成的吉卜力风格图像训练，能将真实人像转为吉卜力动画风格，同时保留面部特征。EasyControl 支持多种条件输入，包括边缘、深度、姿势等，Ghibli 模型则是风格化生成的亮点。项目使用 Apache 2.0 许可证，仅限研究用途。截至 2025 年 4 月 3 日，最新更新包括 Ghibli 风格模型和在线演示。

免费体验：https://huggingface.co/spaces/jamesliu1217/EasyControl_Ghibli

기능 목록

将人像转为吉卜力风格：输入真实人脸图像，生成吉卜力动画风格图像。
保留面部特征：基于 100 张亚洲人脸训练，确保转换后细节不失真。
支持多种条件控制：包括边缘（Canny）、深度（Depth）、姿势（Pose）等。
灵活分辨率输出：支持不同高度和宽度的图像生成。
高效生成：结合因果注意力机制和 KV Cache 技术，加快推理速度。
即插即用模块：Ghibli LoRA 可与 DiT 模型（如 FLUX.1-dev）无缝集成。

도움말 사용

EasyControl 适合有技术基础的用户，尤其是研究者和创意工作者。以下是安装和使用 Ghibli 功能的详细指南。

설치 프로세스

환경 준비하기
需要 Python 3.10 和带 CUDA 支持的 PyTorch。创建 Conda 环境：

conda create -n easycontrol python=3.10
conda activate easycontrol

클론 창고
下载 EasyControl 项目：

git clone https://github.com/Xiaojiu-z/EasyControl.git
cd EasyControl

종속성 설치
安装所需库：

pip install -r requirements.txt

GPU 用户需确保 PyTorch 支持 CUDA。

下载 Ghibli 模型
从 Hugging Face 获取 Ghibli LoRA：

from huggingface_hub import hf_hub_download
hf_hub_download(repo_id="Xiaojiu-Z/EasyControl", filename="models/Ghibli.safetensors", local_dir="./")

若无法访问，可用镜像站：

export HF_ENDPOINT=https://hf-mirror.com
huggingface-cli download --resume-download Xiaojiu-Z/EasyControl --local-dir checkpoints

설치 확인
运行测试脚本：

python demo.py

若生成图像，安装成功。

주요 기능

1. 生成吉卜力风格图像

절차
初始化模型并加载 Ghibli LoRA：

import torch
from PIL import Image
from src.pipeline import FluxPipeline
from src.lora_helper import set_single_lora
device = "cuda"
base_path = "FLUX.1-dev"  # 基础模型路径
pipe = FluxPipeline.from_pretrained(base_path, torch_dtype=torch.bfloat16).to(device)
set_single_lora(pipe.transformer, "models/Ghibli.safetensors", lora_weights=[1], cond_size=512)
prompt = "Ghibli Studio style, Charming hand-drawn anime-style illustration"
subject_image = Image.open("test_imgs/portrait.png").convert("RGB")
image = pipe(
prompt,
height=1024,
width=1024,
guidance_scale=3.5,
num_inference_steps=25,
subject_images=[subject_image],
cond_size=512,
generator=torch.Generator("cpu").manual_seed(1)
).images[0]
image.save("output/ghibli_result.png")

결국
输出吉卜力风格图像，保存至 output/ghibli_result.png.

2. 在线演示使用

절차
访问 Hugging Face 空间 https://huggingface.co/spaces/jamesliu1217/EasyControl_Ghibli：
1. 上传人像图片。
2. 输入提示词：Ghibli Studio style, Charming hand-drawn anime-style illustration.
3. 设置高度和宽度（受硬件限制，默认 256x256，高分辨率需本地运行）。
4. 点击“Generate Image”，等待 20-40 秒。
결국
生成低分辨率吉卜力风格图像。

주요 기능 작동

高分辨率生成

절차
本地运行时，修改高度和宽度参数：
```
image = pipe(prompt, height=1024, width=1024, ...)
```
다음 사항에 유의하십시오.
需要至少 12GB GPU 内存，否则可能失败。

清理缓存

절차
每次生成后清理缓存：

def clear_cache(transformer):
for name, attn_processor in transformer.attn_processors.items():
attn_processor.bank_kv.clear()
clear_cache(pipe.transformer)