IC-Light (V2): mágica de controle de iluminação de imagem, controla a luz, a sombra e o plano de fundo da imagem

Introdução geral

O IC-Light é um projeto de controle de iluminação de imagens que visa a manipular os efeitos de iluminação das imagens por meio de modelos avançados de IA. O projeto, desenvolvido por Lvmin Zhang et al., oferece dois modelos principais: um modelo de reiluminação com condição de texto e um modelo com condição de plano de fundo. Os usuários podem ajustar a iluminação da imagem em primeiro plano para corresponder à iluminação ambiente do plano de fundo por meio de avisos de texto simples ou imagens de plano de fundo, obtendo assim efeitos de composição e iluminação de imagens de alta qualidade.

IC-Light V2 (demonstração) é uma linha de produtos baseada em Fluxo O modelo IC-Light, que se beneficia do VAE de 16 canais, alta resolução nativa e melhores métodos de treinamento, retém muito mais detalhes do que o SD1.5.

Experiência on-line: https://huggingface.co/spaces/lllyasviel/IC-Light

IC-Light V2 para modelos FLUX

Lista de funções

• Modelos de iluminação condicional textualControle o efeito de iluminação de uma imagem inserindo prompts de texto.
• modelo de condições de fundoIluminação: Ajusta automaticamente a iluminação da imagem de primeiro plano com base na imagem de fundo.
• Download automático do modeloNão há necessidade de fazer download de modelos manualmente, o sistema os processará automaticamente.
• Múltiplas configurações de preferência de luzO usuário pode escolher diferentes direções e intensidades de luz.
• Suporte a alta resoluçãoSuporte ao processamento de imagens de alta resolução, preservando os detalhes da imagem.
• luz uniformeCombinação consistente de diferentes fontes de luz para espaços HDR: Garante a combinação consistente de diferentes fontes de luz para espaços HDR.

Usando a Ajuda

Processo de instalação

1. projeto de clonagem::

   git clone https://github.com/lllyasviel/IC-Light.git
   cd IC-Light
   

2. Criar e ativar um ambiente virtual::

   conda create -n iclight python=3.10
   conda activate iclight
   

3. Instalação de dependências::

   pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121
   pip install -r requirements.txt
   

Reiluminação de modelos usando condições de texto

1. Execute o script de amostra::

   python gradio_demo.py
   

2. prompt de entradaDigite prompts de texto na interface do Gradio, como "mulher bonita, rosto detalhado, ambiente acolhedor, em casa, no quarto".
3. Seleção de preferências de luzSelecione a direção da luz conforme necessário, por exemplo, "Left" (esquerda).
4. Geração de imagensClique no botão Generate (Gerar) para visualizar o efeito da imagem ajustada.

Uso de modelos de condições de fundo

1. Execute o script de amostra::

   python gradio_demo_bg.py
   

2. Carregar imagem de fundoImagem de fundo: Carregue uma imagem de fundo na interface do Gradio.
3. Prompts de entrada em primeiro planoImagem de primeiro plano: Digite uma descrição da imagem de primeiro plano, por exemplo, "homem bonito, iluminação cinematográfica".
4. Geração de imagensClique no botão Generate (Gerar) para visualizar o efeito da imagem ajustada.

Recursos avançados

• uniformidade fotométricaIC-Light: O IC-Light garante a consistência da luz no espaço HDR, resultando em uma combinação natural de diferentes fontes de luz.
• Retenção de detalhesMantém alto nível de detalhes e resolução de imagens usando modelos VAE de 16 canais.
• estiloSuporte para processamento de imagens estilizadas, mantendo o estilo artístico original.

problemas comuns

• Como você lida com imagens com pouca luz? Usando o modelo de condição de fundo, insira uma descrição da imagem com pouca luz e o sistema ajustará automaticamente a iluminação.
• Ele é compatível com o uso comercial? A versão atual é apenas para uso não comercial. Para uso comercial, entre em contato com a equipe de desenvolvimento para obter uma licença.

Senha de descompactação do instalador do IC-Light com um clique e implantação de colab:

https://colab.research.google.com/drive/1RDxmqrTBg2QZeIRtxRW6h-teQRn50hN2?usp=sharing
niugee51 ou niugee22