TRELLIS: modelo de generación de activos 3D desarrollado por Microsoft, compatible con múltiples formatos y de edición flexible.

Introducción general

TRELLIS es un modelo de generación de activos 3D a gran escala desarrollado por Microsoft. El núcleo de TRELLIS es una representación unificada de variables latentes estructuradas (SLAT), que permite descodificarla en distintos formatos de salida y está respaldada por la robustez de los transformadores de flujo rectificador diseñados específicamente para SLAT. Preentrenado en un gran conjunto de datos de activos 3D que contiene 500.000 objetos diversos, el modelo supera significativamente a los métodos existentes, demostrando una selección flexible del formato de salida y capacidades nativas de edición 3D.

Lista de funciones

• Generación de alta calidad: genere diversos activos 3D con detalles complejos de formas y texturas.
• Versatilidad: Reciba indicaciones de texto o imágenes para generar una gran variedad de representaciones 3D, incluidos campos de radiación, gaussianos 3D y mallas.
• Edición flexible: permite editar fácilmente los activos 3D generados, como generar variantes del mismo objeto o editar localmente los activos 3D.

Utilizar la ayuda

Proceso de instalación

1. condición previa::
   • Recomendado para ejecutar código en Linux, no probado en otras plataformas.
   • Se recomienda Conda para gestionar las dependencias.
   • Requiere Python 3.8 o superior.
   • Requiere una GPU NVIDIA con 16 GB o más de RAM, el código se ha probado en las GPU NVIDIA A100 y A6000.
   • Requiere CUDA toolkit para compilar ciertos sub-módulos, el código ha sido probado en CUDA 11.8 y 12.2.
2. Pasos de la instalación::
   • Clonación del repositorio:

     git clone --recurse-submodules https://github.com/microsoft/TRELLIS.git
     cd TRELLIS
     

   • Instalar dependencias:

     . ./setup.sh --new-env --basic --xformers --flash-attn --diffoctreerast --spconv --mipgaussian --kaolin --nvdiffrast
     

Proceso de utilización

1. Carga de modelos preentrenados::

   from trellis.pipelines import TrellisImageTo3DPipeline
   pipeline = TrellisImageTo3DPipeline.from_pretrained("JeffreyXiang/TRELLIS-image-large")
   pipeline.cuda()
   

2. Cargar la imagen y ejecutar el pipeline::

   from PIL import Image
   image = Image.open("assets/example_image/T.png")
   outputs = pipeline.run(image, seed=1)
   

3. salida de renderizado::

   from trellis.utils import render_utils
   video = render_utils.render_video(outputs['gaussian'][0])['color']
   

4. Guardar resultados::

   import imageio
   imageio.mimsave("sample_gs.mp4", video, fps=30)