TripoSR: 빠른 단일 이미지 3D 재구성 모델, 오픈 소스 텍스트에서 3D 모델링으로|이미지에서 3D 모델링으로

일반 소개

TripoSR是由Tripo AI和Stability AI联合开发的开源模型，旨在从单个图像快速生成高质量的3D模型。该模型基于大型重建模型（LRM）架构，能够在不到0.5秒的时间内生成3D网格。TripoSR在多个公开数据集上的表现优于其他开源替代方案，具有速度快、质量高的特点，适用于娱乐、游戏、工业设计和建筑等多个领域。

除本地部署外，可以访问TRIPO官网，可以无限生成草稿和每月10次高质量文本转3D和图像转3D额度。

TripoSR 官网

TripoSR 生成4个预选3D模型

 

TripoSR 生成示例

기능 목록

• 快速3D重建：从单个图像生成高质量3D模型，速度快至0.5秒。
• 高质量输出：生成的3D模型具有高分辨率和细节。
• 오픈 소스：提供完整的源代码和预训练模型，方便研究者和开发者使用。
• 멀티 플랫폼 지원：支持GPU和CPU运行，适用于不同的硬件环境。
• 在线演示：提供在线演示功能，用户可以直接体验模型的强大功能。

도움말 사용

설치 프로세스

1. 환경 준비::
   • 确保已安装Python 3.8或更高版本。
   • 安装CUDA（如果可用）。
   • 安装PyTorch，确保本地安装的CUDA版本与PyTorch版本匹配。
2. 克隆代码库::

   git clone https://github.com/VAST-AI-Research/TripoSR.git
   cd TripoSR

3. 종속성 설치::

   pip install -r requirements.txt

사용 프로세스

1. 运行示例::

   python run.py examples/chair.png --output-dir output/

   这将保存重建的3D模型到output/目录。

2. 本地Gradio应用::

   python gradio_app.py

   启动本地Gradio应用，用户可以通过Web界面上传图像并生成3D模型。

详细操作步骤

1. 图像预处理::
   • 将输入图像处理为NumPy数组。
   • 使用图像编码器提取特征。
2. 3D重建::
   • 将提取的特征输入到图像到三平面解码器。
   • 使用三平面神经辐射场预测颜色和密度。
3. 输出生成::
   • 生成的3D网格可以保存为多种格式，方便后续使用和编辑。

일반적인 문제

• CUDA错误：如果遇到CUDA相关错误，请确保本地安装的CUDA版本与PyTorch版本匹配。
• 依赖安装失败：请确保已安装最新版本的setuptools，并使用pip install --upgrade setuptools进行升级。