MagicArticulate: 정적 3D 모델에서 스켈레탈 구조 애니메이션 에셋 생성

일반 소개

MagicArticulate는 정적 3D 모델을 애니메이션이 가능한 디지털 에셋으로 빠르게 변환하는 데 중점을 두고 ByteDance가 난양공과대학교(NTU)와 협력하여 개발한 AI 프레임워크입니다. 고급 자동 회귀 트랜스포머와 기능 확산 모델을 통해 모델의 골격 구조와 스키닝 가중치를 자동으로 생성하여 기존 3D 애니메이션 제작의 복잡한 프로세스를 크게 간소화합니다. 게임 개발자, VR/AR 디자이너, 영화 애니메이터 등 모든 사용자가 이 툴을 통해 시간을 절약하고 효율성을 개선할 수 있습니다. 이 웹사이트에서는 기술 애호가와 전문가가 탐색하고 사용하기에 적합한 대규모 데이터 세트인 Articulation-XL과 오픈 소스 코드를 포함한 핵심 기술 성과를 선보입니다.

기능 목록

• 대규모 데이터 세트 지원조인트 주석이 포함된 33,000개 이상의 3D 모델이 포함된 Articulation-XL 데이터 세트를 제공합니다.
• 자동 뼈대 생성자동 회귀 트랜스포머 기법을 사용하여 정적 모델의 유연한 골격 구조를 생성합니다.
• 피부 무게 예측기능적 확산 모델을 기반으로 자연스러운 변형을 위한 피부 가중치를 자동으로 생성합니다.
• 다중 카테고리 모델 처리휴머노이드, 동물, 기계 등 다양한 3D 오브젝트에 대한 애니메이션 에셋 생성을 지원합니다.
• 오픈 소스 코드 및 모델링사용자가 코드를 다운로드하고 모델을 미리 학습할 수 있도록 GitHub 링크가 제공됩니다.

도움말 사용

MagicArticulate는 3D 모델을 쉽고 효율적으로 애니메이션화할 수 있도록 설계된 기술 중심 도구입니다. 아래는 웹 사이트 방문부터 실제 작업에 이르기까지 기능을 완전히 이해하는 데 도움이 되는 자세한 사용 안내서입니다.

액세스 및 설치 프로세스

MagicArticulate 웹사이트는 설치 없이 볼 수 있지만 프레임워크를 실행하고 기능을 경험하려면 로컬에서 환경을 구성해야 합니다. 단계는 다음과 같습니다:

1. 웹사이트에 액세스
   브라우저에 입력 https://chaoyuesong.github.io/MagicArticulate/이 페이지에는 프로젝트에 대한 간략한 설명과 기술 하이라이트 및 다운로드 링크가 포함되어 있습니다. 이 페이지에는 프로젝트 개요, 기술 하이라이트 및 다운로드 링크가 포함되어 있습니다.
2. 소스 코드 다운로드
   • 사이트 하단이나 사이드바(보통은 https://github.com/ChaoyueSong/MagicArticulate).
   • '코드' 버튼을 클릭하고 'ZIP 다운로드'를 선택하여 zip 파일을 다운로드하거나 Git 명령을 사용합니다:

     git clone https://github.com/ChaoyueSong/MagicArticulate.git
     

   • 예를 들어 파일을 로컬 디렉터리로 추출합니다. MagicArticulate/.
3. 런타임 환경 구성
   • Python 버전 확인파이썬 3.8 이상이 설치되어 있는지 확인합니다:python --version.
   • 가상 환경 만들기(권장):

     python -m venv magic_env
     source magic_env/bin/activate  # Linux/Mac
     magic_env\Scripts\activate    # Windows
     

   • 종속성 설치프로젝트 디렉토리로 이동하여 실행합니다:

     pip install -r requirements.txt
     

     Conda에서 지원하는 경우 사용할 수 있습니다:

     conda env create -f environment.yml
     conda activate magicarticulate
     

   • 종속성README에 따라 성능 향상을 위해 GPU 지원을 보장하기 위해 PyTorch 또는 기타 라이브러리를 설치해야 할 수 있습니다.
4. 프레임워크 시작
   구성이 완료되면 샘플 스크립트를 실행합니다(예: 특정 명령어는 GitHub 문서 참조):

python main.py --input [3D模型路径] --output [输出路径]

주요 기능

아래는 MagicArticulate의 핵심 기능과 자세한 지침입니다:

1. Articulation-XL 데이터 세트 사용

• 기능 설명공동 주석이 포함된 33,000개 이상의 3D 모델을 교육 또는 테스트에 사용할 수 있습니다.
• 절차::

1. 웹사이트 또는 GitHub에서 데이터 세트 다운로드 링크를 찾으세요(권한 요청이 필요할 수 있음).
2. 로컬에서 다운로드하여 압축을 풉니다. data/articulation_xl/.
3. 구성 파일 또는 명령줄을 수정하여 경로를 지정합니다:

python process.py --dataset_path data/articulation_xl/

4. 실행 후 데이터 집합을 로드하고 유효성 검사 또는 모델 입력에 사용할 수 있는 주석 결과를 확인합니다.

2. 골격 구조 자동 생성

• 기능 설명다양한 조인트 요구 사항을 지원하기 위해 정적 3D 모델에 대한 뼈대를 자동으로 생성합니다.
• 절차::

1. 정적 3D 모델(OBJ, FBX 등 형식 지원)을 준비하여 입력 디렉토리에 넣습니다(예 input/).
2. 본 생성 명령을 실행합니다:

python generate_skeleton.py --input input/model.obj --output output/

3. 출력 디렉터리(output/)를 사용하여 뼈대가 포함된 모델 파일을 생성합니다.
4. 블렌더 또는 마야에서 열고 본을 테스트하여 애니메이션 요구 사항을 충족하는지 확인합니다.

3. 피부 무게 예측

• 기능 설명뼈가 포함된 모델에 대해 자연스럽게 변형된 피부 가중치를 생성합니다.
• 절차::

1. 이전 단계에서 생성한 모델 파일을 사용합니다.
2. 체중 예측 스크립트를 실행합니다:

python predict_weights.py --input output/model_with_skeleton.obj --output output/

3. 애니메이션 바인딩에 직접 사용할 수 있는 가중치가 포함된 모델 파일을 출력합니다.
4. 3D 소프트웨어에서 로드하고 애니메이션 효과(예: 걷기, 회전)를 테스트합니다.

애플리케이션 시나리오 및 운영 예시

신속한 프로토타이핑

• take게임 디자이너는 캐릭터 애니메이션을 빠르게 검증해야 합니다.
• rig캐릭터 모델(OBJ 형식) 업로드, 뼈대 생성 및 무게 예측 실행, 5분 만에 걷기 애니메이션 프로토타입 생성, 테스트를 위해 Unity로 임포트.

VR/AR 애니메이션 생성

• take가상 로봇을 위한 상호작용 동작 생성.
• rig로봇 모델 입력, 뼈대 및 가중치 생성, VR 개발 툴(예: 언리얼 엔진)로 익스포트, 사용자 인터랙션 명령 바인딩.

영화 및 비디오 애니메이션 보조 도구

• take: 판타지 크리처의 초기 애니메이션을 생성합니다.
• rig크리처 모델을 업로드하고, 프레임워크를 실행하여 뼈대와 웨이트를 생성하고, 키프레임 미세 조정을 위해 Maya로 임포트하고, 프리뷰 애니메이션을 생성합니다.

팁 및 유용한 정보

• 모델 준비입력 모델이 단일 객체인지 확인하여 복잡한 여러 구성 요소가 결과에 영향을 미치지 않도록 합니다.
• 성능 최적화GPU에서 실행하는 것이 훨씬 빠를 수 있으며, CPU는 느리게 실행될 수 있습니다.
• 결과 조정뼈 또는 가중치가 이상적이지 않은 경우 문서에 설명된 대로 매개변수(예: 관절 수)를 수정할 수 있습니다.
• 질문 피드백GitHub 이슈에서 이슈를 제출하거나 개발자 Chaoyue Song에게 문의하여 지원을 요청하세요.

이러한 단계를 통해 초보자부터 전문 디자이너까지 모든 유형의 사용자가 정적 3D 모델을 애니메이션 에셋으로 빠르게 변환할 수 있도록 MagicArticulate를 사용할 수 있습니다.