Thera: 모든 크기의 이미지 확대, 디앨리어싱 오픈 소스 도구

578 0

일반 소개

Thera는 취리히 연방공과대학과 취리히 대학교 연구팀이 개발한 오픈 소스 이미지 초고해상도 도구입니다. 저해상도 이미지를 2배, 3.14배 또는 정수가 아닌 배수와 같은 임의의 배율로 들쭉날쭉함이나 흐릿함 없이 확대할 수 있으며, Thera의 핵심은 신경 열장과 실제 이미징 과정을 모방하는 내장된 물리적 관찰 모델을 사용하여 자연스러운 이미지 디테일을 구현하는 것입니다. 이 도구는 GitHub에서 무료로 사용할 수 있으며, 누구나 코드를 다운로드하거나 사전 학습된 모델을 사용할 수 있습니다.

데모 주소: https://huggingface.co/spaces/prs-eth/thera

기능 목록

임의 배율 확대 지원: 정수로 제한하지 않고 자유롭게 배율을 설정할 수 있습니다.
재기드 프리 효과: 신경 열장 기술을 통해 증폭 시 들쭉날쭉함과 왜곡을 제거합니다.
내장된 물리적 관찰 모델: 실제 이미징 과정을 시뮬레이션하여 이미지의 자연스러움을 향상시킵니다.
오픈 소스 지원: 사용자는 코드를 수정하거나 필요에 맞게 조정할 수 있습니다.
사전 학습된 모델 제공: EDSR 및 RDN 백본 네트워크의 여러 변형을 모두 포함합니다.
크로스 플랫폼 운영: Python 3.10 기반, Linux 시스템 및 NVIDIA GPU를 지원합니다.
로컬 데모 지원: Gradio 인터페이스를 통해 이미지를 업로드하고 실시간으로 처리합니다.

도움말 사용

Thera의 사용은 설치와 운영의 두 부분으로 나뉩니다. 다음은 빠르게 시작할 수 있는 자세한 단계입니다.

설치 프로세스

Thera에는 Linux, Python 3.10 및 NVIDIA GPU가 필요합니다. 설치 단계는 다음과 같습니다:

환경 만들기
Conda로 Python 3.10 환경을 생성하고 활성화하세요:

conda create -n thera python=3.10
conda activate thera

코드 다운로드
GitHub에서 Thera 프로젝트를 복제합니다:

git clone https://github.com/prs-eth/thera.git
cd thera

종속성 설치
pip로 필요한 라이브러리를 설치합니다:

pip install --upgrade pip
pip install -r requirements.txt

사전 학습된 모델 다운로드
Thera는 다음과 같이 사전 학습된 다양한 모델을 제공합니다. thera-rdn-pro.pkl허깅 페이스 또는 Google 드라이브에서 다운로드할 수 있습니다. 허깅 페이스 또는 Google 드라이브에서 다운로드할 수 있습니다. 링크는 아래와 같습니다:

EDSR Air. 포옹하는 얼굴
RDN Pro. 포옹하는 얼굴
다운로드가 완료되면 모델 파일을 thera 폴더로 이동합니다.

설치가 완료되면 Thera를 실행할 준비가 된 것입니다. 문제가 발생하면 python run_eval.py -h 도움말 보기.

워크플로

Thera의 주요 기능은 이미지를 확대하는 것입니다. 정확한 단계는 다음과 같습니다:

입력 이미지 준비하기
확대할 이미지를 다음과 같은 폴더에 넣습니다. data/test_imagesPNG, JPEG 및 기타 형식을 지원합니다.
초고해상도 실행
터미널에 명령을 입력하여 이미지를 처리합니다:

./super_resolve.py input.png output.png --scale 3.14 --checkpoint thera-rdn-pro.pkl

input.png 는 입력 이미지입니다.
output.png 는 출력 이미지입니다.
--scale 배율을 설정합니다(예: 3.14).
--checkpoint 미리 학습된 모델 경로를 지정합니다.

배치 파일
여러 이미지를 처리하려는 경우에는 run_eval.py::

python run_eval.py --checkpoint thera-rdn-pro.pkl --data-dir data --eval-sets test_images

출력은 outputs 폴더로 이동합니다.

주요 기능 작동

Thera의 하이라이트는 임의 스케일과 비에일리어싱 효과입니다. 자세한 설명은 다음과 같습니다:

원하는 크기로 확대
다음과 같은 배율을 설정할 수 있습니다. --scale 2.5 어쩌면 --scale 3.14고정된 횟수만 선택할 수 있는 기존 도구보다 더 유연합니다. 고정된 배율만 선택할 수 있는 기존 도구보다 더 유연합니다. 예를 들어 3.14배로 확대할 때 명령은 다음과 같습니다:

./super_resolve.py input.png output.png --scale 3.14 --checkpoint thera-rdn-pro.pkl

들쭉날쭉한 효과 없음
Thera는 신경 열장 기술로 이미지 가장자리를 처리합니다. 추가 설정이 필요하지 않으며, 확대하면 자동으로 디테일이 보존되고 들쭉날쭉한 부분을 방지합니다. 예를 들어 텍스트 이미지를 확대할 때 가장자리가 선명하게 유지됩니다.
물리적 관측 모델
이 기능은 모델에 내장되어 있으며 실제 이미징 프로세스를 시뮬레이션합니다. 파라미터를 조정할 필요 없이 Thera가 자동으로 출력을 최적화하여 이미지를 더욱 사실적으로 만듭니다.

로컬 데모 버전

보다 직관적으로 Thera를 경험하려면 Gradio 데모를 실행하세요:

데모 코드 복제

git clone https://huggingface.co/spaces/prs-eth/thera thera-demo
cd thera-demo

종속성 설치

pip install -r requirements.txt

스타트업 데모

python app.py

브라우저를 열고 다음 사이트를 방문하세요. http://localhost:7860. 웹페이지에 이미지를 업로드하고 배율을 조정하여 실시간으로 효과를 확인할 수 있습니다.

디버깅 권장 사항

성능 문제가 발생하는 경우 이러한 XLA 매개변수를 사용할 수 있습니다:

비디오 메모리 사전 할당을 끕니다:XLA_PYTHON_CLIENT_PREALLOCATE=false
JIT 디버깅을 끕니다:JAX_DISABLE_JIT=1

이 단계를 통해 Thera로 모든 이미지를 처리할 수 있습니다. 사용하기 쉽고 뛰어난 결과를 제공합니다.

애플리케이션 시나리오

원격 감지 이미지 처리
Thera는 위성이나 드론으로 촬영한 이미지를 확대할 수 있습니다. 연구자들은 이를 사용하여 지형의 세부 사항을 분석할 수 있습니다(예: 삼림의 변화를 모니터링하는 데 사용).
의료 이미지 향상
Thera는 엑스레이 또는 MRI 이미지의 해상도를 향상시킵니다. 의사는 이를 사용하여 더 미세한 병변을 확인하고 진단 효율성을 개선할 수 있습니다.
디지털 아트 복원
아티스트는 Thera를 사용해 저해상도 작품이나 오래된 사진을 확대할 수 있습니다. 예를 들어 흐릿한 스케치를 확대하면 더 자세히 볼 수 있습니다.

QA

Thera는 Windows를 지원하나요?
현재는 NVIDIA GPU 및 특정 환경에 의존하기 때문에 Linux만 지원되며, Windows 사용자는 가상 머신에서 실행할 수 있습니다.
배율에 제한이 있나요?
정해진 상한은 없습니다. 그러나 배율이 너무 높으면(예: 10배 이상) 원본 이미지의 정보가 충분하지 않아 효과가 저하될 수 있습니다.
교육 코드는 언제 공개되나요?
공식적으로 교육 코드는 곧 공개될 예정이며, 시기는 미정입니다. GitHub 페이지에서 업데이트를 확인할 수 있습니다.