HealthGPT: 의료 영상 분석 및 진단 Q&A를 지원하는 의료용 빅 모델

875 0

일반 소개

HealthGPT는 이질적인 지식 적응을 통해 통합된 의료 시각 이해 및 생성 기능을 달성하는 것을 목표로 하는 최첨단 의료용 그랜드 비주얼 언어 모델입니다. 이 프로젝트의 목표는 의료 시각 이해 및 생성 기능을 통합된 자동 회귀 프레임워크에 통합하여 의료 영상 처리의 효율성과 정확성을 크게 향상시키는 것으로, HealthGPT는 광범위한 의료 이해 작업과 생성 작업을 지원하며 다양한 의료 영상 처리 시나리오에서 우수한 성능을 발휘할 수 있습니다. 이 프로젝트는 절강대학교, 전자과학기술대학교, 알리바바, 홍콩과학기술대학교, 싱가포르국립대학교 및 기타 여러 기관이 공동으로 개발했으며 연구 및 실용적 가치가 높습니다.

기능 목록

의료 비주얼 Q&A: Q&A 작업을 위한 다양한 의료 이미지를 지원하여 사용자가 제기하는 의료 관련 질문에 정확하게 답변합니다.
의료 이미지 생성: 의료 진단 및 연구를 지원하기 위해 고품질의 의료 이미지를 생성할 수 있습니다.
작업 분류 지원: 7가지 유형의 의료 이해 작업과 5가지 유형의 의료 생성 작업을 지원하여 다양한 의료 응용 시나리오를 포괄합니다.
모델 아키텍처: 텍스트 및 시각적 콘텐츠는 계층적 시각 인식과 H-LoRA 플러그인을 사용하여 시각적 기능과 H-LoRA 플러그인을 선택하여 생성합니다.
다중 버전 모델: 다양한 요구 사항과 리소스에 맞게 각각 조정할 수 있도록 HealthGPT-M3 및 HealthGPT-L14 구성이 제공됩니다.

도움말 사용

설치 프로세스

환경 준비하기
먼저 프로젝트를 복제하고 Python 런타임 환경을 생성합니다:

git clone https://github.com/DCDmllm/HealthGPT.git
cd HealthGPT
conda create -n HealthGPT python=3.10
conda activate HealthGPT
pip install -r requirements.txt

사전 트레이닝 웨이트 준비
HealthGPT 사용clip-vit-large-patch14-336비주얼 인코더인 HealthGPT-M3와 HealthGPT-L14는 각각 다음을 기반으로 합니다.Phi-3-mini-4k-instruct노래로 응답phi-4사전 교육.
필요한 모델 가중치를 다운로드하여 적절한 디렉토리에 배치합니다:
- ViT 모델링:다운로드 링크
- HealthGPT-M3 기본 모델:다운로드 링크
- HealthGPT-L14 기본 모델:다운로드 링크
- VQGAN 모델:다운로드 링크
H-LoRA 및 어댑터 무게 준비
H-LoRA 가중치를 다운로드하여 배치하면 모델의 의료 시각적 이해와 생성 기능을 향상시킬 수 있습니다. 전체 웨이트는 곧 공개될 예정이니 기대해 주세요.

추론

의료 비전 Q&A

필요한 서류 다운로드
스크립트 경로 업데이트
쇼(티켓)llava/demo/com_infer.sh스크립트에서 다음 변수를 다운로드한 파일의 경로로 변경합니다:
- 모델명_또는_경로: 기본 모델 경로 또는 식별자
- VIT_PATH: 비주얼 트랜스포머 모델 가중치 경로
- HLORA_PATH: H-LoRA 웨이트 경로의 시각적 이해
- 퓨전 레이어 가중치 경로: 퓨전 레이어 가중치 경로

스크립트 실행

cd llava/demo
bash com_infer.sh

Python 명령을 직접 실행하는 것도 가능합니다:

python3 com_infer.py \
--model_name_or_path "microsoft/Phi-3-mini-4k-instruct" \
--dtype "FP16" \
--hlora_r "64" \
--hlora_alpha "128" \
--hlora_nums "4" \
--vq_idx_nums "8192" \
--instruct_template "phi3_instruct" \
--vit_path "openai/clip-vit-large-patch14-336/" \
--hlora_path "path/to/your/local/com_hlora_weights.bin" \
--fusion_layer_path "path/to/your/local/fusion_layer_weights.bin" \
--question "Your question" \
--img_path "path/to/image.jpg"

이미지 재구성

최고 사령관(군)HLORA_PATH로 설정gen_hlora_weights.bin파일 경로를 설정하고 다른 모델 경로를 구성합니다:

cd llava/demo
bash gen_infer.sh

다음 Python 명령을 직접 실행할 수도 있습니다:

python3 gen_infer.py \
--model_name_or_path "microsoft/Phi-3-mini-4k-instruct" \
--dtype "FP16" \
--hlora_r "256" \
--hlora_alpha "512" \
--hlora_nums "4" \
--vq_idx_nums "8192" \
--instruct_template "phi3_instruct" \
--vit_path "openai/clip-vit-large-patch14-336/" \
--hlora_path "path/to/your/local/gen_hlora_weights.bin" \
--fusion_layer_path "path/to/your/local/fusion_layer_weights.bin" \
--question "Reconstruct the image." \
--img_path "path/to/image.jpg" \
--save_path "path/to/save.jpg"