로컬 장치에서 여러 문서와 통신하여 데이터 프라이버시 보장: 로컬 장치에서 여러 문서와 통신하여 데이터 프라이버시 보장

일반 소개

LocalGPT는 사용자가 로컬 장치에서 문서와 대화할 수 있도록 설계된 오픈 소스 프로젝트로, 데이터 프라이버시를 보장합니다. 다양한 오픈 소스 모델을 사용하여 LocalGPT는 클라우드에 데이터를 업로드하지 않고도 문서 콘텐츠를 처리하고 이해할 수 있습니다. 이 프로젝트는 GPU, CPU, HPU, MPS 등 여러 플랫폼을 지원하며 세션 기록, API 인터페이스, GUI 등 다양한 기능을 제공하며, 높은 수준의 개인정보 보호가 필요한 시나리오에서 사용자에게 안전한 비공개 문서 상호 작용 환경을 제공하는 것을 목표로 합니다.

기능 목록

• 데이터 프라이버시모든 데이터 처리는 로컬 장치에서 수행되므로 100% 데이터 보안이 보장됩니다.
• 다중 모델 지원HF, GPTQ, GGML, GGUF 등 다양한 오픈 소스 모델이 지원됩니다.
• 다중 임베딩다양한 오픈 소스 임베딩 옵션을 사용할 수 있습니다.
• 모델 재사용LLM은 다운로드 후 재사용할 수 있으므로 반복해서 다운로드할 필요가 없습니다.
• 대화 기록세션의 대화 내역을 기억하세요.
• API 인터페이스RAG 애플리케이션을 쉽게 구축할 수 있도록 API 인터페이스를 제공합니다.
• 그래픽 사용자 인터페이스(GUI)API 기반 및 독립형 GUI(스트림라이트 기반)를 제공합니다.
• 멀티 플랫폼 지원CUDA, CPU, HPU(인텔® 가우디®), MPS 등 여러 플랫폼을 지원합니다.

도움말 사용

설치 프로세스

1. 클론 창고터미널에서 다음 명령을 실행하여 LocalGPT 리포지토리를 복제합니다:

   git clone https://github.com/PromtEngineer/localGPT.git

2. 종속성 설치프로젝트 디렉토리로 이동하여 필요한 종속성을 설치합니다:

   cd localGPT
pip install -r requirements.txt

3. 구성 환경환경 변수 및 모델 경로를 필요에 따라 구성합니다.

사용법

1. 서비스 시작: 다음 명령을 실행하여 LocalGPT 서비스를 시작합니다:

   python run_localGPT.py

2. 액세스 인터페이스브라우저를 열고 제공된 로컬 주소로 이동하여 GUI에 액세스합니다.
3. 문서 업로드: 인터페이스에서 처리할 문서를 업로드합니다.
4. 대화 시작하기: 대화 상자에 질문을 입력하면 문서 내용에 따라 LocalGPT가 답변을 생성합니다.

세부 기능 작동

• 데이터 프라이버시모든 데이터 처리는 로컬 장치에서 수행되어 100% 데이터 보안을 보장합니다. 사용자는 데이터 유출에 대해 걱정할 필요가 없습니다.
• 다중 모델 지원: LocalGPT는 다양한 오픈 소스 모델을 지원하므로 사용자는 필요에 따라 문서 처리에 적합한 모델을 선택할 수 있습니다.
• 대화 기록: LocalGPT는 세션의 대화 내역을 기록하여 사용자가 이전 대화의 내용을 쉽게 보고 관리할 수 있도록 합니다.
• API 인터페이스LocalGPT는 개발자가 더 많은 사용자 지정을 위해 자체 RAG 애플리케이션을 구축하는 데 사용할 수 있는 API 인터페이스를 제공합니다.
• 그래픽 사용자 인터페이스(GUI)LocalGPT : 사용자가 직관적인 인터페이스를 통해 문서 업로드 및 대화 작업을 수행할 수 있는 스트림라이트 기반 그래픽 사용자 인터페이스를 제공합니다.

운영 절차 예시

1. 문서 업로드'문서 업로드' 버튼을 클릭하고 처리할 문서 파일을 선택합니다.
2. 입력 문제대화 상자에 질문을 입력합니다(예: "이 문서의 주요 내용은 무엇인가요?"). .
3. 답변 보기: LocalGPT는 문서 내용을 기반으로 답변을 생성하여 대화 상자에 표시합니다.
4. 세션 관리사용자가 세션 기록을 보고 관리하여 나중에 쉽게 참조하고 사용할 수 있습니다.