GPT4All: CPU 런타임을 지원하는 대규모 언어 모델 클라이언트로, 현지화 및 데이터 보안에 중점을 둡니다.
GPT4일반 소개
GPT-4All은 사용자가 로컬 디바이스에서 대규모 언어 모델(LLM)을 실행할 수 있도록 하기 위해 Nomic에서 개발한 오픈 소스 프로젝트입니다. 개인 정보 보호에 중점을 둔 이 프로젝트는 인터넷 연결 없이도 사용할 수 있으며 개인 및 비즈니스 사용자 모두에게 적합하며, Mac M 시리즈 칩, AMD 및 NVIDIA GPU를 포함한 다양한 하드웨어를 지원하며 데스크톱과 노트북 컴퓨터에서 모두 쉽게 실행할 수 있습니다. 또한 이 프로젝트는 풍부한 오픈 소스 모델과 커뮤니티 지원을 제공하여 사용자가 필요에 따라 챗봇 환경을 맞춤화할 수 있습니다.
GPT4All은 소비자 CPU 및 모든 GPU에서 기본적으로 실행되는 강력하고 사용자 정의된 대규모 언어 모델을 실행하기 위한 에코시스템입니다. 사용 중인 CPU가 AVX 또는 AVX2 명령어를 지원해야 한다는 점에 유의하세요.
GPT4All 모델은 3GB~8GB 파일로 다운로드하여 GPT4All 오픈 소스 에코시스템 소프트웨어에 삽입할 수 있으며, Nomic AI는 이 소프트웨어 에코시스템을 지원 및 유지 관리하여 품질과 보안을 보장하고 모든 개인 또는 조직이 자체 에지 대규모 언어 모델을 쉽게 학습 및 배포할 수 있도록 앞장서고 있습니다.
GPU나 인터넷 연결이 필요하지 않으며 M1 Mac에서 실시간 추론 대기 시간이 가능합니다.
특성화
채팅은 비공개로 진행되며 기기를 떠나지 않습니다!
GPT4All은 개인 정보 보호와 보안을 최우선으로 생각합니다. LLM을 사용하여 기기를 벗어나지 않는 민감한 로컬 데이터를 처리하세요.
소비자 하드웨어에서 언어 모델 실행
GPT4All을 사용하면 CPU와 GPU 모두에서 LLM을 실행할 수 있으며, Mac M 시리즈 칩, AMD 및 NVIDIA GPU를 완벽하게 지원합니다.
로컬 파일로 채팅하기
로컬 문서 관리자에게 개인 정보 및 민감한 정보에 대한 액세스 권한을 부여하려면 로컬 문서를 사용하세요. 인터넷 없이도 작동하며 데이터가 디바이스를 떠나지 않습니다.
1000개 이상의 오픈 소스 언어 모델 살펴보기
GPT4All은 LLaMa, 미스트랄, 누스-에르메스 및 기타 수백 개의 인기 모델을 지원합니다.
기능 목록
- 로컬 운영인터넷에 연결하지 않고 로컬 장치에서 LLM을 실행합니다.
- 개인정보 보호모든 데이터는 사용자 개인정보 보호를 위해 로컬에 저장됩니다.
- 여러 하드웨어 지원Mac M 시리즈 칩, AMD 및 NVIDIA GPU와 호환됩니다.
- 오픈 소스 커뮤니티풍부한 오픈 소스 모델 및 커뮤니티 지원.
- 사용자 지정사용자는 챗봇의 시스템 프롬프트, 온도, 컨텍스트 길이 및 기타 매개변수를 사용자 지정할 수 있습니다.
- 엔터프라이즈 에디션대규모 배포를 위한 엔터프라이즈급 지원 및 기능을 제공합니다.
도움말 사용
설치 프로세스
- 애플리케이션 다운로드::
- 인터뷰 노믹 공식 웹사이트 Windows, macOS 또는 Ubuntu용 설치 패키지를 다운로드하세요.
- Windows 및 Linux 사용자는 장치에 인텔 코어 i3 2세대 / AMD 불도저 이상의 프로세서가 장착되어 있는지 확인해야 합니다.
- macOS 사용자는 Apple Silicon M 시리즈 프로세서에서 가장 잘 작동하는 Monterey 12.6 이상을 실행해야 합니다.
- 애플리케이션 설치::
- Windows 사용자: 다운로드한 설치 패키지를 실행하고 지시에 따라 설치를 완료합니다.
- macOS 사용자: 다운로드한 애플리케이션을 애플리케이션 폴더로 드래그합니다.
- 우분투 사용자: 명령줄을 사용하여 다운로드한 패키지 파일을 설치합니다.
- 애플리케이션 실행::
- 설치가 완료되면 GPT-4All 애플리케이션을 열고 초기 설정을 위한 지시를 따릅니다.
사용 가이드라인
- 로컬 모델 실행::
- 애플리케이션을 연 후 원하는 언어 모델을 선택하여 다운로드하고 로드합니다.
- LLaMa, 미스트랄, 누스 에르메스 등 다양한 모델이 지원됩니다.
- 맞춤형 챗봇::
- 설정에서 시스템 알림, 온도, 컨텍스트 길이 등의 매개변수를 조정하여 채팅 환경을 최적화할 수 있습니다.
- 로컬 문서 기능을 사용하면 로컬 LLM이 인터넷 연결 없이도 개인 데이터에 액세스할 수 있습니다.
- 엔터프라이즈 에디션 기능::
- 비즈니스 사용자는 Nomic에 문의하여 엔터프라이즈 에디션 라이선스를 신청하면 추가 지원과 기능을 이용할 수 있습니다.
- 엔터프라이즈 에디션은 대규모 배포에 적합하며 향상된 보안 및 지원을 제공합니다.
- 커뮤니티 지원::
- GPT-4All 커뮤니티에 가입하여 토론에 참여하고 코드를 기여하세요.
- 인터뷰 GitHub 리포지토리 최신 업데이트와 문서를 확인하세요.
일반적인 문제
- 데이터 프라이버시를 어떻게 보장하나요? GPT-4모든 데이터는 기기에 로컬로 저장되므로 사용자 개인정보가 침해되지 않습니다.
- 인터넷 연결이 필요한가요? 아니요. GPT-4All은 로컬 장치에서 완전히 오프라인으로 실행할 수 있습니다.
- 어떤 하드웨어가 지원되나요? Mac M 시리즈 칩, AMD 및 NVIDIA GPU, 일반 데스크톱 및 노트북 컴퓨터를 지원합니다.
GPT4모든 모델 벤치마킹
| 모델 | BoolQ | PIQA | HellaSwag | WinoGrande | ARC-e | ARC-c | OBQA | 평균 |
|---|---|---|---|---|---|---|---|---|
| GPT4All-J 6B v1.0 | 73.4 | 74.8 | 63.4 | 64.7 | 54.9 | 36 | 40.2 | 58.2 |
| GPT4All-J v1.1-breezy | 74 | 75.1 | 63.2 | 63.6 | 55.4 | 34.9 | 38.4 | 57.8 |
| GPT4All-J v1.2-재즈 | 74.8 | 74.9 | 63.6 | 63.8 | 56.6 | 35.3 | 41 | 58.6 |
| GPT4All-J v1.3-groovy | 73.6 | 74.3 | 63.8 | 63.5 | 57.7 | 35 | 38.8 | 58.1 |
| GPT4All-J Lora 6B | 68.6 | 75.8 | 66.2 | 63.5 | 56.4 | 35.7 | 40.2 | 58.1 |
| GPT4올라마 로라 7B | 73.1 | 77.6 | 72.1 | 67.8 | 51.1 | 40.4 | 40.2 | 60.3 |
| GPT4All 13B 스누지 | 83.3 | 79.2 | 75 | 71.3 | 60.9 | 44.2 | 43.4 | 65.3 |
| GPT4올팔콘 | 77.6 | 79.8 | 74.9 | 70.1 | 67.9 | 43.4 | 42.6 | 65.2 |
| Nous-Hermes | 79.5 | 78.9 | 80 | 71.9 | 74.2 | 50.9 | 46.4 | 68.8 |
| Nous-Hermes2 | 83.9 | 80.7 | 80.1 | 71.3 | 75.7 | 52.1 | 46.2 | 70.0 |
| 누스 퍼핀 | 81.5 | 80.7 | 80.4 | 72.5 | 77.6 | 50.7 | 45.6 | 69.9 |
| 돌리 6B | 68.8 | 77.3 | 67.6 | 63.9 | 62.9 | 38.7 | 41.2 | 60.1 |
| 돌리 12B | 56.7 | 75.4 | 71 | 62.2 | 64.6 | 38.5 | 40.4 | 58.4 |
| 알파카 7B | 73.9 | 77.2 | 73.9 | 66.1 | 59.8 | 43.3 | 43.4 | 62.5 |
| 알파카 로라 7B | 74.3 | 79.3 | 74 | 68.8 | 56.6 | 43.9 | 42.6 | 62.8 |
| GPT-J 6.7B | 65.4 | 76.2 | 66.2 | 64.1 | 62.2 | 36.6 | 38.2 | 58.4 |
| LLama 7B | 73.1 | 77.4 | 73 | 66.9 | 52.5 | 41.4 | 42.4 | 61.0 |
| LLama 13B | 68.5 | 79.1 | 76.2 | 70.1 | 60 | 44.6 | 42.2 | 63.0 |
| Pythia 6.7B | 63.5 | 76.3 | 64 | 61.1 | 61.3 | 35.2 | 37.2 | 56.9 |
| Pythia 12B | 67.7 | 76.6 | 67.3 | 63.8 | 63.9 | 34.8 | 38 | 58.9 |
| Fastchat T5 | 81.5 | 64.6 | 46.3 | 61.8 | 49.3 | 33.3 | 39.4 | 53.7 |
| Fastchat 비쿠냐 7B | 76.6 | 77.2 | 70.7 | 67.3 | 53.5 | 41.2 | 40.8 | 61.0 |
| Fastchat 비쿠냐 13B | 81.5 | 76.8 | 73.3 | 66.7 | 57.4 | 42.7 | 43.6 | 63.1 |
| 스테이블비쿠냐 RLHF | 82.3 | 78.6 | 74.1 | 70.9 | 61 | 43.5 | 44.4 | 65.0 |
| StableLM 조정 | 62.5 | 71.2 | 53.6 | 54.8 | 52.4 | 31.1 | 33.4 | 51.3 |
| StableLM Base | 60.1 | 67.4 | 41.2 | 50.1 | 44.9 | 27 | 32 | 46.1 |
| 코알라 13B | 76.5 | 77.9 | 72.6 | 68.8 | 54.3 | 41 | 42.8 | 62.0 |
| 오픈 어시스턴트 파이시아 12B | 67.9 | 78 | 68.1 | 65 | 64.2 | 40.4 | 43.2 | 61.0 |
| 모자이크 MPT7B | 74.8 | 79.3 | 76.3 | 68.6 | 70 | 42.2 | 42.6 | 64.8 |
| 모자이크 mpt-instruct | 74.3 | 80.4 | 77.2 | 67.8 | 72.2 | 44.6 | 43 | 65.6 |
| 모자이크 mpt-chat | 77.1 | 78.2 | 74.5 | 67.5 | 69.4 | 43.3 | 44.2 | 64.9 |
| 마법사 7B | 78.4 | 77.2 | 69.9 | 66.5 | 56.8 | 40.5 | 42.6 | 61.7 |
| 마법사 7B 무수정 | 77.7 | 74.2 | 68 | 65.2 | 53.5 | 38.7 | 41.6 | 59.8 |
| 마법사 13B 무수정 | 78.4 | 75.5 | 72.1 | 69.5 | 57.5 | 40.4 | 44 | 62.5 |
| GPT4-x-Vicuna-13b | 81.3 | 75 | 75.2 | 65 | 58.7 | 43.9 | 43.6 | 63.2 |
| Falcon 7b | 73.6 | 80.7 | 76.3 | 67.3 | 71 | 43.3 | 44.4 | 65.2 |
| Falcon 7b 지시 | 70.9 | 78.6 | 69.8 | 66.7 | 67.9 | 42.7 | 41.2 | 62.5 |
| text-davinci-003 | 88.1 | 83.8 | 83.4 | 75.8 | 83.9 | 63.9 | 51 | 75.7 |
© 저작권 정책
이 글은 저작권이 있으며 무단으로 복제해서는 안 됩니다.
관련 문서
댓글 없음...
한국어 
简体中文 
English 
日本語 
Español 
Deutsch 
Français 
Português do Brasil