대규모 모델 구조화 데이터 출력 방법: 엄선된 LLM JSON 리소스 목록

이 선별된 목록은 대규모 언어 모델(LLM)을 사용하여 JSON 또는 기타 구조화된 출력을 생성하는 것과 관련된 리소스에 중점을 두고 있습니다.

함수 호출, 도구, CFG 등을 통해 LLM을 사용하여 JSON을 생성하는 리소스 목록으로 라이브러리, 모델, 노트북 등을 다룹니다.

디렉토리(컴퓨터 하드 드라이브에 있음)

• 명명법
• 호스팅 모델
• 로컬 모델
• Python 라이브러리
• 블로그 게시물
• 비디오
• 주피터 노트북
• 차트(베스트셀러)

명명법

JSON을 생성하는 데는 여러 가지 다른 이름이 있지만 기본적으로 의미는 동일합니다:

• 구조화된 출력특정 기술(예: 함수 호출, 부트스트랩 생성)에 관계없이 LLM을 사용하여 JSON, XML 또는 YAML을 포함한 모든 구조화된 출력을 생성할 수 있습니다.
• 함수 호출LLM에 가상(또는 실제) 함수 정의를 제공하여 채팅 또는 완료 응답에서 함수를 "호출"하도록 유도합니다. LLM은 실제로 함수를 호출하지 않고 JSON 메시지를 통해 호출의 의도만 표시합니다.
• JSON 모드공급업체에 따라 스키마가 지정되거나 지정되지 않을 수 있으며 LLM이 예기치 않은 스키마를 생성할 수도 있습니다.
• 도구 사용이미지 생성, 웹 검색 및 "함수 호출"과 같은 다양한 도구를 LLM에 제공합니다. 이제 API 요청의 함수 호출 인수를 "도구"라고 부릅니다.
• 프라이밍: LLM이 텍스트 생성을 위한 특정 사양을 따르도록 하려면, 예를 들면 다음과 같습니다. 문맥 독립적 문법.
• GPT 운영ChatGPT는 지정된 OpenAPI 사양 API 서버의 엔드포인트와 매개변수는 작업(즉, API 호출)을 호출하는 데 사용됩니다. '함수 호출'이라는 기능과 달리 이 기능은 API 서버에서 호스팅되는 함수를 호출합니다.

위의 각 용어는 다른 의미를 가질 수 있으므로 이 목록의 이름을 "선택된 LLM JSON"으로 지정했습니다.

호스팅 모델

병렬 함수 호출

아래는 다중 병렬 함수 호출을 지원하는 호스팅 API 모델 목록입니다. 이러한 호출에는 여러 도시의 날씨를 확인하거나 호텔 위치를 먼저 찾은 다음 해당 위치의 날씨를 확인하는 작업이 포함될 수 있습니다.

• 인류학적
  • claude-3-opus-20240229
  • claude-3-sonnet-20240229
  • claude-3-haiku-20240307
• Azure/오픈아이
  • GPT-4-터보-프리뷰
  • GPT-4-1106-프리뷰
  • GPT-4-0125-프리뷰
  • GPT-3.5-TURBO-1106
  • GPT-3.5-TURBO-0125
• 코히어
  • command-r
• together_ai
  • Mixtral-8x7B-Instruct-v0.1
  • Mistral-7B-Instruct-v0.1
  • CodeLlama-34b-Instruct

로컬 모델

미스트랄 7B 인스트럭트 v0.3 (2024-05-22, Apache 2.0)은 함수 호출 지원을 추가하는 미스트랄의 명령어를 미세 조정한 버전입니다.

C4AI 명령 R+ (2024-03-20, CC-BY-NC, Cohere)는 10개 언어로 추론, 요약 및 질문에 대한 답변에 최적화된 고급 검색 증강 생성(RAG) 및 도구 사용 기능을 갖춘 104B 매개변수 다국어 모델입니다. 사용 효율성을 높이기 위해 정량화가 지원되며 복잡한 작업 실행에서 고유한 다단계 도구 통합이 시연됩니다.

헤르메스 2 프로 - 미스트랄 7B (2024-03-13, Nous Research)는 함수 호출, JSON 구조화된 출력 및 일반 작업에 특화된 7B 파라메트릭 모델입니다. 특수 시스템 단서와 다중 라운드 구조를 사용하여 업데이트된 OpenHermes 2.5 데이터 세트와 새로운 함수 호출 데이터 세트를 기반으로 학습되었습니다. 함수 호출 및 JSON 모델 평가에서 각각 91% 및 84%의 정확도를 달성합니다.

고릴라 오픈 함수 v2 (2024-02-27, Apache 2.0 라이선스. 찰리 청지에 지 외.) JSON 스키마 객체를 기반으로 한 함수의 해석 및 실행, 여러 언어 지원 및 기능적 관련성 감지 기능.

NexusRaven-V2 (2023-12-05, Nexusflow)는 제로 샘플 함수 호출에서 GPT-4보다 최대 7% 성능이 뛰어난 13B 모델로, 소프트웨어 도구를 효율적으로 사용할 수 있습니다. CodeLlama-13B-instruct에 기반한 추가 명령어 미세 조정.

기능적 (2023-08-04, MeetKai) 다양한 계산 요구와 호출 유형을 지원하기 위해 JSON 스키마 객체 해석 및 함수 실행을 기반으로 합니다. JSON 생성 작업에서 함수 호출을 효율적으로 실행하기 위해 OpenAI-python 및 llama-cpp-python과 호환됩니다.

허깅 페이스 TGI 때문에여러 로컬 모델JSON 출력 및 함수 호출 지원이 활성화됩니다.

Python 라이브러리

DSPy (MIT)는 언어 모델(LM) 큐와 가중치를 알고리즘적으로 최적화하기 위한 프레임워크입니다.유형 예측자 및 서명이 시스템은 다음을 사용하여 사용하도록 설계되었습니다. Pydantic 입력 및 출력에 유형 제약 조건을 적용하여 문자열 기반 필드를 개선했습니다.

퍼즈 유형 (MIT)는 데이터 표준화를 강화하고 이메일, 날짜, 사용자 지정 엔티티와 같은 복잡한 유형을 처리하기 위해 주석 유형의 자동 수정 기능을 제공하는 Pydantic을 확장했습니다.

안내 (Apache-2.0)은 제약 조건 생성을 지원하고, 파이썬 로직과 LLM(대규모 언어 모델) 호출을 결합하며, 함수 재사용 및 외부 도구 호출을 지원하여 힌트를 최적화하여 더 빠르게 생성할 수 있습니다.

강사 (MIT)는 함수 호출, 도구 호출 및 제한된 샘플링 패턴을 사용하여 LLM을 위한 구조화된 데이터 생성을 간소화합니다. 유효성 검사는 Pydantic을 기반으로 하며 여러 LLM을 지원합니다.

LangChain (MIT)는 링크 포트, 다른 도구와의 통합 및 애플리케이션용 체인을 제공합니다.LangChain은 다음을 제공합니다.구조화된 출력 체인및 교차 모델함수 호출지원.

LiteLLM (MIT) OpenAI 형식의 100개 이상의 LLM 호출 간소화, 다음을 지원합니다.함수 호출다음은 도구 호출의 JSON 모드와 JSON 모드의 몇 가지 예입니다.

LlamaIndex (MIT)는 다양한 수준의 추상화를 제공합니다.구조화된 출력 모듈텍스트 완성 엔드포인트용 출력 파서, 구조화된 출력에 힌트를 매핑하는 출력 파서, 구조화된 출력에 힌트를 매핑하는 출력 파서를 포함한 피단틱 프로그램Pydantic 프로그램은 특정 유형의 출력을 위해 미리 정의된 프로그램입니다.

Marvin. (Apache-2.0)은 엔티티 추출 및 멀티모달 지원과 같은 자체 문서화 도구를 사용하여 신뢰할 수 있는 자연어 인터페이스를 구축하기 위한 경량 툴킷입니다.

개요 (Apache-2.0) 다양한 모델, Jinja 템플릿, 정규식 패턴, JSON 패턴, Pydantic 모델 및 문맥 독립적 문법 지원을 사용하여 구조화된 텍스트를 생성합니다.

Pydantic (MIT)는 데이터 모델, 유효성 검사, JSON 스키마 생성, 원활한 구문 분석 및 직렬화를 정의하여 데이터 구조와 JSON 사용을 간소화합니다.

SGLang (MPL-2.0)을 사용하면 정규식 또는 Pydantic 모델을 사용하여 JSON 패턴을 지정하여 제약된 디코딩을 할 수 있습니다. 고성능 런타임은 JSON 디코딩을 가속화합니다.

SynCode (MIT)는 대규모 언어 모델(LLM)의 문법 안내 생성을 위한 프레임워크입니다. Python, Go, Java, JSON, YAML 등을 위한 문맥 독립 문법(CFG)을 지원합니다.

미라스코프 (MIT)는 구조화된 추출을 지원하고 직관적인 Python API를 제공하는 LLM 툴킷입니다.

자기 (MIT) 파이썬에서 LLM을 세 줄의 코드로 호출합니다. Pydantic에서 제공하는 @prompt 데코레이터를 사용하여 구조화된 출력을 반환하는 LLM 함수를 생성하기만 하면 됩니다.

Formatron (MIT)는 효율적이고 확장 가능한 제약 조건 디코딩 라이브러리로, f-스트링 템플릿을 사용하여 언어 모델 출력 형식, 정규식, 문맥 독립 문법, JSON 스키마 및 Pydantic 모델을 제어할 수 있도록 지원하며, Formatron은 다양한 모델 추론 라이브러리와 원활하게 통합됩니다.

트랜스포머-cfg (MIT)는 트랜스포머 코드의 최소한의 변경으로 구문 제약 생성을 구현하고 JSON 모드 및 JSON 패턴을 지원하는 EBNF 인터페이스를 통해 컨텍스트 프리 문법(CFG) 지원을 허깅 페이스 트랜스포머로 확장합니다.

블로그 게시물

구문 구조는 얼마나 빨리 생성되나요? (2024-04-12, .txt 엔지니어링)는 문법적으로 올바른 텍스트를 생성하는 거의 제로 비용에 가까운 방법을 보여줍니다. C 구문에서는 다음보다 성능이 우수합니다. llama.cpp 최대 50회까지.

LLM 성능 향상을 위한 구조화된 생성: GSM8K 벤치마크 (2024-03-15, .txt 엔지니어링) 8개 모델에서 일관성 향상을 시연하며 '단서 일관성'과 '사고 제어'의 이점을 강조합니다.

LoRAX + 아웃라인: 구조화된 생성 및 LoRA를 통한 JSON 추출 향상 (2024-03-03, 프레디베이스 블로그) 개요 구조화된 생성, 미세 조정 및 LoRA 어댑터를 통해 추출 정확도와 패턴 무결성을 개선하려면 LoRAX v0.8과 결합하세요.

FU, 이해하기 어려운 LLM 프레임워크 팁을 간단히 살펴보세요. (2023-02-14, 하멜 후세인) 도구의 기능을 이해하고 필요성을 평가하기 위해 mitmproxy를 사용하여 API 호출을 가로채는 방법에 대한 실습 가이드를 제공합니다. 복잡성을 줄이고 기본 LLM과의 긴밀한 통합에 중점을 둡니다.

통합: 5배 더 빠른 LLM 추론 (2024-02-02, .txt 엔지니어링)에서는 비정형 생성보다 빠르지만 생성 품질에 영향을 줄 수 있는 구조화된 생성을 가속화하기 위해 "집계" 기술을 사용하는 방법을 시연했습니다.

Pydantic이 LLM에 필수적인 이유 (2024-01-19, 아담 아잠)는 JSON 스키마를 통해 데이터 모델을 공유하고 비정형 데이터와 정형 데이터 간의 추론을 가능하게 하는 핵심 도구로서 Pydantic의 등장에 대해 설명했습니다. 의사 결정 공간을 정량화하는 것의 중요성과 이전 스키마 버전에서 LLM 과적합의 잠재적 문제도 강조했습니다.

함수 호출 시작하기 (2024-01-11, Elvis Saravia) LLM을 외부 도구 및 API에 연결하기 위한 함수 호출을 소개하고, OpenAI API 사용 예시를 제공하며, 잠재적인 애플리케이션을 강조했습니다.

ChatGPT의 구조화된 데이터 지원의 한계를 뛰어넘다 (2023-12-21, 맥스 울프)에서는 유료 API, JSON 스키마 및 Pydantic을 최대한 활용하기 위한 사용법을 살펴봅니다. ChatGPT 기능의 방법. 출력 품질을 개선하는 기술과 구조화된 데이터 지원의 이점을 소개합니다.

왜 강사를 선택해야 하나요? (2023-11-18, Jason Liu) 읽기 쉬운 접근 방식, 부분 추출 및 다양한 유형 지원, 자체 수정 메커니즘을 제공하는 라이브러리의 강점에 대해 설명합니다. 추천합니다. 강사 사이트의 기타 리소스.

구문을 사용하여 llama.cpp의 출력 제한하기 (2023-09-06, Ian Maurer) 컨텍스트 독립 구문을 결합하여 특히 생물의학 데이터에 대한 llama.cpp의 출력 정확도를 향상시킵니다.

OpenAI 함수 및 Python 라이브러리를 사용한 데이터 추출 (2023-07-09, Simon Willison) 코드 예제와 스트림 제약 조건을 처리하기 위한 제안과 함께 OpenAI Python 라이브러리와 함수 호출을 통해 단일 API 호출로 구조화된 데이터를 추출하는 방법을 시연합니다.

비디오

(2024-04-09, Simon Willison)는 데이터세트 추출 플러그인이 GPT-4 Turbo의 API를 사용하여 비정형 텍스트와 이미지에서 데이터를 추출하고 데이터베이스 테이블을 채우는 방법을 보여 줍니다.

(2024-03-25, Andrej Baranovskij)는 Ollama, Instructor 및 스패로우 에이전트 .

(2024-03-18, 프롬프트 엔지니어)는 함수 호출과 구조화된 JSON 출력 생성에 탁월한 70억 개의 파라미터를 갖춘 모델인 Hermes 2 Pro를 발표했습니다. 함수 호출에서 90%, JSON 모드에서 84%의 정확도를 보여 다른 모델을 능가하는 성능을 보여주었습니다.

(2024-02-24, Sophia Yang)은 대규모 언어 모델을 외부 도구에 연결하고, 함수 인수를 생성하고, 함수를 실행하는 데모를 시연했습니다. 이를 더 확장하여 JSON 데이터를 생성하거나 조작할 수 있습니다.

(2024-02-13.매트 윌리엄스)는 모델에서 생성된 구조화된 출력이 함수를 파싱하고 호출하는 데 사용된다는 점을 명확히 합니다. 구현을 비교하여 다음과 같은 점을 강조합니다. Ollama 접근 방식은 더 간결하고 소수의 샘플 팁을 사용하여 일관성을 유지합니다.

(2024-02-12.제이슨 리우(수학.) 속가중치 및 편향성 프로그램)는 Pydantic을 사용하여 구조화된 JSON 출력, 함수 호출 및 유효성 검사를 처리하는 방법에 대한 간결한 강좌로, 강력한 파이프라인 구축과 효율적인 프로덕션 통합의 필수 사항을 다룹니다.

(2023-10-10.제이슨 리우(수학.) 속AI 엔지니어 컨퍼런스)에서는 구조화된 큐잉 및 출력 유효성 검사에서 Pydantic의 중요성에 대해 논의하고, Instructor 라이브러리를 소개하며, 안정적이고 유지 관리가 가능한 LLM 애플리케이션을 위한 고급 애플리케이션을 시연합니다.

주피터 노트북

llama-cpp-python 및 OpenAI Python 클라이언트를 사용한 함수 호출 교수자 라이브러리를 사용한 설정을 포함한 통합을 시연하고 날씨 정보 가져오기 및 사용자 세부 정보 추출의 예시를 제공합니다.

미스트랄 모델을 사용한 함수 호출 결제 거래 데이터 프레임과 관련된 간단한 예시를 통해 미스트랄 모델을 외부 도구에 연결하는 방법을 보여줍니다.

채팅GPT-구조화된 데이터 그대로 두세요(SB에게) 맥스 울프 를 통해 다양한 사용 사례와 데이터 구조를 다루는 ChatGPT의 함수 호출 및 구조화된 데이터 지원을 시연합니다.

차트(베스트셀러)

버클리 함수 호출 리더보드(BFCL) 는 단순, 다중 및 병렬 함수 호출과 함수 관련성 감지에 중점을 두고 Python, Java, JavaScript, SQL 및 REST API 등의 언어에 걸쳐 2000개 이상의 질문-함수-답변 쌍으로 구성된 LLM의 함수 호출 기능을 테스트하기 위한 평가 프레임워크입니다.