Promptfoo: 안전하고 신뢰할 수 있는 LLM 애플리케이션 테스트 도구 제공

765 0

일반 소개

promptfoo는 대규모 언어 모델(LLM) 애플리케이션 평가 및 레드팀 전용 오픈 소스 명령줄 도구 및 라이브러리입니다. 개발자에게 신뢰할 수 있는 프롬프트, 모델 및 검색 기반 생성(RAG)을 구축하고 자동화된 레드팀 테스트 및 침투 테스트를 통해 애플리케이션을 보호할 수 있는 완벽한 도구 세트를 제공합니다. promptfoo는 OpenAI, Anthropic, Azure, Google을 비롯한 광범위한 LLM API 제공업체를 지원합니다, 이 도구는 개발자가 테스트 중심 개발 접근 방식을 통해 언어 모델의 성능을 빠르게 반복하고 개선할 수 있도록 설계되어 사용자 지정 API도 통합할 수 있습니다.

기능 목록

자동화된 레드팀 테스트사용자 지정 스캔을 실행하여 보안, 법률 및 브랜드 위험을 감지합니다.
품질 평가사용 사례별 벤치마킹을 통해 신뢰할 수 있는 힌트와 모델을 구축하세요.
동시성 및 캐싱실시간 리로딩을 지원하여 평가 프로세스를 가속화합니다.
명령줄 인터페이스SDK, 클라우드 종속성 또는 로그인이 필요하지 않아 빠르게 시작할 수 있습니다.
오픈 소스 커뮤니티 지원프로덕션 환경의 수백만 사용자를 위한 활발한 오픈 소스 커뮤니티의 지원을 받습니다.
높은 수준의 취약성 및 위험 보고자세한 취약성 및 위험 보고서를 생성하여 개발자가 문제를 식별하고 수정하는 데 도움을 줍니다.
다국어 지원파이썬, 자바스크립트 및 기타 프로그래밍 언어 지원.
개인화된 운영모든 평가는 데이터 프라이버시를 보장하기 위해 로컬 컴퓨터에서 실행됩니다.

도움말 사용

설치 프로세스

명령줄 도구 설치::

   npm install -g promptfoo

초기화 프로젝트::

   npx promptfoo@latest init

테스트 케이스 구성열기promptfooconfig.yaml파일을 열고 테스트할 프롬프트와 변수를 추가합니다. 예시:

   targets:
- id: 'example'
config:
method: 'POST'
headers: 'Content-Type: application/json'
body:
userInput: '{{prompt}}'

사용 가이드라인

테스트 케이스 정의핵심 사용 사례와 실패 모드를 파악하고 이러한 시나리오를 나타내는 프롬프트와 테스트 사례 세트를 준비합니다.
구성 평가프롬프트, 테스트 케이스 및 API 공급자를 지정하여 평가를 설정합니다.
운영 평가명령줄 도구 또는 라이브러리를 사용하여 평가를 실행하고 각 프롬프트에 대한 모델 출력을 기록합니다.

   promptfoo evaluate

분석자동화 요구 사항을 설정하거나 구조화된 형식/웹 UI로 결과를 볼 수 있습니다. 이 결과를 사용하여 사용 사례에 가장 적합한 모델과 프롬프트를 선택하세요.
피드백 루프더 많은 사례와 사용자 피드백을 수집하면서 테스트 사례를 계속 확장하세요.

세부 운영 절차

레드 팀 테스트::
- 사용자 지정 검사를 실행하여 PII 유출, 안전하지 않은 도구 사용, 세션 간 데이터 유출, 직간접적인 프롬프트 삽입 등과 같은 일반적인 보안 취약점을 탐지하세요.
- 다음 명령을 사용하여 레드팀 테스트를 시작하세요: bash npx promptfoo@latest redteam init
품질 평가::
- 사용 사례별 벤치마킹을 통해 신뢰할 수 있는 팁과 모델을 구축하세요.
- 다음 명령을 사용하여 품질 평가를 실행합니다: bash promptfoo evaluate --config promptfooconfig.yaml