LiteLLM：统一调用多种大模型API的Python SDK，多平台LLM调用与管理工具

일반 소개

LiteLLM是一个由BerriAI开发的Python SDK和代理服务器，旨在简化和统一对多种大型语言模型（LLM）API的调用和管理。它支持超过100种大模型API，包括OpenAI、HuggingFace、Azure等，统一转换成OpenAI格式，方便开发者在不同AI服务之间切换和管理。并提供了稳定的 Docker 镜像和详细的迁移指南。LiteLLM 通过代理服务器和 Python SDK，允许用户以 OpenAI 格式调用超过 100 种 LLM API，极大地提升了开发效率和灵活性。

1. 创建密钥

2. 添加模型

3. 跟踪支出

4. 配置负载均衡

기능 목록

• 멀티 플랫폼 지원：支持 OpenAI、Cohere、Anthropic 等多个 LLM 提供商。支持超过100种大模型API的调用。
• 稳定版本：提供经过 12 小时负载测试的稳定 Docker 镜像。支持设置预算和请求频率限制。
• 代理服务器：通过代理服务器统一调用多种 LLM API，统一转换API格式为OpenAI格式。
• Python SDK：提供 Python SDK，简化开发流程。
• 流式响应：支持流式返回模型响应，提升用户体验。
• 回调功能：支持多种回调，便于日志记录和监控。

도움말 사용

설치 및 설정

1. Docker 설치：确保系统已安装 Docker。
2. 거울 당기기사용 docker pull 命令拉取 LiteLLM 的稳定镜像。
3. 启动代理服务器::

   cd litellm
   echo 'LITELLM_MASTER_KEY="sk-1234"' > .env
   echo 'LITELLM_SALT_KEY="sk-1234"' > .env
   source .env
   poetry run pytest .
   

4. 클라이언트 구성：在代码中设置代理服务器地址和 API 密钥。

   import openai
   client = openai.OpenAI(api_key="your_api_key", base_url="http://0.0.0.0:4000")
   response = client.chat.completions.create(model="gpt-3.5-turbo", messages=[{"role": "user", "content": "Hello, how are you?"}])
   print(response)
   

使用功能

1. 调用模型통해 model=<provider_name>/<model_name> 调用不同提供商的模型。
2. 流式响应：设置 stream=True 获取流式响应。

   response = await acompletion(model="gpt-3.5-turbo", messages=messages, stream=True)
   for part in response:
   print(part.choices.delta.content or "")
   

3. 设置回调：配置回调函数以记录输入输出。

   litellm.success_callback = ["lunary", "langfuse", "athina", "helicone"]