litellm｜统一调用百余家大模型的AI网关与Python开发库

它解决什么问题

团队接入大模型时，常见麻烦是每家厂商的SDK、鉴权方式、请求格式和报错类型都不一样，换一个模型就要改一遍代码，多人共用时还难以统计花费和控制权限。LiteLLM 把这些差异收拢到一个统一接口后面，让同一段代码在多家模型之间切换。

需要注意它的定位：它既是Python 开发库（装进项目里通过 import 使用），也是一套可自托管的 AI 网关（代理服务）。它不是桌面软件，普通用户不能双击打开就用，需要开发者做配置和部署。

适合谁

• 需要在多个模型厂商之间比较效果、做灾备切换的研发团队；
• 希望团队共用一个入口、统一管理密钥和额度的工程组织；
• 想把本地部署模型与云端API模型放在同一套调用方式下的开发者。

主要能力

• 统一调用：以 OpenAI 格式调用上百家提供商，官方列出覆盖对话、响应、向量、图像、音频、批处理、重排等接口。
• 自动路由：可根据提示词的复杂度，把简单请求分给小模型、复杂请求分给更强的模型。
• 代理网关：提供虚拟密钥、花费追踪、防护规则、负载均衡和管理面板等面向团队的功能。
• 多协议接入：支持接入 MCP 工具服务与 A2A 智能体，并可在网关中把智能体或工具暴露给上层应用。
• 智能体外壳：提供在指定模型上运行 Claude Code、Codex、OpenCode 等命令行智能体的接口，调用可回落到自建网关统计。

输入与输出

输入是标准的对话消息列表、模型名和可选的工具定义；输出是符合 OpenAI 格式的响应对象，包含生成内容和用量信息。走网关时，以上请求通过 HTTP 接口发出，返回结构保持一致。

获取与起步思路

官方文档给出两类路径：一是作为 Python 库安装后在代码中直接调用；二是作为代理服务启动，再用任意兼容 OpenAI 的客户端指向本地地址。仓库还提供了云平台一键部署与容器化部署入口。

一个典型的试点任务：先在测试环境选两三个提供商的同档模型，用同一批提示词跑对比，记录响应质量与花费；确认后再把线上调用收敛到网关，按团队分配虚拟密钥。

运行环境与限制

• 环境：库形态需要 Python 环境；网关形态通常以服务方式运行，官方提供了容器与云平台部署方案。具体版本要求和最低资源配置以官方文档为准，此处待核查。
• GPU：本身不承担推理，模型算力由你选择的提供商或自建推理服务承担。
• API 与费用：调用各厂商模型需自备对应 API 密钥，并按各厂商定价付费；企业版另有商业授权与支持，价格待核查。
• 国内访问：官方资料未说明国内网络可用性，待核查；是否支持国内模型厂商同样需以官方提供商列表为准。
• 隐私：网关会经手请求内容与密钥，自托管时可自行掌控，但日志与花费追踪会产生数据留存，需按团队合规要求配置。
• 许可证：仓库中 enterprise 目录适用商业许可，其余内容为 MIT；两者分别核对，不能简单整体称为 MIT。

官方未提供统一的实测性能结论（README 中引用的延迟数据来自其基准页面），本站未做独立测试。

来源与使用边界

官方仓库：https://github.com/BerriAI/litellm

资料版本：https://github.com/BerriAI/litellm/blob/f85aa27c162c8f60747c95c5c1efeb826cbe6b0d/README.md

维护方：BerriAI/litellm；采集日期：2026-11-13。依据官方资料经AI整理，本站未安装、运行或实测。

许可标识：NOASSERTION，具体范围以原始许可文件为准；代码、模型权重、依赖及在线服务适用各自条款。开源不代表模型调用、托管或商业服务免费。国内访问、硬件及模型适配条件未经本站验证。