LiteLLM AI 网关
LiteLLM 是开源 AI 网关与 Python SDK，用统一的 OpenAI 格式调用 100+ 家 LLM 服务，内置成本追踪、虚拟密钥、限流、负载均衡、护栏与日志，可自托管部署为团队级代理服务。
过去 7 天收获 8 颗 Star
爱鲜报评分
0 人评分
62k
星数
否
中文
Python
主语言
是
活跃
1892
贡献者
人工分析
EDITORIAL推荐理由
它把各家大模型 SDK、鉴权与请求格式的差异统一收敛到 OpenAI 接口，切换模型几乎不用改代码，非常适合需要多模型混用的团队。作为自托管网关，它自带虚拟密钥、预算与花费统计、负载均衡和日志，能直接承担生产环境的模型调用入口。项目星数超 6 万、生态成熟，文档与部署模板齐全，落地成本低。
适用场景
- 多模型统一接入与切换
- 团队级 LLM 调用代理与密钥管理
- 按项目/用户做成本与预算追踪
- 模型限流、重试与负载均衡
- 为 Agent 或应用提供统一模型入口
优点
- 统一 OpenAI 格式，兼容 100+ 模型提供商
- 同时提供 Python SDK 与可自托管网关两种用法
- 内置虚拟密钥、花费统计、护栏与日志
- 支持负载均衡、回退与限流，适合生产环境
- 社区活跃、文档完善，提供多种一键部署方式
缺点
- 功能面广，配置项多，初次上手需要理解代理与路由概念
- 网关部署后成为关键链路，需自行保障高可用与升级
- 部分企业级能力需配合商业版本或额外配置
- 版本迭代较快，升级时需关注兼容性变化
LiteLLM 是什么
LiteLLM 是一个开源 AI 网关（AI Gateway），为 100+ 家 LLM 提供商提供统一调用入口。你只需使用 OpenAI 风格的请求格式，就能调用 OpenAI、Anthropic、Gemini、Bedrock、Azure、VertexAI、vLLM 等模型服务，无需为每家厂商分别对接 SDK、鉴权和错误处理。
它有两种使用形态：
- Python SDK：在代码中直接
import litellm，以函数调用方式访问各家模型。 - AI Gateway（Proxy Server）：部署成集中式服务，团队内所有应用通过一个地址访问模型。
核心能力
统一的多模型调用
同一套接口覆盖 /chat/completions、/embeddings、/images、/audio、/rerank 等端点，切换提供商只需改模型名前缀。
from litellm import completion
response = completion(
model="anthropic/claude-sonnet-4-20250514",
messages=[{"role": "user", "content": "你好"}],
)
网关侧的生产能力
以代理服务方式运行时，LiteLLM 提供：
- 虚拟密钥与按用户/项目的权限管理
- 花费与预算追踪
- 限流、重试、负载均衡与模型回退
- 护栏（guardrails）与请求日志
- 管理后台面板
客户端只需把 base_url 指向网关地址，即可像调用 OpenAI 一样调用任意后端模型。
Agent 与协议支持
除模型调用外，还支持通过 A2A 协议调用 LangGraph、Vertex AI Agent Engine、Bedrock AgentCore 等 Agent 服务，便于把 Agent 纳入统一网关管理。
适用与注意事项
LiteLLM 适合需要多模型混用、统一计费与治理的团队。由于配置项较多，建议先用 SDK 快速验证，再逐步引入网关的密钥、预算与路由策略。网关处于调用关键链路，生产部署时应关注高可用、监控与版本升级的兼容性。
参考
- 官方文档：https://docs.litellm.ai/docs/
- 代理服务快速开始：https://docs.litellm.ai/docs/simple_proxy
- 支持的提供商列表：https://docs.litellm.ai/docs/providers
评论
- 暂无评论，来写第一条吧。