
LiteLLM
免费LiteLLM 是一个兼容 OpenAI API 的多模型代理网关,支持接入 OpenAI、Anthropic、Azure 等 100+ LLM 提供商,具备负载均衡、费用追踪与权限管理功能。
关于
工具截图


功能亮点
统一的 API 接入网关
使用 OpenAI 格式接口接入 100+ 大模型服务商,无需单独适配每家 API。
费用追踪与预算控制
支持用户、团队、组织等维度的消费归属与预算配置,并自动记录到 S3/GCS。
模型回退与负载均衡
提供自动回退机制和并发负载分发,保障高可用性与稳定性。
企业级功能支持
支持 JWT Auth、SSO、审计日志等企业安全与合规需求。
开源可自部署
提供免费开源版本,可部署在本地或私有云中,满足不同部署策略。
应用场景
统一模型调用接口
通过 LiteLLM 一次集成,即可支持 OpenAI、Anthropic、Gemini 等多个 LLM 平台。
企业级大模型平台建设
支持权限管理、费用归属、日志审计,适合构建大规模企业内的 LLM 使用平台。
快速上线新模型
无需适配新模型接口,一旦支持即可立即上线使用,适用于高速迭代场景。
相关工具推荐
相关工具推荐
为您推荐功能相似或互补的AI工具,帮助您找到更适合的解决方案