LiteLLM
免费LiteLLM 是一个兼容 OpenAI API 的多模型代理网关，支持接入 OpenAI、Anthropic、Azure 等 100+ LLM 提供商，具备负载均衡、费用追踪与权限管理功能。
0 次使用
English
访问网站
https://litellm.ai访问litellm
LiteLLMLiteLLM 是一个兼容 OpenAI API 的多模型代理网关，支持接入 OpenAI、Anthropic、Azure 等 100+ LLM 提供商，具备负载均衡、费用追踪与权限管理功能。https://litellm.aiWebApplication
0CNY
NovaTools
关于此工具
LiteLLM 是一个高度兼容 OpenAI API 格式的 LLM Gateway，专为平台团队和开发者设计，简化了对多家大模型提供商的接入与管理。它支持自动负载均衡、模型回退机制、费用归属与预算控制，可广泛部署在本地或云端，适用于快速迭代的企业级 GenAI 项目。\n\n通过 LiteLLM，开发者无需单独适配每一家模型服务商的接口，便可实现统一调用、实时费用追踪和精细权限管控。Netflix、Lemonade、RocketMoney 等公司已在生产环境中大规模使用，大幅降低了模型集成与运维成本。
工具截图
核心功能(5)
统一的 API 接入网关
使用 OpenAI 格式接口接入 100+ 大模型服务商，无需单独适配每家 API。
费用追踪与预算控制
支持用户、团队、组织等维度的消费归属与预算配置，并自动记录到 S3/GCS。
模型回退与负载均衡
提供自动回退机制和并发负载分发，保障高可用性与稳定性。
企业级功能支持
支持 JWT Auth、SSO、审计日志等企业安全与合规需求。
开源可自部署
提供免费开源版本，可部署在本地或私有云中，满足不同部署策略。
应用场景(3)
1
统一模型调用接口
通过 LiteLLM 一次集成，即可支持 OpenAI、Anthropic、Gemini 等多个 LLM 平台。
2
企业级大模型平台建设
支持权限管理、费用归属、日志审计，适合构建大规模企业内的 LLM 使用平台。
3
快速上线新模型
无需适配新模型接口，一旦支持即可立即上线使用，适用于高速迭代场景。
替代工具推荐
替代工具推荐
为您推荐功能相似或互补的AI工具，帮助您找到更适合的解决方案
免费
免费支持中文
