
LiteLLM 是一个兼容 OpenAI API 的多模型代理网关,支持接入 OpenAI、Anthropic、Azure 等 100+ LLM 提供商,具备负载均衡、费用追踪与权限管理功能。
使用 OpenAI 格式接口接入 100+ 大模型服务商,无需单独适配每家 API。
支持用户、团队、组织等维度的消费归属与预算配置,并自动记录到 S3/GCS。
提供自动回退机制和并发负载分发,保障高可用性与稳定性。
支持 JWT Auth、SSO、审计日志等企业安全与合规需求。
提供免费开源版本,可部署在本地或私有云中,满足不同部署策略。
通过 LiteLLM 一次集成,即可支持 OpenAI、Anthropic、Gemini 等多个 LLM 平台。
支持权限管理、费用归属、日志审计,适合构建大规模企业内的 LLM 使用平台。
无需适配新模型接口,一旦支持即可立即上线使用,适用于高速迭代场景。
为您推荐功能相似或互补的AI工具,帮助您找到更适合的解决方案
推荐理由:同类型工具,定价模式相近