LiteLLM

LiteLLM 是一个高度兼容 OpenAI API 格式的 LLM Gateway，专为平台团队和开发者设计，简化了对多家大模型提供商的接入与管理。它支持自动负载均衡、模型回退机制、费用归属与预算控制，可广泛部署在本地或云端，适用于快速迭代的企业级 GenAI 项目。\n\n通过 LiteLLM，开发者无需单独适配每一家模型服务商的接口，便可实现统一调用、实时费用追踪和精细权限管控。Netflix、Lemonade、RocketMoney 等公司已在生产环境中大规模使用，大幅降低了模型集成与运维成本。