APIPark 是一个开源的一体化LLM网关,能够在生产环境中实现细粒度的可视化LLM管理,确保更安全、更稳定的LLM调用。
APIPark 是一个开源平台,旨在管理和优化生产环境中大型语言模型(LLMs)的使用。它提供了细粒度的可视化LLM管理工具,确保每次LLM调用都更安全、更稳定。该平台支持超过200种LLM,并提供负载均衡、流量控制和语义缓存等功能,以增强系统的响应速度和可靠性。APIPark 还包括灵活的提示管理、用于隐私保护的数据脱敏,以及构建自定义开发者门户以进行API共享和协作的能力。