AI 网关

Portkey 提供了世界上最快的多模态 AI 网关，使得与多个 LLM 提供商以及不同模态的工作变得非常简单。该网关提供了提高您应用程序的可靠性、成本效率和准确性的功能。

功能

通用 API

使用任何支持的模型与通用 API（REST 和 SDK）

缓存（简单和语义）

通过使用缓存来节省成本并减少延迟

回退

在提供商和模型之间回退以增强韧性

多模态

使用视觉、音频、图像生成等模型

自动重试

设置自动重试策略

负载均衡

在各种 API 密钥之间负载均衡以应对速率限制

金丝雀测试

金丝雀测试新模型在生产中

保险库

在安全的保险库中管理 AI 提供商密钥

请求超时

轻松处理无响应的 LLM 请求

使用网关

各种网关策略是通过网关配置实现的。您可以在下面阅读有关配置的更多信息。

开源

我们已将经过实战检验的 AI 网关开源给社区。您可以通过一个命令在本地运行它：

在这里贡献。