架构
概述
企业版 Portkey 最佳部署在混合云架构中，AI 网关托管在客户的 VPC 中，管理来自客户应用程序到各自 LLM 的所有流量。附加的缓存管理密钥、访问控制、路由规则、保护措施以及所有其他流量管理。
托管在 Portkey VPC 中的控制平面提供控制面板 UI，帮助您控制数据平面，包括用户、提示模板、虚拟密钥、访问管理和配置，同时提供关键的可观察性信息，如日志和分析。
该架构包括：
数据平面（在客户 VPC 中）：托管 AI 网关，附加缓存，并可选地提供日志存储。
控制平面（在 Portkey VPC 中）：托管控制面板 UI、指标存储、事务数据库，并可选地提供日志存储。
控制平面中存储的所有指标、日志、提示模板和其他数据都是加密的，并存储在隔离的数据分片中。客户可以选择从 KMS 提供自己的加密密钥。Portkey 连接到 AWS KMS，并在控制平面中提供封装加密。
控制平面的角色
控制平面消除了托管和管理 AI 网关各个组件的麻烦，同时保持最高水平的可用性和灵活性。Portkey 控制平面负责
提示管理、版本控制和部署
有效聚合网关流量的指标
带有高级过滤器、元数据和反馈的日志和分析查看 UI
组织和团队管理，包括角色和权限
网关的配置管理和版本控制
以及更多
而客户无需在内部管理所有这些系统。私有部署的 AI 网关可以无缝同步和解密来自控制平面的信息，从而确保所有数据和流量都保留在客户的云中。
维护控制平面中的事务数据库至关重要，原因有几个：
持续更新和灵活性： 我们的 UI 和后端需要不断更新，以跟上新模型和提供者。通过控制事务数据库，我们可以迅速实施这些变化，而无需依赖个别部署。这确保我们的客户始终能够访问最新的功能和集成。
及时调整模型定价和配置： 模型定价、配置和参数经常变化，需要及时更新以维持最佳性能和成本效益。将事务数据库放在控制平面中使我们能够无缝推出这些更新，通常每周多次，确保用户体验的顺畅和连续。
客户云与 Portkey 云之间的数据流
AI 网关将发送匿名请求指标到分析存储。这包含了诸如使用的模型、提示 ID、使用的配置、令牌、成本、请求时间等信息，这些信息随后在 Portkey 的分析仪表板上可用。发送的示例数据。
AI 网关通过心跳与控制平面保持同步，每 30 秒更新缓存存储。提示更新、配置更新、虚拟密钥和 API 密钥的数据被提取、解密并存储在网关的缓存中。
在任何 LLM 调用期间，AI 网关直接利用存储在缓存中的数据。
如果日志存储在客户云中：当客户在仪表板上查看日志时，Portkey 的 UI 将调用 AI 网关通过 ID 获取日志。如果日志存储在 Portkey 云中：AI 网关将加密并发送日志以存储在 Portkey 日志存储中。在这种情况下，Portkey 不需要与客户云建立入站连接。示例日志数据
新功能和补丁管理
Portkey能够自动将较新功能推出到客户的部署中，适用于大多数功能。对于任何涉及AI Gateway更改的内容，新版本和补丁将通过容器注册表提供。
示例文件
Last updated