自动重试

此功能适用于所有 Portkey 计划。

LLM APIs 经常会出现无法解释的故障。使用 Portkey，您可以通过内置的自动重试功能挽救大量请求。

• 自动重试最多触发 5 次

• 重试也可以仅在 特定错误代码 上触发

• 每次后续重试尝试遵循 指数退避策略 以防止网络过载

启用重试

要启用重试，只需将 retry 参数添加到您的 config object 中。

重试 5 次

{
    "retry": {
        "attempts": 5
    },
    "virtual_key": "virtual-key-xxx"
}

仅在特定错误代码上重试

默认情况下，Portkey 会在以下错误代码上触发重试：[429, 500, 502, 503, 504]

您可以通过在重试配置中设置可选的 on_status_codes 参数来更改此行为，并手动输入将触发重试的错误代码。

{
  "retry": {
    "attempts": 3,
    "on_status_codes": [ 408, 429, 401 ]
  },
  "virtual_key": "virtual-key-xxx"
}

如果存在 on_status_codes 参数，则重试将 仅 在该配置中指定的错误代码上触发，而不会在 Portkey 的默认重试错误代码上触发（即 [429, 500, 502, 503, 504]）

指数退避策略

以下是 Portkey 如何触发重试以遵循指数退避的方式：

尝试	请求之间的超时
初始调用	立即
重试第一次尝试	1 秒
重试第二次尝试	2 秒
重试第三次尝试	4 秒
重试第四次尝试	8 秒
重试第五次尝试	16 秒