金丝雀测试

此功能在所有 Portkey 计划 中均可用。

您可以使用 Portkey 的 AI 网关在不同环境中进行金丝雀测试新的模型或提示。这使用与 负载均衡 相同的技术，但旨在实现不同的结果。

示例：在5%的流量上测试Llama2

让我们举一个例子，假设我们想通过Anyscale在我们的系统中引入Llama2，但我们不确定其影响。我们可以为这个用例创建一个特定的配置来在生产环境中测试Llama2。

配置对象看起来像这样

{
  "strategy": {
      "mode": "loadbalance"
  },
  "targets": [
    {
      "virtual_key": "openai-virtual-key",
      "weight": 0.95
    },
    {
      "virtual_key": "anyscale-virtual-key",
      "weight": 0.05,
      "override_params": {
          "model": "meta-llama/Llama-2-70b-chat-hf"
    }
  ]
}

在这里，我们告诉网关将5%的流量发送到Anyscale托管的Llama2-70b模型。Portkey处理所有请求转换，以确保您无需更改代码。

您现在可以在请求中像这样使用这个配置。

一旦数据开始流入，我们可以使用Portkey的分析仪表板来查看新模型对成本、延迟、错误和反馈的影响。