Promptfoo

promptfoo 是一个开源库（和 CLI），用于评估 LLM 输出质量。

Portkey 为您的 Promptfoo 项目带来了先进的 AI 网关 功能、全栈 可观察性 和 提示管理 + 版本控制。本文档提供了如何利用这两个平台的优势来简化您的 AI 开发工作流程的概述。

使用 Portkey 与 Promptfoo，您可以：

1. 使用 Portkey 管理、版本控制和协作各种提示，并轻松在 Promptfoo 中调用它们

2. 在 200 多个 LLM 上运行 Promptfoo，包括本地或私有托管的 LLM

3. 记录所有请求，根据需要使用自定义元数据对其进行分段，并获取所有 Promptfoo 运行的详细成本和性能指标

4. 避免 Promptfoo 速率限制并利用缓存

让我们看看这些是如何工作的！

---

1. 来自 Portkey 的 Promptfoo 参考提示

1. 在你的 Promptfoo 项目中设置 PORTKEY_API_KEY 环境变量

2. 在你的配置 YAML 中，使用 portkey:// 前缀来标识你的提示，后面接上你的 Portkey 提示 ID。

例如：

prompts:
  - portkey://pp-test-promp-669f48

providers:
  - openai:gpt-3.5-turbo-0613

tests:
  - vars:
      topic: ...

来自你 Promptfoo 测试用例的变量将自动插入到 Portkey 提示中作为变量。生成的提示将被渲染并返回给 promptfoo，并用作测试用例的提示。

注意，promptfoo 不会遵循在 Portkey 中设置的温度、模型和其他参数。你必须在提供者配置中自行设置这些参数。

---

2. 路径到 Anthropic、Google、Groq 等

1. 设置 PORTKEY_API_KEY 环境变量

2. 在配置 YAML 中添加提供者时，使用 portkey 前缀设置模型名称（如 portkey:gpt-4o）

3. 在 config 参数中，为上述选择的模型设置相关提供者为 portkeyProvider（如 portkeyProvider:openai）

例如，调用 OpenAI

providers:
  id: portkey:gpt-4o
  config:
    portkeyProvider: openai

就这样！通过这个，您所有的 Promptfoo 调用现在将开始出现在您的 Portkey 控制面板上。

现在让我们调用 Anthropic, Google, Groq, Ollama

Anthropic

providers:
  id: portkey:claude-3-opus20240229
  config:
    portkeyProvider: anthropic
    # 您也可以将您的 Anthropic API 密钥添加到 Portkey，并在此处传递虚拟密钥
    portkeyVirtualKey: ANTHROPIC_VIRTUAL_KEY

Google Gemini

Groq

Ollama

Azure OpenAI、AWS Bedrock、Google Vertex AI 的示例

Azure OpenAI

使用 虚拟密钥

providers:
  id: portkey:xxx
  config:
    portkeyVirtualKey: YOUR_PORTKEY_AZURE_OPENAI_VIRTUAL_KEY

不使用虚拟密钥

首先，设置 AZURE_OPENAI_API_KEY 环境变量。

providers:
  id: portkey:xxx
  config:
    portkeyProvider: azure-openai
    portkeyAzureResourceName: AZURE_RESOURCE_NAME
    portkeyAzureDeploymentId: AZURE_DEPLOYMENT_NAME
    portkeyAzureApiVersion: AZURE_API_VERSION

使用客户端凭据（JSON Web Token）

您可以为您的客户端凭据生成一个 JSON Web Token，并将其添加到 AZURE_OPENAI_API_KEY 环境变量中。

providers:
  id: portkey:xxx
  config:
    portkeyProvider: azure-openai
    portkeyAzureResourceName: AZURE_RESOURCE_NAME
    portkeyAzureDeploymentId: AZURE_DEPLOYMENT_NAME
    portkeyAzureApiVersion: AZURE_API_VERSION
    # 使用 AZURE_OPENAI_API_KEY 环境变量传递您的 JSON Web Token
    portkeyForwardHeaders: [ "authorization" ]

AWS Bedrock

Google Vertex AI

---

3. 段请求、查看成本和性能指标

Portkey 自动记录有关您的请求的所有关键信息，包括成本、使用的令牌、响应时间、请求和响应体等。

使用 Portkey，您还可以在每个请求中发送自定义元数据，以便进一步对日志进行分段，以获得更好的分析。同样，您还可以将多个请求追踪到单个追踪 ID，并在 Portkey 日志中单独过滤或查看它们。

providers:
  id: portkey:claude-3-opus20240229
  config:
    portkeyVirtualKey: ANTHROPIC_VIRTUAL_KEY
    portkeyMetadata:
      team: alpha9
      prompt: classification
    portkeyTraceId: run_1

您可以在 Portkey 仪表板上按这些元数据键过滤或分组数据。

---

4. 避免 Promptfoo 速率限制并利用缓存

由于 promptfoo 可以非常快速地进行大量调用，您可以在 Portkey 中使用启用缓存的负载均衡配置。您可以传递类似于 promptfoo 中虚拟密钥的配置头。

以下是您可以在 Portkey UI 中保存的示例配置，并获取相应的配置标识：

{
	"cache": { "mode": "simple" },
	"strategy": { "mode": "loadbalance" },
	"targets": [
		{ "virtual_key": "ACCOUNT_ONE" },
		{ "virtual_key": "ACCOUNT_TWO" },
		{ "virtual_key": "ACCOUNT_THREE" }
	]
}

然后我们只需在 YAML 中添加保存的配置标识：

providers:
  id: portkey:claude-3-opus20240229
  config:
    portkeyVirtualKey: ANTHROPIC_VIRTUAL_KEY
    portkeyConfig: PORTKEY_CONFIG_SLUG

---

🚧 [Roadmap] 在 Portkey 中查看 Promptfoo 评估的结果

我们正在构建支持在 Portkey 中查看 promptfoo 评估结果的功能，这将使您能够在 Portkey 的反馈部分查看 promptfoo 评估的结果。