配置

此功能在所有 Portkey 计划中均可用。

配置简化了您的网关管理，使您能够以编程方式控制诸如回退、负载均衡、重试、缓存等各个方面。

配置是一个 JSON 对象，可用于定义所有发送到您网关的请求的路由规则。您可以配置多个配置并在请求中使用它们。

创建配置

在 Portkey 应用中导航到“配置”页面，点击“创建”以开始编写新的配置。

使用配置

配置在所有集成中都受到支持。

通过 Portkey SDK 客户端的 config 参数（直接或通过框架）
通过 OpenAI SDK 中的配置头
通过 REST API 通过 x-portkey-config 头

应用网关配置

网关 configs 允许您解锁 Portkey 的网关超级功能。您可以在 UI 中创建一个配置，并在 OpenAI 客户端中附加其配置 ID。

const portkey = new Portkey({
    apiKey: "PORTKEY_API_KEY",
    config: "pc-***" // 支持字符串配置 ID 或配置对象
});

const openai = new OpenAI({
  apiKey: 'OPENAI_API_KEY', // 默认为 process.env["OPENAI_API_KEY"],
  baseURL: PORTKEY_GATEWAY_URL,
  defaultHeaders: createHeaders({
    provider: "openai",
    apiKey: "PORTKEY_API_KEY", // 默认为 process.env["PORTKEY_API_KEY"]
    config: "CONFIG_ID" // 从 UI 中获取
  })
});

client = OpenAI(
    api_key="OPENAI_API_KEY", # 默认为 os.environ.get("OPENAI_API_KEY")
    base_url=PORTKEY_GATEWAY_URL,
    default_headers=createHeaders(
        provider="openai",
        api_key="PORTKEY_API_KEY", # 默认为 os.environ.get("PORTKEY_API_KEY")
        config="CONFIG_ID"
    )
)

curl https://api.portkey.ai/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -H "x-portkey-api-key: $PORTKEY_API_KEY" \
  -H "x-portkey-provider: openai" \ 
  -H "x-portkey-config: $CONFIG_ID" \ 
  -d '{
    "model": "gpt-3.5-turbo",
    "messages": [{
        "role": "user",
        "content": "Hello!"
      }]
  }'

如果您希望仅将配置附加到少数请求，而不是修改客户端，您可以在 OpenAI 的请求头中发送它，或者在使用 Portkey SDK 时在配置参数中发送。

注意：如果您在客户端中设置了默认配置，但在特定请求中也包含了配置，则特定请求的配置将优先，并替换该特定请求的默认配置。

portkey.chat.completions.create({
  messages: [{role: "user", content: "Say this is a test"}],
  model: "gpt-3.5-turbo"
}, {config: "pc-***"})

let reqHeaders = createHeaders({config: "CONFIG_ID});
openai.chat.completions.create({
  messages: [{role: "user", content: "Say this is a test"}],
  model: "gpt-3.5-turbo"
}, {headers: reqHeaders})

reqHeaders = createHeaders(config="CONFIG_ID")
client.with_options(headers=reqHeaders).chat.completions.create(
    messages = [{ "role": 'user', "content": 'Say this is a test' }],
    model = 'gpt-3.5-turbo'
})

您还可以将配置 JSON 作为字符串添加，而不是使用 slug。

日志中的配置

Portkey 在日志页面智能地显示您的配置使用情况，提供 状态列，并为每个请求提供网关活动的快照。在这里阅读有关状态列的更多信息。

您还可以在日志详细信息中单独查看特定请求使用的配置的 ID，并直接从日志详细信息页面跳转到查看/编辑它。

配置对象文档

配置对象在此定义

网关配置对象

Previous通用 API Next多模态能力

Last updated 1 year ago