OpenAI

学习如何将 OpenAI 与 Portkey 集成，实现无缝的补全、提示管理以及流式传输、函数调用和微调等高级功能。

Portkey 与 OpenAI 的 Node.js、Python SDK 及其 REST API 具有本地集成。有关使用其他框架进行 OpenAI 集成的信息，请查看我们的合作伙伴关系，包括 Langchain、LlamaIndex 等其他。

Provider Slug**: openai**

使用 Portkey 网关

要将 Portkey 网关与 OpenAI 集成，

将 baseURL 设置为 Portkey 网关 URL
包含特定于 Portkey 的头信息，例如 provider、apiKey 等。

以下是如何将其应用于 聊天完成 请求：

在您的应用程序中安装 Portkey SDK

npm i --save portkey-ai

接下来，将特定于 Portkey 的代码插入到您的 OpenAI 完成调用中，如高亮行所示。PORTKEY_GATEWAY_URL 是 Portkey 的网关 URL，用于路由您的请求，createHeaders 是一个生成头对象的便利函数。 (所有支持的参数/头信息)

import OpenAI from 'openai'; // We're using the v4 SDK
import { PORTKEY_GATEWAY_URL, createHeaders } from 'portkey-ai'

const openai = new OpenAI({
  apiKey: 'OPENAI_API_KEY', // defaults to process.env["OPENAI_API_KEY"],
  baseURL: PORTKEY_GATEWAY_URL,
  defaultHeaders: createHeaders({
    provider: "openai",
    apiKey: "PORTKEY_API_KEY" // defaults to process.env["PORTKEY_API_KEY"]
  })
});

async function main() {
  const chatCompletion = await openai.chat.completions.create({
    messages: [{ role: 'user', content: 'Say this is a test' }],
    model: 'gpt-4-turbo',
  });

  console.log(chatCompletion.choices);
}

main();

在您的应用程序中安装 Portkey SDK

pip install portkey-ai

接下来，将特定于 Portkey 的代码插入到您的 OpenAI 函数调用中，如高亮行所示。PORTKEY_GATEWAY_URL 是 Portkey 的网关 URL，用于路由您的请求，createHeaders 是一个生成头对象的便利函数。 (所有支持的参数/头信息)

from openai import OpenAI
from portkey_ai import PORTKEY_GATEWAY_URL, createHeaders

client = OpenAI(
    api_key="OPENAI_API_KEY", # defaults to os.environ.get("OPENAI_API_KEY")
    base_url=PORTKEY_GATEWAY_URL,
    default_headers=createHeaders(
        provider="openai",
        api_key="PORTKEY_API_KEY" # defaults to os.environ.get("PORTKEY_API_KEY")
    )
)

chat_complete = client.chat.completions.create(
    model="gpt-4-turbo",
    messages=[{"role": "user", "content": "Say this is a test"}],
)

print(chat_complete.choices[0].message.content)

curl https://api.portkey.ai/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -H "x-portkey-api-key: $PORTKEY_API_KEY" \
  -H "x-portkey-provider: openai" \ 
  -d '{
    "model": "gpt-4-turbo",
    "messages": [{
        "role": "system",
        "content": "You are a helpful assistant."
      },{
        "role": "user",
        "content": "Hello!"
      }]
  }'

所有可能的头信息列表

此请求将由 Portkey 自动记录。您可以在日志仪表板中查看此信息。Portkey 记录每个请求使用的令牌、执行时间和成本。此外，您可以深入了解详细信息，以查看确切的请求和响应数据。

跟踪最终用户 ID

Portkey 允许您跟踪在 OpenAI 请求中通过 user 参数传递的用户 ID，从而使您能够监控用户级别的费用、请求等。

const chatCompletion = await portkey.chat.completions.create({
  messages: [{ role: "user", content: "Say this is a test" }],
  model: "gpt-4o",
  user: "user_12345",
});

当您在请求中包含 user 参数时，Portkey 日志将显示相关的用户 ID，如下图所示：

除了 user 参数，Portkey 还允许您在请求中发送任意自定义元数据。这个强大的功能使您能够将额外的上下文或信息与每个请求关联，这对于分析、调试或其他自定义用例非常有用。

元数据

相同的集成方法适用于 completions、embeddings、vision、moderation、transcription、translation、speech 和 files 的 API。
如果您想要将您的 Org ID 和 Project ID 添加到请求中，请前往此部分。

使用 Prompts API

Portkey 还支持在 prompt library 中创建和管理提示模板。这使得可以通过用户界面直接协作开发提示。

创建一个带有变量的提示模板并设置超参数。

使用 Portkey SDK 在您的代码库中使用此提示。

import Portkey from 'portkey-ai'

const portkey = new Portkey({
    apiKey: "PORTKEY_API_KEY",
})

// Make the prompt creation call with the variables
const promptCompletion = await portkey.prompts.completions.create({
    promptID: "Your Prompt ID",
    variables: {
       // The variables specified in the prompt
    }
})

// We can also override the hyperparameters
const promptCompletion = await portkey.prompts.completions.create({
    promptID: "Your Prompt ID",
    variables: {
       // The variables specified in the prompt
    },
    max_tokens: 250,
    presence_penalty: 0.2
})

from portkey_ai import Portkey

client = Portkey(
    api_key="PORTKEY_API_KEY",  # defaults to os.environ.get("PORTKEY_API_KEY")
)

prompt_completion = client.prompts.completions.create(
    prompt_id="Your Prompt ID",
    variables={
       # The variables specified in the prompt
    }
)

print(prompt_completion)

# We can also override the hyperparameters
prompt_completion = client.prompts.completions.create(
    prompt_id="Your Prompt ID",
    variables={
       # The variables specified in the prompt
    },
    max_tokens=250,
    presence_penalty=0.2
)
print(prompt_completion)

curl -X POST "https://api.portkey.ai/v1/prompts/:PROMPT_ID/completions" \
-H "Content-Type: application/json" \
-H "x-portkey-api-key: $PORTKEY_API_KEY" \
-d '{
    "variables": {
        # The variables to use
    },
    "max_tokens": 250, # Optional
    "presence_penalty": 0.2 # Optional
}'

观察这如何简化您的代码可读性，并通过 UI 简化提示更新，而无需更改代码库。

高级用例

流式响应

Portkey 支持使用服务器发送事件 (SSE) 的流式响应。

import OpenAI from 'openai';
import { PORTKEY_GATEWAY_URL, createHeaders } from 'portkey-ai'

const openai = new OpenAI({
  baseURL: PORTKEY_GATEWAY_URL,
  defaultHeaders: createHeaders({
    provider: "openai",
    apiKey: "PORTKEY_API_KEY" // defaults to process.env["PORTKEY_API_KEY"]
  })
});

async function main() {
  const stream = await openai.chat.completions.create({
    model: 'gpt-4',
    messages: [{ role: 'user', content: 'Say this is a test' }],
    stream: true,
  });
  for await (const chunk of stream) {
    process.stdout.write(chunk.choices[0]?.delta?.content || '');
  }
}

main();

from openai import OpenAI
from portkey_ai import PORTKEY_GATEWAY_URL, createHeaders

client = OpenAI(
    api_key="OPENAI_API_KEY",  # defaults to os.environ.get("OPENAI_API_KEY")
    base_url=PORTKEY_GATEWAY_URL,
    default_headers=createHeaders(
        provider="openai",
        api_key="PORTKEY_API_KEY" # defaults to os.environ.get("PORTKEY_API_KEY")
    )
)

chat_complete = client.chat.completions.create(
    model="gpt-4",
    messages=[{"role": "user", "content": "Say this is a test"}],
    stream=True
)

for chunk in chat_complete:
    print(chunk.choices[0].delta.content, end="", flush=True)

使用视觉模型

Portkey 的多模态网关同样完全支持 OpenAI 视觉模型。有关更多信息，请参阅本指南：

视觉

函数调用

在您的 OpenAI 或 Portkey SDK 操作中，函数调用保持标准。这些日志将出现在 Portkey 中，突出显示使用的函数及其输出。

此外，您可以在提示中定义函数，并像上面那样调用 portkey.prompts.completions.create 方法。

微调

请参考我们的微调指南，以利用 Portkey 的高级持续微调功能。

图像生成

Portkey 支持 OpenAI 的多种模式，您可以通过 Portkey 的 AI 网关以与完成调用相同的方式发起图像生成请求。

// Define the OpenAI client as shown above

const image = await openai.images.generate({
  model:"dall-e-3",
  prompt:"Lucy in the sky with diamonds",
  size:"1024x1024"
})

Portkey 的快速 AI 网关会在您的 Portkey 仪表板上捕获请求信息。在您的日志屏幕上，您将能够看到该请求及其请求和响应。

有关图像生成的更多信息，请参阅 API 参考。

音频 - 转录、翻译和文本转语音

Portkey 的多模态网关还支持 OpenAI API 上的 audio 方法。支持 tts-1、tts-1-hd 和 whisper-1 模型。

查看以下指南以获取更多信息：

文本转语音语音转文本

在 Portkey 中管理 OpenAI 项目和组织

在将 OpenAI 与 Portkey 集成时，您可以指定您的 OpenAI 组织和项目 ID 以及您的 API 密钥。这在您属于多个组织或通过遗留用户 API 密钥访问项目时特别有用。

指定组织和项目 ID 有助于您更好地控制访问规则、使用情况和成本。

在 Portkey 中，您可以通过以下方式添加您的组织和项目详细信息：

创建您的虚拟密钥
定义网关配置
在请求中传递详细信息

让我们更详细地探讨每种方法。

使用虚拟密钥

在创建虚拟密钥时，从下拉菜单中选择 OpenAI，Portkey 会自动显示组织 ID 和项目 ID 的可选字段，以及 API 密钥字段。

从这里获取您的 OpenAI API 密钥，然后将其添加到 Portkey，以创建可以在 Portkey 中使用的虚拟密钥。

虚拟密钥

Portkey 在预算管理方面比 OpenAI 更进一步。虽然 OpenAI 允许为每个项目设置预算限制，但 Portkey 使您能够为每个创建的虚拟密钥设置预算限制。有关预算限制的更多信息，请参阅此文档：

预算限制

使用网关配置

您还可以在网关配置中指定组织和项目的详细信息，可以在根级别或特定目标内进行设置。

{
	"provider": "openai",
	"api_key": "OPENAI_API_KEY"
	"openai_organization": "org-xxxxxx",
	"openai_project": "proj_xxxxxxxx"
}

发起请求时

您还可以在使用 curl、OpenAI SDK 或 Portkey SDK 发起请求时直接传递您的组织和项目详细信息。

from openai import OpenAI
from portkey_ai import PORTKEY_GATEWAY_URL, createHeaders

client = OpenAI(
    api_key="OPENAI_API_KEY",
    organization="org-xxxxxxxxxx",
    project="proj_xxxxxxxxx",
    base_url=PORTKEY_GATEWAY_URL,
    default_headers=createHeaders(
        provider="openai",
        api_key="PORTKEY_API_KEY"
    )
)

chat_complete = client.chat.completions.create(
    model="gpt-4o",
    messages=[{"role": "user", "content": "Say this is a test"}],
)

print(chat_complete.choices[0].message.content)

import OpenAI from "openai";
import { PORTKEY_GATEWAY_URL, createHeaders } from "portkey-ai";

const openai = new OpenAI({
  apiKey: "OPENAI_API_KEY",
  organization: "org-xxxxxx",
  project: "proj_xxxxxxx",
  baseURL: PORTKEY_GATEWAY_URL,
  defaultHeaders: createHeaders({
    provider: "openai",
    apiKey: "PORTKEY_API_KEY",
  }),
});

async function main() {
  const chatCompletion = await openai.chat.completions.create({
    messages: [{ role: "user", content: "Say this is a test" }],
    model: "gpt-4o",
  });

  console.log(chatCompletion.choices);
}

main();

curl https://api.portkey.ai/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -H "x-portkey-openai-organization: org-xxxxxxx" \
  -H "x-portkey-openai-project: proj_xxxxxxx" \
  -H "x-portkey-api-key: $PORTKEY_API_KEY" \
  -H "x-portkey-provider: openai" \
  -d '{
    "model": "gpt-4o",
    "messages": [{"role": "user","content": "Hello!"}]
  }'

from portkey_ai import Portkey

portkey = Portkey(
    api_key="PORTKEY_API_KEY",
    provider="openai",
    authorization="Bearer OPENAI_API_KEY",
    openai_organization="org-xxxxxxxxx",
    openai_project="proj_xxxxxxxxx",
)

chat_complete = portkey.chat.completions.create(
    model="gpt-4o",
    messages=[{"role": "user", "content": "Say this is a test"}],
)

print(chat_complete.choices[0].message.content)

import Portkey from "portkey-ai";

const portkey = new Portkey({
  apiKey: "PORTKEY_API_KEY",
  provider: "openai",
  Authorization: "Bearer OPENAI_API_KEY",
  openaiOrganization: "org-xxxxxxxxxxx",
  openaiProject: "proj_xxxxxxxxxxxxx",
});

async function main() {
  const chatCompletion = await portkey.chat.completions.create({
    messages: [{ role: "user", content: "Say this is a test" }],
    model: "gpt-4o",
  });

  console.log(chatCompletion.choices);
}

main();

Portkey 特性

Portkey 通过 OpenAI SDK 支持其所有功能，因此您无需迁移。

请在相关部分中找到更多信息：

Previous集成指南 NextAnthropic

Last updated 1 year ago

hashtag使用 Portkey 网关

hashtag跟踪最终用户 ID

hashtag使用 Prompts API

hashtag高级用例

hashtag流式响应

hashtag使用视觉模型

hashtag函数调用

hashtag微调

hashtag图像生成

hashtag音频 - 转录、翻译和文本转语音

hashtag在 Portkey 中管理 OpenAI 项目和组织

hashtag使用虚拟密钥

hashtag使用网关配置

hashtag发起请求时

hashtagPortkey 特性