Azure OpenAI

Azure OpenAI 是在您的私有环境中访问包括 GPT-4 在内的最佳模型的绝佳替代方案。Portkey 提供对 Azure OpenAI 的全面支持。

通过 Portkey，您可以利用快速的 AI 网关访问、可观察性、提示管理等功能，同时确保通过虚拟密钥系统安全管理您的 LLM API 密钥。

Provider Slug**: azure-openai**

Portkey SDK 与 Azure OpenAI 的集成

Portkey 提供了一致的 API，以便与来自不同供应商的模型进行交互。要将 Azure OpenAI 与 Portkey 集成：

首先，将您的 Azure 详细信息添加到 Portkey 的虚拟密钥中

以下是逐步指南：

在这里请求访问 Azure OpenAI。
在 Azure 门户这里创建一个资源。（这将是您的 资源名称）
在 Azure OpenAI Studio 这里部署一个模型。（这将是您的 部署名称）
从模态框的下拉菜单中选择您的 基础模型。
现在，在 Azure OpenAI Studio 中，进入任何游乐场（聊天或补全），点击一个名为“查看代码”的 UI 元素。从这里记下 API 版本和 API 密钥。（这将是您的 Azure API 版本 和 Azure API 密钥）

当您输入这些详细信息时，基础模型将自动填充。更多详细信息请参见此指南。

如果您不想将 Azure 详细信息添加到 Portkey vault，您也可以在实例化 Portkey 客户端时直接传递它们。更多信息请见此处。

现在，让我们使用这个虚拟密钥发出请求！

1. 安装 Portkey SDK

将 Portkey SDK 添加到您的应用程序中，以通过 Portkey 的网关与 Azure OpenAI 的 API 进行交互。

npm install --save portkey-ai

2. 使用虚拟密钥初始化 Portkey

将 Portkey 与您的虚拟密钥一起设置为初始化配置的一部分。您可以在 Portkey UI 中为 Azure 创建一个虚拟密钥。

import Portkey from 'portkey-ai'
 
const portkey = new Portkey({
    apiKey: "PORTKEY_API_KEY", // defaults to process.env["PORTKEY_API_KEY"]
    virtualKey: "AZURE_VIRTUAL_KEY" // 您的 Azure 虚拟密钥
})

from portkey_ai import Portkey

portkey = Portkey(
    api_key="PORTKEY_API_KEY",  # 替换为您的 Portkey API 密钥
    virtual_key="AZURE_VIRTUAL_KEY"   # 替换为您的 Azure 虚拟密钥
)

3. 使用 Azure OpenAI 调用聊天完成

使用 Portkey 实例向您的 Azure 部署发送请求。如果需要，您也可以直接在 API 调用中覆盖虚拟密钥。

const chatCompletion = await portkey.chat.completions.create({
    messages: [{ role: 'user', content: 'Say this is a test' }],
    model: 'gpt4', // 这将是您的部署或模型名称
});

console.log(chatCompletion.choices);

管理 Azure OpenAI 提示

您可以在提示库中管理所有 Azure OpenAI 的提示。所有当前的 OpenAI 模型均受支持，您可以轻松开始测试不同的提示。

一旦您准备好提示，可以使用 portkey.prompts.completions.create 接口在您的应用程序中使用该提示。

图像生成

Portkey 支持 Azure OpenAI 的多种模式，您可以通过 Portkey 的 AI 网关以与完成调用相同的方式发出图像生成请求。

import Portkey from 'portkey-ai'
 
const portkey = new Portkey({
    apiKey: "PORTKEY_API_KEY",
    virtualKey: "DALL-E_VIRTUAL_KEY" // 引用 Dall-E Azure 部署的虚拟密钥
})

const image = await portkey.images.generate({
  prompt:"Lucy in the sky with diamonds",
  size:"1024x1024"
})

from portkey_ai import Portkey

portkey = Portkey(
    api_key="PORTKEY_API_KEY",  
    virtual_key="DALL-E_VIRTUAL_KEY"   # 引用 Dall-E Azure 部署的虚拟密钥
)

image = portkey.images.generate(
  prompt="Lucy in the sky with diamonds",
  size="1024x1024"
)

Portkey 的快速 AI 网关在您的 Portkey 仪表板上捕获有关请求的信息。在您的日志屏幕上，您将能够看到此请求及其请求和响应。

有关图像生成的更多信息，请参阅 API 参考。

直接传递请求而不使用虚拟密钥

以下是如何直接传递您的 Azure OpenAI 详细信息和密钥，而不使用虚拟密钥功能。

键映射

在典型的 Azure OpenAI 请求中，

curl https://{YOUR_RESOURCE_NAME}.openai.azure.com/openai/deployments/{YOUR_DEPLOYMENT_NAME}/chat/completions?api-version={API_VERSION} \
  -H "Content-Type: application/json" \
  -H "api-key: {YOUR_API_KEY}" \
  -d '{"messages": [{"role": "system", "content": "Hello"}] }'

参数

Node SDK

Python SDK

REST 头部

AZURE RESOURCE NAME

azureResourceName

azure_resource_name

x-portkey-azure-resource-name

AZURE DEPLOYMENT NAME

azureDeploymentId

azure_deployment_id

x-portkey-azure-deployment-id

API VERSION

azureApiVersion

azure_api_version

x-portkey-azure-api-version

AZURE API KEY

Authorization: "Bearer + {API_KEY}"

Authorization = "Bearer + {API_KEY}"

Authorization

AZURE MODEL NAME

azureModelName

azure_model_name

x-portkey-azure-model-name

示例

import Portkey from 'portkey-ai'
 
const portkey = new Portkey({
    apiKey: "PORTKEY_API_KEY",
    provider: "azure-openai",
    azureResourceName: "AZURE_RESOURCE_NAME",
    azureDeploymentId: "AZURE_DEPLOYMENT_NAME",
    azureApiVersion: "AZURE_API_VERSION",
    azureModelName: "AZURE_MODEL_NAME"
    Authorization: "Bearer API_KEY"
})

from portkey_ai import Portkey

portkey = Portkey(
    api_key = "PORTKEY_API_KEY",  
    provider = "azure-openai",
    azure_resource_name = "AZURE_RESOURCE_NAME",
    azure_deployment_id = "AZURE_DEPLOYMENT_NAME",
    azure_api_version = "AZURE_API_VERSION",
    azure_model_name = "AZURE_MODEL_NAME",
    Authorization = "Bearer API_KEY"
)

curl https://api.portkey.ai/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $AZURE_OPENAI_API_KEY" \
  -H "x-portkey-api-key: $PORTKEY_API_KEY" \
  -H "x-portkey-provider: azure-openai" \
  -H "x-portkey-azure-resource-name: $AZURE_RESOURCE_NAME" \
  -H "x-portkey-azure-deployment-id: $AZURE_DEPLOYMENY_ID" \
  -H "x-portkey-azure-model-name: $AZURE_MODEL_NAME" \
  -H "x-portkey-azure-api-version: $AZURE_API_VERSION" \
  -d '{
    "model": "gpt-4o",
    "messages": [{"role": "user","content": "Hello!"}]
  }'

如何传递 JWT（JSON Web Tokens）

如果您已为 Azure OpenAI 配置了细粒度访问，并需要在 Authorization 头中使用 JSON web token (JWT) 而不是常规的 API Key，您可以使用 forwardHeaders 参数来实现。

import Portkey from 'portkey-ai'
 
const portkey = new Portkey({
    apiKey: "PORTKEY_API_KEY",
    provider: "azure-openai",
    azureResourceName: "AZURE_RESOURCE_NAME",
    azureDeploymendId: "AZURE_DEPLOYMENT_NAME",
    azureApiVersion: "AZURE_API_VERSION",
    azureModelName: "AZURE_MODEL_NAME",
    authorization: "Bearer JWT_KEY", // 在此处传递您的 JWT
    forwardHeaders: [ "authorization" ]
})

import Portkey from 'portkey-ai'
 
const portkey = new Portkey({
    api_key = "PORTKEY_API_KEY",
    provider = "azure-openai",
    azure_resource_name = "AZURE_RESOURCE_NAME",
    azure_deploymend_id = "AZURE_DEPLOYMENT_NAME",
    azure_api_version = "AZURE_API_VERSION",
    azure_model_name = "AZURE_MODEL_NAME",
    authorization = "Bearer API_KEY", # 在此处传递您的 JWT
    forward_headers= [ "authorization" ]
)

如需有关自定义 Azure 部署或细粒度访问令牌的进一步问题，请通过 [email protected] 联系我们。

下一步

SDK 支持的完整功能列表可以在以下链接中找到。

SDK

您可以在相关部分找到更多信息：

PreviousGroq NextAWS Bedrock

Last updated 1 year ago

hashtagPortkey SDK 与 Azure OpenAI 的集成

hashtag首先，将您的 Azure 详细信息添加到 Portkey 的虚拟密钥中

hashtag1. 安装 Portkey SDK

hashtag2. 使用虚拟密钥初始化 Portkey

hashtag3. 使用 Azure OpenAI 调用聊天完成

hashtag管理 Azure OpenAI 提示

hashtag图像生成

hashtag直接传递请求而不使用虚拟密钥

hashtag键映射

hashtag示例

hashtag如何传递 JWT（JSON Web Tokens）

hashtag下一步