SDK

Portkey SDK 客户端以易于使用的 config-as-code 模式启用 Portkey 的各种功能。

安装 Portkey SDK

将 Portkey SDK 添加到您的应用程序中，以与 Portkey 的网关进行交互。

NodeJS

npm install --save portkey-ai

Python

导出 Portkey API 密钥

export PORTKEY_API_KEY=""

基本客户端设置

基本的 Portkey SDK 客户端需要 2 个必需参数

1. Portkey 账户的 API 密钥，用于验证您的所有请求

2. 您想要使用的 AI 提供商的 虚拟密钥 或 正在使用的 配置

在使用 REST API 时，通过请求头来实现。

例如，

NodeJS

import Portkey from 'portkey-ai';

// Construct a client with a virtual key
const portkey = new Portkey({
    apiKey: "PORTKEY_API_KEY",
    virtualKey: "VIRTUAL_KEY"
})

// Construct a client with a config id
const portkey = new Portkey({
    apiKey: "PORTKEY_API_KEY",
    config: "cf-***" // Supports a string config slug or a config object
})

Find more info on what's available through configs here.

Python

cURL

发起请求

您可以使用客户端进行完成和其他调用，如下所示

NodeJS

const chatCompletion = await portkey.chat.completions.create({
    messages: [{ role: 'user', content: 'Say this is a test' }],
    model: 'gpt-3.5-turbo',
});

console.log(chatCompletion.choices);

Python

传递 Trace ID 或元数据

您可以选择在单个请求中覆盖配置，并将 trace id 或元数据与每个请求一起发送。

NodeJS

const chatCompletion = await portkey.chat.completions.create({
    messages: [{ role: 'user', content: 'Say this is a test' }],
    model: 'gpt-3.5-turbo',
}, {
    traceId: "39e2a60c-b47c-45d8", 
    metadata: {"_user": "432erf6"}
});

console.log(chatCompletion.choices);

Python

---

Async 使用

Portkey 的 Python SDK 支持 Async 使用 - 只需使用 AsyncPortkey 代替 Portkey 并使用 await：

Python

import asyncio
from portkey_ai import AsyncPortkey

portkey = AsyncPortkey(
    api_key="PORTKEY_API_KEY",
    virtual_key="VIRTUAL_KEY"
)

async def main():
    chat_completion = await portkey.chat.completions.create(
        messages=[{'role': 'user', 'content': 'Say this is a test'}],
        model='gpt-4'
    )

    print(chat_completion)

asyncio.run(main())

---

参数

以下是您在创建 Portkey 客户端时可以添加的参数键。

遵循最流行的语言约定，我们使用：

• camelCase 用于 Javascript 键

• snake_case 用于 Python 键

• hyphenated-keys 用于 headers

NodeJS

参数	类型	键
API Key 您的 Portkey 账户的 API Key。	stringrequired	apiKey
Virtual Key 从 Portkey 的保险库为特定提供商创建的虚拟密钥	string	virtualKey
Config 要使用的 slug 或 配置对象	stringobject	config
Provider 您调用时使用的 AI 提供商。 (支持的提供商).	string	provider
Base URL 您可以编辑要使用的网关 URL。如果您正在 自托管 AI 网关，则需要此项。	string	baseURL
Trace ID 您可以传递的 ID，以便稍后引用 1 个或多个请求。如果未发送，将自动为每个请求生成。	string	traceID
Metadata 要附加到请求的任何元数据。这些可以在分析和日志仪表板中进行过滤 可以包含 _prompt、_user、_organisation 或 _environment，这些都是 Portkey 中的特殊元数据类型。 您还可以将其他任何键作为此对象的一部分发送。	object	metadata
Cache Force Refresh 通过发起新调用并存储该值来强制刷新请求的缓存。	boolean	cacheForceRefresh
Cache Namespace 根据自定义字符串对缓存进行分区，忽略元数据和其他头部信息。	string	cacheNamespace
Custom Host 通过配置带有自定义主机的 API URL 路由到本地或私有托管的模型	string	customHost
Forward Headers 将敏感头部直接转发到您模型的 API，而不经过 Portkey 的任何处理。	array of string	forwardHeaders
Azure OpenAI Headers 可以单独发送的 Azure OpenAI 配置头	string	azureResourceName azureDeploymentId azureApiVersion azureModelName
Google Vertex AI Headers 可以单独发送的 Vertex AI 配置头	string	vertexProjectId vertexRegion
AWS Bedrock Headers 可以单独发送的 Bedrock 配置头	string	awsAccessKeyId awsSecretAccessKey awsRegion awsSessionToken

Python

REST Headers