自带 LLM

Portkey 提供了一个强大而安全的平台，用于观察、集成和管理您的 本地或私有托管的自定义模型。

将自定义模型与 Portkey SDK 集成

您可以将任何自定义 LLM 与 Portkey 集成，只要其 API 与 Portkey 已支持的 15+ 提供商中的任何一个兼容。

1. 安装 Portkey SDK

NodeJS

npm install --save portkey-ai

Python

2. 使用自定义 URL 初始化 Portkey

您可以在实例化 Portkey 客户端时指定 provider + custom_host 对，而不是使用 provider + authorization 对或指向提供者的 virtualKey。

这里的 custom_host 指的是托管您自定义模型的 URL，包括 API 版本标识符。

NodeJS SDK

import Portkey from 'portkey-ai'
 
const portkey = new Portkey({
    apiKey: "PORTKEY_API_KEY",
    provider: "PROVIDER_NAME", // 这可以是 mistral-ai、openai 或其他任何名称
    customHost: "http://MODEL_URL/v1/", // 您的自定义 URL 及版本标识符
    authorization: "AUTH_KEY", // 如果您需要传递身份验证
})

Python SDK

有关 custom_host 的更多信息，请参见 这里。

3. 调用聊天完成

使用 Portkey SDK 从您的模型中调用聊天完成，就像您使用任何其他提供者一样。

NodeJS SDK

const chatCompletion = await portkey.chat.completions.create({
    messages: [{ role: 'user', content: 'Say this is a test' }]
});

console.log(chatCompletion.choices);

Python SDK

安全转发敏感头信息

在将自定义 LLM 集成到 Portkey 时，您可能会在请求头中包含不希望 Portkey 跟踪或记录的敏感信息。Portkey 提供了一种安全的方式，直接将特定头信息转发到您模型的 API，而无需进行任何处理。

只需在初始化 Portkey 客户端时使用 forward_headers 属性指定一个头名称数组。Portkey 将直接将这些头信息转发到您的自定义主机 URL，而不会记录或跟踪它们。

以下是一个示例：

Node

import Portkey from 'portkey-ai'
 
const portkey = new Portkey({
    apiKey: "PORTKEY_API_KEY",
    provider: "PROVIDER_NAME", // 这可以是 mistral-ai、openai 或其他任何名称
    customHost: "http://MODEL_URL/v1/", // 您带有版本标识符的自定义 URL
    authorization: "AUTH_KEY", // 如果您需要传递授权
    forwardHeaders: [ "authorization" ]
})

Python

REST API

配置对象中的转发头

您还可以在 Config 对象中定义 forward_headers，然后在发起请求时直接传递这些头部。

{
    "strategy": {
        "mode": "loadbalance"
    },
    "targets": [
        {
            "provider": "openai",
            "api_key": "<api-key>"
        },
        {
            "strategy": {
                "mode": "fallback"
            },
            "targets": [
                {
                    "provider": "azure-openai",
                    "custom_host": "http://MODEL_URL/v1",
                    "forward_headers": ["my-auth-header-1", "my-auth-header-2"]
                },
                {
                    "provider": "openai",
                    "api_key": "sk-***"
                }
            ]
        }
    ]
}

下一步

探索 SDK 支持的完整功能列表：

SDK

---

您可以在相关部分找到更多信息：

1. 向请求添加元数据

2. 向请求添加网关配置

3. 请求追踪

4. 从 OpenAI 设置回退到您的本地 LLM