2023年12月迁移

日期：2023年12月8日

在这个12月，我们将推出一些令人兴奋的新更新，涉及Portkey的SDK、API和配置。

Portkey的SDK 升级至 主要版本1.0，与新的OpenAI SDK结构保持一致，并新增Portkey生产功能。我们还将原生Langchain和Llamaindex集成到SDK中。这是一个 重大变更，需要迁移。

Portkey的API 升级了 新端点，使得调用 /chat/completions 和 /completions 更加简单，并为它们添加了Portkey的生产功能。

这是一个 重大变更，需要迁移。

配置升级至版本 2.0，引入了具有细粒度处理的嵌套网关策略。对于保存在Portkey仪表板中的配置，这 不是重大变更，我们将 自动迁移 您的旧配置。对于在调用时直接定义的配置，通过旧SDK或旧API，它们 将在新的API和SDK上失败，并且 需要迁移。

兼容性与弃用列表

列表

兼容性

弃用日期

API（旧版） /v1/proxy /v1/complete /v1/chatComplete /v1/embed /v1/prompts/ID/generate

✅ SDK（旧版） ❌ SDK（新版） ✅ 配置（旧版） ✅ 配置（新版）

2024年第二季度

API（新版） /v1 /v1/completions /v1/chat/completions /v1/embeddings /v1/prompts/ID/completions

❌ SDK（旧版） ✅ SDK（新版） ❌ 配置（旧版） ✅ 配置（新版）

SDK 版本 < 1（旧版）

✅ API（旧版） ❌ API（新版） ✅ 配置（旧版） ✅ 配置（新版）

2024年第二季度

SDK 版本 = 1（新版）

❌ API（旧版） ✅ API（新版） ✅ 配置（旧版） ✅ 配置（新版）

配置 1.0（旧版）

✅ API（旧版）

❌ API（新版） ✅ SDK（旧版） ❌ SDK（新版） === 通过 Portkey UI 保存的配置将自动迁移。

2024年第二季度

配置 2.0（新版）

✅ API（旧版）

✅ API（新版） ✅ SDK（旧版） ✅ SDK（新版）

我们建议尽快升级到这些新版本，以充分利用其功能。虽然您现有的代码将在2024年第二季度的弃用日期之前继续有效，但现在过渡可以确保您走在前列，避免未来的服务中断。请按照本指南进行操作！

SDK 的主要版本发布

新特性：

更加可扩展的SDK，可以与更多的LLM提供商一起使用
开箱即用的流式支持
完全遵循OpenAI的SDK签名，减少您的技术债务
SDK（Python）内对Langchain和Llamaindex的原生支持
支持Portkey反馈端点
支持Portkey提示模板
旧版SDK即将被弃用

更新内容：

从 ➡

import portkey
from portkey import Config, LLMOptions

portkey.config = Config(
    mode="single",
    llms=LLMOptions(provider="openai", api_key="OPENAI_API_KEY")
)

response = portkey.ChatCompletions.create(
    model="gpt-4", 
    messages=[
        {"role": "user","content": "Hello World!"}
    ]
)

到 ⬇

from portkey_ai import Portkey

portkey = Portkey(
    api_key="PORTKEY_API_KEY",
    Authorization="OPENAI_KEY"
)

response = portkey.chat.completions.create(
    messages=[{'role': 'user', 'content': 'Say this is a test'}],
    model='gpt-3.5-turbo'
)

print(response)

安装新 SDK，

pip install -U portkey-ai

从 ➡

import { Portkey } from "portkey-ai";

const portkey = new Portkey({
    mode: "single",
    llms: [{ provider: "openai", virtual_key: "open-ai-xxx" }]
});

async function main() {
    const chatCompletion = await portkey.chat.completions.create({
        messages: [{ role: 'user', content: 'Say this is a test' }],
        model: 'gpt-4'
    });

    console.log(chatCompletion.choices);
};

main();

到 ⬇

import Portkey from 'portkey-ai';
// 初始化 Portkey 客户端
const portkey = new Portkey({
    apiKey: "PORTKEY_API_KEY",  // 替换为您的 Portkey API 密钥
    Authorization: "OPENAI_KEY" 
});
// 生成聊天完成
async function getChatCompletion() {
    const chatCompletion = await portkey.chat.completions.create({
        messages: [{ role: 'user', content: 'Say this is a test' }],
        model: 'gpt-3.5-turbo',
    });

    console.log(chatCompletion);
}
getChatCompletion();

安装新 SDK：

npm i -U portkey-ai

SDK

全新 API

新内容概览：

新增了 3 条路由 /chat/completions、/completions 和 /embeddings
简化了请求头：
1. x-portkey-mode 请求头已被弃用，替换为 x-portkey-provider
  1. 该请求头支持的值有：openai、anyscale、cohere、palm、azure-openai 等。
2. 新增了请求头 x-portkey-virtual-key。
/complete 和 /chatComplete 端点将很快被弃用。
提示端点 /prompts/$PROMPT_ID/generate 升级为 /prompts/$PROMPT_ID/completions，旧路由将很快被弃用。
1. 我们现在支持实时更新模型参数（即在调用时更改温度等）。
2. /completions 路由上的提示响应对象现在完全符合 OpenAI 标准。
新增了 /gateway 端点，方便您轻松调用第三方 LLM 提供商。

变更内容

从 ➡

from openai import OpenAI

client = OpenAI(
    api_key="OPENAI_API_KEY", # 默认为 os.environ.get("OPENAI_API_KEY")
    base_url="https://api.portkey.ai/v1/proxy",
    default_headers= {
        "x-portkey-api-key": "PORTKEY_API_KEY",
        "x-portkey-mode": "proxy openai",
        "Content-Type": "application/json"
    }
)

chat_complete = client.chat.completions.create(
    model="gpt-4",
    messages=[{"role": "user", "content": "Say this is a test"}],
)

print(chat_complete.choices[0].message.content)

到 ⬇

# pip install -U portkey-ai 

from openai import OpenAI
from portkey_ai import PORTKEY_GATEWAY_URL, createHeaders

client = OpenAI(
    api_key="OPENAI_API_KEY", # 默认为 os.environ.get("OPENAI_API_KEY")
    base_url=PORTKEY_GATEWAY_URL,
    default_headers=createHeaders(
        provider="openai",
        api_key="PORTKEY_API_KEY" # 默认为 os.environ.get("PORTKEY_API_KEY")
    )
)

chat_complete = client.chat.completions.create(
    model="gpt-4",
    messages=[{"role": "user", "content": "Say this is a test"}],
)

print(chat_complete.choices[0].message.content)

从 ➡

import OpenAI from 'openai';

const openai = new OpenAI({
  apiKey: 'OPENAI_API_KEY', // 默认为 process.env["OPENAI_API_KEY"],
  baseURL: "https://api.portkey.ai/v1/proxy",
  defaultHeaders:{
    "x-portkey-api-key": "PORTKEY_API_KEY",
    "x-portkey-mode": "proxy openai",
    "Content-Type": "application/json"
  }
});

async function main() {
  const chatCompletion = await openai.chat.completions.create({
    messages: [{ role: 'user', content: 'Say this is a test' }],
    model: 'gpt-3.5-turbo',
  });

  console.log(chatCompletion.choices);
}

main();

到 ⬇

// npm i portkey-ai

import OpenAI from 'openai'; // 我们正在使用 v4 SDK
import { PORTKEY_GATEWAY_URL, createHeaders } from 'portkey-ai'

const openai = new OpenAI({
  apiKey: 'OPENAI_API_KEY', // 默认为 process.env["OPENAI_API_KEY"],
  baseURL: PORTKEY_GATEWAY_URL,
  defaultHeaders: createHeaders({
    provider: "openai",
    apiKey: "PORTKEY_API_KEY" // 默认为 process.env["PORTKEY_API_KEY"]
  })
});

async function main() {
  const chatCompletion = await openai.chat.completions.create({
    messages: [{ role: 'user', content: 'Say this is a test' }],
    model: 'gpt-3.5-turbo',
  });

  console.log(chatCompletion.choices);
}

main();

从 ➡

curl http://api.portkey.ai/v1/proxy/completions \
  -H 'x-portkey-api-key: $PORTKEY_API_KEY' \
  -H 'x-portkey-mode: proxy openai' \
  -H 'Authorization: Bearer <OPENAI_API_KEY>' \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "gpt-3.5-turbo-instruct",
    "prompt": "Top 20 tallest buildings in the world"
  }'

到 ⬇

curl https://api.portkey.ai/v1/completions \
  -H "x-portkey-api-key: $PORTKEY_API_KEY" \
  -H "x-portkey-provider: openai" \ 
  -H "Authorization: Bearer $OPENAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gpt-3.5-turbo-instruct",
    "prompt": "Top 20 tallest buildings in the world"
  }'

聊天完成其他 API 端点的网关

类似地，对于提示

从 ➡

curl https://api.portkey.ai/v1/prompts/$PROMPT_ID/generate \
  -H 'x-portkey-api-key: $PORTKEY_API_KEY' \
  -H 'Content-Type: application/json' \
  -d '{"variables": {"variable_a": "", "variable_b": ""}}'

到 ⬇

curl https://api.portkey.ai/v1/prompts/$PROMPT_ID/completions \
  -H 'x-portkey-api-key: $PORTKEY_API_KEY' \
  -H 'Content-Type: application/json' \
  -d '{"variables": {"variable_a": "", "variable_b": ""}}'

# pip install portkey-ai

from portkey-ai import Portkey

client = Portkey(api_key="PORTKEY_API_KEY")

response = client.prompts.completions.create(
    prompt_id="Prompt_ID",
    variables={
       # 提示中指定的变量
    },
    max_tokens=250,
    presence_penalty=0.2,
    temperature=0.1
)
print(prompt_completion)

提示

配置 2.0

新功能介绍

引入了新的 strategy 概念，取代了独立的 mode。现在可以构建定制的网关策略，并将其嵌套在单个配置中。
还可以在特定错误代码上触发特定策略。
新的 targets 概念取代了之前配置中的 options。
如果您将 virtual_key 添加到目标数组中，则不再需要添加 provider，Portkey 将直接从虚拟密钥中获取提供者！
对于 Azure，现在只需传递 virtual_key - 它会处理所有其他 Azure 参数，如部署名称、API 版本等。

Portkey 应用中的配置 UI 现在将仅在新格式中自动完成配置。您现有的所有配置已自动迁移。

变更内容

从 ➡

{
	"mode": "single",
	"options": [
		{
			"provider": "openai",
			"virtual_key": "open-4110dd",
		}
	]
}

到 ⬇

{
	"strategy": {
		"mode":"single"
	},
	"targets": [
		{
			"virtual_key": "open-4110dd"
		}
	]
}

网关配置对象

支持

在迁移过程中，您可以将任何问题或疑问发送给 Portkey 团队 在我们的 Discord 上，我们会尽快回复您。

Previous常见错误与解决方案

Last updated 1 year ago