Predibase

Portkey 提供了一个强大且安全的网关，可以无缝集成来自 Predibase 的开源和微调 LLM 到您的应用程序中。通过 Portkey，您可以利用快速 AI 网关、缓存、可观察性、提示管理等强大功能，同时通过虚拟密钥系统安全管理您的 LLM API 密钥。

Provider Slug**: predibase**

Portkey SDK 与 Predibase 的集成

使用 Portkey，您可以以熟悉的 OpenAI-spec 调用您的 Predibase 模型，并通过 2 LOC 的更改在 Predibase 微调模型上尝试您现有的管道。

1. 安装 Portkey SDK

使用 npm 或 pip 在您的项目中安装 Portkey SDK：

npm install --save portkey-ai

2. 使用虚拟密钥初始化 Portkey

要使用 Predibase 和 Portkey，请在此获取您的 API 密钥，然后将其添加到 Portkey 以创建虚拟密钥。

import Portkey from 'portkey-ai'
 
const portkey = new Portkey({
    apiKey: "PORTKEY_API_KEY", // defaults to process.env["PORTKEY_API_KEY"]
    virtualKey: "VIRTUAL_KEY" // 您的 Predibase 虚拟密钥
})

import OpenAI from "openai";
import { PORTKEY_GATEWAY_URL, createHeaders } from "portkey-ai";

const portkey = new OpenAI({
  baseURL: PORTKEY_GATEWAY_URL,
  defaultHeaders: createHeaders({
    apiKey: "PORTKEY_API_KEY",
    virtualKey: "PREDIBASE_VIRTUAL_KEY",
  }),
});

from openai import OpenAI
from portkey_ai import PORTKEY_GATEWAY_URL, createHeaders

portkey = OpenAI(
    base_url=PORTKEY_GATEWAY_URL,
    default_headers=createHeaders(
        api_key="PORTKEY_API_KEY",
        virtual_key="PREDIBASE_VIRTUAL_KEY"
    )
)

3. 在 Predibase 无服务器端点上调用聊天完成

Predibase 提供了 Llama 3、Mistral、Gemma 等 LLM，可以在其无服务器基础设施上即时查询。

发送 Predibase 租户 ID

Predibase 希望在每个请求中包含您的 账户租户 ID 和 API 密钥。使用 Portkey，您可以在请求时通过 user 参数发送 您的租户 ID。

const chatCompletion = await portkey.chat.completions.create({
    messages: [{ role: 'user', content: 'Say this is a test' }],
    model: 'llama-3-8b	',
    user: 'PREDIBASE_TENANT_ID'
});

console.log(chatCompletion.choices);

curl https://api.portkey.ai/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "x-portkey-api-key: $PORTKEY_API_KEY" \
  -H "x-portkey-virtual-key: $PREDIBASE_VIRTUAL_KEY" \
  -d '{
    "messages": [{"role": "user","content": "Hello!"}],
    "model": "llama-3-8b",
    "user": "PREDIBASE_TENANT_ID"
  }'

4. 调用 Predibase 微调模型

使用 Portkey，您可以在请求时通过 model 参数直接发送微调模型和适配器的详细信息。

格式为：

model = <base_model>:<adapter-repo-name/adapter-version-number>

例如，如果您的基础模型是 llama-3-8b，适配器库名称是 sentiment-analysis，您可以像这样发出请求：

const chatCompletion = await portkey.chat.completions.create({
    messages: [{ role: 'user', content: 'Say this is a test' }],
    model: 'llama-3-8b:sentiment-analysis/1',
    user: 'PREDIBASE_TENANT_ID'
});

console.log(chatCompletion.choices);

completion = portkey.chat.completions.create(
    messages= [{ "role": 'user', "content": 'Say this is a test' }],
    model= 'llama-3-8b:sentiment-analysis/1',
    user= "PREDIBASE_TENANT_ID"
)

print(completion)

curl https://api.portkey.ai/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "x-portkey-api-key: $PORTKEY_API_KEY" \
  -H "x-portkey-virtual-key: $PREDIBASE_VIRTUAL_KEY" \
  -d '{
    "messages": [{"role": "user","content": "Hello!"}],
    "model": "llama-3-8b:sentiment-analysis/1",
    "user": "PREDIBASE_TENANT_ID"
  }'

路由到专用部署

使用 Portkey，您也可以轻松路由到您专门部署的模型。只需在 model 参数中传递专用部署名称：

model = "my-dedicated-mistral-deployment-name"

JSON Schema 模式

您可以为所有 Predibase 模型强制执行 JSON schema - 只需将 response_format 设置为 json_object 并在发出请求时传递相关 schema。Portkey 日志将单独显示您的 JSON 输出

const chatCompletion = await portkey.chat.completions.create({
    messages: [{ role: 'user', content: 'Say this is a test' }],
    model: 'llama-3-8b	',
    user: 'PREDIBASE_TENANT_ID',
    response_format: {
      "type": "json_object",
      "schema": {"properties": {
        "name": {"maxLength": 10, "title": "Name", "type": "string"}, 
        "age": {"title": "Age", "type": "integer"}, 
        "required": ["name", "age", "strength"], 
        "title": "Character", 
        "type": "object"
      }
    }
});

console.log(chatCompletion.choices);

# 使用 Pydantic 定义 schema
from pydantic import BaseModel, constr

# 定义 JSON Schema
class Character(BaseModel):
    name: constr(max_length=10)
    age: int
    strength: int

completion = portkey.chat.completions.create(
    messages= [{ "role": 'user', "content": 'Say this is a test' }],
    model= 'llama-3-8b',
    user= "PREDIBASE_TENANT_ID",
    response_format={
        "type": "json_object",
        "schema": Character.schema(),
    },
)

print(completion)

curl https://api.portkey.ai/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "x-portkey-api-key: $PORTKEY_API_KEY" \
  -H "x-portkey-virtual-key: $PREDIBASE_VIRTUAL_KEY" \
  -d '{
    "messages": [{"role": "user","content": "Hello!"}],
    "model": "llama-3-8b",
    "user": "PREDIBASE_TENANT_ID",
    "response_format": {
      "type": "json_object",
      "schema": {"properties": {
        "name": {"maxLength": 10, "title": "Name", "type": "string"}, 
        "age": {"title": "Age", "type": "integer"}, 
        "required": ["name", "age", "strength"], 
        "title": "Character", 
        "type": "object"
      }
    }
  }'

下一步

SDK 支持的完整功能列表请参见以下链接。

SDK

您可以在相关部分找到更多信息：

PreviousPerplexity AI NextSegmind

Last updated 1 year ago