Anyscale

无缝集成 Anyscale 端点与 Portkey，使您的 OSS 模型具备生产就绪状态

Portkey 的功能套件 - AI 网关、可观测性、提示管理和持续微调，均已针对 Anyscale 端点上可用的 OSS 模型（Llama2、Mistral、Zephyr 等）启用。

Provider Slug**: anyscale**

Portkey SDK 与 Anyscale 的集成

1. 安装 Portkey SDK

npm install --save portkey-ai

2. 使用 Anyscale 虚拟密钥初始化 Portkey

要将 Anyscale 与 Portkey 一起使用，请从这里获取您的 Anyscale API 密钥，然后将其添加到 Portkey 以创建虚拟密钥。

import Portkey from 'portkey-ai'
 
const portkey = new Portkey({
    apiKey: "PORTKEY_API_KEY", // defaults to process.env["PORTKEY_API_KEY"]
    virtualKey: "ANYSCALE_VIRTUAL_KEY" // Your Anyscale Virtual Key
})

from portkey_ai import Portkey

portkey = Portkey(
    api_key="PORTKEY_API_KEY",  # Replace with your Portkey API key
    virtual_key="ANYSCALE_VIRTUAL_KEY"   # Replace with your virtual key for Anyscale
)

3. 使用 Anyscale 调用聊天完成

const chatCompletion = await portkey.chat.completions.create({
    messages: [{ role: 'user', content: 'Say this is a test' }],
    model: 'mistralai/Mistral-7B-Instruct-v0.1',
});

console.log(chatCompletion.choices);

直接使用 Portkey 的 REST API

或者，您也可以通过 Portkey 的 REST API 直接调用 Anyscale 模型 - 它的工作方式与 OpenAI API 完全相同，主要有两个不同之处：

您将请求发送到 Portkey 的完整网关 URL https://api.portkey.ai/v1/chat/completions
您必须添加 Portkey 特定的请求头。
1. x-portkey-api-key 用于发送您的 Portkey API 密钥
2. x-portkey-virtual-key 用于发送您提供者的虚拟密钥（或者，如果您不使用虚拟密钥，您可以发送您提供者的 Auth 头，并与之一起传递 x-portkey-provider 头）

curl https://api.portkey.ai/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $ANYSCALE_API_KEY" \
  -H "x-portkey-api-key: $PORTKEY_API_KEY" \
  -H "x-portkey-provider: anyscale" \ 
  -d '{
    "model": "mistralai/Mistral-7B-Instruct-v0.1",
    "messages": [{"role": "user","content": "Hello!"}]
  }'

所有可能的 Portkey 头部列表.

使用 OpenAI Python 或 Node SDK 进行 Anyscale

您还可以在标准 OpenAI SDK 中使用 baseURL 参数，并直接从那里调用 Portkey + Anyscale。与 Rest API 示例一样，您只需更改 baseURL 并向您的实例添加 defaultHeaders。您可以使用 Portkey SDK 来简化这一过程：

import OpenAI from 'openai'; // We're using the v4 SDK
import { PORTKEY_GATEWAY_URL, createHeaders } from 'portkey-ai'

const anyscale = new OpenAI({
  apiKey: 'ANYSCALE_API_KEY',
  baseURL: PORTKEY_GATEWAY_URL,
  defaultHeaders: createHeaders({
    provider: "anyscale",
    apiKey: "PORTKEY_API_KEY" // defaults to process.env["PORTKEY_API_KEY"]
  })
});

async function main() {
  const chatCompletion = await anyscale.chat.completions.create({
    messages: [{ role: 'user', content: 'Say this is a test' }],
    model: 'mistralai/Mistral-7B-Instruct-v0.1',
  });

  console.log(chatCompletion.choices);
}

main();

from openai import OpenAI
from portkey_ai import PORTKEY_GATEWAY_URL, createHeaders

anyscale = OpenAI(
    api_key="ANYSCALE_API_KEY", # defaults to os.environ.get("OPENAI_API_KEY")
    base_url=PORTKEY_GATEWAY_URL,
    default_headers=createHeaders(
        provider="anyscale",
        api_key="PORTKEY_API_KEY" # defaults to os.environ.get("PORTKEY_API_KEY")
    )
)

chat_complete = anyscale.chat.completions.create(
    model="mistralai/Mistral-7B-Instruct-v0.1",
    messages=[{"role": "user", "content": "Say this is a test"}],
)

print(chat_complete.choices[0].message.content)

此请求将由 Portkey 自动记录。您可以在日志仪表板中查看此信息。Portkey 记录每个请求所使用的令牌、执行时间和费用。此外，您可以深入了解详细信息，以查看精确的请求和响应数据。

管理 Anyscale 提示

您可以在提示库中管理 Anyscale 的 OSS 模型的所有提示。所有当前的 Anyscale 模型均受到支持。

创建提示

使用 Portkey 提示游乐场设置变量，并尝试各种模型参数以获得正确的输出。

使用提示

通过 Portkey SDK 或 REST API 部署提示

import Portkey from 'portkey-ai'

const portkey = new Portkey({
    apiKey: "PORTKEY_API_KEY", // defaults to process.env["PORTKEY_API_KEY"]
})

// Make the prompt creation call with the variables
const promptCompletion = await portkey.prompts.completions.create({
    promptID: "YOUR_PROMPT_ID",
    variables: {
        //Required variables for prompt
    }
})

我们还可以覆盖超参数：

const promptCompletion = await portkey.prompts.completions.create({
    promptID: "YOUR_PROMPT_ID",
    variables: {
        //Required variables for prompt
    },
    max_tokens: 250,
    presence_penalty: 0.2
})

from portkey_ai import Portkey

client = Portkey(
    api_key="PORTKEY_API_KEY",  # defaults to os.environ.get("PORTKEY_API_KEY")
)

prompt_completion = client.prompts.completions.create(
    prompt_id="YOUR_PROMPT_ID",
    variables={
        #Required variables for prompt
    }
)

print(prompt_completion.data)

我们还可以覆盖超参数：

prompt_completion = client.prompts.completions.create(
    prompt_id="YOUR_PROMPT_ID",
    variables={
        #Required variables for prompt
    },
    max_tokens=250,
    presence_penalty=0.2
)
print(prompt_completion.data)

curl -X POST "https://api.portkey.ai/v1/prompts/9218b4e6-52db-41a4-b963-4ee6505ed758/completions" \
-H "Content-Type: application/json" \
-H "x-portkey-api-key: $PORTKEY_API_KEY" \
-d '{
    "variables": {
        "title": "AI 对中学教师的影响",
        "num_sections": "5"
    },
    "max_tokens": 250, # Optional
    "presence_penalty": 0.2 # Optional
}'

观察这如何简化您的代码可读性，并通过 UI 简化提示更新，而无需更改代码库。

支持的模型列表

模型名称

Portkey上的模型键

Llama 2 - 7B

meta-llama/Llama-2-7b-chat-hf

Llama 2- 13B

meta-llama/Llama-2-13b-chat-hf

Llama 2 - 70B

meta-llama/Llama-2-70b-chat-hf

Code Llama - 34B

codellama/CodeLlama-34b-Instruct-hf

Mistral - 7B

mistralai/Mistral-7B-Instruct-v0.1

HF Zephyr - 7B (基于Mistral-7B)

HuggingFaceH4/zephyr-7b-beta

高级用例

流式响应

Portkey 支持使用服务器推送事件（SSE）进行流式响应。

import OpenAI from 'openai';
import { PORTKEY_GATEWAY_URL, createHeaders } from 'portkey-ai'

const anyscale = new OpenAI({
  baseURL: PORTKEY_GATEWAY_URL,
  defaultHeaders: createHeaders({
    mode: "anyscale",
    apiKey: "PORTKEY_API_KEY" // defaults to process.env["PORTKEY_API_KEY"]
  })
});

async function main() {
  const stream = await anyscale.chat.completions.create({
    model: 'mistralai/Mistral-7B-Instruct-v0.1',
    messages: [{ role: 'user', content: 'Say this is a test' }],
    stream: true,
  });
  for await (const chunk of stream) {
    process.stdout.write(chunk.choices[0]?.delta?.content || '');
  }
}

main();

from openai import OpenAI
from portkey_ai import PORTKEY_GATEWAY_URL, createHeaders

anyscale = OpenAI(
    api_key="ANYSCALE-API-KEY",  # defaults to os.environ.get("OPENAI_API_KEY")
    base_url=PORTKEY_GATEWAY_URL,
    default_headers=createHeaders(
        provider="anyscale",
        api_key="PORTKEY-API-KEY" # defaults to os.environ.get("PORTKEY_API_KEY")
    )
)

chat_complete = anyscale.chat.completions.create(
    model="mistralai/Mistral-7B-Instruct-v0.1",
    messages=[{"role": "user", "content": "Say this is a test"}],
    stream=True
)

for chunk in chat_complete:
    print(chunk.choices[0].delta.content, end="", flush=True)

微调

请参考我们的微调指南，以利用 Portkey 的先进连续微调功能。

Portkey 功能

Portkey 通过 OpenAI SDK 支持其所有功能，因此您无需迁移。

请在相关部分找到更多信息：

Previous自带 LLM NextFireworks

Last updated 1 year ago