Anyscale

无缝集成 Anyscale 端点与 Portkey，使您的 OSS 模型具备生产就绪状态

Portkey 的功能套件 - AI 网关、可观测性、提示管理和持续微调，均已针对 Anyscale 端点上可用的 OSS 模型（Llama2、Mistral、Zephyr 等）启用。

Provider Slug**: anyscale**

Portkey SDK 与 Anyscale 的集成

1. 安装 Portkey SDK

NodeJS

npm install --save portkey-ai

Python

2. 使用 Anyscale 虚拟密钥初始化 Portkey

要将 Anyscale 与 Portkey 一起使用，请 从这里获取您的 Anyscale API 密钥，然后将其添加到 Portkey 以创建虚拟密钥。

NodeJS SDK

import Portkey from 'portkey-ai'
 
const portkey = new Portkey({
    apiKey: "PORTKEY_API_KEY", // defaults to process.env["PORTKEY_API_KEY"]
    virtualKey: "ANYSCALE_VIRTUAL_KEY" // Your Anyscale Virtual Key
})

Python SDK

3. 使用 Anyscale 调用聊天完成

NodeJS SDK

const chatCompletion = await portkey.chat.completions.create({
    messages: [{ role: 'user', content: 'Say this is a test' }],
    model: 'mistralai/Mistral-7B-Instruct-v0.1',
});

console.log(chatCompletion.choices);

Python SDK

直接使用 Portkey 的 REST API

或者，您也可以通过 Portkey 的 REST API 直接调用 Anyscale 模型 - 它的工作方式与 OpenAI API 完全相同，主要有两个不同之处：

1. 您将请求发送到 Portkey 的完整网关 URL https://api.portkey.ai/v1/chat/completions

2. 您必须添加 Portkey 特定的请求头。

   1. x-portkey-api-key 用于发送您的 Portkey API 密钥

   2. x-portkey-virtual-key 用于发送您提供者的虚拟密钥（或者，如果您不使用虚拟密钥，您可以发送您提供者的 Auth 头，并与之一起传递 x-portkey-provider 头）

REST API

curl https://api.portkey.ai/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $ANYSCALE_API_KEY" \
  -H "x-portkey-api-key: $PORTKEY_API_KEY" \
  -H "x-portkey-provider: anyscale" \ 
  -d '{
    "model": "mistralai/Mistral-7B-Instruct-v0.1",
    "messages": [{"role": "user","content": "Hello!"}]
  }'

所有可能的 Portkey 头部列表.

使用 OpenAI Python 或 Node SDK 进行 Anyscale

您还可以在标准 OpenAI SDK 中使用 baseURL 参数，并直接从那里调用 Portkey + Anyscale。与 Rest API 示例一样，您只需更改 baseURL 并向您的实例添加 defaultHeaders。您可以使用 Portkey SDK 来简化这一过程：

OpenAI Node SDK

import OpenAI from 'openai'; // We're using the v4 SDK
import { PORTKEY_GATEWAY_URL, createHeaders } from 'portkey-ai'

const anyscale = new OpenAI({
  apiKey: 'ANYSCALE_API_KEY',
  baseURL: PORTKEY_GATEWAY_URL,
  defaultHeaders: createHeaders({
    provider: "anyscale",
    apiKey: "PORTKEY_API_KEY" // defaults to process.env["PORTKEY_API_KEY"]
  })
});

async function main() {
  const chatCompletion = await anyscale.chat.completions.create({
    messages: [{ role: 'user', content: 'Say this is a test' }],
    model: 'mistralai/Mistral-7B-Instruct-v0.1',
  });

  console.log(chatCompletion.choices);
}

main();

OpenAI Python SDK

此请求将由 Portkey 自动记录。您可以在日志仪表板中查看此信息。Portkey 记录每个请求所使用的令牌、执行时间和费用。此外，您可以深入了解详细信息，以查看精确的请求和响应数据。

管理 Anyscale 提示

您可以在 提示库 中管理 Anyscale 的 OSS 模型的所有提示。所有当前的 Anyscale 模型均受到支持。

创建提示

使用 Portkey 提示游乐场设置变量，并尝试各种模型参数以获得正确的输出。

使用提示

通过 Portkey SDK 或 REST API 部署提示

Node SDK

import Portkey from 'portkey-ai'

const portkey = new Portkey({
    apiKey: "PORTKEY_API_KEY", // defaults to process.env["PORTKEY_API_KEY"]
})

// Make the prompt creation call with the variables
const promptCompletion = await portkey.prompts.completions.create({
    promptID: "YOUR_PROMPT_ID",
    variables: {
        //Required variables for prompt
    }
})

我们还可以覆盖超参数：

const promptCompletion = await portkey.prompts.completions.create({
    promptID: "YOUR_PROMPT_ID",
    variables: {
        //Required variables for prompt
    },
    max_tokens: 250,
    presence_penalty: 0.2
})

Python SDK

REST API

观察这如何简化您的代码可读性，并通过 UI 简化提示更新，而无需更改代码库。

---

支持的模型列表

模型名称	Portkey上的模型键
Llama 2 - 7B	meta-llama/Llama-2-7b-chat-hf
Llama 2- 13B	meta-llama/Llama-2-13b-chat-hf
Llama 2 - 70B	meta-llama/Llama-2-70b-chat-hf
Code Llama - 34B	codellama/CodeLlama-34b-Instruct-hf
Mistral - 7B	mistralai/Mistral-7B-Instruct-v0.1
HF Zephyr - 7B (基于Mistral-7B)	HuggingFaceH4/zephyr-7b-beta

---

高级用例

流式响应

Portkey 支持使用服务器推送事件（SSE）进行流式响应。

OpenAI NodeJS SDK

import OpenAI from 'openai';
import { PORTKEY_GATEWAY_URL, createHeaders } from 'portkey-ai'

const anyscale = new OpenAI({
  baseURL: PORTKEY_GATEWAY_URL,
  defaultHeaders: createHeaders({
    mode: "anyscale",
    apiKey: "PORTKEY_API_KEY" // defaults to process.env["PORTKEY_API_KEY"]
  })
});

async function main() {
  const stream = await anyscale.chat.completions.create({
    model: 'mistralai/Mistral-7B-Instruct-v0.1',
    messages: [{ role: 'user', content: 'Say this is a test' }],
    stream: true,
  });
  for await (const chunk of stream) {
    process.stdout.write(chunk.choices[0]?.delta?.content || '');
  }
}

main();

OpenAI Python SDK

微调

请参考我们的微调指南，以利用 Portkey 的先进 连续微调 功能。

Portkey 功能

Portkey 通过 OpenAI SDK 支持其所有功能，因此您无需迁移。

请在相关部分找到更多信息：

1. 向您的请求添加元数据

2. 向客户端或单个请求添加网关配置

3. 跟踪 Anyscale 请求

4. 设置 Azure OpenAI 的后备