Google Vertex AI

Portkey 提供了一个强大且安全的网关，以便将各种大型语言模型（LLMs）集成到您的应用程序中，包括 Google Vertex AI。

使用 Portkey，您可以利用快速的 AI 网关访问、可观察性、提示管理等功能，同时通过虚拟密钥系统确保安全管理您的 LLM API 密钥。

Provider Slug**: vertex-ai**

Portkey SDK 与 Google Vertex AI 的集成

Portkey 提供了一致的 API，以便与来自不同提供商的模型进行交互。要将 Google Vertex AI 与 Portkey 集成：

1. 安装 Portkey SDK

将 Portkey SDK 添加到您的应用程序，以通过 Portkey 的网关与 Google Vertex AI API 进行交互。

npm install --save portkey-ai

2. 使用虚拟密钥初始化 Portkey

要将 Vertex AI 与 Portkey 集成，您需要您的 Vertex Project Id 和 Vertex Region，以便设置虚拟密钥。

这是关于如何找到您的 Vertex 项目详细信息的指南。

如果您通过服务账户文件进行集成，请参考此指南。

import Portkey from 'portkey-ai'
 
const portkey = new Portkey({
    apiKey: "PORTKEY_API_KEY", // defaults to process.env["PORTKEY_API_KEY"]
    virtualKey: "VERTEX_VIRTUAL_KEY", // 您的 Vertex AI 虚拟密钥
})

from portkey_ai import Portkey

portkey = Portkey(
    api_key="PORTKEY_API_KEY",  # 替换为您的 Portkey API 密钥
    virtual_key="VERTEX_VIRTUAL_KEY"   # 替换为您的 Google 虚拟密钥
)

import OpenAI from "openai";
import { PORTKEY_GATEWAY_URL, createHeaders } from "portkey-ai";

const portkey = new OpenAI({
  baseURL: PORTKEY_GATEWAY_URL,
  defaultHeaders: createHeaders({
    apiKey: "PORTKEY_API_KEY",
    virtualKey: "PORTKEY_VERTEX_VIRTUAL_KEY",
    authorization: "Bearer $GCLOUD AUTH PRINT-ACCESS-TOKEN"
  }),
});

如果您不想将您的 Vertex AI 详细信息添加到 Portkey vault，您可以在实例化 Portkey 客户端时直接传递它们。更多信息请见这里。

3. 使用 Vertex AI 和 Gemini 调用聊天完成

使用 Portkey 实例向托管在 Vertex AI 上的 Gemini 模型发送请求。如果需要，您还可以在 API 调用中直接覆盖虚拟密钥。

Vertex AI 使用 OAuth2 来验证其请求，因此您需要在请求中额外发送 访问令牌。

const chatCompletion = await portkey.chat.completions.create({
    messages: [{ role: 'user', content: 'Say this is a test' }],
    model: 'gemini-pro',
}, {authorization: "vertex ai access token here"});

console.log(chatCompletion.choices);

async function main() {
  const response = await portkey.chat.completions.create({
    messages: [{ role: "user", content: "1729" }],
    model: "gemini-1.5-flash-001",
    max_tokens: 128,
  });
  console.log(response.choices[0].message.content);
}

main();

函数调用

Portkey 在 Google 的 Gemini 模型上支持函数调用模式。深入探索此 ⬇️ 食谱和示例：

函数调用

管理 Vertex AI 提示

您可以在提示库中管理所有对 Google Gemini 的提示。模型花园中的所有模型均受支持，您可以轻松开始测试不同的提示。

一旦您准备好提示，可以使用 portkey.prompts.completions.create 接口在您的应用程序中使用该提示。

直接在没有虚拟密钥的情况下发起请求

您还可以直接传递您的 Vertex AI 详细信息和密钥，而无需在 Portkey 中使用虚拟密钥。

Vertex AI 在请求完成时需要 region、project ID 和 access token。以下是如何在请求中直接指定这些字段的方法：

import Portkey from 'portkey-ai'
 
const portkey = new Portkey({
    apiKey: "PORTKEY_API_KEY",
    vertexProjectId: "sample-55646",
    vertexRegion: "us-central1",
    provider:"vertex_ai",
    Authorization: "$GCLOUD AUTH PRINT-ACCESS-TOKEN"
})

const chatCompletion = await portkey.chat.completions.create({
    messages: [{ role: 'user', content: 'Say this is a test' }],
    model: 'gemini-pro',
});

console.log(chatCompletion.choices);

from portkey_ai import Portkey

portkey = Portkey(
    api_key="PORTKEY_API_KEY",
    vertex_project_id="sample-55646",
    vertex_region="us-central1",
    provider="vertex_ai",
    Authorization="$GCLOUD AUTH PRINT-ACCESS-TOKEN"
)

completion = portkey.chat.completions.create(
    messages= [{ "role": 'user', "content": 'Say this is a test' }],
    model= 'gemini-pro'
)

print(completion)

import OpenAI from "openai";
import { PORTKEY_GATEWAY_URL, createHeaders } from "portkey-ai";

const portkey = new OpenAI({
  baseURL: PORTKEY_GATEWAY_URL,
  defaultHeaders: createHeaders({
    apiKey: "PORTKEY_API_KEY",
    provider: "vertex-ai",
    vertexRegion: "us-central1",
    vertexProjectId: "xxx"
    Authorization: "Bearer $GCLOUD AUTH PRINT-ACCESS-TOKEN",
    // forwardHeaders: ["authorization"] // 您还可以直接将身份验证令牌转发给 Google
  }),
});

async function main() {
  const response = await portkey.chat.completions.create({
    messages: [{ role: "user", content: "1729" }],
    model: "gemini-1.5-flash-001",
    max_tokens: 32,
  });
  console.log(response.choices[0].message.content);
}

main();

curl 'https://api.portkey.ai/v1/chat/completions' \
-H 'Content-Type: application/json' \
-H 'x-portkey-api-key: PORTKEY_API_KEY' \
-H 'x-portkey-provider: vertex-ai' \
-H 'Authorization: Bearer VERTEX_AI_ACCESS_TOKEN' \
-H 'x-portkey-vertex-project-id: sample-94994' \
-H 'x-portkey-vertex-region: us-central1' \
--data '{
    "messages": [{"role": "user","content": "Hello"}],
    "max_tokens": 20,
    "model": "gemini-pro"
}'

如需有关自定义 Vertex AI 部署或细粒度访问令牌的进一步问题，请通过 [email protected] 联系我们。

如何查找您的 Google Vertex 项目详细信息

要获取您的 Vertex 项目 ID 和区域， 请访问 Google Vertex 控制台。

您可以复制位于屏幕左上角的 项目 ID。
在同一页面上找到 区域下拉菜单 以获取您的 Vertex 区域。

获取您的 Vertex 服务帐户 JSON

按照此过程获取您的服务帐户 JSON。

下一步

SDK 支持的完整功能列表可在以下链接中找到。

SDK

Last updated 1 year ago