AWS Bedrock

Portkey 提供了一个强大且安全的网关，以便将各种大型语言模型（LLMs）集成到您的应用程序中，包括托管在 AWS Bedrock 上的模型。

借助 Portkey，您可以利用快速的 AI 网关访问、可观察性、提示管理等功能，同时确保通过 虚拟密钥 系统安全管理您的 LLM API 密钥。

Provider Slug**: bedrock**

Portkey SDK与AWS Bedrock的集成

Portkey提供了一致的API，以便与来自不同提供商的模型进行交互。要将Bedrock与Portkey集成：

1. 安装 Portkey SDK

将 Portkey SDK 添加到您的应用程序中，以通过 Portkey 的网关与 Anthropic 的 API 进行交互。

NodeJS

npm install --save portkey-ai

Python

2. 使用虚拟密钥初始化 Portkey

要将 AWS Bedrock 与 Portkey 集成，您需要 AWS Secret Access Key、AWS Access Key Id 和 AWS Region，通过这些信息您可以在 Portkey 上创建虚拟密钥。

这是关于如何在 AWS 上找到您的 AWS 凭证的指南。

NodeJS SDK

import Portkey from 'portkey-ai'
 
const portkey = new Portkey({
    apiKey: "PORTKEY_API_KEY", // defaults to process.env["PORTKEY_API_KEY"]
    virtualKey: "VIRTUAL_KEY" // Your Bedrock Virtual Key
})

Python SDK

使用 AWS STS 的虚拟密钥

如果您正在使用 AWS Security Token Service，您可以将 aws_session_token 与虚拟密钥一起传递：

NodeJS

import Portkey from 'portkey-ai'
 
const portkey = new Portkey({
    apiKey: "PORTKEY_API_KEY", // defaults to process.env["PORTKEY_API_KEY"]
    virtualKey: "VIRTUAL_KEY" // Your Bedrock Virtual Key,
    aws_session_token: "<aws_session_token>"
})

Python

不使用虚拟密钥？

查看此示例，了解如何直接使用您的 AWS 详细信息通过 Portkey 发起 Bedrock 请求。

3. 使用 AWS Bedrock 调用聊天完成

使用 Portkey 实例向 Anthropic 发送请求。如果需要，您还可以直接在 API 调用中覆盖虚拟密钥。

NodeJS SDK

const chatCompletion = await portkey.chat.completions.create({
    messages: [{ role: 'user', content: 'Say this is a test' }],
    model: 'anthropic.claude-v2:1',
    max_tokens: 250 // Required field for Anthropic
});

console.log(chatCompletion.choices);

Python SDK

使用视觉模型

Portkey 的多模态网关完全支持 Bedrock 的视觉模型 anthropic.claude-3-sonnet、anthropic.claude-3-haiku 和 anthropic.claude-3-opus

有关更多信息，请查看此指南：

视觉

管理 AWS Bedrock 提示

您可以在 提示库 中管理所有对 AWS Bedrock 的提示。所有当前的 Anthropic 模型均受支持，您可以轻松开始测试不同的提示。

一旦您准备好提示，可以使用 portkey.prompts.completions.create 接口在您的应用程序中使用该提示。

无需虚拟密钥的请求

如果您不想将您的 AWS 详细信息添加到 Portkey vault，您也可以在实例化 Portkey 客户端时直接传递它们。

映射基岩详细信息

Node SDK	Python SDK	REST Headers
awsAccessKeyId	aws_access_key_id	x-portkey-aws-session-token
awsSecretAccessKey	aws_secret_access_key	x-portkey-aws-secret-access-key
awsRegion	aws_region	x-portkey-aws-region
awsSessionToken	aws_session_token	x-portkey-aws-session-token

示例

NodeJS

import Portkey from 'portkey-ai'
 
const portkey = new Portkey({
    apiKey: "PORTKEY_API_KEY",
    provider: "bedrock",
    awsAccessKeyId: "AWS_ACCESS_KEY_ID",
    awsSecretAccessKey: "AWS_SECRET_ACCESS_KEY",
    awsRegion: "us-east-1",
    awsSessionToken: "AWS_SESSION_TOKEN"
})

Python

REST API

支持的模型

Supported foundation models in Amazon Bedrock - Amazon BedrockAmazon Bedrock

---

如何找到您的 AWS 凭证

Navigate here in the AWS Management Console 获取您的 AWS Access Key ID 和 AWS Secret Access Key.

• 在控制台中，您会找到 'Access keys' 部分。点击 'Create access key'.

• 一旦生成，请复制 Secret Access Key，您也可以查看 Access Key ID。

• 在同一 页面 的 'Access keys' 部分，您创建的 Secret Access key 旁边也会找到您的 Access Key ID.

• 最后，从 AWS Bedrock 的主页获取您的 AWS Region，如下图所示。

---

下一步

SDK 支持的完整功能列表可在以下链接中找到。

SDK

您可以在相关部分找到更多信息：

1. 向您的请求添加元数据

2. 向您的 Bedrock 请求添加网关配置

3. 跟踪 Bedrock 请求

4. 从 OpenAI 到 Beckrock API 设置回退