AWS Bedrock

Portkey 提供了一个强大且安全的网关，以便将各种大型语言模型（LLMs）集成到您的应用程序中，包括托管在 AWS Bedrock 上的模型。

借助 Portkey，您可以利用快速的 AI 网关访问、可观察性、提示管理等功能，同时确保通过虚拟密钥系统安全管理您的 LLM API 密钥。

Provider Slug**: bedrock**

Portkey SDK与AWS Bedrock的集成

Portkey提供了一致的API，以便与来自不同提供商的模型进行交互。要将Bedrock与Portkey集成：

1. 安装 Portkey SDK

将 Portkey SDK 添加到您的应用程序中，以通过 Portkey 的网关与 Anthropic 的 API 进行交互。

npm install --save portkey-ai

2. 使用虚拟密钥初始化 Portkey

要将 AWS Bedrock 与 Portkey 集成，您需要 AWS Secret Access Key、AWS Access Key Id 和 AWS Region，通过这些信息您可以在 Portkey 上创建虚拟密钥。

这是关于如何在 AWS 上找到您的 AWS 凭证的指南。

import Portkey from 'portkey-ai'
 
const portkey = new Portkey({
    apiKey: "PORTKEY_API_KEY", // defaults to process.env["PORTKEY_API_KEY"]
    virtualKey: "VIRTUAL_KEY" // Your Bedrock Virtual Key
})

from portkey_ai import Portkey

portkey = Portkey(
    api_key="PORTKEY_API_KEY",  # Replace with your Portkey API key
    virtual_key="VIRTUAL_KEY"   # Replace with your virtual key for Bedrock
)

使用 AWS STS 的虚拟密钥

如果您正在使用 AWS Security Token Service，您可以将 aws_session_token 与虚拟密钥一起传递：

import Portkey from 'portkey-ai'
 
const portkey = new Portkey({
    apiKey: "PORTKEY_API_KEY", // defaults to process.env["PORTKEY_API_KEY"]
    virtualKey: "VIRTUAL_KEY" // Your Bedrock Virtual Key,
    aws_session_token: "<aws_session_token>"
})

from portkey_ai import Portkey

portkey = Portkey(
    api_key="PORTKEY_API_KEY",  # Replace with your Portkey API key
    virtual_key="VIRTUAL_KEY"   # Replace with your virtual key for Bedrock,
    aws_session_token="<aws_session_token>"
)

不使用虚拟密钥？

查看此示例，了解如何直接使用您的 AWS 详细信息通过 Portkey 发起 Bedrock 请求。

3. 使用 AWS Bedrock 调用聊天完成

使用 Portkey 实例向 Anthropic 发送请求。如果需要，您还可以直接在 API 调用中覆盖虚拟密钥。

const chatCompletion = await portkey.chat.completions.create({
    messages: [{ role: 'user', content: 'Say this is a test' }],
    model: 'anthropic.claude-v2:1',
    max_tokens: 250 // Required field for Anthropic
});

console.log(chatCompletion.choices);

completion = portkey.chat.completions.create(
    messages= [{ "role": 'user', "content": 'Say this is a test' }],
    model= 'anthropic.claude-v2:1',
    max_tokens=250 # Required field for Anthropic
)
    
print(completion.choices)

使用视觉模型

Portkey 的多模态网关完全支持 Bedrock 的视觉模型 anthropic.claude-3-sonnet、anthropic.claude-3-haiku 和 anthropic.claude-3-opus

有关更多信息，请查看此指南：

视觉

管理 AWS Bedrock 提示

您可以在提示库中管理所有对 AWS Bedrock 的提示。所有当前的 Anthropic 模型均受支持，您可以轻松开始测试不同的提示。

一旦您准备好提示，可以使用 portkey.prompts.completions.create 接口在您的应用程序中使用该提示。

无需虚拟密钥的请求

如果您不想将您的 AWS 详细信息添加到 Portkey vault，您也可以在实例化 Portkey 客户端时直接传递它们。

映射基岩详细信息

Node SDK

Python SDK

REST Headers

awsAccessKeyId

aws_access_key_id

x-portkey-aws-session-token

awsSecretAccessKey

aws_secret_access_key

x-portkey-aws-secret-access-key

awsRegion

aws_region

x-portkey-aws-region

awsSessionToken

aws_session_token

x-portkey-aws-session-token

示例

import Portkey from 'portkey-ai'
 
const portkey = new Portkey({
    apiKey: "PORTKEY_API_KEY",
    provider: "bedrock",
    awsAccessKeyId: "AWS_ACCESS_KEY_ID",
    awsSecretAccessKey: "AWS_SECRET_ACCESS_KEY",
    awsRegion: "us-east-1",
    awsSessionToken: "AWS_SESSION_TOKEN"
})

from portkey_ai import Portkey

client = Portkey(
    api_key="PORTKEY_API_KEY",
    provider="bedrock",
    aws_access_key_id="<aws_acces_key_id>",
    aws_secret_access_key="<aws_secret_acces_key>",
    aws_region="us-east-1",
    aws_session_token="<aws_session_token>"
)

curl https://api.portkey.ai/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "x-portkey-api-key: $PORTKEY_API_KEY" \
  -H "x-portkey-provider: bedrock" \
  -H "x-portkey-aws-session-token: $AWS_SESSION_TOKEN" \
  -H "x-portkey-aws-secret-access-key: $AWS_SECRET_ACCESS_KEY" \
  -H "x-portkey-aws-region: $AWS_REGION" \
  -H "x-portkey-aws-session-token: $AWS_TOKEN" \
  -d '{
    "model": "gpt-4o",
    "messages": [{"role": "user","content": "Hello!"}]
  }'