Anthropic

Portkey 提供了一个强大且安全的网关，以便将各种大型语言模型（LLMs）集成到您的应用中，包括 Anthropic 的 Claude APIs。

使用 Portkey，您可以利用快速的 AI 网关访问、可观察性、提示管理等功能，同时确保通过虚拟密钥系统安全管理您的 LLM API 密钥。

Provider Slug**: anthropic**

Portkey SDK 与 Anthropic 的集成

Portkey 提供了一致的 API 以与来自不同供应商的模型进行交互。要将 Anthropic 与 Portkey 集成：

1. 安装 Portkey SDK

将 Portkey SDK 添加到您的应用程序，以通过 Portkey 的网关与 Anthropic 的 API 进行交互。

npm install --save portkey-ai

2. 使用虚拟密钥初始化 Portkey

要将 Anthropic 与 Portkey 一起使用，请在此处获取您的 Anthropic API 密钥，然后将其添加到 Portkey 以创建您的 Anthropic 虚拟密钥。

import Portkey from 'portkey-ai'
 
const portkey = new Portkey({
    apiKey: "PORTKEY_API_KEY", // defaults to process.env["PORTKEY_API_KEY"]
    virtualKey: "VIRTUAL_KEY" // Your Anthropic Virtual Key
})

from portkey_ai import Portkey

portkey = Portkey(
    api_key="PORTKEY_API_KEY",  # Replace with your Portkey API key
    virtual_key="VIRTUAL_KEY"   # Replace with your virtual key for Anthropic
)

from openai import OpenAI
from portkey_ai import PORTKEY_GATEWAY_URL, createHeaders

client = OpenAI(
    api_key="ANTHROPIC_API_KEY",
    base_url=PORTKEY_GATEWAY_URL,
    default_headers=createHeaders(
        api_key="PORTKEY_API_KEY",
        provider="anthropic"
    )
)

import OpenAI from "openai";
import { PORTKEY_GATEWAY_URL, createHeaders } from "portkey-ai";

const client = new OpenAI({
  apiKey: "ANTHROPIC_API_KEY",
  baseURL: PORTKEY_GATEWAY_URL,
  defaultHeaders: createHeaders({
    provider: "anthropic",
    apiKey: "PORTKEY_API_KEY",
  }),
});

3. 使用 Anthropic 调用聊天完成

使用 Portkey 实例向 Anthropic 发送请求。如果需要，您也可以直接在 API 调用中覆盖虚拟密钥。

const chatCompletion = await portkey.chat.completions.create({
    messages: [{ role: 'user', content: 'Say this is a test' }],
    model: 'claude-3-opus-20240229',
    max_tokens: 250 // Required field for Anthropic
});

console.log(chatCompletion.choices[0].message.content);

chat_completion = portkey.chat.completions.create(
    messages= [{ "role": 'user', "content": 'Say this is a test' }],
    model= 'claude-3-opus-20240229',
    max_tokens=250 # Required field for Anthropic
)
    
print(chat_completion.choices[0].message.content)

chat_completion = client.chat.completions.create(
    messages = [{ "role": 'user', "content": 'Say this is a test' }],
    model = 'claude-3-opus-20240229',
    max_tokens = 250
)

print(chat_completion.choices[0].message.content)

async function main() {
    const chatCompletion = await client.chat.completions.create({
        model: "claude-3-opus-20240229",
        max_tokens: 1024,
        messages: [{ role: "user", content: "Hello, Claude" }],
    });
    console.log(chatCompletion.choices[0].message.content);
}

main();

如何使用 Anthropic 系统提示

通过 Portkey，我们使 Anthropic 模型与 OpenAI 架构和 SDK 方法互操作。因此，您可以将 system 提示作为 messages 主体的一部分传递，类似于 OpenAI：

const chatCompletion = await portkey.chat.completions.create({
    messages: [
        { role: 'system', content: 'Your system prompt' },
        { role: 'user', content: 'Say this is a test' }
    ],
    model: 'claude-3-opus-20240229',
    max_tokens: 250
});

console.log(chatCompletion.choices);

completion = portkey.chat.completions.create(
    messages= [
        { "role": 'system', "content": 'Your system prompt' },
        { "role": 'user', "content": 'Say this is a test' }
    ],
    model= 'claude-3-opus-20240229',
    max_tokens=250 # Required field for Anthropic
)
    
print(completion.choices)

更多信息，请查看 chat completions 和 completions API 参考文档。

使用 Anthropic 视觉模型

Portkey 的多模态网关完全支持 Anthropic 的视觉模型 claude-3-sonnet、claude-3-haiku、claude-3-opus 和最新的 claude-3.5-sonnet。

有关更多信息，请查看此指南：

视觉

管理 Anthropic 提示

您可以在提示库中管理所有对 Anthropic 的提示。所有当前的 Anthropic 模型均受支持，您可以轻松开始测试不同的提示。

一旦您准备好提示，您可以使用 portkey.prompts.completions.create 接口在您的应用程序中使用该提示。

下一步

SDK 支持的完整功能列表可以在以下链接中找到。

SDK

您可以在相关部分找到更多信息：

PreviousOpenAI NextGoogle Gemini

Last updated 1 year ago