在 Portkey + Together AI 上使用 Llama 3

直接使用 OpenAI SDK 尝试新的 Llama 3 模型

您需要 Portkey 和 Together AI API 密钥才能开始

获取 Portkey API 密钥	获取 Together AI API 密钥

pip install -qU portkey-ai openai

使用 OpenAI 客户端

from openai import OpenAI
from portkey_ai import PORTKEY_GATEWAY_URL, createHeaders

openai = OpenAI(
    api_key= 'TOGETHER_API_KEY', ## 从 https://api.together.xyz/ 获取
    base_url=PORTKEY_GATEWAY_URL,
    default_headers=createHeaders(
        provider="together-ai",
        api_key= 'PORTKEY_API_KEY' ## 从 https://app.portkey.ai/ 获取
    )
)

response = openai.chat.completions.create(
    model="meta-llama/Llama-3-8b-chat-hf",
    messages=[{"role": "user", "content": "什么是分形？"}],
    max_tokens=500
)

print(response.choices[0].message.content)

使用 Portkey 客户端

您可以安全地将您的 Together API 密钥存储在 Portkey 中，并使用 Portkey 的虚拟密钥访问模型。

from portkey_ai import Portkey

portkey = Portkey(
    api_key = 'PORTKEY_API_KEY',   ## 从 https://app.portkey.ai/ 获取
    virtual_key= "together-virtual-key"   ## 从 https://api.together.xyz/ 获取并添加到 Portkey 虚拟密钥中
)

response = portkey.chat.completions.create(
    model= 'meta-llama/Llama-3-8b-chat-hf',
    messages= [{ "role": 'user', "content": 'Who are you?'}],
    max_tokens=500
)

print(response.choices[0].message.content)

监控您的请求

使用 Portkey，您可以监控您的 Llama 3 请求，并跟踪令牌、成本、延迟等信息。