Groq

Portkey 提供了一个强大且安全的网关，以便将各种大型语言模型（LLMs）集成到您的应用中，包括 Groq APIs。

使用 Portkey，您可以利用快速的 AI 网关访问、可观察性、提示管理等功能，同时确保通过 虚拟密钥 系统安全管理您的 LLM API 密钥。

Provider Slug**: groq**

Portkey SDK与Groq模型的集成

Portkey提供了一致的API，以便与来自不同提供商的模型进行交互。要将Groq与Portkey集成：

1. 安装 Portkey SDK

将 Portkey SDK 添加到您的应用程序中，以通过 Portkey 的网关与 Groq AI 的 API 进行交互。

NodeJS

npm install --save portkey-ai

Python

2. 使用虚拟密钥初始化 Portkey

要将 Groq 与 Portkey 一起使用，请在此处获取您的 API 密钥，然后将其添加到 Portkey 以创建虚拟密钥。

NodeJS SDK

import Portkey from 'portkey-ai'
 
const portkey = new Portkey({
    apiKey: "PORTKEY_API_KEY", // defaults to process.env["PORTKEY_API_KEY"]
    virtualKey: "VIRTUAL_KEY" // Your Groq Virtual Key
})

Python SDK

3. 使用 Groq 调用聊天完成

使用 Portkey 实例向 Groq 发送请求。您也可以在 API 调用中直接覆盖虚拟密钥（virtual key），如果需要的话。

NodeJS SDK

const chatCompletion = await portkey.chat.completions.create({
    messages: [{ role: 'user', content: 'Say this is a test' }],
    model: 'mixtral-8x7b-32768',
});

console.log(chatCompletion.choices);

Python SDK

管理 Groq 提示

您可以在 提示库 中管理所有 Groq 的提示。所有当前的 Groq 模型均受到支持，您可以轻松开始测试不同的提示。

一旦您准备好提示，您可以使用 portkey.prompts.completions.create 接口在您的应用程序中使用该提示。

支持的模型

模型名称	在 API 调用中使用的模型字符串
Llama3 8B	llama3-8b-8192
Llama3 70B	llama3-70b-8192
Mixtral 8x7b	mixtral-8x7b-32768
Gemma 7b	gemma-7b-it

SDK 支持的完整功能列表可以在以下链接中找到。

SDK

您可以在相关部分找到更多信息：

1. 向请求添加元数据

2. 向您的 Groq 添加网关配置 请求

3. 跟踪 Groq 请求

4. 从 OpenAI 设置回退到 Groq API