Deepinfra

Portkey 提供了一个强大且安全的网关，以便将各种大型语言模型（LLMs）集成到您的应用程序中，包括托管在 Deepinfra API 上的模型。

Provider Slug**: deepinfra**

Portkey SDK 与 Deepinfra 模型的集成

Portkey 提供了一致的 API 以与来自不同提供商的模型进行交互。要将 Deepinfra 与 Portkey 集成：

1. 安装 Portkey SDK

将 Portkey SDK 添加到您的应用程序中，以通过 Portkey 的网关与 Mistral AI 的 API 进行交互。

NodeJS

npm install --save portkey-ai

Python

2. 使用 Deepinfra 密钥初始化 Portkey

获取您的 Deepinfra 密钥并通过 Authorization 参数与提供者 slug 一起传递。

NodeJS SDK

import Portkey from 'portkey-ai'
 
const portkey = new Portkey({
    apiKey: "PORTKEY_API_KEY", // defaults to process.env["PORTKEY_API_KEY"]
    provider: "deepinfra",
    Authorization: "$DEEPINFRA_API_KEY"
})

Python SDK

3. 调用聊天完成

NodeJS SDK

const chatCompletion = await portkey.chat.completions.create({
    messages: [{ role: 'user', content: 'Say this is a test' }],
    model: 'nvidia/Nemotron-4-340B-Instruct',
});

console.log(chatCompletion.choices);

Python SDK

---

支持的模型

这是您可以通过 Portkey 路由到的所有 Deepinfra 模型的列表 -

Models | Machine Learning Inference | Deep InfraDeep Infra

下一步

SDK 支持的完整功能列表可在以下链接中查看。

SDK

您可以在相关部分找到更多信息：

1. 向请求添加元数据

2. 向您的 Deepinfra 添加网关配置 requests

3. 跟踪 Deepinfra 请求

4. 从 OpenAI 到 Deepinfra 设置回退