Deepinfra

Portkey + DeepInfra

Portkey 是 AI 应用的控制面板。凭借其流行的 AI 网关和可观察性套件，数百个团队交付可靠、成本高效且快速的应用。

使用 Portkey，您可以

• 通过统一的 API 连接 150 多个模型，

• 查看 40 多个请求的指标和日志，

• 启用语义缓存以减少延迟和成本，

• 对失败的请求实施自动重试和回退，

• 为请求添加自定义标签以便更好地追踪和分析等。

快速入门

由于 Portkey 完全兼容 OpenAI 签名，您可以通过 OpenAI 客户端连接到 Portkey AI 网关。

• 将 base_url 设置为 PORTKEY_GATEWAY_URL

• 添加 default_headers 以使用 createHeaders 辅助方法获取 Portkey 所需的头信息。

您需要 Portkey 和 Deepinfra API 密钥才能运行此笔记本。

• 在 这里 注册 Portkey 并生成您的 API 密钥。

• 在 这里 获取您的 Deepinfra 密钥。

!pip install -qU portkey-ai openai

使用 OpenAI 客户端

from openai import OpenAI
from portkey_ai import PORTKEY_GATEWAY_URL, createHeaders
from google.colab import userdata

client = OpenAI(
    api_key= userdata.get('DEEPINFRA_API_KEY'), ## replace it your Mistral API key
    base_url=PORTKEY_GATEWAY_URL,
    default_headers=createHeaders(
        provider="deepinfra",
        api_key= userdata.get('PORTKEY_API_KEY'), ## replace it your Portkey API key
    )
)

chat_complete = client.chat.completions.create(
    model="meta-llama/Meta-Llama-3-70B-Instruct",
    messages=[{"role": "user",
               "content": "Who are you?"}],
)

print(chat_complete.choices[0].message.content)

很高兴见到你！我是 LLaMA，一个由 Meta AI 的研究团队训练的大型语言模型。我的主要功能是生成类似人类的响应，涵盖从科学和历史到娱乐和文化的广泛问题和主题。

我不是人类，而是一种旨在模拟对话并尽我所知回答问题的人工智能。我接受了来自互联网的大量文本数据集的训练，可以用多种语言进行回应。

我可以帮助您完成以下任务：

* 回答各种主题的问题
* 就特定主题或学科生成文本
* 将文本从一种语言翻译成另一种语言
* 将长篇文本总结成更短、更易消化的版本
* 为创意项目提供建议或想法
* 甚至只是进行对话，聊聊你的日常或兴趣！

那么，你在想什么呢？想聊聊具体的事情，还是看看对话会带我们去哪里？

使用 Portkey 进行可观察性

通过将请求路由通过 Portkey，您可以跟踪许多指标，例如 - 使用的令牌、延迟、成本等。

这是您在 Portkey 中获得的仪表板截图：