Segmind

在 Colab 中打开

Portkey + Segmind

Portkey 是 AI 应用的控制面板。凭借其流行的 AI 网关和可观察性套件,数百个团队交付可靠、经济高效且快速的应用程序。

使用 Portkey,您可以

  • 通过统一的 API 连接 150 多个模型,

  • 查看 40 多个指标和所有请求的日志,

  • 启用语义缓存以减少延迟和成本,

  • 为失败的请求实现自动重试和回退,

  • 为请求添加自定义标签以便更好地跟踪和分析等。

Segmind 提供数百个 生成模型 的无服务器 API,这些模型可以应用于您的应用程序希望完成的特定任务。您可以从模型页面获取 API,以开始将其与您的应用程序集成。在开始进行 API 调用之前,您需要一个 API 密钥来验证您的应用程序。

显示图像(实用函数)

import base64
import io
from PIL import Image
import matplotlib.pyplot as plt

def display_image(image):
  # Assuming your data is stored in a variable named `response_data`
  response_data = image.data
  print(response_data)

  # Extract the base64-encoded image data  (This if condition is only if we fallback to Dall-E as dall e doesn't provide b64_json instead it gives the direct url)
  if (response_data[0].url):
    print(response_data[0].url)
  else:
    b64_image_data = response_data[0].b64_json

    # Decode the base64-encoded image data
    image_data = base64.b64decode(b64_image_data)

    # Convert the decoded image data into a PIL image object
    image = Image.open(io.BytesIO(image_data))

    # Display the image using Matplotlib
    plt.imshow(image)
    plt.axis('off')  # Hide axis
    plt.show()

快速入门

由于 Portkey 完全兼容 OpenAI 签名,您可以通过 OpenAI 客户端连接到 Portkey AI 网关。

  • base_url 设置为 PORTKEY_GATEWAY_URL

  • 添加 default_headers 以使用 createHeaders 辅助方法来获取 Portkey 所需的头部。

您需要 Portkey 和 Segmind API 密钥才能运行此笔记本。

  • 这里 注册 Portkey 并生成您的 API 密钥。

  • 这里 获取您的 Segmind 密钥。

使用 OpenAI 客户端

使用 Portkey 客户端

Optional 高级路由 - 后备

后备功能允许您以优先顺序指定提供者/模型列表。如果主要的 LLM 无法响应或遇到错误,Portkey 将自动回退到列表中的下一个 LLM,从而确保您的应用程序的稳健性和可靠性。

要启用后备,您可以修改 config object 来包含后备模式。

注意:您可以在 Portkey 上创建和存储自定义配置。

监控您的请求

使用 Portkey,您可以监控您的 Segmind 请求,并跟踪令牌、成本、延迟等信息。

Last updated