从 SDXL 回退到 Dall-e-3

设置从 Stable Diffusion 到 Dall-E 的回退

生成性 AI 模型彻底改变了文本生成，并为开发者开辟了新的可能性。接下来是什么？一种新的图像生成模型类别。

本食谱介绍了 Portkey 的多模态 AI 网关，它帮助您在多个图像生成模型之间切换，而无需任何代码更改 — 一切都通过 OpenAI SDK。您将学习如何设置从 Stable Diffusion 到 Dall-E 的回退。

1. 将图像生成模型与 Portkey 集成

首先将 API 密钥存储在 Portkey Vault 中。

要将您的 OpenAI 和 StabilityAI 密钥保存在 Portkey Vault 中：

1. 访问 portkey.ai

2. 点击 虚拟密钥，然后点击 创建

   1. 输入 名称 和 API 密钥，

   2. 点击 创建

3. 从 密钥 列中复制虚拟密钥

我们成功设置了虚拟密钥！

有关更多信息，请参阅 docs。

多模态 AI 网关将来会使用这些虚拟密钥对来自您应用的每个请求应用回退机制。

2. 使用 OpenAI SDK 调用 Stability AI

通过 Portkey，您可以直接在 OpenAI SDK 中调用 Stability AI 模型，如 SDXL。只需将 base_url 更改为 Portkey Gateway，并在实例化 OpenAI 客户端时添加 defaultHeaders，就可以开始使用。

导入 openai 和 portkey_ai 库以发送请求，而其余的实用库将帮助解码 base64 响应并将其打印到 Jupyter Notebook 中。

from IPython.display import display
from PIL import Image
from openai import OpenAI
from portkey_ai import PORTKEY_GATEWAY_URL, createHeaders
import requests, io, base64, json

PORTKEY_API_KEY="YOUR_PORTKEY_API_KEY_HERE"
OPENAI_VIRTUAL_KEY="YOUR_OPENAI_VIRTUAL_KEY_HERE"
CONFIG_ID="YOUR_CONFIG_ID_HERE"
OPENAI_API_KEY="REDUNDANT"

声明要传递给 OpenAI SDK 参数的参数，并初始化客户端实例。

STABILITYAI_VIRTUAL_KEY="YOUR_STABILITYAI_VIRTUAL_KEY_HERE"

client = OpenAI(
    api_key="REDUNDANT",
    base_url=PORTKEY_GATEWAY_URL,
    default_headers=createHeaders(
        provider="stabilityai",
        api_key=PORTKEY_API_KEY,
        virtual_key=STABILITYAI_VIRTUAL_KEY,
    )
)

api_key 参数传递一个随机字符串，因为它是多余的，请求将通过 Portkey 处理。

要生成图像：

image = client.images.generate(
  model="stable-diffusion-v1-6",
  prompt="Kraken in the milkyway galaxy",
  n=1,
  size="1024x1024",
  response_format="b64_json"
)

base64_image = image.data[0].b64_json

image_data = base64.b64decode(base64_image)

image = Image.open(io.BytesIO(image_data))
display(image)

您在响应中收到的图像是以 base64 格式编码的，这要求您在 Jupyter Notebook 中查看之前先对其进行解码。此外，Portkey 提供了可观察性的日志记录。要查找每个请求的所有信息，只需查看 Dashboard > Logs 中的请求即可。

3. 现在，从 SDXL 设置回退到 Dall-E

让我们学习如何通过配置自动回退到 Dall-E 来增强 Stability AI 请求的可靠性，以防出现故障。您可以在 Portkey 上使用 Gateway Configs 来实现这种自动回退逻辑。这些配置可以在创建 OpenAI 客户端时传递。

从 Portkey 控制面板中，打开 Configs，然后点击 Create。在配置编辑器中，编写 Gateway Configs 的 JSON：

{
  "strategy": {
    "mode": "fallback"
  },
  "targets": [
    {
      "virtual_key": "stability-ai-virtualkey",
      "override_params": {
        "model": "stable-diffusion-v1-6"
      }
    },
    {
      "virtual_key": "open-ai-virtual-key",
      "override_params": {
        "model": "dall-e-3"
      }
    }
  ]
}

这些配置告诉 AI 网关遵循 fallback 策略，其中主要的请求转发目标是 Stability AI（根据虚拟键自动推断），然后是 OpenAI。override_params 让您可以覆盖提供者的默认模型。最后，惊喜惊喜！— 我们还通过再添加一个键值对启用了缓存。

了解有关 Gateway Configs 和 Caching 的文档。

点击右上角的 Save Config，并获取 **Config ID。 **接下来，我们将使用 _Config ID _ 在我们的请求中激活回退机制。

4. 使用网关配置发起请求

最后，请求将像我们之前使用 OpenAI SDK 时那样发送，但有一个特定的区别 - config 参数。请求通过 Portkey 发送，并使用保存的网关配置作为激活回退机制的参考。

client = OpenAI(
    api_key=OPENAI_API_KEY,
    base_url=PORTKEY_GATEWAY_URL,
    default_headers=createHeaders(
        api_key=PORTKEY_API_KEY,
        config=CONFIG_ID
    )
)

image = client.images.generate(
  model="stable-diffusion-v1-6",
  prompt="Harry Potter travelling the world using Portkey",
  n=1,
  size="1024x1024",
  response_format="b64_json"
)

base64_image = image.data[0].b64_json

image_data = base64.b64decode(base64_image)

image = Image.open(io.BytesIO(image_data))
display(image)

后记

所有通过 Portkey 的请求将出现在 Portkey 仪表板的日志页面中。您可以应用过滤器，甚至追踪特定的请求集。查看 请求追踪。同时，日志中激活了回退的图标将被打开。

Portkey 支持多个提供商，提供多模态能力，例如 OpenAI、Anthropic 和 Stability AI，所有这些都可以通过遵循 OpenAI 签名的统一 API 接口访问。

为了进一步探索，何不 体验视觉能力？