Langchain

Portkey + Langchain

Portkey 是 AI 应用的控制面板。凭借其流行的 AI 网关和可观察性套件，数百个团队交付可靠、成本高效且快速的应用。

Portkey 为 Langchain 带来了生产就绪性。使用 Portkey，您可以

• 通过统一 API 连接 150+ 个模型，

• 查看 42+ 个指标和所有请求的日志，

• 启用语义缓存以减少延迟和成本，

• 为失败的请求实现自动重试和回退，

• 为请求添加自定义标签，以便更好地跟踪和分析，等等。

快速入门

由于 Portkey 完全兼容 OpenAI 签名，您可以通过 ChatOpenAI 接口连接到 Portkey AI 网关。

• 将 base_url 设置为 PORTKEY_GATEWAY_URL

• 添加 default_headers 以使用 createHeaders 辅助方法来获取 Portkey 所需的头信息。

首先，通过 这里 注册以获取您的 Portkey API 密钥。 （点击左下角的个人资料图标，然后点击“复制 API 密钥”）

!pip install -qU portkey-ai langchain-openai

现在，我们可以通过更新 Langchain 中的 ChatOpenAI 模型来连接到 Portkey AI 网关。

使用 OpenAI 模型与 Portkey + ChatOpenAI

from langchain_openai import ChatOpenAI
from portkey_ai import createHeaders, PORTKEY_GATEWAY_URL
from google.colab import userdata

portkey_headers = createHeaders(api_key= userdata.get("PORTKEY_API_KEY"), ## Grab from https://app.portkey.ai/
                                provider="openai"
                                )

llm = ChatOpenAI(api_key= userdata.get("OPENAI_API_KEY"),
                 base_url=PORTKEY_GATEWAY_URL,
                 default_headers=portkey_headers)

llm.invoke("What is the meaning of life, universe and everything?")

使用 Together AI 模型与 Portkey + ChatOpenAI

from langchain_openai import ChatOpenAI
from portkey_ai import createHeaders, PORTKEY_GATEWAY_URL
from google.colab import userdata

portkey_headers = createHeaders(api_key= userdata.get("PORTKEY_API_KEY"), ## Grab from https://app.portkey.ai/
                                provider="together-ai"
                                )

llm = ChatOpenAI(model = "meta-llama/Llama-3-8b-chat-hf",
                 api_key= userdata.get("TOGETHER_API_KEY"), ## Replace it with your provider key
                 base_url=PORTKEY_GATEWAY_URL,
                 default_headers=portkey_headers)

llm.invoke("What is the meaning of life, universe and everything?")

高级路由 - 负载均衡、回退、重试

Portkey AI Gateway 通过配置优先的方法为 Langchain 带来了负载均衡、回退、实验和金丝雀测试等功能。

让我们以一个例子来说明，我们可能想要在 llama-3-70b 和 gpt-3.5 之间以 50:50 的比例分配流量，以测试这两个大型模型。网关配置如下所示：

config = {
    "strategy": {
         "mode": "loadbalance"
    },
    "targets": [{
        "virtual_key": "gpt3-8070a6", # OpenAI's virtual key
        "override_params": {"model": "gpt-3.5-turbo"},
        "weight": 0.5
    }, {
        "virtual_key": "together-1c20e9", # Together's virtual key
        "override_params": {"model": "meta-llama/Llama-3-8b-chat-hf"},
        "weight": 0.5
    }]
}

from langchain_openai import ChatOpenAI
from portkey_ai import createHeaders, PORTKEY_GATEWAY_URL
from google.colab import userdata

portkey_headers = createHeaders(
    api_key= userdata.get("PORTKEY_API_KEY"),
    config=config
)

llm = ChatOpenAI(api_key="X", base_url=PORTKEY_GATEWAY_URL, default_headers=portkey_headers)

llm.invoke("What is the meaning of life, universe and everything?")