通用 API

此功能在所有 Portkey 计划中均可用。

Portkey 的 Universal API 提供了一致的接口，以将广泛的模态（文本、视觉、音频）和 LLM（托管或本地）集成到您的应用程序中。因此，您无需为不同的多模态 LLM 维护单独的集成，您可以通过统一的 API 签名与来自 OpenAI、Anthropic、Meta、Cohere、Mistral 等众多模型（100 多个模型，15 多个提供商）进行交互。

Portkey 遵循 OpenAI 规范

Portkey API 由其 经过实战检验的开源 AI 网关 提供支持，该网关将所有传入请求转换为 OpenAI 签名，并返回符合 OpenAI 规范的响应。

切换提供商轻而易举

Node

import Portkey from 'portkey-ai';

// 调用 OpenAI
const portkey = new Portkey({
    provider: "openai",
    Authorization: "Bearer sk-xxxxx"
})
const response = await portkey.chat.completions.create({
    messages: [{ role: 'user', content: 'Hello' }],
    model: 'gpt-4',
});

// 切换到 Anthropic
const portkey = new Portkey({
    provider: "anthropic",
    Authorization: "Bearer sk-ant-xxxxx"
})
const response = await portkey.chat.completions.create({
    messages: [{ role: 'user', content: 'Hello' }],
    model: 'claude-3-opus-20240229',
});

Python

集成本地或私有模型

Portkey 还可以路由到并观察您本地或私有托管的 LLM，只要该模型符合 Portkey 支持的 15+ 个提供者之一，并且 URL 是公开的。

只需指定 custom_host 参数以及 provider 名称，Portkey 将处理与您的本地模型的通信。

Node

import Portkey from 'portkey-ai';

const portkey = new Portkey({
    apiKey: "PORTKEY_API_KEY",
    provider: "mistral-ai",
    customHost: "http://MODEL_URL/v1/" // 指向 Portkey 所托管的模型位置
})

async function main(){
    const response = await portkey.chat.completions.create({
        messages: [{ role: 'user', content: '1729' }],
        model: 'mixtral-8x22b',
    });
    console.log(response)
}

main()

Python

REST API

注意：

使用 custom_host 时，请在 URL 中包含版本标识符（例如 /v1）。Portkey 将自动附加实际的端点路径（/chat/completions、/completions 或 /embeddings）。 （对于 Ollama 模型，这种工作方式有所不同。 查看这里）

强大的路由和回退策略

使用 Portkey，您可以实现复杂的路由和回退策略。根据各种标准将请求路由到不同的提供者，进行负载均衡，设置重试或在发生故障或资源限制时回退到替代模型。

以下是一个配置示例，我们将从 OpenAI 回退到本地托管的 Llama3，在 Ollama 上运行：

config = {
	"strategy": { "mode": "loadbalance" },
	"targets": [
		{
			"provider": "openai",
			"api_key": "xxx",
			"weight": 1,
			"override_params": { "model": "gpt-3.5-turbo" }
		},
		{
			"provider": "mistral-ai",
			"custom_host": "http://MODEL_URL/v1/",
			"weight": 1,
			"override_params": { "model": "mixtral-8x22b" }
		}
	]
}

from portkey_ai import Portkey

portkey = Portkey(
    api_key="PORTKEY_API_KEY",
    config=config
)

多模态

Portkey 通过相同的统一 API 集成多模态模型，并支持跨提供商的视觉、音频、图像生成等多种功能。

多模态能力