LocalAI

Portkey 提供了一个强大且安全的网关，以便将各种大型语言模型（LLMs）集成到您的应用程序中，包括通过 LocalAI 托管的本地模型。

Portkey SDK 与 LocalAI 的集成

1. 安装 Portkey SDK

npm install --save portkey-ai

2. 使用 LocalAI URL 初始化 Portkey

首先，确保您的 API 可以外部访问。如果您在 http://localhost 上运行 API，请考虑使用 ngrok 等工具创建一个公共 URL。然后，通过将您的 LocalAI URL（以及版本标识符）添加到 customHost 属性中，并将提供者名称添加为 openai 来实例化 Portkey 客户端。

注意： 请不要忘记在 customHost URL 中包含版本标识符（例如，/v1）

import Portkey from 'portkey-ai'
 
const portkey = new Portkey({
    apiKey: "PORTKEY_API_KEY", // defaults to process.env["PORTKEY_API_KEY"]
    provider: "openai",
    customHost: "https://7cc4-3-235-157-146.ngrok-free.app/v1" // Your LocalAI ngrok URL
})

from portkey_ai import Portkey

portkey = Portkey(
    api_key="PORTKEY_API_KEY",  # Replace with your Portkey API key
    provider="openai",
    custom_host="https://7cc4-3-235-157-146.ngrok-free.app/v1" # Your LocalAI ngrok URL    
)

Portkey 目前支持所有遵循 OpenAI 规范的端点。这意味着，您可以访问和观察通过 OpenAI 兼容路由公开的任何 LocalAI 模型。

支持的端点列表在这里.

3. 调用聊天完成

使用 Portkey SDK 从您的 LocalAI 模型中调用聊天完成，就像您使用其他提供者一样。

const chatCompletion = await portkey.chat.completions.create({
    messages: [{ role: 'user', content: 'Say this is a test' }],
    model: 'ggml-koala-7b-model-q4_0-r2.bin',
});

console.log(chatCompletion.choices);