Ollama

Portkey 提供了一个强大且安全的网关，以便将各种大型语言模型 (LLMs) 集成到您的应用程序中，包括通过 Ollama 托管的本地模型。

Provider Slug**: ollama**

Portkey SDK 与 Ollama 模型的集成

Portkey 提供了一致的 API 来与来自不同供应商的模型进行交互。要将 Ollama 与 Portkey 集成：

1. 安装 Portkey SDK

在您的应用程序中安装 Portkey SDK，以通过 Portkey 与您的 Ollama API 进行交互。

NodeJS

npm install --save portkey-ai

Python

2. 使用 Ollama URL 初始化 Portkey

通过将您的 Ollama 公共暴露 URL 添加到 customHost 属性中来实例化 Portkey 客户端。

NodeJS SDK

import Portkey from 'portkey-ai'
 
const portkey = new Portkey({
    apiKey: "PORTKEY_API_KEY", // 默认为 process.env["PORTKEY_API_KEY"]
    provider: "ollama",
    customHost: "https://7cc4-3-235-157-146.ngrok-free.app" // 您的 Ollama ngrok URL
})

Python SDK

对于 Ollama 集成，您只需将基本 URL 传递给 customHost，而无需版本标识符（例如 /v1） - Portkey 会为 Ollama 处理此问题。

对您的本地主机 Ollama 端点发出的请求将失败。要与 Portkey 集成并观察您的请求，您需要通过像 ngrok 这样的服务公开您的本地主机 URL。

3. 使用 Ollama 调用聊天完成

使用 Portkey SDK 从您的 Ollama 模型中调用聊天完成，就像您与其他提供商一样。

NodeJS SDK

const chatCompletion = await portkey.chat.completions.create({
    messages: [{ role: 'user', content: 'Say this is a test' }],
    model: 'llama3',
});

console.log(chatCompletion.choices);

Python SDK

下一步

探索 SDK 支持的完整功能列表：

SDK

---

您可以在相关部分找到更多信息：

1. 向您的请求添加元数据

2. 向您的 Ollama 请求添加网关配置

3. 跟踪 Ollama 请求

4. 从 OpenAI 到 Ollama API 的回退设置