Fireworks

Portkey 提供了一个强大且安全的网关，以便将各种模型集成到您的应用中，包括聊天、视觉、图像生成和嵌入模型，这些模型托管在 Fireworks 平台上。

通过 Portkey，您可以利用快速的 AI 网关访问、可观察性、提示管理等功能，同时确保通过虚拟密钥系统安全管理您的 LLM API 密钥。

Provider Slug**: fireworks-ai**

Portkey SDK与Fireworks模型的集成

Portkey提供了一致的API，以便与来自不同供应商的模型进行交互。要将Fireworks与Portkey集成：

1. 安装 Portkey SDK

npm install --save portkey-ai

2. 使用虚拟密钥初始化 Portkey

要将 Fireworks 与 Portkey 一起使用，请从这里获取您的 API 密钥，然后将其添加到 Portkey 以创建虚拟密钥。

import Portkey from 'portkey-ai'
 
const portkey = new Portkey({
    apiKey: "PORTKEY_API_KEY", // 默认值为 process.env["PORTKEY_API_KEY"]
    virtualKey: "FIREWORKS_VIRTUAL_KEY" // 您的虚拟密钥
})

3. 使用 Fireworks 调用聊天完成

您现在可以使用 Portkey 实例向 Fireworks API 发送请求。

const chatCompletion = await portkey.chat.completions.create({
    messages: [{ role: 'user', content: 'Say this is a test' }],
    model: 'accounts/fireworks/models/llama-v3-70b-instruct',
});

console.log(chatCompletion.choices);

completion = portkey.chat.completions.create(
    messages= [{ "role": 'user', "content": 'Say this is a test' }],
    model= 'accounts/fireworks/models/llama-v3-70b-instruct'
)

print(completion)

现在，让我们探索如何使用 Portkey 在 Fireworks API 上调用其他模型（视觉、嵌入、图像）：

使用嵌入模型

调用任何托管在 Fireworks 上的嵌入模型，使用熟悉的 OpenAI 嵌入签名：

const embeddings = await portkey.embeddings.create({
    input: "create vector representation on this sentence",
    model: "thenlper/gte-large",
});

console.log(embeddings);

使用视觉模型

Portkey 原生支持托管在 Fireworks 上的视觉模型:

const completion = await portkey.chat.completions.create(
    messages: [
        { "role": "user", "content": [
            { "type": "text","text": "你能描述一下这张图片吗？" },
                { "type": "image_url", "image_url":
                    { "url": "https://images.unsplash.com/photo-1582538885592-e70a5d7ab3d3?ixlib=rb-4.0.3&ixid=M3wxMjA3fDB8MHxwaG90by1wYWdlfHx8fGVufDB8fHx8fA%3D%3D&auto=format&fit=crop&w=1770&q=80" }
                }
            ]
        }
    ],
    model: 'accounts/fireworks/models/firellava-13b'
)

console.log(completion);

completion = portkey.chat.completions.create(
    messages= [
        { "role": "user", "content": [
            { "type": "text","text": "你能描述一下这张图片吗？" },
                { "type": "image_url", "image_url":
                    { "url": "https://images.unsplash.com/photo-1582538885592-e70a5d7ab3d3?ixlib=rb-4.0.3&ixid=M3wxMjA3fDB8MHxwaG90by1wYWdlfHx8fGVufDB8fHx8fA%3D%3D&auto=format&fit=crop&w=1770&q=80" }
                }
            ]
        }
    ],
    model= 'accounts/fireworks/models/firellava-13b'
)

print(completion)

使用图像生成模型

Portkey 还支持调用托管在 Fireworks 上的图像生成模型，使用熟悉的 OpenAI 签名：

import Portkey from 'portkey-ai';
import fs from 'fs';

const portkey = new Portkey({
    apiKey: "PORTKEY_API_KEY",
    virtualKey: "FIREWORKS_VIRTUAL_KEY"
});

async function main(){
    const image = await portkey.images.generate({
        model: "accounts/fireworks/models/stable-diffusion-xl-1024-v1-0",
        prompt: "An orange elephant in a purple pond"
    });

    const imageData = image.data[0].b64_json as string;
    fs.writeFileSync("fireworks-image-gen.png", Buffer.from(imageData, 'base64'));
}

main()

from portkey_ai import Portkey
import base64
from io import BytesIO
from PIL import Image

portkey = Portkey(
    api_key="PORTKEY_API_KEY",
    virtual_key="FIREWORKS_VIRTUAL_KEY"
)

image = portkey.images.generate(
  model="accounts/fireworks/models/stable-diffusion-xl-1024-v1-0",
  prompt="An orange elephant in a purple pond"
)

Image.open(BytesIO(base64.b64decode(image.data[0].b64_json))).save("fireworks-image-gen.png")

烟花语法模式

烟花允许您定义形式文法来约束模型输出。您可以使用它来强制模型生成有效的 JSON、仅用表情符号交流或其他任何内容。（最初由 GGML 创建）

语法模式通过 response_format 参数设置。只需将您的语法定义传递为 {"type": "grammar", "grammar": grammar_definition}

假设您想将患者请求分类为 3 个预定义类别：

from portkey_ai import Portkey

portkey = Portkey(
    api_key="PORTKEY_API_KEY",  # 默认为 os.env("PORTKEY_API_KEY")
    virtual_key="FIREWORKS_VIRTUAL_KEY"   # 您的虚拟密钥
)

patient_classification = """
root      ::= diagnosis
diagnosis ::= "flu" | "dengue" | "malaria"
"""

completion = portkey.chat.completions.create(
    messages= [{ "role": 'user', "content": 'Say this is a test' }],
    response_format={"type": "grammar", "grammar": patient_classification},
    model= 'accounts/fireworks/models/llama-v3-70b-instruct'
)

print(completion)

import Portkey from 'portkey-ai'
 
const portkey = new Portkey({
    apiKey: "PORTKEY_API_KEY", // 默认为 process.env["PORTKEY_API_KEY"]
    virtualKey: "FIREWORKS_VIRTUAL_KEY" // 您的虚拟密钥
})

const patient_classification = `
root ::= diagnosis
diagnosis ::= "flu" | "dengue" | "malaria"
`;

const chatCompletion = await portkey.chat.completions.create({
    messages: [{ role: 'user', content: 'Say this is a test' }],
    response_format: {"type": "grammar", "grammar": patient_classification},
    model: 'accounts/fireworks/models/llama-v3-70b-instruct',
});

console.log(chatCompletion.choices);

注意：烟花语法模式不支持 Portkey 提示游乐场

探索烟花指南以获取更多示例和更深入的语法节点介绍.

烟花 JSON 模式

您可以强制模型返回 (1) 任意 JSON，或 (2) 具有给定架构的 JSON，使用烟花的 JSON 模式。

from portkey_ai import Portkey

portkey = Portkey(
    api_key="PORTKEY_API_KEY",  # 默认值为 os.env("PORTKEY_API_KEY")
    virtual_key="FIREWORKS_VIRTUAL_KEY"   # 您的虚拟密钥
)

class Recipe(BaseModel):
    title: str
    description: str
    steps: List[str]
    
json_response = portkey.chat.completions.create(
    messages = [{ "role": 'user', "content": '给我一个制作拉面的食谱，格式为 JSON' }],
    model = 'accounts/fireworks/models/llama-v3-70b-instruct',
    response_format = {
        "type":"json_object",
        "schema": Recipe.schema_json()
    }
)

print(json_response.choices[0].message.content)

import Portkey from 'portkey-ai'
 
const portkey = new Portkey({
    apiKey: "PORTKEY_API_KEY", // 默认值为 process.env["PORTKEY_API_KEY"]
    virtualKey: "FIREWORKS_VIRTUAL_KEY" // 您的虚拟密钥
})

asyn function main(){
  const json_response = await portkey.chat.completions.create({
    messages: [{role: "user",content: `给我一个制作拉面的食谱，格式为 JSON`}],
    model: "accounts/fireworks/models/llama-v3-70b-instruct",
    response_format: {
      type: "json_object",
      schema: {
        type: "object",
        properties: {
          title: { type: "string" },
          description: { type: "string" },
          steps: { type: "array" }
        }
      }
    }
  });
}

console.log(json_response.choices[0].message.content);

main()

探索烟花文档以获取 JSON 模式的更多示例.

烟花函数调用

Portkey 还支持烟花的函数调用模式。探索这个食谱以深入了解和示例。

管理烟花提示

您可以在提示库中管理所有烟花提示。当前支持的 49 种以上语言模型都可以在烟花中使用，您可以轻松开始测试不同的提示。

一旦您准备好提示，就可以使用 portkey.prompts.completions.create 接口在您的应用程序中使用该提示。

下一步

SDK 支持的完整功能列表可以在以下链接中找到。

SDK

您可以在相关部分找到更多信息：

PreviousAnyscale NextCohere

Last updated 1 year ago