元数据

此功能在所有 Portkey 计划中均可用。

您可以在 Portkey 中随请求发送自定义元数据，这些元数据可以用于审计或过滤日志。您可以传递 任意数量 的键，所有值应为 string 类型，最大长度 为 128 个字符。

向请求添加元数据

元数据对象接受一个 JSON - Portkey 将解析它并允许您根据元数据进行筛选。

PORTKEY_METADATA = {
    "_user": "userid123",
    "environment": "production",
    "organisation": "orgid123",
    "prompt": "summarisationPrompt",
    "foo": "abc",
    "bar": "def"
}

_user 是一个特殊键

此键用于 提供用户分析 在 Portkey 应用的分析部分。

如果您在 OpenAI 请求主体中传递 user 键，我们将自动将其存储在 Portkey 的 _user 键中。如果同时传递 OpenAI 请求主体中的 user 键和 Portkey 元数据中的 _user 键，则仅会存储元数据中的 _user 键。

按照下面所示的方式发送元数据与请求：

import {Portkey} from 'portkey-ai'

const portkey = new Portkey({
    apiKey: "PORTKEY_API_KEY",
    virtualKey: "OPENAI_VIRTUAL_KEY"
})

const requestOptions = { 
    metadata: {
        "_user": "USER_ID",
        "organisation": "ORG_ID",
        "request_id": "1729"
    }
}

const chatCompletion = await portkey.chat.completions.create({
    messages: [{ role: 'user', content: 'Who was ariadne?' }],
    model: 'gpt-4',
}, requestOptions);

console.log(chatCompletion.choices);

from portkey_ai import Portkey

portkey = Portkey(
    api_key="PORTKEY_API_KEY",
    virtual_key="OPENAI_VIRTUAL_KEY"
)

response = portkey.with_options(
    metadata = {
        "_user": "USER_ID",
        "environment": "production",
        "prompt": "test_prompt",
        "session_id": "1729"
}).chat.completions.create(
    messages = [{ "role": 'user', "content": 'What is 1729' }],
    model = 'gpt-4'
)

print(response.choices[0].message)

import OpenAI from 'openai';
import { PORTKEY_GATEWAY_URL, createHeaders } from 'portkey-ai'

const openai = new OpenAI({
  baseURL: PORTKEY_GATEWAY_URL,
  defaultHeaders: createHeaders({
    apiKey: "PORTKEY_API_KEY",
    metadata: {"_user": "USER_ID"}
  })
});

async function main() {
  const chatCompletion = await openai.chat.completions.create({
    messages: [{ role: 'user', content: 'What is the capital of Uzbekistan?' }],
    model: 'gpt-4',
  });

  console.log(chatCompletion.choices[0].message);
}

main();

from openai import OpenAI
from portkey_ai import PORTKEY_GATEWAY_URL, createHeaders

client = OpenAI(
    base_url=PORTKEY_GATEWAY_URL,
    default_headers=createHeaders(
        api_key="PORTKEY_API_KEY",
        metadata={"_user": "USER_ID"}
    )
)

response = client.chat.completions.create(
    model="gpt-4",
    messages=[{"role": "user", "content": "Say this is a test"}],
)

print(response.choices[0].message)

curl https://api.portkey.ai/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "x-portkey-api-key: $PORTKEY_API_KEY" \
  -H "x-portkey-virtual-key: $OPENAI_VIRTUAL_KEY" \
  -H "x-portkey-metadata: {\"_user\":\"john\"}" \
  -d '{
    "model": "gpt-4",
    "messages": [{"role": "user","content": "Hello!"}]
  }'

使用元数据

在分析页面查看元数据摘要：

只需前往元数据选项卡，您应该能在过滤器中看到所有的键。

在日志页面根据自定义元数据过滤请求

选择“Meta”过滤器，并选择您想要过滤请求的键:值对。您发送的所有自定义键与_任何_请求都应该在这里显示。

Previous反馈 Next过滤器

Last updated 1 year ago