反馈
此功能在所有 Portkey 计划中均可用。
Portkey 的反馈 API 提供了一种简单的方法,可以在您服务的任何请求的任何阶段,从客户那里获取加权反馈。
您可以在请求或对话级别捕获此反馈,并通过向相关请求添加元数据进行分析。
向请求添加反馈
1. 查找 `trace-id`
Portkey 为所有传入请求添加追踪 ID。您可以在 x-portkey-trace-id 响应头中找到它。
要使用您自己的追踪 ID,请将它们作为请求头的一部分发送 - 将追踪 ID 添加到您的请求
2. 添加反馈
您可以通过 SDK 或 REST API 将反馈附加到请求中。
const portkey = new Portkey({
apiKey: "PORTKEY_API_KEY",
...
});
// 添加反馈
portkey.feedback.create({
traceID: "your trace id",
value: 5, // 整数,范围在 -10 到 10 之间
weight: 1, // 可选
metadata: {
... // 在这里传递任何额外的上下文,例如评论、_user 等
}
})const portkey = Portkey(
api_key="PORTKEY_API_KEY",
virtual_key="VIRTUAL_KEY"
)
feedback = portkey.feedback.create(
trace_id="TRACE_ID",
value=5, # 整数,范围在 -10 到 10 之间
weight=1, # 可选
metadata={
# 在这里传递任何额外的上下文,例如评论、_user 等
}
)
print(feedback)有效负载 包含以下键: traceID/trace_id, value, weight, metadata
trace_id / traceID
✅ 必需
反馈将记录的跟踪 ID
string
value
✅ 必需
反馈值
integer 在 [-10,10] 之间
weight
❔ 可选
为反馈值添加权重值。如果您正在为单个跟踪收集多个反馈,这将很有帮助
float 在 [0,1] 之间,默认值 = 1.0
metadata
❔ 可选
您希望与反馈一起发送的任何元数据的 JSON 字符串。
_user、_organisation、_prompt 和 _environment 是默认索引的特殊字段
string
示例
用户提供的简单有效反馈是竖起大拇指或竖下大拇指。只需将 value 设置为 1 表示 👍,设置为 -1 表示 👎。Weight 默认为 1.0。
收集反馈的其他想法
商业指标是很好的反馈。如果您正在生成电子邮件,发送的电子邮件可能是一个积极的反馈指标。编辑的程度可能表明其价值。
当用户重试生成时,存储负反馈,因为可能出现了问题。对该反馈使用较低的权重,因为这可能是由于环境因素造成的。
反馈分析
您可以在日志页面查看每个 trace-id 的 反馈计数 和 值:权重 对。您还可以在 分析 和提示评估标签中查看反馈详细信息。
Last updated