分析

一旦您集成了Portkey,您就可以开始查看所有LLM请求的成本、延迟和准确性的详细实时分析。

分析仪表板提供了一个交互式界面,以帮助您理解您的LLM应用程序。在这里,您可以看到与不同LLM请求、成本、延迟、令牌、用户活动、反馈、缓存命中、错误等相关的各种图表和指标。

分析部分的指标可以帮助您了解应用程序的整体效率,发现模式,识别优化领域,以及更多内容。

分析概览仪表板

图表

仪表板提供有关您的 userserrorscachefeedback 的洞察,并通过 metadata 汇总信息。

概述

概述标签提供了您应用程序性能的高层次视图。这突出了成本、使用的令牌、平均延迟、请求以及有关您的用户和顶级模型的信息。

这是一个良好的起点,可以进一步深入分析。

用户

用户选项卡提供与您的 Portkey 请求相关的用户信息概述。这些数据源自 OpenAI SDK 请求中的 user 参数或 Portkey 元数据头 中的特殊 _user 键。

Portkey 目前不提供有关您 Portkey 组织中各个团队成员使用模式的分析。用户选项卡旨在跟踪您应用程序中的最终用户行为,而不是内部团队使用情况。

错误

Portkey 自动捕获 API 和准确性错误。图表让您快速了解错误率,以便在需要时进行进一步调试。

仪表板还显示了通过各种 AI 网关策略,Portkey 救助的请求数量。

Error Analytics Dashboard

缓存

当您通过 AI 网关启用缓存时,您可以查看由于缓存带来的延迟改善和成本节省的数据。

反馈

Portkey 允许您通过日志仪表板或 API 收集 LLM 请求的反馈。您可以在此仪表板上查看收集到的反馈的分析数据。

元数据摘要

按元数据参数对请求数据进行分组,以获取使用情况的洞察。选择下拉列表中的元数据属性,并查看按该元数据参数的值分组的请求数据。

这使您可以回答以下问题:

  1. 我们在最花费在哪些用户身上?

  2. 哪些组织的延迟最高?

元数据分析

Last updated