分析
一旦您集成了Portkey,您就可以开始查看所有LLM请求的成本、延迟和准确性的详细实时分析。
分析仪表板提供了一个交互式界面,以帮助您理解您的LLM应用程序。在这里,您可以看到与不同LLM请求、成本、延迟、令牌、用户活动、反馈、缓存命中、错误等相关的各种图表和指标。
分析部分的指标可以帮助您了解应用程序的整体效率,发现模式,识别优化领域,以及更多内容。

图表
仪表板提供有关您的 users、errors、cache、feedback 的洞察,并通过 metadata 汇总信息。
概述
概述标签提供了您应用程序性能的高层次视图。这突出了成本、使用的令牌、平均延迟、请求以及有关您的用户和顶级模型的信息。
这是一个良好的起点,可以进一步深入分析。
用户
用户选项卡提供与您的 Portkey 请求相关的用户信息概述。这些数据源自 OpenAI SDK 请求中的 user 参数或 Portkey 元数据头 中的特殊 _user 键。

错误
Portkey 自动捕获 API 和准确性错误。图表让您快速了解错误率,以便在需要时进行进一步调试。
仪表板还显示了通过各种 AI 网关策略,Portkey 救助的请求数量。

缓存
当您通过 AI 网关启用缓存时,您可以查看由于缓存带来的延迟改善和成本节省的数据。
反馈
Portkey 允许您通过日志仪表板或 API 收集 LLM 请求的反馈。您可以在此仪表板上查看收集到的反馈的分析数据。
元数据摘要
按元数据参数对请求数据进行分组,以获取使用情况的洞察。选择下拉列表中的元数据属性,并查看按该元数据参数的值分组的请求数据。
这使您可以回答以下问题:
我们在最花费在哪些用户身上?
哪些组织的延迟最高?

Last updated