开源

Portkey AI Gateway

我们已将经过实战检验的 AI Gateway 开源给社区 - 它通过统一的接口和单一的端点连接超过 200 个 LLM，并让您轻松设置备用方案、负载均衡、重试等功能。

该网关在 Portkey 的生产环境中运行，每天处理数十亿个令牌。

在这里贡献.

---

AI Grants Finder

为AI开发者提供的社区资源，可以在一个地方找到**GPU credits、grants、AI accelerators或investments**。持续更新，有时还会提供独家优惠。

---

网关报告

我们与社区合作，深入探讨LLMs及其推理提供者在大规模下的表现，并发布网关报告。我们跟踪延迟、正常运行时间、成本变化，以及在不同的时间段、地区、令牌长度等各种模式下的波动。

报告 1: GPT-4 正在变得更快

请通过 Discord 联系我们，共同合作我们的下一个报告！

---

合作

Portkey 通过其自定义集成支持各种开源项目，提供额外的生产能力，且列表不断增长：

• ​Langchain - 监控和追踪您的 Langchain 查询

• ​Llamaindex​ - 监控和追踪您的请求，并设置自动回退和负载均衡

• GPT Prompt Engineer - 记录所有提示工程运行并轻松调试问题

• Instructor - 从 LLM 中提取结构化输出，并对所有内容进行全栈可观察性

• Promptfoo - 将 Portkey 提示与 Promptfoo 一起使用，以运行评估并管理和版本化您的提示模板

• Route to OSS LLMs 使用 Ollama 或 LocalAI - 将 Portkey 连接到您本地托管的模型

• Autogen - 将 LLM 互操作性和 Portkey 的可靠性带入您的 Autogen 代理