Mistral

Portkey 帮助将 Mistral 的 API 部署到生产环境中，提供可观察性套件和 AI 网关。通过 Portkey 使用 Mistral API 以获得：

1. 增强日志记录：通过详细的洞察和自定义细分跟踪 API 使用情况。

2. 生产可靠性：自动回退、负载均衡、重试、超时和缓存。

3. 持续改进：收集并应用用户反馈。

1.1 设置与登录

1. 获取您的 Portkey API 密钥。

2. 设置 $ export PORTKEY_API_KEY=PORTKEY_API_KEY

3. 设置 $ export MISTRAL_API_KEY=MISTRAL_API_KEY

4. pip install portkey-ai 或 npm i portkey-ai

""" OPENAI PYTHON SDK """
from portkey_ai import Portkey

portkey = Portkey(
    api_key="PORTKEY_API_KEY",
    # ************************************
    provider="mistral-ai",
    Authorization="Bearer MISTRAL_API_KEY"
    # ************************************
)

response = portkey.chat.completions.create(
    model="mistral-tiny",
    messages = [{ "role": "user", "content": "c'est la vie" }]
)

import Portkey from 'portkey-ai';

const portkey = new Portkey({
    apiKey: "PORTKEY_API_KEY",
    // ***********************************
    provider: "mistral-ai",
    Authorization: "Bearer MISTRAL_API_KEH"
    // ***********************************
})

async function main(){
  const response = await portkey.chat.completions.create({
      model: "mistral-tiny",
      messages: [{ role: 'user', content: "c'est la vie" }]
  });
}

main()

1.2. 增强可观察性

• 跟踪请求，使用单一ID。

• 附加自定义标签以进行请求分段和深入分析。

只需将相关的头信息添加到您的请求中：

from portkey_ai import Portkey

portkey = Portkey(
    api_key="PORTKEY_API_KEY",
    provider="mistral-ai",
    Authorization="Bearer MISTRAL_API_KEY"
)

response = portkey.with_options(
    # ************************************
    trace_id="ux5a7",
    metadata={"user": "john_doe"}
    # ************************************
).chat.completions.create(
    model="mistral-tiny",
    messages = [{ "role": "user", "content": "c'est la vie" }]
)

import Portkey from 'portkey-ai';

const portkey = new Portkey({
    apiKey: "PORTKEY_API_KEY",
    provider: "mistral-ai",
    Authorization: "Bearer MISTRAL_API_KEH"
})

async function main(){
  const response = await portkey.chat.completions.create({
      model: "mistral-tiny",
      messages: [{ role: 'user', content: "c'est la vie" }]
  },{
    // ***********************************
    traceID: "ux5a7",
    metadata: {"user": "john_doe"}
});
}

main()

您的日志将在 Portkey 仪表板上显示如下：

2. 缓存、回退、负载均衡

• 回退：确保您的应用在主要服务失败时仍能正常运行。

• 负载均衡：高效地在多个模型之间分配传入请求。

• 语义缓存：通过智能缓存结果来降低成本和延迟。

通过保存 Configs（来自 Portkey 仪表板 > Configs 选项卡）来切换这些功能。

如果我们想要启用语义缓存 + 从 Mistral-Medium 到 Mistral-Tiny 的回退，您的 Portkey 配置将如下所示：

{
	"cache": {"mode": "semantic"},
	"strategy": {"mode": "fallback"},
	"targets": [
		{
			"provider": "mistral-ai", "api_key": "...",
			"override_params": {"model": "mistral-medium"}
		},
		{
			"provider": "mistral-ai", "api_key": "...",
			"override_params": {"model": "mistral-tiny"}
		}
	]
}

现在，只需在实例化 Portkey 时设置 Config ID：

""" OPENAI PYTHON SDK """
from portkey_ai import Portkey

portkey = Portkey(
    api_key="PORTKEY_API_KEY",
    # ************************************
    config="pp-mistral-cache-xx"
    # ************************************
)

response = portkey.chat.completions.create(
    model="mistral-tiny",
    messages = [{ "role": "user", "content": "c'est la vie" }]
)

import Portkey from 'portkey-ai';

const portkey = new Portkey({
    apiKey: "PORTKEY_API_KEY",
    // ***********************************
    config: "pp-mistral-cache-xx"
    // ***********************************
})

async function main(){
  const response = await portkey.chat.completions.create({
      model: "mistral-tiny",
      messages: [{ role: 'user', content: "c'est la vie" }]
  });
}

main()

有关 Configs 和其他网关功能（如负载均衡）的更多信息，请 查看文档。

3. 收集反馈

收集用户的加权反馈并改善您的应用：

from portkey import Portkey

portkey = Portkey(
    api_key="PORTKEY_API_KEY"
)

def send_feedback():
    portkey.feedback.create(
        'trace_id'= 'REQUEST_TRACE_ID',
        'value'= 0  # For thumbs down
    )

send_feedback()

import Portkey from 'portkey-ai';

const portkey = new Portkey({
    apiKey: "PORTKEY_API_KEY"
});

const sendFeedback = async () => {
    await portkey.feedback.create({
        traceID: "REQUEST_TRACE_ID",
        value: 1  // For thumbs up
    });
}
await sendFeedback();

结论

将 Portkey 与 Mistral 集成可以帮助您从一开始就构建强大的 LLM 应用。通过语义缓存、可观察性、负载均衡、反馈和回退等功能，您可以确保最佳性能和持续改进。

在这里阅读完整的 Portkey 文档。 | 联系 Portkey 团队。