在 Langchain Hub 的提示上运行 Portkey

编写正确的提示通常很难获得高质量的 LLM 响应。您希望提示能够针对您的问题进行专业且详尽的描述。很有可能其他人也遇到过类似的情况，并编写了您一直在琢磨的提示。

Langchain 的 Prompts Hub 就像是提示的 Github。您可以提取提示，以便对 OpenAI、Anthropic、Google 等提供商的您最喜欢的大型语言模型（LLM）进行 API 调用。 Portkey 提供了一个统一的 API 接口（遵循 OpenAI 签名），通过其 SDK 进行 API 调用。

了解更多关于 Langchain Hub 和 Portkey。

在本食谱中，我们将选择一个提示，以指导模型生成精确的逐步说明，以实现用户期望的目标。这要求我们通过浏览 Prompts Hub 获取提示，并将其集成到 Portkey 中，以进行聊天完成的 API 调用。

让我们开始吧。

1. 导入 Langchain Hub 和 Portkey 库

为什么不探索一下 Prompts Hub 上列出的提示呢？

同时，让我们启动 NodeJS 环境并开始导入库 — langchain 和 portkey-ai

import * as the hub from 'langchain/hub';
import { Portkey } from 'portkey-ai';

您可以通过 SDK 以只读方式访问 Langchain Hub，而无需 LangSmith API 密钥。

由于我们预计将使用 Portkey 进行 API 调用，因此让我们实例化并使用 API 密钥进行身份验证。您可以从仪表板获取 Portkey API 密钥，并将您的 OpenAI API 密钥保存在 Portkey Vault 中以获取虚拟密钥。

const portkey = new Portkey({
  apiKey: 'xxtrk',
  virtualKey: 'main-xwxxxf4d'
});

您找到了一个有趣的提示可以使用吗？我在 ohkgi/superb_system_instruction_prompt 找到了一个。

这个提示详细说明了引导模型生成逐步说明的提示，正是我们所寻找的。

2. 从 Langchain Hub 获取提示

接下来，让我们尝试使用 hub API 获取提示的详细信息。

将 repository 的标签作为参数传递给 pull 方法，如下所示：

const response = await hub.pull('ohkgi/superb_system_instruction_prompt');
console.log(response.promptMessages[0].prompt.template);

这将在控制台中记录以下内容：

# You are a text generating AIs instructive prompt creator, and you: Generate Clever and Effective Instructions for a Generative AI Model, where any and all instructions you write will be carried out by a single prompt response from....(truncated)

很好！现在是时候将提示传递以进行 API 调用。

3. 使用 Portkey 进行 API 调用

我们将请求的模型是 OpenAI 的 GPT4。由于 gpt-4 接受系统和用户角色，让我们准备它们。

const userGoal = 'design a blue button in the website to gain highest CTA';

const SYSTEM = response.promptMessages[0].prompt.template;
const USER = `I need  instructions  for this goal:\n${userGoal}\n
They should be in a similar format as your own instructions.`;

const messages = [
  {
    role: 'system',
    content: String(SYSTEM)
  },
  {
    role: 'user',
    content: String(USER)
  }
];

将 messages 作为参数传递给聊天完成调用以获得响应。

const chatCompletion = await portkey.chat.completions.create({
  messages,
  model: 'gpt-4'
});

console.log(chatCompletion.choices[0].message.content);

1. Begin by understanding the specific context in which the blue button is required. This includes the purpose of the call-to-action (CTA),..<truncated>

4. 探索日志

我们使用的提示大约包含1300个标记，费用约为5.5美分。该信息可以在Portkey的日志页面找到，提供了有价值的数据，例如请求处理所需的时间、日期，以及请求头和主体的快照。

阅读关于您在文档中获得的所有可观察性功能的信息。

恭喜您！您现在具备通过编程访问Langchain中心的提示并使用它向GPT4发起API请求的技能。尝试通过调整来自Langchain中心的提示并尝试Claude2.1模型来进行快速实验。您会惊讶于您能实现的效果！

查看完整代码

import * as hub from 'langchain/hub';
import { Portkey } from 'portkey-ai';

const portkey = new Portkey({
  apiKey: 'xxxxrk',
  virtualKey: 'anthrxpic-xxxx32'
});

const response = await hub.pull('ohkgi/superb_system_instruction_prompt');

const userGoal = 'design a blue button in the website to gain highest CTA';

const SYSTEM = response.promptMessages[0].prompt.template;

const USER = `I need  instructions  for this goal:\n${userGoal}\n
They should be in a similar format as your own instructions.
`;

const messages = [
  {
    role: 'system',
    content: String(SYSTEM)
  },
  {
    role: 'user',
    content: String(USER)
  }
];

const chatCompletion = await portkey.chat.completions.create({
  messages,
  model: 'claude-2.1',
  max_tokens: 1000
});

console.log(chatCompletion.choices[0].message.content);