少量示例提示

LLMs 在遵循给定结构方面非常有能力。通过提供几个示例，说明助手应如何对给定提示做出响应，LLM 可以生成与这些示例格式紧密相符的响应。

Portkey 通过提示模板的 raw prompt 功能增强了这种能力。您可以轻松地将少量示例添加到您的模板中，并随时动态更新它们，而无需修改提示模板！

它是如何工作的？

让我们考虑一个用例，在这个用例中，给定候选人简历和职位描述，LLM 预计以特定的 JSON 格式输出候选人笔记。

这是我们的原始提示的样子：

[
    { 
        "role": "system", 
        "message": "You output candidate notes in JSON format when given a candidate profile and a job description.",
    },
    {{few_shot_examples}},
    {
        "role": "user",
        "message": "Candidate Profile: {{profile}} \n Job Description: {{jd}}"
    },
]

让我们定义我们的变量：

如您所见，我们在上面的示例中添加了变量 few_shot_examples、profile 和 jd。

profile = "一位拥有计算机科学博士学位并在医疗行业拥有 5 年机器学习模型工作经验的资深数据科学家。"
jd = "我们正在寻找一位经验丰富的数据科学家，具有扎实的机器学习背景，理想情况下在医疗行业有经验。理想的候选人应拥有相关领域的博士或硕士学位，并且至少有 5 年的行业经验。"

现在让我们添加一些具有预期 JSON 结构的示例：

few_shot_examples = 
[
 {
  "role": "user",
  "content": "Candidate Profile: 具有开发可扩展 Web 应用程序背景的经验丰富的软件工程师。Job Description: 我们正在寻找一位 Python 开发人员，帮助我们构建和扩展我们的 Web 平台。",
 },
 {
  "role": "assistant",
  "content": "{'one-line-intro': '经验丰富的 Python 开发人员，拥有构建可扩展 Web 应用程序的成功记录。', 'move-forward': '是', 'priority': 'P1', 'pros': '1. 在 Python 方面有相关经验。 2. 已构建和扩展 Web 应用程序。 3. 可能非常适合职位要求。', 'cons': '从提供的简历中没有明显缺点。'}",
 },
 { 
  "role": "user",
  "content": "Candidate Profile: 计算机科学专业的应届毕业生，专注于数据分析。Job Description: 寻找一位经验丰富的数据科学家来分析大型数据集并得出见解。"
 },
 {
  "role": "assistant",
  "content": "{'one-line-intro': '最近的计算机科学毕业生，专注于数据分析。', 'move-forward': '可能', 'priority': 'P2', 'pros': '1. 在计算机科学方面有扎实的教育背景。 2. 专注于数据分析。', 'cons': '1. 缺乏专业经验。 2. 职位要求经验丰富的数据科学家。'}"
  }
]

在此配置中，{{few_shot_examples}} 是少量学习示例的占位符，这些示例是动态提供的，可以根据需要进行更新。这使得 LLM 能够根据提供的示例调整其响应，从而促进多样化和上下文感知的输出。

将所有内容汇聚在 Portkey 的提示管理器中：

1. 前往 https://app.portkey.ai/ 的“提示”页面，创建一个新的提示模板，并选择您喜欢的 AI 提供商。

2. 选择聊天模式将启用原始提示功能：

1. 点击它并粘贴上面的原始提示代码。就这样！您已经准备好了可以动态更新的少量提示模板。

使用 Portkey 部署提示

将您的提示模板部署到 API 使用 Portkey 非常简单。您可以使用我们的 Prompt Completions API 来使用我们创建的提示。

Python

from portkey_ai import Portkey

client = Portkey(
    api_key="PORTKEY_API_KEY",  # defaults to os.environ.get("PORTKEY_API_KEY")
)

prompt_completion = client.prompts.completions.create(
    prompt_id="Your Prompt ID", # 添加我们刚创建的提示 ID
    variables={
       few_shot_examples: fseObj,
       profile: "",
       jd: ""
    }
)

print(prompt_completion)

# 我们还可以覆盖超参数
prompt_completion = client.prompts.completions.create(
    prompt_id="Your Prompt ID", # 添加我们刚创建的提示 ID
    variables={
       few_shot_examples: fseObj,
       profile: "",
       jd: ""
    }
    max_tokens=250,
    presence_penalty=0.2
)
print(prompt_completion)

NodeJS

REST

您可以通过 few_shot_examples 变量传递动态的少量学习示例，并开始在生产中使用提示模板！

关于少量示例提示的详细指南

我们推荐本指南，详细介绍了少量示例提示的研究及其边缘案例。

支持

遇到问题？请通过 [email protected] 联系我们，以便快速解决。