llama2 prompt 的模板

llama2 prompt模板中使用的标识符

• <s></s>：这些是来自 SentencePiece 的 BOS 和 EOS 令牌。当多轮对话中存在多条消息时，它们会将它们分开，包括用户输入和模型响应。
• [INST][/INST]：这些令牌包含多轮对话中的用户消息。
• <<SYS>><</SYS>>：这些令牌包含系统消息。

补全的prompt模板

基本模型支持文本补全，因此任何未完成的用户提示（没有特殊标签）都会提示模型完成它。

<s>{{ user_prompt }}

对话Chat的prompt的模板

系统提示（prompt）是可选的。可有可无。
单个消息的具有可选的 system prompt。

<s>[INST] <<SYS>>
{your_system_message}
<</SYS>>

{user_message_1} [/INST]

多个user和assistant 消息示例。

<s>[INST] <<SYS>>
{your_system_message}
<</SYS>>

{user_message_1} [/INST] {model_reply_1}</s><s>[INST] {user_message_2} [/INST]

llama3 prompt 模板

llama3 prompt模板中使用的标识符

• <|begin_of_text|>：这相当于 BOS 令牌
• <|eot_id|>：这表示消息在一轮中的结束。
• <|start_header_id|>{role} <|end_header_id|>：这些令牌包含特定消息的角色。可能的角色可以是：系统、用户、助手。
• <|end_of_text|>：这相当于 EOS 令牌。生成此令牌后，Llama 3 将停止生成更多令牌。
• 提示可以选择包含单个系统消息或多个交替的用户和助手消息，但始终以最后一条用户消息和助手标题结束。

补全的prompt模板

可在此处找到生成此提示格式的代码。
注意：换行符 (0x0A) 是提示格式的一部分，为了在示例中清晰起见，它们已表示为实际的新行。

<|begin_of_text|>{{ user_message }}

Meta Llama 3 Instruct prompt的模板

可在此处找到生成此提示格式的代码。
注意：
换行符 (0x0A) 是提示格式的一部分，为了在示例中清晰起见，它们已表示为实际的新行。
该模型期望提示末尾的助手标题开始完成它。
分解带有系统消息的示例 instruct 提示：

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

You are a helpful AI assistant for travel tips and recommendations<|eot_id|><|start_header_id|>user<|end_header_id|>

What can you help me with?<|eot_id|><|start_header_id|>assistant<|end_header_id|>

• <|begin_of_text|>：指定提示的开始
• <|start_header_id|>system<|end_header_id|>：指定以下消息的角色，即“系统”您是旅行提示和建议的有用 AI 助手：系统消息
• <|eot_id|>：指定输入消息的结尾
• <|start_header_id|>user<|end_header_id|>：指定以下消息的角色，即“用户”您能帮我什么？：用户消息
• <|start_header_id|>assistant<|end_header_id|>：以助手标题结尾，提示模型开始生成。在此提示之后，Llama 3 通过生成 {{assistant_message}} 来完成它。它通过生成 <|eot_id|> 来表示 {{assistant_message}} 的结束。带有单个用户消息的示例提示

<|begin_of_text|><|start_header_id|>user<|end_header_id|>

What is France's capital?<|eot_id|><|start_header_id|>assistant<|end_header_id|>

系统提示以及用户和助手之间的多轮对话

<|begin_of_text|><|start_header_id|>system<|end_header_id|>

You are a helpful AI assistant for travel tips and recommendations<|eot_id|><|start_header_id|>user<|end_header_id|>

What is France's capital?<|eot_id|><|start_header_id|>assistant<|end_header_id|>

Bonjour! The capital of France is Paris!<|eot_id|><|start_header_id|>user<|end_header_id|>

What can I do there?<|eot_id|><|start_header_id|>assistant<|end_header_id|>

Paris, the City of Light, offers a romantic getaway with must-see attractions like the Eiffel Tower and Louvre Museum, romantic experiences like river cruises and charming neighborhoods, and delicious food and drink options, with helpful tips for making the most of your trip.<|eot_id|><|start_header_id|>user<|end_header_id|>

Give me a detailed list of the attractions I should visit, and time it takes in each one, to plan my trip accordingly.<|eot_id|><|start_header_id|>assistant<|end_header_id|>

Hugging face 中llama的模板

System: You are a helpful, respectful and honest assistant. Always answer as helpfully as possible, while being safe.  Your answers should not include any harmful, unethical, racist, sexist, toxic, dangerous, or illegal content. Please ensure that your responses are socially unbiased and positive in nature. If a question does not make any sense, or is not factually coherent, explain why instead of answering something not correct. If you don't know the answer to a question, please don't share false information.
User: {prompt}
Assistant:

参考资料

https://llama.meta.com/docs/model-cards-and-prompt-formats/meta-llama-2

Llama 2 Prompt Template · GPU Utils ⚡️