EmotionPrompt: Leveraging Psychology for Large Language Models Enhancement via Emotional Stimulus 论文精读
核心观点：
提出 emotionprompt 作为一种利用情绪刺激来增强大语言模型性能的方式。该方法通过在原始提示中添加情绪刺激，例如“这对我的事业非常重要”，来引导 LLM 的行为，从而提高其在各种任务上的表现。论文中的实验结果表明，EmotionPrompt 在 ChatGPT、Vicuna-13b、Bloom 和 Flan-T5-large 等不同模型上的 8 个任务中，均取得了显著的提升，并且在零样本和少样本设置下均优于原始提示和 Zero-shot-CoT。
背景：
背景主要介绍了一些心理学的情绪研究，包括情绪智力、情绪对决策的影响、情绪调节以及相关理论（社会认同理论、社会认知理论、认知情绪调节理论）。同时，作者也回顾 LLM 的发展和应用，并指出当前 LLM 提升方法主要集中在模型侧，较少关注交互侧。
EmotionPrompt
emotionprompt 是受人类情绪刺激影响行为的启发，心理学中的三种理论（社会认同理论，社会认知理论，认知情绪调节理论）中获取灵感，设计了针对语言模型的情感刺激提示词，并将情感刺激分为两类：
- 社会影响: 利用群体认同、他人意见等社会因素来调节情绪。
- 自尊和动机: 关注个体的自尊、自信和目标。
每种情感刺激都包含了一些心理学上的词汇和短语，例如“相信你的能力”、“目标”、“成功”等。这些词汇和短语能够激发 LLM 的内在动力，使其更加努力地完成任务。
实验
在 8 个指令学习任务上评估 EmotionPrompt 的效果，包括：
- 情感分析
- 句子相似度
- 原因选择
- 求和
- 词语上下文
- 以…开头
- 更大的动物
- 首字母
使用 4 个 LLM 进行实验，包括：
- ChatGPT
- Vicuna-13b
- Bloom
- T5-Large
将 EmotionPrompt 与以下基线进行比较：
- 原始提示: Instruction Induction 论文中设计的提示。
- Zero-shot-CoT: Kojima 等人提出的简单而有效的零样本提示工程方法。
使用 Instruction Induction 论文中的 8 个任务进行评估，每个任务包含 100 个测试样本（除了原因选择任务，包含 50 个样本）。实验结果表明，EmotionPrompt 在所有任务和模型上都取得了显著的提升，并且准确性在超过一半的任务上提高了 10% 以上；在 TruthfulQA 数据集上评估了 EmotionPrompt 对真实性和信息量的影响。结果表明，EmotionPrompt 能够显著提高 LLM 的真实性和信息量。
分析
- EmotionPrompt 为什么有效：情感刺激能够增强原始提示的表示，并提高 LLM 对任务的关注程度。
- 积极词汇的贡献：一些积极词汇在情感刺激中扮演了更重要的角色，例如“自信”、“确定”、“成功”和“成就”。这些词汇能够激发 LLM 的内在动力，使其更加努力地完成任务。
- 人类研究：人类研究评估了 LLM 输出的其他指标，例如清晰度、相关性、深度、结构、组织、支持证据和参与度。结果表明，EmotionPrompt 能够显著提高 LLM 输出的清晰度、深度、结构、组织、支持证据和参与度。
总结
- 局限性：实验范围有限，只测试了4个LLM；情感刺激的泛化性并不清楚，可能不适用于所有任务，研究人员可能需要为特定任务设计更合适的情感刺激。
- 未来工作：在更多 LLM 和任务上进行实验，以验证 EmotionPrompt 的有效性；研究如何设计更有效的情感刺激，以提升 LLM 的性能； 探索情感刺激影响 LLM 的内在机制，以更好地理解其工作原理；研究情感刺激在 LLM 中的应用可能带来的伦理问题，并制定相应的解决方案。