文章目录

• • 一、PET
  • • 1.1 PET建模
    • 1.2 如何选取Prompt模板
    • 1.3 预测得token如何映射label
    • 1.4 实验结果
  • 二、KPT
  • • 2.1 主要idea
    • 2.2 标签词的扩展
    • 2.3 标签词去噪
    • 2.4 语言表达器的使用
    • 2.5 实验结果
  • 三、P-tuning
  • • 3.1 核心idea
    • 3.2 实验结果
  • 四、总结与展望
  • 五、参考资料

hi！又到每周分享的时刻了，希望大家能有收获呀！！！！！！！！！！！

什么是Prompting ？它和Fine-tuning有什么区别？这里引用CMU刘鹏飞博士放在博客里的图：

prompt是研究者们为下游任务设计的一种模板或者范式，这种范式能够帮助预训练模型回忆起自己预训练学到的知识，其实说白了就是将下游任务和预训练任务的统一（近似），比如说MLM。

对于输入文本 x x x，经过函数 f p r o m p t ( x ) f_{prompt}(x) fprompt​(x)得到 x ′ x^{'} x′

x ′ = f p r o m p t ( x ) x^{'}=f_{prompt}(x) x′=fprompt​(x)

该函数首先会使用一个模板，通常为自然语言（就是一句通顺的话），因为预训练模型训练数据都是基于自然语言的，该模板一般包含两个空位置：用于填输入 x x x的位置 [ x ] [x] [x]和用于生成答案文本的 z z z位置 [ Z ] [Z] [Z]。

举个