RRHF(Rank Responses to align Human Feedback)出自2023年4月的论文《RRHF: Rank Responses to Align Language Models with Human Feedback without tears》，是较早提出的不需要使用PPO来对齐人类偏好的方法。

设输入数据记为x，输出记为y，奖励函数为R(x,y)，待训练模型记为$\pi$（从模型$\rho$​初始化得到）。

在训练前，先对输入从不同来源采样输出(response)构建数据集，来源包括待训练模型、ChatGPT、GPT-4、人工标注的高质量和低质量输出。训练时，对于一个输入x，就有k个不同的输出$y_i$（$1\le i\le k$），奖励函数给每一个$y_i$的打分为$R(x,y_i)=r_i$，为了使模型与分数 { r i } k \{ r_i\}_k {ri​}k​对齐，让模型$\pi$对每一个$y_i$使用下式计算分数$p_i$：
$$p_i=-\frac{{\sum }_t\log P_{\pi }\left(y_{i,t}\mid x,y_{i,<t}\right)}{||y_i||}(1.1)$$
$p_i$是模型$\pi$ 下$y_i$的对数条件概率，目的是使模型$\pi$对高质量输出给更大概率，对低质量输出给小概率。使用如下ranking loss来优化这个目标：
$$L_{rank}=\sum _{r_i<r_j}max(0,p_i-p_j)(1.2)$$
此外要求模型从最高奖励的输出学习，损失与SFT的交叉熵损失类似：
$$\begin{gathered} i^{\prime }={\mathrm{argmax}}_i{r}_i \\ {L}_{ft}=-\sum _t\log P_{\pi }\left(y_{i^{\prime },t}\mid x,y_{i^{\prime },<t}\right)(1.3) \end{gathered}$$
RRHF的最终目标为这两部分损失之和：
$$L=L_{rank}+L_{ft}(1.4)$$