指令微调（instruction tuning）和偏好对齐（preference alignment）是使LLM适应特定任务的基本技术。传统上，这涉及一个多阶段的过程：1/ 在指令上进行监督微调（Supervised Fine-Tuning, SFT），以使模型适应目标领域，然后 2/ 使用偏好对齐方法，如基于人类反馈的强化学习（Reinforcement Learning with Human Feedback, RLHF）或直接偏好优化（Direct Preference Optimization, DPO），以增加生成首选响应而非被拒绝响应的可能性。

然而，研究人员发现了这种方法的局限性。虽然 SFT 有效地使模型适应所需的领域，但它无意中增加了在首选答案的同时生成不需要的答案的可能性。这就是为什么偏好调整阶段对于扩大首选输出和拒绝输出的可能性之间的差距是必要的。
ORPO 由 Hong 和 Lee (2024) 提出，通过将指令调整和偏好对齐结合到一个单一的整体训练过程中，为这个问题提供了一个优雅的解决方案。 ORPO 修改了标准语言建模目标，将负对数似然损失与优势比 (OR) 项相结合。这种 OR 损失对被拒绝的响应进行弱惩罚，同时对首选响应进行强烈奖励，从而使模型能够同时学习目标任务并与人类偏好保持一致。

ORPO 已在主要微调库中实现，如 TRL、Axolotl 和 LLaMA-Factory。在下一节中，我们将了解如何与 TRL 一起使用。