系列博客目录

---

---

InfoNCE 损失（Information Noise Contrastive Estimation）是一种对比学习的损失函数，用于最大化正样本（匹配样本）之间的互信息，同时将负样本（不匹配样本）拉开距离。它最早由 Oord 等人在 2018 年提出，用于无监督学习的自监督表示学习。InfoNCE 损失通过以下方式运作：

1. 基本原理

InfoNCE 损失的目标是通过最大化互信息来区分匹配和不匹配的样本对。假设我们有一个输入样本（如图像）以及其对应的正样本（如文本描述），InfoNCE 会拉近匹配的图像-文本对的嵌入距离，并将不匹配对的嵌入拉远。为了实现这一点，InfoNCE 损失函数对一对正样本（即匹配对）和多个负样本进行对比，通过多分类交叉熵的形式来估计它们之间的相似度。

2. 数学定义

假设我们有一个图像 ( I ) 和其对应的文本 ( T )，InfoNCE 损失的公式为：

$${\mathcal{L}}_{\text{InfoNCE}}=-\log \frac{\exp (\text{sim}(I,T)/\tau )}{{\sum }_{k=1}^K\exp (\text{sim}(I,{\tilde{T}}_k)/\tau )}$$

其中：

• $\text{sim}(I,T)$ 表示图像 $I$ 和文本$T$ 的相似度（例如，可以是余弦相似度）。
• $\tau$ 是温度超参数，用于控制分布的平滑度。
• ${\tilde{T}}_k$表示负样本集合（即不匹配的文本集合）。
• $K$ 是负样本的数量。

在 InfoNCE 损失中，通过最大化匹配对的相似度（即分子部分），并最小化与其他不匹配样本对的相似度（即分母部分），模型可以学习到匹配对在嵌入空间中彼此靠近，而不匹配对则远离。

3. 工作流程

1. 正样本对：选择一个图像和其真实的描述文本作为正样本对。
2. 负样本对：从不相关的文本（或图像）中随机选择一组作为负样本对。
3. 计算相似度：计算正样本对和负样本对的相似度值，形成一个对比组。
4. 优化目标：最大化正样本对的相似度，最小化负样本对的相似度，使模型能够有效区分匹配和不匹配对。

4. InfoNCE 的优势

• 有效的对比学习：InfoNCE 利用正负样本对的对比，强化了模型对不同样本对的区分能力。
• 灵活性：InfoNCE 可用于自监督学习，适用于处理视觉-语言、音频-文本等多模态任务。
• 互信息最大化：通过最小化 InfoNCE 损失，模型间接最大化了嵌入空间中匹配样本之间的互信息。

5. 实际应用

在视觉-语言学习中，InfoNCE 损失被广泛用于图像和文本的表示学习任务。通过使用 InfoNCE 损失，模型可以在嵌入空间中对齐图像和文本的表示，从而更好地执行如图像-文本检索、视觉问答等任务。