Multimodal Discriminative Binary Embedding for Large-Scale Cross-Modal Retrieval
一.研究内容
目前，多模态hash的研究主要是为了学习兼容的二进制码，以保留标签给出的语义信息。作者认为这些方法忽略了哈希学习过程中哈希码的判别性，这导致来自不同类别的哈希代不易区分，从而降低了最近邻检索的准确性与鲁棒性，因此提出了MBDE
二.研究贡献
- 在分类方面制定哈希函数学习，学习更具判别性的哈希码。
- 学习异构数据内的共享结构，并保留用于哈希码的学习结构。
- 语义标签代替成对相似度，以更好地保留散列代码的判别性，并降低存储消耗和计算成本。
三、研究框架
首先得到图像的特征矩阵，将图像的特征矩阵转化为哈希码输入分类器进行分类，与标签做分类损失，目的是学习到具有类间判别性的哈希码。将标签转化为哈希码与图像特征转化得到的哈希码做均方误差，目的是为了使类内样本得到的哈希码具有一致性。
四、损失函数
学习具有类间判别性的哈希码
image
text
学习类内具有一致性的哈希码
total loss
五、作者的实验结果
六、作者的下一步计划
在本文中，作者选择模型的线性分类器，线性哈希函数和二范数损失。在未来的工作中，我们将纳入其他类型的分类器，哈希函数和损失函数进入框架，以进一步提高性能。