Introduction

本文主要解决RGB-IR跨模态匹配问题。贡献主要有三部分组成：

① 提出了 Hierarchical Cross-Modality Disentanglement（Hi-CMD）方法，该模块的目的是排除姿态、光照这些冗余特征（ID-excluded）的影响，提取出更加有判别力的体态、衣着等信息（ID-discriminative）。

 

② 该方法包含了两个核心模块：ID-PIG 网络和 HFL 模块。ID-preserving Person Image Generation（ID-PIG）网络，在保证行人ID不变的条件下，改变它的姿态、光照属性。Hierarchical Feature learning（HFL）模块用于确保编码器能够提取具有判别力的特征，对姿态、光照变化具有鲁棒性。

 

Method

网络的结构图如下。

（1）ID-PIG网络：

ID-PIG 网络采用二阶层次化。第一层次采用原型编码器和属性编码器，原型编码器对图像中行人的体态等外貌特征进行编码，属性编码器对衣服风格、姿态、光照这类可变属性进行编码。第二层次属性编码划分成三类，具体为：风格属性编码、光照属性编码、姿态属性编码。这三种编码分别表示：风格属性是对行人的衣服结构进行编码；光照属性编码对应模态之间的差异，把不同RGB、IR摄像头的视觉差异定义为光照属性；姿态属性对应模态内的差异，理解为同一个模态内行人的多种姿态。

最终光照、姿态属性作为ID-excluded编码，而风格属性、原型编码作为ID-discriminative编码。

损失函数包含如下：

① 跨模态重构损失函数：保证原始图像的体态（原型编码）和衣服结构（风格属性），替换模态（光照属性）和姿态（姿态属性），重构生成的图像要与对应模态的样本图像尽可能接近。

② 同模态重构损失函数：对同模态的四个编码，重新生成原始图像。

③ cycle重构损失函数：两次跨模态重构。

④ 编码损失函数：同模态的编码需要尽可能接近。

最终损失函数：

⑤ KL散度损失：（两种模态各一个）为了让ID-excluded编码接近高斯分布。

其中，

⑥ 对抗损失：判别器G将判断生成的图像是real还是fake。

 

（2）HFL模块：

将ID-discriminative编码加权级联得到判别向量，即，再传入全连接层，得到最终的特征向量。

ReID损失函数包含交叉熵损失和三元组损失，训练数据采用训练得到的生成器进行数据增强，生成相同ID但不同姿态、光照属性的行人图片。

 

Experiment