方法概述
1,文章主要针对相机内和相机间的相似性研究来提高伪标签的生成质量。
2,相机内的相似性使用CNN特征来进行计算。不同相机生成的伪标签用来训练多分支网络。
3, 相机间的相似性考虑了不同相机下样本的分类分数来构成新的特征向量,这将减缓相机之间的区别性分布,并且产生更加可靠的伪标签。
文章目录
内容概要
论文名称 | 简称 | 会议/期刊 | 出版年份 | baseline | backbone | 数据集 |
---|---|---|---|---|---|---|
Intra-Inter Camera Similarity for Unsupervised Person Re-Identification. | IICS++ | CVPR | 2021 | 【JVTC+】Li, J., Zhang, S.: Joint visual and temporal consistency for unsupervised domain adaptive person re- identification. pp. 1–14 (2020) | ResNet-50 [9] pre-trained on ImageNet [2] | DukeMTMC-ReID [23], Mar- ket1501 [41], and MSMT17 [31] |
在线链接:https://openaccess.thecvf.com/content/CVPR2021/html/Xuan_Intra-Inter_Camera_Similarity_for_Unsupervised_Person_Re-Identification_CVPR_2021_paper.html
源码链接: https://github.com/SY-Xuan/ IICS
工作概述
1, We decompose the sample similarity computation into two stage, i.e., the intra-camera and inter-camera computations, respectively.
2, The intra-camera computation directly leverages the CNN features for similarity computation within each camera.Pseudo-labels generated on different cameras train the re- id model in a multi-branch network.
3,The second stage con- siders the classification scores of each sample on different cameras as a new feature vector. This new feature effec- tively alleviates the distribution discrepancy among cam- eras and generates more reliable pseudo-labels.
成果概述
This simple intra- inter camera similarity produces surprisingly good perfor- mance on multiple datasets, e.g., achieves rank-1 accuracy of89.5% on the Market1501 dataset, outperforming the re- cent unsupervised works by 9+%, and is comparable with the latest transfer learning works that leverage extra anno- tations.
方法详解
方法框架
具体实现
1,将行人的表示分解为三个部分(公式3):外貌、相机设置以及视觉环境。
2,模型的训练分为两个阶段进行,一个是intra-camera 的训练,一个是inter-camera的训练。总体框架如图2所示。
3, intra-camera 训练过程,先将样本按照camera分组,训练损失函数如公式4、公式7和公式8所示。
4,inter-camera训练,考虑了jaccard相似性,其计算右公式9、10给出。主要用于生成伪标签。inter-camera的损失函数由公式6和11给出。
5,AIBN。 对样本特征的归一化处理,结合实体和batch两个层面的考虑(公式12)。实验结果表明其有效性(图3)
实验结果
想法
1,第一次看到使用雅卡尔相似性的,不知道换成其他相似性度量方式效果会如何。
2,以前都是看如何去相处camera之间的差异性的,这篇文章的设计倒是比较新颖。没有正面去解决这个问题,而是巧妙地利用了起来,值得学习。
引用格式
@inproceedings{DBLP:conf/cvpr/XuanZ21,
author = {Shiyu Xuan and
Shiliang Zhang},
title = {Intra-Inter Camera Similarity for Unsupervised Person Re-Identification},
booktitle = {{CVPR}},
pages = {11926–11935},
publisher = {Computer Vision Foundation / {IEEE}},
year = {2021}
}