Read Data: 0903

Publication: CVPR 2021

Title: Patch-NetVLAD: Multi-Scale Fusion of Locally-Global Descriptors

for Place Recognition

Aim:

本文提出的新型Patch-NetVLAD系统结合了局部方法和全局方法的优点，同时最小化了它们的缺点。

Research Question:

NetVLAD制作全局特征时并没有专门考虑更细分的局部特征，场景识别召回率不太高；基于局部特征的场景召回算法仅将局部特征进行聚合并没有考虑更高层次的信息。目前仍然没有一种召回率较好的将局部与全局特征融合的用于VPR的特征。

Method:

首先，引入了一种新的位置识别系统，该系统通过局部-全局描述子穷举匹配得到的空间评分来生成图像对之间的相似度评分。这些描述符是使用vpr优化的聚合技术为特征空间中的密集采样局部斑块提取的。

其次，提出了一种多尺度融合技术，生成并结合这些不同大小的混合描述符，以获得比单一尺度方法更好的性能。为了最小化移动到多尺度方法的计算增长影响，我们开发了一个积分特征空间(类似于积分图像)来推导不同patch大小的局部特征。

Results:

我们提议的PatchNetVLAD在关键基准测试中的平均性能比原来的NetVLAD高出17.5%，比最先进的SuperPoint和superglue支持的VPR管道高出3.1%(绝对召回率增加)。我们的实验揭示了同时融合多个补丁大小的固有好处，其中融合的召回率大于任何单个补丁大小的召回率，并提供了一种方法，与单一尺度技术相比，以最小的计算代价实现这一目标。

实验证明了一系列易于实现的系统配置，这些配置实现了不同的性能和计算平衡，包括以性能为重点的配置，它的性能优于最先进的召回性能，但速度略快，一个平衡的配置，性能和最先进的一样，但速度要快3倍，一个速度集中的配置，比最先进的速度快一个数量级

Discussion:

Conclusion:

本文提出了一种新的局部-全局特征描述子，利用全局描述子技术进一步提高局部描述子的外观鲁棒性。与之前基于关键点的局部特征描述符不同，我们的方法将所有的视觉内容都考虑在一个更大的图像斑块内，使用的技术通过有效的多尺度斑块融合来进一步提高性能。虽然Patch-NetVLAD的演示是在位置识别上下文中进行的，但还可以进行进一步的应用程序和扩展。

Further:

未来工作的一个方向是:当我们使用相互最近邻匹配Patch-NetVLAD特征时，随后使用RANSAC进行空间验证，最近的深度学习匹配器[59,85]可以进一步提高算法的全局重新定位性能。虽然我们的方法绝不是受生物学启发，但值得注意的是，大脑在多个接受区域处理视觉信息。因此，未来研究的另一个潜在的有前途的方向是，探索和从视觉位置识别任务，而不是更常见的研究对象或面孔识别任务，是如何在大脑中实现的，并从中汲取灵感。最后，另一项工作可以考虑学到的VLAD聚类和语义类(如汽车、行人、建筑)之间的相关性，以便识别和删除包含动态对象的补丁

Ref: