此部分是计算机视觉部分，主要侧重在底层特征提取，视频分析，跟踪，目标检测和识别方面等方面。对于自己不太熟悉的领域比如摄像机标定和立体视觉，仅仅列出上google上引用次数比较多的文献。有一些刚刚出版的文章，个人非常喜欢，也列出来了。
33. SIFT
关于SIFT，实在不需要介绍太多，一万多次的引用已经说明问题了。SURF和PCA-SIFT也是属于这个系列。后面列出了几篇跟SIFT有关的问题。
[1999 ICCV] Object recognition from local scale-invariant features
[2000 IJCV] Evaluation of Interest Point Detectors
[2006 CVIU] Speeded-Up Robust Features (SURF)
[2004 CVPR] PCA-SIFT A More Distinctive Representation for Local Image Descriptors
[2004 IJCV] Distinctive Image Features from Scale-Invariant Keypoints
[2009 GRSL] Robust scale-invariant feature matching for remote sensing image registration
[2010 IJCV] Improving Bag-of-Features for Large Scale Image Search
[2011 PAMI] SIFTflow Dense Correspondence across Scenes and its Applications
[2012 ECCV] KAZE Features
[2012 ICCV] ORB_An efficient alternative to SIFT or SURF
[2014 CVPR] TILDE: A Temporally Invariant Learned DEtector
[2014 TGRS] A novel coarse-to-fine scheme for automatic image registration based on SIFT and mutual information
[2015 GRSL] A novel point-matching algorithm based on fast sample consensus for image registration
[2015 GRSL] An efficient SIFT-based mode-seeking algorithm for sub-pixel registration of remotely sensed images
[2015 TGRS] SAR-SIFT: A SIFT-LIKE ALGORITHM FOR SAR IMAGES
[2016 ECCV] LIFT Learned Invariant Feature Transform
[2016 JVCIR] An Improved RANSAC based on the Scale Variation Homogeneity
[2017 GRSL] Remote Sensing Image Registration With Modified SIFT and Enhanced Feature Matching
[2017 CVPR] GMS :Grid-based Motion Statistics for Fast, Ultra-robust Feature Correspondence
[2018 TIP] Fast Adaptive Bilateral Filtering
翻译
一种基于快速样本一致性的图像配准新算法
作者：Yue Wu, Wenping Ma, Maoguo Gong
摘要 -稳健性和准确性是基于特征的遥感影像配准中的两个主要挑战性问题。在这封信中，提出了一种新颖的点匹配算法。提出了一种改进的随机样本共识(RANSAC)算法，称为快速样本共识(FSC)。它将RANSAC中的数据集分为两部分：样本集和共识集。样本集具有较高的正确率，而共识集具有大量正确的匹配项。提出了一种迭代方法来增加正确对应的数量。已经使用了一组措施来评估配准结果。通过对这些措施和镶嵌图像的评估，验证了所提出方法的性能。与RANSAC相比，FSC可以在更少的迭代次数中获得更多正确的匹配，正确选择算法的迭代选择和不精确点算法的删除有效地提高了结果的准确性。大量的实验研究与三种最新方法进行了比较，证明了所提出的算法是鲁棒且准确的。
索引词-图像配准，随机样本共识(RANSAC)，遥感。
Ⅰ 引言
IMAGE配准是对齐两个或多个图像的过程，这些图像包含不同传感器从不同视点或在不同时间拍摄的相同场景[1]。这是遥感图像处理的许多领域的重要一步，例如变化检测，图像融合，图像叠加，目标识别等。图像配准的结果将极大地影响后续动作的性能[2]。因此，遥感图像配准过程应该高效，鲁棒和准确[3]。
遥感图像配准方法通常分为两类：基于强度的方法和基于特征的方法[1]，[4]。基于强度的方法不会检测到任何特征，而只会使用图像的强度。基于特征的方法从两个图像中提取对应特征(区域，线，点)，然后通过这些对应关系找到两个图像之间的几何变换。在某些情况下，这些方法的主要优点是快速且可靠。如今，在某些情况下，点匹配方法是基于特征的方法的主要研究方向。在这封信中，我们重点研究点匹配方法。
大多数点匹配方法通常包括四个步骤：特征检测，特征匹配，变换估计，变换和重采样。这些特征点对于图像的仿射变换是不变的[5]。尺度不变特征变换算法(SIFT)是构造匹配对的最常见方法[6] – [8]。这些点匹配方法的挑战是消除异常值并增加正确的匹配。离群值的存在将对结果的准确性产生负面影响[9]，[10]。由于某些控制点与实际位置的偏移很小，因此，更正确的匹配点将获得更准确的结果[9]。在这方面，我们的研究旨在消除异常值并增加正确的匹配项。
为了消除不正确的对应关系，几何约束和空间信息是两种常用的方法。Liu [8]提出了一种方法，称为受限空间顺序约束，用于通过局部和全局信息消除异常值。Zhang [6]提出了一种基于K最近邻(KNN)的三角面积表示(TAR)值的鲁棒方法。龚[11]通过其几何关系消除了异常值。随机样本共识(RANSAC)[12]是著名的鲁棒估计器，它在每次迭代中从共识集中随机选择一个样本，并找到最大的共识集来计算最终模型参数。许多配准方法使用RANSAC来计算模型参数或找到正确的对应关系。当离群值在少数时，RANSAC表现良好且稳定。当离群值占大多数时，使用RANSAC将非常耗时。 Li [7]提出了一种鲁棒的样本一致性判断算法，并将其嵌入到RANSAC中以提高效率。如果对应中有太多离群值，则这些基于RANSAC的方法可能既耗时又不稳定。大多数方法都考虑如何删除异常值，但是很少有方法旨在增加正确的匹配项。通过当前的方法，正确匹配的数量几乎不会增加。
尽管已经完成了有关遥感图像配准的大量工作，但是如何可靠而准确地匹配遥感图像仍然是一项艰巨的任务。本文提出了一种新颖的方法，该方法可以在异常值较大且变形较大时获得鲁棒且准确的结果。提出了一种新颖且鲁棒的估计器，称为快速样本共识(FSC)，以查找初始正确结果。然后提出了一种称为正确匹配的迭代选择(ISCM)的算法，以大大增加正确匹配。最后，使用不精确的点消除策略来使结果更准确。
这封信的其余部分安排如下：在第二节中，提出了建议的方法。在第三节中，在各种遥感图像上验证了该方法的性能，并且还将我们的方法与三种最新方法进行了比较。第四节得出结论。
Ⅱ 拟议方法的说明
在本节中，将描述所提出的方法。我们的方法包括三个部分：1)使用FSC算法获得初步结果； 2)使用ISCM算法找到最正确的对应关系； 3)删除不精确的点。
A.快速样本共识(FSC)
给定一对图像，令fR(x，y)代表参考图像，而fS(ˆx，ˆy)代表感应图像。在这里，我们选择全局仿射变换模型来表示参考图像和感测图像之间的关系。全局仿射变换模型在实践中被广泛使用，可以代表大多数变形。参考和感测图像之间的关系由
(ˆx，ˆy)=T((x，y)，θ) (1)
其中T((x，y)，θ)是仿射变换模型，θ是仿射变换模型的参数，(x，y)和(ˆx，ˆy)分别是参考图像和感测图像中的像素。
首先，我们应该构造对应关系。我们提取两个点特征集{p1，... ，pl}和{ˆp1，... ，ˆpk}和参考图像。我们找到{p1，... ，pl}来自{ˆp1，... ，ˆpk}来构造对应关系。然后，我们将此对应关系定义为ci = {pi，ˆ pi}，坐标为(xi，yi)的pi表示参考图像中的一个特征点，坐标为(ˆ xi，ˆ yi)的pi表示一个特征点在感知的图像中。 C = {c1，...，ci，..，cn}表示暂定对应集。
该暂定对应集C中有许多异常值，我们希望找到没有异常值的正确对应关系。由于在遥感图像处理中对应的正确率较低，因此很难去除所有异常值。许多方法利用RANSAC [12]来获得可靠的结果，RANSAC算法选择样本并在同一数据集中找到最大的共识，但是直接利用RANSAC设置C既费时又不稳定。为了提高算法的可靠性和效率，提出了快速抽样共识算法。我们从集合C中提取正确匹配率高的子集Ch，然后对子集Ch进行采样，求出最大共识。设置在集合C中，从而提高了算法的可靠性和效率。提取子集Ch的过程如下。
SIFT是遵守局部描述符的最有效方法之一[5]，因此我们将SIFT特征[13]作为点特征。 SIFT匹配包含五个主要步骤：尺度空间极值检测，关键点定位，方向分配，关键点描述符和关键点匹配。 SIFT特征通过距离比dratio进行匹配，该比值表示最近邻的距离与第二近邻的距离之比[13]。对于不变描述符向量，最近邻居定义为具有最小欧几里得距离的关键点。在此字母中，两个特征点的距离表示两个SIFT特征的欧几里得距离。如果关键点的距离比很小，则意味着最近的邻居比第二近邻更接近它，因此此关键点及其最近的邻居很可能是正确的对应关系。因此，我们通常会找到距离比低于某个值(dratio)的关键点来构建对应关系。dratio越小，构建对应关系的条件越苛刻。较小的dratio将导致较高的正确率和少量的正确匹配。相反，较大的dratio将导致较低的正确率和大量的正确匹配。我们设置两个比率参数dh和dl，dh是一个相对较小的值，并且Ch中的对应关系通过比率dh匹配，dl是一个相对较大的值，C中的对应关系通过比率dl进行匹配。 Ch表示从中采样的样本集，C表示在其中找到最大共识集的共识集。最大共识集中的对应关系通过其变换误差来判断，并且变换误差ci = {pi，ˆ pi}表示为e(ci，θ)= ||(ˆxi，ˆyi)− T((xi，yi)，θ)||，其中θ是由来自Ch的样本确定的转换模型参数。算法1中给出了提出的FSC算法的过程。
算法1快速样本共识(FSC)
输入：
•Ch：样本对应集；
•C：总的暂定对应集；
•N：迭代次数。
输出：变换模型参数θ。
1)n = 0
2)对于i = 1：N
3)从Ch中随机选择三个对应关系chi，chj和chk。
4)通过对应关系cih，cjh 和ckh 计算变换模型参数θi。
5)通过模型参数θi计算集合C中每个对应关系的变换误差，共识集合Ci由误差小于1个像素的对应关系组成。
6)if size(Ci)> n，
7)n =size(Ci)。
8)通过共识集Ci计算变换模型参数θ。
9)endif
10)结束
B.正确匹配的迭代选择(ISCM)
通过FSC算法获得的结果接近最优解。为了获得更准确的结果，我们提出了一种新颖的方法，称为正确匹配的迭代选择(ISCM)，以大大增加正确匹配的数量。在进行SIFT功能匹配的过程中，只有该关键点的SIFT功能的最近邻居才被视为最佳选择。但是在遥感图像配准过程中存在许多错误的对应关系，由于其正确的候选者不是其最近邻居，因此未找到许多正确的对应物，也许该关键点的正确候选者是其第二近邻。在此，邻居表示SIFT要素的邻居。我们认为，一个关键点的正确候选者很可能是该关键点在重叠区域中的近邻之一。因此，基于这一点，我们利用上面获得的转换模型参数来判断重叠区域中该关键点的哪个邻居是正确的候选者。我们按照从最近到最远这两个点特征的距离的顺序来迭代地判断每个关键点的邻居。因此，正确匹配的次数将增加。通过以上结果获得重叠区域。为了快速找到更多正确的匹配项，将邻居数设置为20。ISCM的过程在算法2中给出。
算法2 正确匹配的迭代选择(ISCM)
输入：
•{p1，...，plo}：在参考图像的重叠区域中检测到的SIFT特征；
•{ˆp1，... ，ˆpko}：在感应图像的重叠区域中检测到的SIFT特征；
•θ：变换模型参数；
•T：邻居的数量。
输出：从该算法获得的对应集Ctotal。
1)对于i = 1：lo
2)找到{ˆpi1，...ˆpiN} 中N个最近的邻居{ˆp1，... ，ˆpko}中pi。这些相邻点排列在{ˆpi1，...ˆpiN} 中的SIFT特征之间的距离上 和pi，ˆpi1是pi的最近邻居，而ˆpiN是pi中最远的邻居{ˆpi1，...ˆpiN}。
3)对于j = 1：T
4)通过模型参数θ计算{pi，ˆpij}的变换误差。
5)if {pi，ˆpij}的变换误差小于1个像素，
6)将{pi，ˆpij}添加到Ctotal，从{ˆp1，... ，ˆpko}中删除。
7)休息
8)endif
9)结束
10)结束
C.去除不精确点(IPRA)
与其他方法相比，上面获得的集合Ctotal包含更多正确的匹配项。由于某些控制点存在轻微的位移，因此必须删除一些不精确的点才能获得更准确的结果。在这里，我们提出了一种有效的方法来快速获得最终结果。在每次迭代中，将从其对应的设置中删除转换误差超过σ像素的对应关系。该过程在算法3中给出。
算法3不精确点消除算法(IPRA)
输入：
•Ctotal：总对应集Ctotal，
•σ：最大误差。
输出：最终结果θ。
1)while(1)
2)通过对应集Ctotal计算变换模型参数θ。
3)通过模型参数θ计算Ctotal中每个对应关系的变换误差。
4)从Ctotal中删除变换误差大于σ像素的对应关系。
5)if 没有删除对应关系，请执行
6)休息
7)endif
8)结束片刻
Ⅲ 实验研究
A.参数设定
在FSC过程中，将通过实验结果讨论两个参数dh和dl。在该实验中，选择三对图像进行测试。所有图像均来自加利福尼亚大学圣巴巴拉分校的视觉研究实验室[14]。这三个图像对的实验结果如图1所示。正确匹配定义为正确匹配的点对的数量，正确率定义为正确匹配的点对的数量与现有匹配点对的总数之比。如图1所示，随着dratio的增加，正确匹配的次数增加，正确匹配的速率降低。在正确匹配数和正确匹配率之间进行权衡，将dh设置为0.7，将dl设置为1。当dh为0.7且dl为1时，我们测试了10 000次，发现最佳结果可以为在300次迭代中收到。因此，将FSC中的迭代次数设置为300。在去除不精确点的过程中，将σ设置为平均全局误差加0.5像素，以达到精度结果。
图1.三个图像对的实验结果。 (a)正确匹配的次数。 (b)正确比对率。
B.实验设置
我们选择[15]中最近提出的措施作为我们实验中的评估标准，详情可参见[15]。这些度量包括：Nred(冗余点数)，RMSall(均考虑所有控制点(CPs)的均方根)，RMSLOO(基于留一法的CP残差的均方根计算)，pquad(对跨象限的残差分布)，BPP(1.0)(规范点高于1.0的坏点比例)，Skew(残差散点图上存在偏好轴的统计评估)，Scat(CP分布的良好程度的统计评估)整个图像)和φ(先前提到的七个度量的加权组合)。两种RMS度量均已标准化为像素大小。
C.复杂度分析
计算复杂度：构造匹配对的过程的计算复杂度与SIFT的计算复杂度相同。 n是找到的对应数，N是FSC中的迭代数，T是ISCM中的邻居数。在最坏的情况下，FSC需要O(Nn)基本操作，ISCM需要O(Tn)基本操作，除去不精确的点需要O(n2)。我们提出的方法的最坏情况下的时间复杂度是O((N + T)n + n2)。
D.实验结果
在这封信中，选择了最近提出的三种点匹配方法，分别称为KNNTAR [6]，RSCJ [7]和RSOC [8]，以与提出的方法进行比较。 RSCJ，KNN-TAR和RSOC在消除异常值方面表现良好，因此它们是非常有代表性的方法。 SIFT特征[13]用于为所有方法建立图像对之间的对应关系。
在这些实验中，选择了三个图像对。这些图像对如图2所示。图像对(a)：参考图像来自传感器Landsat Thematic Mapper(TM)于1994年6月7日在同一区域(空间分辨率为30 m)拍摄的场景的波段4(0.76-0.90μm)所感应的图像来自1995年8月8日SPOT在巴西巴西利亚市区拍摄的场景的波段3(0.78–0.89μm)(初始空间分辨率为20 m，重采样为30 m)。图像对(b)：参考图像来自传感器ALOS-PALSAR于2010年6月5日在不列颠哥伦比亚省坎贝尔河地区拍摄的场景的HH模式(L波段)(初始空间分辨率为15 m重采样到30 m)，并且感应到的图像来自传感器Landsat Enhanced Thematic Mapper Plus(ETM +)于1999年6月26日在同一区域(具有空间分辨率)拍摄的场景的波段5(1.55-1.75μm) 30 m)。图像对(c)：参考图像是单视SAR图像，感测图像是四视SAR图像，它们是由Radarset-2(C波段)于2008年6月在中国黄河口地区拍摄的和2009年6月，这对图像的空间分辨率分别为8 m。
图2.三对测试图像。 (a)一对两个不同的传感器(SPOT / Landsat)图像。 (b)一对两个不同的传感器(ALOS-PLASAR / Landsat ETM +)图像。 (c)一对两个SAR图像。
这些算法的性能显示在表I中。从表中可以看出，与其他方法相比，我们方法的φ值和RMSLOO值是最好的。 RSCJ的性能优于KNN-TAR。 RSOC考虑了局部结构和全局信息，因此RSOC的计算复杂度较高。 RSOC的结果不如其他方法准确，因为RSOC并未考虑匹配项的轻微位移。提出的FSC算法也可以很快得到不错的结果。由于FSC具有比RSCJ大得多的共识集，因此FSC可以获得比RSCJ更好的结果。为了获得公平的结果，我们在RSCJ之后也应用了ISCM和IPRA，可以看到ISCM算法和IPRA算法可以有效地提高结果的准确性。
表Ⅰ Nred，RMSall，RMSLOO，pquad，BPP(1.0)，Skew，ScatANDφ和KNN-TAR [6]，RSCJ [7]，RSOC [8]，FSC，RSCJ + ISCM + IPRA获得的相关计算时间的对应值 III-D节中描述的三对图像及其提出的方法
(a)对的匹配结果如图3所示。对(a)是一对变形较大的两个不同传感器(SPOT / Landsat)图像。当我们构造两个图像之间的对应关系时，存在较大的离群值。因此，结果在pair(a)上的表现可以反映出我们方法的优越性。
图3(a)和(b)分别是RSCJ和KNN-TAR的结果，因为我们看到它们都有效地消除了异常值，但是也消除了一些正确的匹配项。图3(c)是RSOC的结果，由于考虑了局部结构和全局信息，它可以接收更多正确的匹配项。
图3(d)是我们方法的结果，我们不仅去除了异常值，而且大大增加了正确的匹配度。此外，图4中显示了棋盘格马赛克图像，可以看到两个图像的边缘和区域精确重叠。
图3.图2(a)与(a)RSCJ，(b)KNN-TAR，(c)RSOC，(d)的匹配结果。
图4.棋盘格马赛克图像。 (a)图2(a)的棋盘格马赛克图像。 (b)图2(b)的棋盘格马赛克图像。
IV 结论
本文提出了一种鲁棒且准确的点匹配方法。我们的算法包括三个部分：1)使用FSC算法获得初步结果； 2)使用ISCM算法找到最正确的对应关系； 3)删除不精确的点。所提出的FSC算法可以从对应集中找到正确的匹配，其中甚至大多数匹配对都是错误的匹配。提出的ISCM算法可以大大增加正确匹配的次数。不精确的点消除算法使结果更准确。实验验证了我们的方法对于失真度很高的图像效果良好。与其他算法相比，我们的方法获得了最好的结果。总之，我们的方法是一种可靠，准确和有效的配准方法。
参考文献
[1] B. Zitova and J. Flusser, “Image registration methods: A survey,” Image Vis. Comput, vol. 21, no. 11, pp. 977–1000, Oct. 2003.
[2] X. Dai and S. Khorram, “The effects of image misregistration on the accuracy of remotely sensed change detection,” IEEE Trans. Geosci. Remote Sens., vol. 36, no. 5, pp. 1566–1577, Sep. 1998.
[3] Y. Bentoutou, N. Taleb, K. Kpalma, and J. Ronsin, “An automatic image registration for applications in remote sensing,” IEEE Trans. Geosci.Remote Sens., vol. 43, no. 9, pp. 2127–2137, Sep. 2005.
[4] L. G. Brown, “A survey of image registration techniques,” ACM Comput.Surveys, vol. 24, no. 4, pp. 325–376, Dec. 1992.
[5] K. Mikolajczyk and C. Schmid, “A performance evaluation of local descriptors,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 27, no. 10, pp. 1615–1630, Oct. 2005.
[6] K. Zhang, X. Li, and J. Zhang, “A robust point-matching algorithm for remote sensing image registration,” IEEE Geosci. Remote Sens. Lett., vol. 11, no. 2, pp. 469–473, Feb. 2014.
[7] B. Li and H. Ye, “RSCJ: Robust sample consensus judging algorithm for remote sensing image registration,” IEEE Geosci. Remote Sens. Lett., vol. 9, no. 4, pp. 574–578, Jul. 2012.
[8] Z. Liu, J. An, and Y. Jing, “A simple and robust feature point matching algorithm based on restricted spatial order constraints for aerial image registration,” IEEE Trans. Geosci. Remote Sens., vol. 50, no. 2, pp. 514– 527, Feb. 2012.
[9] H. Goncalves, L. Corte-Real, and J. A. Goncalves, “Automatic image registration through image segmentation and sift,” IEEE Trans. Geosci.Remote Sens., vol. 49, no. 7, pp. 2589–2600, Jul. 2011.
[10] J. Ma, J.-W. Chan, and F. Canters, “Fully automatic subpixel image registration of multiangle CHRIS/Proba data,” IEEE Trans. Geosci. Remote Sens., vol. 48, no. 7, pp. 2829–2839, Jul. 2010.
[11] M. Gong, S. Zhao, L. Jiao, D. Tian, and S. Wang, “A novel coarse-tofine scheme for automatic image registration based on sift and mutual information,” IEEE Trans. Geosci. Remote Sens., vol. 52, no. 7, pp. 4328– 4338, Jul. 2014.
[12] M. A. Fischler and R. C. Bolles, “Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography,” Commun. ACM, vol. 24, no. 6, pp. 381–395, Jun. 1981.
[13] D. G. Lowe, “Distinctive image features from scale-invariant keypoints,” Int. J. Comput. Vis., vol. 60, no. 2, pp. 91–110, Nov. 2004.
[14] [Online]. Available: http://vision.ece.ucsb.edu/registration/demo/ examples.shtml [15] H. Gonçalves, J. A. Gonçalves, and L. Corte-Real, “Measures for an objective evaluation of the geometric correction process quality,” IEEE Geosci. Remote Sens. Lett., vol. 6, no. 2, pp. 292–296, Apr. 2009.