Read Data:0602

Publication: CVPR 2020

Title:  AANet: Adaptive Aggregation Network for Efficient Stereo Matching

Participants: Haofei Xu Juyong Zhang

Aim:

目前最好的立体匹配模型基本都用3D卷积，计算复杂度高且占用大量存储空间，本论文的目的就是完全替代3D卷积

Research Question:

尺度内代价聚合模块：基于稀疏点，缓解边缘视差不连续问题；

尺度间代价聚合：跨通道，解决大的无纹理区域问题；

Method:

1、  ISA结构：Intra-Scale Aggregation(ISA)由三层卷积和残差连接堆叠而成，三个卷积1x1、3x3(deformable conv)、1x1,类似bottlenect结构，这里保持channel等于候选视差数不变。

2、  CSA：这里其实就是不同尺度聚合的时候分辨率不同，用这种方法对齐分辨率，大的变小，小的变大，自身尺度恒等不变。

3、  AANet：堆叠6个AA Module做代价聚合，前三个的ISA只用普通2D卷积，后三个在用deformable conv(网络里一共用了9个做代价聚合)；特征提取器类似resnet，40层，其中6个conv被改为deformable conv；FPN构建1/3，1/6，1/12分辨率特征；StereoDRNet里的refine模块分层上采样1/3的视察预测结果到原始分辨率(先到1/2再到原始)；

Results:

作者采用了KITTI 2012、KITTI 2015和SceneFlow数据集进行实验。

首先作者做了消融分析，验证ISA和CSA模块的有效性。由结果可以看出，结合了ISA和CSA的AANet在两个数据集上表现最佳。从定性可视化看，在弱纹理区域能够得到更锐化和细致的结果。

与有代表性的4个3D卷积模型进行了比较，除了GA-Net，其他具备AANet模块的模型准确率都高一些。并且从参数量，计算量和内存占用量以及运行时间上都有降低，可见AANet的确让立体匹配更加高效。

在KITTI 2012和KITTI 2015上，相比于精度高的模型，AANet速度最快；相比于速度快的模型，AANet精度最高，是一个不错的trade-off。

Discussion:

Conclusion:

本文目标是为了替代聚合部分中比较消耗显存且费时的3D卷积，但提出的2个创新点，分别用于解决边缘区域和弱纹理区域，感觉更适合作为提升模型表现的方法。

这篇论文提出的两个创新点也是应用在立体匹配算法流程中的代价聚合部分。一个是尺度内的聚合，用于针对边缘区域；另一个是交叉尺度（尺度间）的聚合，用于针对弱纹理区域。

Further:

Ref:

本文介绍的是中科大团队在 CVPR 2020 上提出的一种高效立体匹配网络——自适应聚合网络 AANet，它由两个模块组成：同尺度聚合模块（ISA）和跨尺度聚合模块（CSA）。AANet 可用来代替基于匹配代价体（cost volume）的 3D 卷积，在加快推理速度的同时保持较高的准确率。