[论文解读 2021-TIP] Revisiting Shadow Detection: A New Benchmark Dataset for Complex World

[论文解读 2021-TIP] Revisiting Shadow Detection: A New Benchmark Dataset for Complex World

创新点1:自建的数据集CUHK-Shadow:

1. 数据集的特点

  • 10500张带标签的图片;更复杂的场景;
  • 包含了投射到背景物体上的投影,也包含了投射到自身的投影;
  • 提供了测试集;
  • 图片分别来源于五个不同的数据集ADE20K、KITTI、Google MAP、USR、Internet)
    [论文解读 2021-TIP] Revisiting Shadow Detection: A New Benchmark Dataset for Complex World

2. 数据集的复杂性

2.1 阴影面积的相对于图片总面积的占比(更复杂)

[论文解读 2021-TIP] Revisiting Shadow Detection: A New Benchmark Dataset for Complex World

2.2 每幅图片的阴影个数更多、方差更大

[论文解读 2021-TIP] Revisiting Shadow Detection: A New Benchmark Dataset for Complex World

2.3 阴影区域有着更均匀的空间分布

[论文解读 2021-TIP] Revisiting Shadow Detection: A New Benchmark Dataset for Complex World

2.4 非阴影区与阴影区的颜色对比度(比以往的数据集更低)

[论文解读 2021-TIP] Revisiting Shadow Detection: A New Benchmark Dataset for Complex World
PS. 现有的数据集
[论文解读 2021-TIP] Revisiting Shadow Detection: A New Benchmark Dataset for Complex World

3. 评价指标:

3.1 Balanced error rate (BER)【越小越好】

[论文解读 2021-TIP] Revisiting Shadow Detection: A New Benchmark Dataset for Complex World
传统的BER指标用来评价二分类(0/1)结果,于是对指标进行一些改进来适用连续(0~1)的预测结果:
[论文解读 2021-TIP] Revisiting Shadow Detection: A New Benchmark Dataset for Complex World

3.2 f_β^ω【越大越好】

[论文解读 2021-TIP] Revisiting Shadow Detection: A New Benchmark Dataset for Complex World

创新点2:Fast shadow detection network (FSDNet)

[论文解读 2021-TIP] Revisiting Shadow Detection: A New Benchmark Dataset for Complex World

3.1 骨干网络:MobileNet V2【先前已有的工作】

首先,使用 MobileNet V2 作为具有一系列反向残差瓶颈 (IRB) 的主干来提取多个尺度的特征图。 每个 IRB 包含一个 1×1 卷积、一个 3×3 深度卷积和另一个 1×1 卷积,并通过跳跃连接添加输入和输出特征图。 此外,它在每次卷积后采用批量归一化,在前两次卷积后采用 ReLU6。 其次,我们在主干的最后一个卷积层之后使用方向感知空间上下文 (direction-aware spatial context, DSC) 模块来收集 DSC 特征,其中包含用于识别阴影的全局上下文信息。

3.2 细节增强模块:Detail Enhancement Module (DEM)【独创性工作】

[论文解读 2021-TIP] Revisiting Shadow Detection: A New Benchmark Dataset for Complex World

图 7 显示了细节增强模块(DEM)的结构。 以低级特征 FL 和 DSC 特征 FD 作为输入,它首先通过 1×1 卷积减少 FD 的特征通道数,并将其上采样到 FL 的大小。 然后,我们计算门图(gate map) G 以根据 DSC 特征和低级特征之间的距离来衡量细节结构的重要性:

G = α ∗ l o g ( 1 + ( F L − F D ) 2 ) G=α*log(1+(FL-FD)^2) G=α∗log(1+(FL−FD)2)

其中 ( F L − F D ) 2 (FL-FD)^2 (FL−FD)2表示两个特征之间的距离,由对数函数重新缩放。 然后,引入可学习参数α来调整门图的比例。 最后,我们将门图G与输入的低级特征 FL 相乘以增强空间细节并产生精细的低级特征 FE。这个模块只引入了很少参数(一个1×1的卷积和参数α),所以计算时间可以忽略不计。

3.3 消融实验

[论文解读 2021-TIP] Revisiting Shadow Detection: A New Benchmark Dataset for Complex World

  • basic:直接使用backbone的最后一层直接预测阴影
  • basic+DSC:增加DSC模块聚合全局特征
  • FSDNet-high-only:不使用多尺度的特征,直接使用high-leve特征预测阴影的mask
  • FSDNet w/o DEM:不使用DEM,直接对low-level、middle-level、high-level特征拼接

3.4 模型的对比

[论文解读 2021-TIP] Revisiting Shadow Detection: A New Benchmark Dataset for Complex World

上一篇:Photoshop 打造浪漫星光闪烁圣诞树背景


下一篇:视频