Deep Joint Rain Detection and Removal from a Single Image[1]

• 简介：多任务全卷积从单张图片中去除雨迹。本文在现有的模型上，开发了一种多任务深度学习框架，学习了三个方面，包括二元雨条纹映射(binary rain streak map)，雨条纹外观和干净的背景。特别是新添加的二元雨条纹映射，其损失函数可以为神经网络提供额外的强特征。对于雨带积累现象（暴雨形成的如烟如雾的现象），采取循环雨检测和清除，以迭代和渐进方式清除。

• 动机：恢复暴雨下拍摄的图像，在自动驾驶等领域是重要的研究问题。在暴雨下拍摄的图像包含背景层和将与条纹层，此任务的目标在于输出干净的背景。

• 雨模型由原来的:
  \[
  O=B+\tilde{S}
  \]
  变为：
  \[
  O=B+SR
  \]
  其中，\(B\)是背景层，\(\tilde{S}\)为雨迹层，O为原始图片，R是二元值，1表示雨区，0表示无雨区。

  联合的雨迹检测和移除：

  

  雨迹移除的过程如上图所示，首先使用基于上下文扩展的网络（Contextualized Dilated Networks，论文4.2详述）抽取雨迹特征表示F，基于此，接下来依次预测R,S,B。

[1] Yang W, Tan R T, Feng J, et al. Deep joint rain detection and removal from a single image[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017: 1357-1366.