目录
摘要
Image dehazing can be described as the problem of mapping from a hazy image to a haze-free image. Most approaches to this problem use physical models based on simplifications and priors. In this work we demonstrate that a convolutional neural network with a deep architecture and a large image database is able to learn the entire process of dehazing, without the need to adjust parameters, resulting in a much more generic method. We evaluate our approach applying it to real scenes corrupted by haze. The results show that even though our network is trained with simulated indoor images, it is capable of dehazing real outdoor scenes, learning to treat the degradation effect itself, not to reconstruct the scene behind it.
图像去雾可以描述为从模糊图像到无雾图像的映射问题。 解决此问题的大多数方法都使用基于简化和先验的物理模型。 在这项工作中，我们证明了具有深层结构和大型图像数据库的卷积神经网络能够学习除雾的整个过程，而无需调整参数，从而产生了一种更为通用的方法。 我们评估了将其应用于因雾霾破坏的真实场景的方法。 结果表明，即使我们的网络使用模拟的室内图像进行训练，它也能够对真实的室外场景进行除雾，学习如何处理退化效果，而不是重建其场景。
背景
DehazeNet 网络中采用16*16的小补丁，并估计补丁中每一个像素点的介质传输，并通过网络馈送多个补丁以估计一张图像的传输图。与用于端到端还原的网络相比，这种方法允许使用更简单的体系结构，并且权重更低。[Dehazenet: An end-to-end system for single image haze removal]
MSCNN 提出了一种从粗到细的CNN用于传输估计。 多尺度CNN网络由两个子网组成：（i）用于粗略的传输估计和（ii）用于精细的传输估计。 首先训练第一个网络，然后使用其输出反馈给后者网络。 该网络使用大型卷积滤波器，例如11×11、9×9和7×7。
[Single image dehazing via multi-scale convolutional neural networks]
在VBOA中，CNN也用于估计传输图，但是，此图还有其他用途。 它用于估计物体与观察者之间的距离。 然后，该信息将用于实现应用于自动水下航行器的基于视觉的避障。
[Vision-based obstacle avoidance using deep learning]
创新点
这项工作的不同之处：先前的方法使用透射图和简化的模型对图像进行除雾。 取而代之的是，我们提出一种纯粹的学习方法，其中我们的网络是朦胧图像与其无霾版本之间的唯一事物。 我们的目标是了解端到端神经网络是否能够学习图像去雾的整个过程，而无需其他方法和计算的支持。
（不用物理先验知识，直接学习无雾图像到有雾图像之间的映射关系）
所提出的网络结构以W×H×3图像作为输入，并对其应用16个3×3卷积，其次 通过批量归一化[19]层。 生成的特征图通过三个连续的初始模块运行，然后，对生成的特征图应用三个3×3卷积，最后得到W×H×3输出图像，其中W和H代表原始图像的宽度和高度 ， 分别。 最后，我们将BReLU [12]激活函数应用于输出。
本方法中，训练目标是在给定模糊图像补丁的情况下，它可以生成相同场景的去雾版本，作者为网络训练了120epoch。 学习率为1×10−5。 该模型使用32个正方形补丁进行了批量训练，处理完每批图像后，使用损失函数L将模型的输出与清晰的地面实况补丁进行比较，从而评估模型的性能。
损失函数
本文使用均方误差损失与特征损失相结合作为本方法的损失函数，该损失函数专注于确保比较的图像具有相似的特征。
训练集合成
为了生成与无雾图像相对应的有雾图像，需要提前求得场景的全局照明颜色，大气衰减系数及其深度图。
全局照明颜色和衰减系数：从透射率最小的区域的真实模糊图像中提取的色块来计算。
深度图：使用Kinect相机捕获图像，因此可以直接捕获场景的深度图，并根据深度图直接求得场景透射图。
Duarte等提出了一个模拟器，给定一个清晰的图像，它会基于深度图和浊度斑块生成同一场景的水下浊度图像。 我们的数据是使用相同模型合成的，但是，我们使用雾度贴片代替代表水介质的浊度贴片。[A dataset to evaluate underwater image restoration methods]
由于当前带深度的户外数据集或多或少存在其不能使用的问题，作者在本文中提出生成有雾数据集的两个选择：（a）使用由室内图像组成的数据集，或（b）使用未知深度的室外图像。 第一个选项能够生成具有更逼真的降级效果的图像，但是这些图像与所需要的还原的室外图像有很大不同。 第二个选项允许我们创建一个更大，更多样化的数据集，该数据集的图像更接近室外雾度图像，但导致雾度强度缺乏空间变化。
权衡两者利弊之后，作者选择采用具有精确深度图的室内图像来生成合成数据集。 所生成的合成数据集用于训练深度模型。