Paper
Pytorch
引言:
PatchMatch其一
之前的基于深度学习的图像修复方法展现了很大的潜力,这些方法都能生成看似合理的图像结构及纹理,但在修复区域的边界,经常会生成扭曲的结构和模糊的图像,这是因为卷积神经网络无法从图像较远的区域提取信息导致的。
不过,传统的纹理和斑块(patch)的修复能取得比较好的效果(因为他们只需要从周围区域借鉴. 该模型,可以处理包含多个缺失区域的图像,且在修复图像的时候,输入的图像大小没有限制。
作者在人脸图像、自然图像、纹理图像等测试集上,都产生了比现在已有的方法更好的效果
数据库
Places2 datasets 是一个场景图像数据集,包含 1千万张 图片,400多个不同类型的场景环境,可用于以场景和环境为应用内容的视觉认知任务。
CeleA是香港中文大学的开放数据,包含10177个名人身份的202599张图片,并且都做好了特征标记,这对人脸相关的训练是非常好用的数据集。
CelebAMask-HQ:大规模人脸图像数据集,包含三万张高分辨率人脸图像(从CelebA数据集选择而来)及人脸属性分割蒙版
Describable Textures Dataset (DTD) 是一个纹理图像数据
网络架构
PatchMatch
已知区域和空洞部分作卷积,即互相关运算,得到的值经过softmax得到attention值
损失函数
实验结果