Generative Image Inpainting with Contextual Attention

Paper

Pytorch

引言:

PatchMatch其一

之前的基于深度学习的图像修复方法展现了很大的潜力,这些方法都能生成看似合理的图像结构及纹理,但在修复区域的边界,经常会生成扭曲的结构和模糊的图像,这是因为卷积神经网络无法从图像较远的区域提取信息导致的。

不过,传统的纹理和斑块(patch)的修复能取得比较好的效果(因为他们只需要从周围区域借鉴. 该模型,可以处理包含多个缺失区域的图像,且在修复图像的时候,输入的图像大小没有限制。

作者在人脸图像、自然图像、纹理图像等测试集上,都产生了比现在已有的方法更好的效果

数据库

Places2 datasets 是一个场景图像数据集,包含 1千万张 图片,400多个不同类型的场景环境,可用于以场景和环境为应用内容的视觉认知任务。

CeleA是香港中文大学的开放数据,包含10177个名人身份的202599张图片,并且都做好了特征标记,这对人脸相关的训练是非常好用的数据集。

CelebAMask-HQ:大规模人脸图像数据集,包含三万张高分辨率人脸图像(从CelebA数据集选择而来)及人脸属性分割蒙版

Describable Textures Dataset (DTD) 是一个纹理图像数据

网络架构

Generative Image Inpainting with Contextual Attention

 

 Generative Image Inpainting with Contextual Attention

 

PatchMatch

 Generative Image Inpainting with Contextual Attention

 

 已知区域和空洞部分作卷积,即互相关运算,得到的值经过softmax得到attention值

损失函数

Generative Image Inpainting with Contextual Attention

 

Generative Image Inpainting with Contextual Attention

 

 Generative Image Inpainting with Contextual Attention

 

 Generative Image Inpainting with Contextual Attention

 

 Generative Image Inpainting with Contextual Attention

 

 Generative Image Inpainting with Contextual Attention

 

 Generative Image Inpainting with Contextual Attention

 

 Generative Image Inpainting with Contextual Attention

 

 实验结果

Generative Image Inpainting with Contextual Attention

 

 Generative Image Inpainting with Contextual Attention

 

上一篇:2020-U-GAT-IT- Unsupervised Generative Attentiona


下一篇:Deep Convolutional Generative Adversarial Networks