CVPR2020图像生成模型PULSE ：糊图像5秒变清晰、测评教程

2021-09-26 04:30:24

???? 声明: 作为全网 AI 领域干货最多的博主之一，❤️ 不负光阴不负卿 ❤️

备注：小白笔记，感谢查阅

基础信息

PULSE: Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models
https://github.com/adamian98/pulse 链接

pulse 环境搭建

服务器：Ubuntu16.04 GTX1060 6G * 8
个人用户：CUDA版本 9.2；cudnn 7.6.2 ;
因此适配的pytorch为 torch==1.5.0+cu92 torchvision==0.6.0+cu92

conda create -n torch15 python=3.8.2

source activate torch15

pip install torch==1.5.0+cu92 torchvision==0.6.0+cu92 -f https://download.pytorch.org/whl/torch_stable.html

pip install pandas

pip install  requests

pip install scipy==1.4.1

pip install dlib==19.19.0

下载预训练模型，我下载好的预训练模型在此分享：

链接：https://pan.baidu.com/s/1fJ1qtN2NyeCNr0HnCWriOA 
提取码：cool

使用预训练模型进行，测试：

1、检测原图中的人脸并下采样到 32x32 大小，保存到：input 目录中；

python align_face.py -input_dir dataset/mix

2、基于 32x32 的人脸小图，重建生成 1024x1024 的高清人脸大图，保存到： runs 目录中；

python run.py

效果如下：

pulse 文章的意义和创新

参考链接

杜克大学的研究团队研发了一个AI图像生成模型PULSE。PULSE可以在5秒钟内将低分辨率的人像转换成清晰、逼真的人像。

要指出的是，PULSE所做的工作并不是把低分辨率“还原”到高分辨率，而是输出许多张可能的高分辨率图像。比如，用户输入一张16-16分辨率的图像，PLUSE可输出一组1024-1024分辨率的图像。

这项研究于本月在计算机视觉与模式识别顶会CVPR 2020上发表，论文标题为《PULSE：通过对生成模型的潜在空间探索实现自监督照片上采样（PULSE：Self-Supervised Photo Upsampling via Latent Space Exploration of Generative Models）》。