对比原图,感觉小姐姐还是那个小姐姐。
一个眼神,一个围笑,都是三次元时的样子没变。
当然,如果你有喜欢的二次元老婆,想看她穿越到现实会是什么样子,也没有问题。只要输入一张她的头像:
就生成了逼真的小姐姐。
是不是很神奇,这个算法叫U-GAT-IT,名字也令人神往。重要的是,它是用无监督方法训练的,连成对的数据都不需要。
现在,就一起来看看带给你丰盛福利的究竟是怎么样的吧?
基于U-GAT-IT算法的图像转换
一、项目介绍
U-GAT-IT是属于GAN的一种图像变换模型,图像变换可以应用在多种计算机视觉任务中:图像分割、图像修复、图像着色、图像风格(场景)转换等范畴。
图像到图像的转换到目前为止还是具有一定挑战性的,大多数的工作都围绕着局部纹理间的转换展开的,例如人脸属性变换、画作的风格变换、图像分割等,但是在图像差异性较大的情况下,在猫到狗或者是仅仅是语义联系的图像转换上的表现则不佳的。在这种背景下,实现一个在有多任务下鲁棒的图像转换模型是十分有意义的,因此U-GAT-IT应运而生,正是为了实现多任务下依然保持鲁棒性而设计的。
实验环境: Ubuntu18.04、Anaconda3.5.1(Python3.7)、TF1.14、GTX1070
-
项目目录:
二、数据集介绍
Selfie2Anime有两个数据集TrainA、TestA和TrainB、TestB一个是自拍数据集,一个是二次元数据集,都是只选了女性图片。训练集都是3400张,测试集都是100张。数据之间没有配对出现。
三、UGATIT模型介绍
U-GAT-IT的亮点:
使用新的Attention机制,能够引导生成器G更关注能够区分源域与目标域的区域,从而使得G的性能能够更好发挥,并让G对图像整体的改变与目标形变有更好的处理能力。
引入新的正则化方式AdaLIN(自适应图层实例归一化).
四、模型训练
python main.py --save_freq 100000 --epoch 50 支持断点继续训练
五、模型测试
python main.py --dataset test100epoch --phase test
六、参考文献
U-GAT-IT: Unsupervised Generative Attentional Networks with Adaptive Layer-Instance Normalization for Image-to-Image Translation