一、contributions
(1)我们提出了一种结合GAN反转和循环一致性训练的新颖GAN方法,用于文本到图像的合成。统一的框架可用于文本图像生成和基于文本的图像处理任务。
(2)我们使用改进的GAN反转方法和循环一致性训练,将真实图像反转到GAN最新空间,并获得图像的潜在代码
(3)我们uncover(发现,揭示)了潜在代码的语义,在此基础上我们可以生成与文本描述相对应的高质量图像
二、method
(1)第1阶段:我们训练一个没有文本输入的StyleGAN模型。StyleGan模型可以将随机噪声空间Z映射到Style潜伏空间W,该潜伏空间W已被证明与各种图像特性更加分离。
(2)第2阶段:我们建议使用循环一致性训练来学习GAN反转编码器,因此,我们可以反转真实图像并获得相应的潜在代码SW′。
(3)第3阶段:我们学习了一个潜在空间对齐模型,将文本特征ST与相应的反向潜在代码SW′对齐,在这里我们训练文本编码器