GAN网络学习笔记系列2-Cluster GAN

1、文献创新及贡献:

提出一种新的基于聚类机制的CGAN,通过one-hot编码变量和连续潜变量的混合中采样潜变量,再将一个反向网络(将数据投射到潜空间)和一个聚类特定损失值与其进行结合,能实现再潜空间中聚类。GAN再潜变量中虽然保留了观测数据信息,但散点再平滑分散的情况下的散分布导致没有可以观察的集群,因此本文提出了一种算法用以解决上述问题。

文章贡献:

1、利用离散-连续潜变量的混合,以便再潜空间中创建一个非光滑几何

2、由于文章实验过程中面临着实验对象非凸性,因此提出一种适应离散-连续混合的反向传播算法,以及一个显式映射网络来获得给定数据的潜在变量。

3、将GAN与具有特定聚类损耗的网络进行联合,以便投影空间对反映变量的几何问题进行距离的测试。

2、文献设计思路及过程

聚类可以将同一图像下不同物品(信号)进行分类,如果聚类在降维的同时,真实数据也来自于低维流形则效果就会更优。GAN与VAE都是匹配真实数据分布,同时提供潜空间Z到输入空间X的映射。GAN网络在潜在空间中可以提供降维的功能,其中GAN网络中有一个优点是可以在潜空间中进行插值,由于在潜空间中进行聚类的划分,就是本文所需要关注的,那么CGAN能否在潜空间中进行良好的插值运算以及聚类呢?

3、如何在潜在空间上进行聚类

在使用GAN网络进行聚类时是将数据反向传播到潜在空间中,在潜在空间中进行聚类,通过图中可以看出噪声在潜在空间上进行均匀分布,正态分布,高斯最大混合引入时,显得十分的冗余。

GAN网络学习笔记系列2-Cluster GAN

针对以上问题如何解决呢?

CGAN从一个规则随机变量与one-hot编码向量级联而成的先验中进行采样。

GAN网络学习笔记系列2-Cluster GAN

 ek为R中的第K歌初等向量,K为数据中的族类,最后选GAN网络学习笔记系列2-Cluster GAN,使one-hot为GAN提供足够的信号。使每个模态只从原始数据中的相应类生成样本,选取GAN网络学习笔记系列2-Cluster GAN

 一般选小的,能保证Z空间中的簇的分离。

4、离散-连续混合反向算法

 原始对Z进行优化的方法是:GAN网络学习笔记系列2-Cluster GAN

L是某个合适的损失函数,虽然方法有效,但是在潜在空间进行先验聚类达不到要求,即使反向创博无损,但也无法恢复准确的潜在向量。

优点 : L是一个合适的损失函数,可以最小化损失量。GAN网络学习笔记系列2-Cluster GAN在作为神经网络实现过程中优点可以在Z空间(潜在空间)获得不同方式的嵌入

缺点 : 在潜在空间进行先验聚类达不到要求,即使能无损进行反向传播,但却无法准确的恢复潜在向量。但缺点是其非凸性。

解决以上问题有两种方法:

  1、使用不同的初始化参数继续多次重启以获得

上一篇:MySQL CLUSTER历史版本信息


下一篇:第二十一周练习题