自监督学习加速GAN训练-GAN实现开放集推理-开放集推理实现并行可持续学习

要点

自监督学习加速GAN训练

GAN实现开放集推理

开放集推理实现并行可持续学习

  1. 自监督学习训练对观测视角、环境光照等干扰项不敏感的编码器,实现鲁棒的信息压缩;
    多个传感器之间构成观测维度的关联性;(如听觉和视觉之间的关联,通感)
    同一传感器采集到不同方位的信息构成了空间的关联性;(如双目之间的关联,视差)
    同一传感器不同时刻采集的信息构成了时间的关联性;(如光流、目标跟踪)

  2. GAN在经过自监督学习鲁棒压缩后的低维稠密潜空间进行对抗学习,可以更快得到判别和生成器;
    GAN的输入和输出维度将大幅降低,且低维空间中的流形因为是稠密的,因此约束更宽松,更易于训练;
    GAN由于自监督的跨域信息关联,能生成和辨别更真实的样本;

  3. 开放集上的推理依赖于对输入样本的域感知能力,而这可以依赖GAN的判别器实现;
    GAN不仅能生成样本,还能对样本进行域判别,计算样本分布与域分布的距离下限;
    GAN的判别器响应最大的域为目标域,这样就实现了对开放集上的任意样本的推理;

  4. 可持续学习依赖对过往学习样本分布的记忆,而开放集上的推理恰好实现了这一点;
    任意多个域上的判别器都能实现开放集推理(Open Set Inference),等价于一个综合的域上的判别器能进行开放集推理;
    因此OSI能对任意多个域进行合并而不产生冲突,也意味着任意多个独立训练的模型可以不经修改的组合在一起,并行推理输出一个综合的结果;
    因此OSI能实现对不同时段的样本训练的模型的持续集成;
    当OSI判断新样本不在任何一个域上时,将开辟新域学习;
    当OSI发现新样本在所在域上的输出不满足预期时,将对该域上的模型进行覆盖式学习;

上一篇:生成式对抗网络


下一篇:《GAN:实战生成对抗网络.pdf【2】》