论文解读:Detach and Adapt: Learning Cross-Domain Disentangled Deep Representation

论文题目:Detach and Adapt: Learning Cross-Domain Disentangled Deep Representation(CVPR2018 spotlight)

论文思路:主要提出跨域表征分离网络CDRD(Cross-Domain Representation Disentangler (CDRD))以及将CDRD和条件图像翻译相结合的拓展网络ECDRD(Extend),然后利用提出的网络解决无监督的分类领域自适应问题,以及条件图像翻译;

论文解读:Detach and Adapt: Learning Cross-Domain Disentangled Deep Representation

网络结构:

论文解读:Detach and Adapt: Learning Cross-Domain Disentangled Deep Representation

优化过程:

论文解读:Detach and Adapt: Learning Cross-Domain Disentangled Deep Representation

注意:该算法的源数据的标注是属性标注,如人脸中的表情标注(戴眼镜等),同时学习出的z是源域和目标域的公共特征空间,z是符合N(0,I)分布;其中ECDRD的结构和DISE的论文结构很像,输入源域和目标域数据,得到z,然后和属性结合自重建和交叉重建,区别是z可以是随机抽样得到,属性是标签,而且有额外的辅助分类器分类属性(借鉴ACGAN和infoGAN);

注意:本论文中属性是标签标注的,z是需要学到的公共特征空间,并且符合N(0,I)分布,在ECDRD中在源域和目标域得到的z需要和N(0,I)分布求KL散度,作为z的loss,同时借鉴论文ICML2016的Autoencoding beyond pixels using a learned similarity metric.衡量自重建的相似性,这也是一种perceptual loss;

可借鉴的地方:

1、本文的KL散度衡量公共特征空间z和N(0,I)分布,类似于DIRT中KL散度衡量随机抽样的属性分布N(0.1)和源域和目标域分离的属性之间的差异;只不过一个是属性空间,一个是特征空间’;2、可以借鉴自重建的感知损失的度量;

论文解读:Detach and Adapt: Learning Cross-Domain Disentangled Deep Representation

实验结果:

数据:

论文解读:Detach and Adapt: Learning Cross-Domain Disentangled Deep Representation

迁移效果:

论文解读:Detach and Adapt: Learning Cross-Domain Disentangled Deep Representation

其中论文只说了在手写字符的图像是16*16的灰度图resize成28*28的灰度图,其他的两个实验没说尺寸的问题,因此本文的条件图像翻译ECDRD在大尺寸的图像翻译上的效果有待考证;

最后做了一个超参数的实验:

论文解读:Detach and Adapt: Learning Cross-Domain Disentangled Deep Representation

lambda是图表中loss中判别器loss的加权值,ECDRD中:可见当网络中有多个loss时,不同loss之间的权重对结果的影响也很大;论文中取lambda=1;

论文解读:Detach and Adapt: Learning Cross-Domain Disentangled Deep Representation

论文解读:Detach and Adapt: Learning Cross-Domain Disentangled Deep Representation

 

上一篇:小棕圈地 凸包旋转卡壳


下一篇:Composer速度慢,修改为阿里云全量镜像