Classes Matter: A Fine-grained Adversarial Approach to Cross-domain Semantic Segmentation

论文:Classes Matter: A Fine-grained Adversarial Approach to Cross-domain Semantic Segmentation

代码:https://github.com/JDAI-CV/FADA

这篇论文主要思想是在语义分割领域通过对抗来实现特征对齐。

背景

语义分割领域的数据标注通常难以获取。由于数据标注需要大量的时间人力,因此在训练时所使用的训练数据往往难以完美匹配测试时的要求。

作者提出了两种场景,分别为跨城市迁移和真实合成样本迁移。

  • 跨城市迁移:由于不同城市数据因为建筑风格等一系列差异,在用A城市数据训练出的模型,在B城市做测试时可能很难达到理想的效果。
  • 真实合成样本迁移:由于数据标注困难,因此有研究者提出使用计算机合成数据进行训练。如图下图左上角为GTA5游戏的图像。游戏图像是由计算机建模形成,因此很容易获取其标注数据,并且理论上游戏图像数据量是无限的。但同样将合成数据应用到现实真实数据中,效果通常不令人满意。
Classes Matter: A Fine-grained Adversarial Approach to Cross-domain Semantic Segmentation

因此,论文的应用场景可以总结为。拥有有标注的source domain和无标注的target domain。我们希望使用这些数据进行训练,使模型能够在target domain上测试得到较好的效果。

很自然的想法是我们希望缩小source domain和target domain的gap。

方法

传统的特征对齐

之前有研究者提出通过对抗网络来实现特征对齐。

Classes Matter: A Fine-grained Adversarial Approach to Cross-domain Semantic Segmentation

网络主要分为两部分,特征生成器,辨别器。辨别器的目标是识别送来的特征是属于source domain还是target domain,而特征生成器用来将source domain和target domain的特征对齐,迷惑辨别器使其分辨不出特征是来自source domain还是target domain。通过对抗,使特征生成器具有缩小gap的功能。

问题

但是传统方法有个问题,特征对齐仅仅是在全局上的对其,无法保证其在类别上也对齐。

如图所示,蓝色代表source domain,红色代表target domain,加号减号代表样本类别。

Classes Matter: A Fine-grained Adversarial Approach to Cross-domain Semantic Segmentation

特征对齐的目标是两点:

  • 红色(target domain)和蓝色(source domain)尽可能靠近。
  • 虚线(分类器)能够将加减号(样本类别)划分开。

由于传统的辨别器只是分辨特征是来自source domain还是target domain,因此带来的问题就如图所示。

虽然红色(target domain)和蓝色(source domain)靠近,但仅仅只全局上的靠近,分类器(虚线)很难将样本类别(加减号)分离。

因此作者尝试在辨别器中加入类别信息,使辨别器的输出不再是单纯的域类别,而是既包含域类别,又包含类别信息。通过辨别器的监督,使特征生成器也能将类别信息区分开,使红色加号靠近蓝色加号,红色减号靠近蓝色减号。

细粒度的对抗学习

由此作者提出FADA网络,网络结构如下图所示。

Classes Matter: A Fine-grained Adversarial Approach to Cross-domain Semantic Segmentation

该网络与传统的对抗方法相比最大的差异在辨别器,传统的辨别器输出两通道的特征,分别代表source domain和target domain。而FADA网络,它在此处输出2K个通道,K为样本类别数。因此在对特征生成器监督的过程中附加了类别信息,使特征类别也具有对其的趋势。

训练过程中,辨别器的损失函数为:

Classes Matter: A Fine-grained Adversarial Approach to Cross-domain Semantic Segmentation

其中 \(a_{ik}^{(s)}\) , \(a_{jk}^{(t)}\) 分别代表source domain的样本 \(i\) 和target domain的样本 \(j\) 的第 \(k\) 个类别。\(f_i\)\(f_j\) 代表特征来自源域\(x_i^{(s)}\)和目标域\(x_j^{(t)}\)\(d\) 代表域变量,其中0代表源域,1代表目标域。\(P(d|f)\)是辨别器输出概率。

对于生成器,其损失函数为:

Classes Matter: A Fine-grained Adversarial Approach to Cross-domain Semantic SegmentationClasses Matter: A Fine-grained Adversarial Approach to Cross-domain Semantic SegmentationClasses Matter: A Fine-grained Adversarial Approach to Cross-domain Semantic Segmentation

其中\(\mathcal{L}_{seg}\)用来在源域上进行训练,提升语义分割的能力。

\(\mathcal{L}_{adv}\)用对抗损失来迷惑辨别器,提高来自目标域的特征被判为源域的概率,同时不损害类之间的关系。

实验

对于跨城市的提升,其实效果不是非常明显

Classes Matter: A Fine-grained Adversarial Approach to Cross-domain Semantic Segmentation

但是对于合成真实样本的对其,FADA相比之前的效果大幅提高。

Classes Matter: A Fine-grained Adversarial Approach to Cross-domain Semantic Segmentation

Classes Matter: A Fine-grained Adversarial Approach to Cross-domain Semantic Segmentation

上一篇:js改变this指向的三种方式call() apply() bind()


下一篇:ALG 3-4: Testing Bipartiteness - An Application of BFS