[深度学习论文笔记]Pairwise Learning for Medical Image Segmentation
医学图像分割的成对学习
Published: October 2020
Published in: Medical Image Analysis
论文：https://www.sciencedirect.com/science/article/abs/pii/S1361841520302401
代码：https://github.com/renzhenwang/pairwise_segmentation
重点介绍：
用于医学图像分割的两两学习
用于解决类内异质性和边界模糊的代理监督
利用标签空间获取的内在先验信息
测试阶段学习的输入对逻辑关系推断的分割概率
对两个公共医学图像的评价分类数据集
摘要：
利用丰富的标记数据训练的全卷积网络(fcns)已被证明是一种强大而有效的医学图像分割方法。然而，由于缺乏标记数据和医学影像中病变的显著变异性，FCNs往往不能达到令人满意的结果。为了解决这一具有挑战性的问题，作者提出了共轭全卷积网络(CFCN)，其中成对的样本输入捕获丰富的上下文表示，并通过融合模块相互引导。为了避免在少量训练样本的情况下，由于类内异质性和边界模糊而导致的过拟合问题，作者提出明确利用标签空间中的先验信息，称为代理监督。进一步将CFCN扩展为紧凑共轭全卷积网络(C2FCN)，与CFCN相比，该网络只有一个头部用于拟合代理监督，而不需要额外的两个译码器分支来拟合输入对的地面真值。在测试阶段，通过代理监督中隐含的学习逻辑关系来推断分割概率。对肝脏肿瘤分割(LiTS)和联合(CT-MR)健康腹部器官分割(CHAOS)数据集的定量评价表明，该框架在二值分割和多类别分割方面都取得了显著的性能提高，特别是在训练数据量有限的情况下。
CFCN: 通过将成对样本输入共同分割，以捕获丰富的上下文表示。设计融合模块提供额外的监督，避免少数训练样本的外观和形状变化引起过拟合。
CFCN模型由三部分组成：编码器模块，解码器模块和融合模块。编码器模块以成对的样本作为输入并联合提取特征。 解码器模块由两个共轭子网络组成，这些共轭子网络以编码器模块中的低级和高级特征为输入，并在各自的GT的监督下学习两张图象不同的特征以，并对每个输入进行分割。 融合模块使用编码器模块中的低级特征的像素和，以及解码器模块中的高级特征的像素和，作为输入来获取辅助监督约束的位置特征。
问题动机：
语义分割是一种经典的计算机视觉任务，其目标是预测图像中每个像素的语义标签，从而将图像分割成有意义的对象。在医学图像分析中，语义分割在体积和形状的定量测量、计算机辅助检测管道的初步预处理等方面发挥着重要作用。得益于全卷积网络(FCNs)的最新进展，基于深度学习的医学图像分割方法已经引起了广泛的关注，并在许多情况下取得了巨大的成功。
目前医学图像分割虽然取得了很大的成功，但仍面临一些值得广泛关注的挑战。首先，深度分割模型的成功主要归功于大量的训练数据。然而，采集医学图像的像素级标注是非常困难的，因为手工描绘过程需要专业知识，而且耗时。为了解决这个问题，已经采用了一些显著的技术，包括数据增强和训练预训练模型。数据增强方法通过采用一组弹性变换直接扩大训练数据量和外观调整。然而，扩增样本与原始样本有很强的相关性，不同的扩增方法在不同的分割场景下通常会产生不稳定的结果。训练前技巧隶属于迁移学习，通常对一般图像上训练的网络进行微调或医学图像。虽然已经证明，与随机初始化相比，分割性能可以显著提高，但预训练意味着模型的体系结构已经完全或部分确定，当源图像和目标图像发生较大的差别时，这可能会产生不利影响。
其次，更典型的是，目标对象的类内异质性和边界模糊仍然是医学图像分割中的巨大挑战，如图1所示。
图1所示。通过两个腹部CT图像(第一排)和两个腹部MR图像(第二排)的例子显示了医学成像中的类内异质性和边界模糊。蓝色矩形和红色矩形分别表示外观不均匀和边界模糊。
事实上，病人之间的解剖结构或病变在大小、形状和位置上都是非常不均匀的。即使是在一个目标中，当地的环境通常也是非常不同的。此外，模糊的边界是已知的固有成像挑战，目标器官和邻近组织之间的对比度低;如CT (Computed Tomography, CT)中的衰减系数和磁共振成像(Magnetic Resonance imaging, MRI)中的松弛时间。增加训练数据的数量可能是缓解这一问题的最直接的方法;然而，获取大量手工标注的训练数据是不现实的。数据增强和训练前技巧对于解决这一问题也不是很理想，因为数据增强和训练前技巧在扩大训练数据时可能会放大类内的不一致性，而训练前技巧只专注于**提取目标任务的一般特征而不是具体特征。**利用难以识别的像素，如加权损失函数和级联网络，似乎是解决这一挑战的可行策略;然而，当训练数据量有限时，其性能往往会下降。
为了解决上述两个问题，一个可行的解决方案是像U-Net那样将数据增强和加权损失函数结合起来。除了这种集成策略之外，一个很自然的问题是我们能否通过统一的网络架构来实现它。认为将先验知识嵌入到深度模型中可能是一种可行的策略，尽管目前的方法主要集中在建模流形目标对象。事实上，医学图像/体中的所有对象，不仅仅是要分割的对象，通常都处于低维流形中，建模它们之间的内在关系对于分割具有重要意义。例如在肝脏分割中，周围脏器的相对位置对肝脏的定位非常重要，有助于肝脏的分割。基于这一先验信息，旨在解决上述问题与独特的两两学习框架。
所提出的两两分割框架是基于网络中一对样本作为输入，共同分割，再增加一个输出，从标签空间中明确学习先验信息(称为代理监督)的范例。具体来说，采用Siamese架构，参考共轭全卷积网络(CFCN)，它包括两个相同的并行分支，每个分支取一个样本并输出相应的掩模概率图。通过对训练，对训练样本进行二次扩增，缓解了网络相对于传统fcns的过拟合问题。为了解决类内异构和边界模糊问题，CFCN又引入了一个子网络来适应由输入对的地面真值函数派生的代理监督。考虑到医学图像分割是一个位置感知的任务相对位置的解剖结构为定位目标对象是非常重要的,代理监督利用逻辑操作,包括逻辑和和XOR逻辑,建立相关的两个输入样本在同一位置。这样，逻辑与可以提高预测置信度，通过比较学习消除类内不一致性，逻辑异或可以提高位于目标边界像素的曝光率，对形状先验进行编码。有趣的是，根据所提出的逻辑关系，可以在Siamese结构中去掉两个解码器以避免直接拟合ground truth segmentation，而只保留子网络来拟合所提出的代理监督(称为紧共轭全卷积网络，简称C2FCN)。可以利用代理监督中隐含的学习到的逻辑关系来推断测试阶段目标对象的分割概率。在保证性能的前提下， C2FCN可以使用任何现成的分割网络实现两两分割，附加参数的数量可以忽略不计。
本文的主要贡献主要体现在三个方面:
①针对医学图像分割中训练数据有限、类内异构和边界模糊的问题，提出了一种基于统一网络结构的两两分割框架。
②提出了一种代理监督，它明确地编码来自标签空间的先验信息，并在训练阶段作为网络的全局约束。
③提出了一种新的基于C2FCN的分割范式，该范式具有比CFCN更简洁的结构，仅在训练阶段学习输入对的逻辑关系，并在测试阶段根据学习到的逻辑关系推断出分割概率。
本文是作者前期工作的延伸，主要延伸内容包括:
①将提出的CFCN扩展到一般的两两分割框架，并给出具体的数学公式。此外，将CFCN从二值分割扩展到多类别分割，并通过附加的多器官分割证明了这一点。
②进一步提出了一个紧凑的架构C2FCN，这是一个精简版的CFCN，因为在训练过程中大大减少了参数的数量和计算开销，但在所有的分割实验中，分割性能是相当的，甚至更好，特别是在缓解过拟合问题上。
思路来源：
①Deep pairwise learning
深度成对学习又称孪生神经网络(Siamese network)，是由Bromley等(1994)在签名验证应用中首次提出的。随后，两两神经网络模型被广泛应用于计算机视觉，包括人脸验证，图像匹配，目标跟踪，细粒度分类和视觉共分割。在这些工作中，共同分割与作者的方法密切相关，因为他们都以一对样本作为输入，并预测像素级掩模来分割有意义的对象。然而，作者的方法和共分割至少有两个主要区别。首先，作者的方法属于语义分割，任务由训练和测试两个阶段组成，在训练时需要标注训练数据来学习模型，在测试阶段对测试图像中的目标进行分割。也就是说，当且仅当该类类别样本在训练样本中进行了标注，并且它们所代表的语义概念在训练中已经被模型习得，测试中目标对象才能被分割。而共分割的目的是发现多幅图像中常见的目标，模型的输入是多幅图像，并在训练时对共现的目标进行标注，使模型能够了解输入图像中是否存在共现的目标并对其进行分割。第二，语义分割方法在训练和测试阶段处理多个已知类别。相比之下，共分割通常在多幅图像上工作，以预测分割后的像素是否属于一个单一但未知的类别。
无论应用场景如何，上述工作主要分为两类，即度量学习方法和特征交互方法。之前的方法采用的是这样一种策略，即两个暹罗网络流分别提取输入对的特征，然后利用这些特征计算一个相似度度量或与另一个网络学习一个相似度度量。例如，在Bromley的工作中，采用两个子网络从两个签名中提取特征，然后利用两个特征分支学习度量来预测输入签名是否来自同一类。后一种方法直接采用Siamese结构来捕捉两个特征流之间的关系，利用它们之间共享的信息，使它们能够相互学习。例如，Li利用互相关层计算局部相关性，以突出常见对象。Chen et采用了类似的方法，使用注意模块选择语义相关的特征进行图像共分割。Lu提出了一种全局共同注意机制来建模视频帧之间的内在相关性，用于视频目标分割。虽然作者的方法引入了一个额外的子网络(称为融合网)，除了两个暹罗子网络，如度量学习方法，我们的方法主要是通过全局算子从标签空间中挖掘先验知识，融合网通过拟合全局算子起到连接特征空间和标签空间的作用。
②Deep prior knowledge modeling（深层先验知识建模）
在对目标对象的先验知识进行建模方面，有一些杰出的工作。一组利用同一类像素之间的内在关系来改善fcns的性能。例如，作为后处理步骤Chen等人在FCN上附加一个密集条件随动场(CRF)，或与FCN联合训练来保留目标对象的边界。类似地，Liu等人提出了一个空间传播网络来学习亲和矩阵来建模密集图像的全局成对关系，Ke等人提出了一种自适应亲和场，通过训练过程中的标签关系对空间结构信息和几何规律进行编码。
另一组方法通过显式或隐式建模医学图像中不同对象之间的高阶先验知识，如形状和拓扑结构，提高了fcns的分割性能。Chen 等人在多任务学习框架下，以腺体对象和轮廓作为辅助信息，促进组织图像中腺体的分割。为了建模形状流形空间并纠正分割网络的拓扑不相干性，在FCN中分别加入了卷积自动编码器(CAE)预学习的非线性形状模型和变分自动编码器学习的拓扑相干模型。Ravishankar等人提出了一种新的基于深度学习的框架来联合学习前景、背景和形状，以提高分割精度。BenTaieb和Hamarneh提出了一种拓扑感知损失来训练FCN在组织学腺体分割中编码包含和分离的几何和拓扑先验。类似的想法被用于捕获线性结构的高阶拓扑特征，其中拓扑感知损失是通过预先训练的VGG19网络中选择的滤波器的响应构建的。
与这两组方法不同的是，作者通过输入对的地面真值的全局函数对先验知识进行编码，并同时关注局部背景和全局形状先验。
③Conjugate fully convolutional network（共轭全卷积网络）
在接下来的章节中，作者详细介绍所提出的两两分割网络CFCN，并引入代理监督gproxy来建模位置相关性和形状先验，以解决类内异质性和边界模糊所带来的挑战。
网络体系结构：
如图2所示，CFCN模型由三部分组成:由编码器和解码器组成的两个共轭子网络，每个子网络用于分割输入对的单个样本，以及用于学习代理监督的融合网络。
图2：所提出的共轭全卷积网络的架构是两个编码器共享相同的架构和参数，两个解码器也共享相同的架构和参数。黑色实线箭头表示正向传播，红色虚线箭头表示反向传播的梯度流方向。注意，推论阶段只需要一个分割分支(阴影部分)。
这两个共轭子网络采用了两个具有编解码器结构的相同FCNs，如U-Net和DeepLabv3+。为了捕获成对输入的内在关系并对目标对象的流形进行编码，两个子网络在编码层和解码器层的权重相同，这意味着CFCN捕获的特征应该能够充分代表目标对象，并且对识别背景具有鲁棒性。在本文中，为了减少参数数量，提高计算效率，作者进一步采用了一个具有ResNet-18骨干的共轭DeepLabv3+，该骨干包含4个残余块，共18层。
融合网络以一层或多层的两个共轭子网络的特征(位于同一层)的元素和作为输入，以获取代理监督下的位置感知表示。本文提出的融合网络利用了两种输入流，包括来自ResNet18的第一个残块的低级特征和来自两个共轭子网络解码器的高级特征。(为简单起见，在图2中只显示了融合网的一个输入流。)为了自适应学习全局上下文信息以适应代理监管，专门设计了一个融合网络。受Yu等人的启发，采用了一个通道注意块来细化低级特征，并进一步巧妙地将得到的特征添加到高级特征中。然后，将特征输入到一个3 × 3卷积层，并对其进行双线性上采样，使其与代理监督映射对应的输出大小相同。
代理监督：
如前所述，代理监督是网络上的一个全局约束，可以通过设计Gproxy来细化网络。虽然Gproxy的形式是通用的，但我们希望Gproxy显式地建模与任务相关的先验知识。为此，我们利用少量训练样本对医学图像分割中出现的类内异质性和边界模糊问题进行了研究。
如图1所示，再次回顾了上述医学成像中的挑战:1)类内异质性，即不同图像中的目标对象共享相同的语义标签，但外观不同。例如，在肝脏分割中，个体解剖差异和成像设备的差异都可能导致类内异质性。特别是在训练数据有限的情况下，网络对类内不一致很敏感，容易过拟合。2)边界模糊，靶器官和邻近组织之间的低对比度，这通常发生在成像时。由于传统的fcn在这个场景中是过度参数化的，它往往在训练数据集上表现良好，而在测试数据集上表现较差。因此，如何在准确建模目标对象的流形和鲁棒地表示个体差异之间取得平衡是代理监管的关键。
受比较学习的启发，利用逻辑运算，包括逻辑和和逻辑异或，建立两个输入样本在同一位置的相关性，以解决类内异质性和边界模糊问题。形式上，逻辑与是使属于同一位置的目标对象的像素响应单个蒙版映射，即:
∧是元件逻辑和运算。逻辑异或(Logic XOR)是指在同一个位置上只属于目标对象的一个像素点响应一个单一的掩码映射，可以通过在groundtruth map yi和 yj上逐元素逻辑异或运算⊕来实现，即
如图3所示，蓝色区域表示代理监督y1ij，红色区域表示代理监督y2ij。具体来说，图3(a)显示了来自同一病例(患者对)的两个切片之间的代理监督。图3(b)显示了来自不同病例的两片切片(患者间对)之间的代理监督。在训练阶段，将一个切片与不同的患者内/患者间切片进行配对，每个像素的标签由其自身和配对切片中的另一个像素(位于同一位置)确定。换句话说，它的标签根据它成对的像素动态变化。在训练过程中，网络在代理监督的指导下进行训练，该监督区分以下三种情况进行二值分割:两个像素同时来自目标对象，只有一个来自目标对象，它们都来自背景。这说明拟合上述代理监督需要通过这种比较学习区分成对像素的逻辑相关性，这样可以提高预测的置信度，并且可以用不同的成对像素(一个切片可以与不同的切片成对)来校正错误分类的像素，以缓解类内异质性。
对于边界模糊问题，知道对目标对象流形进行精确建模是解决边界模糊问题的一种可能的方法。因此，建议沿轴向以较小的间隔对患者对进行采样，这样可以改善位于目标边界的像素的曝光，并且面具的差异有助于编码形状先验(见图3(a))。具体地说，采用代理监督Gproxy对形状先验进行端到端训练，最终帮助网络识别模糊边界。
训练和推理：
提议的CFCN以端到端方式进行训练，同时更新所有三个分支。由于输入对是在训练阶段随机选择的，没有任何特定的上下文顺序，因此两个共轭分支中的任何一个都应该是自给自足的。因此，在测试阶段只需要一个子网络(见图2)，并删除了额外的融合分支。
复杂性分析：
由于所提出的紧凑型共轭全卷积网络可以装备任何现成的网络，因此在此分析C2FCN与其基线之间的相对复杂度。实际上，C2FCN的参数与基线的大小相同，因为参数数量的增加是通过输出通道的加倍来引入的，其中增加的参数数量与基线的最后一层卷积层的参数数量相同。在本文中，以基于ResNet-18骨干的DeepLabv3+为基准，得到的C2FCN共有16.60M参数，与DeepLabv3+相比，参数数量增加了小于0.01M。更令人鼓舞的是,C2FCN带来测试阶段的计算开销可以忽略不计,因为输入一对相同的部分,这样我们只需要向前传播通过编码器和译码器一次,和额外的计算主要是由最后卷积层参数的数量的增加,与网络所需的计算开销相比，这将是微不足道的。
实验与结果：
首先证实了提出的病理肝脏分割框架的有效性。其次，对多模态MR图像进行多器官分割实验。所有实验都使用PyTorch框架在两个NVIDIA GTX 1080 Ti显卡上运行.
数据集和评价标准：
数据集：
对于病理肝脏分割，在肝脏肿瘤分割挑战Dataset (LiTS)的公共基准数据集上评估了方法，该数据集包括来自多个临床部位的不同扫描仪和协议获得的201个腹部CT增强体积。数据集的面内分辨率从0.55 mm变化到1.0 mm，层厚从0.45 mm变化到6.0 mm。由于挑战组织者只提供了131例手工标记的肝脏标签的子集，所有的实验都是在这个子集上进行的。
在多器官分割方面，评估了方法在联合(CT-MR)健康腹部器官分割(CHAOS)中从MRI图像分割四个腹部器官，包括肝脏、脾脏、右肾和左肾。在本文中，使用CHAOS的第二个数据集(腹部MRI数据集)来评估方法。该数据集由1.5T Philips MRI扫描仪获取，具有两个不同的序列，即T1-DUAL(同相和反相)和T2-SPIR，每个序列有40卷(每个序列20卷包含手工标记的地面真相)，使用不同的射频脉冲和梯度组合扫描腹部。平均而言，每个卷有36个切片，切片大小为256×256像素。为了证明所提框架的鲁棒性和泛化能力，本文将T1-DUAL的同相和反相与T2-SPIR一起视为两种不同的模式，并将其与构成三模态数据集的T2-SPIR一起称为Sub-CHAOS。在Sub-CHAOS上进行了5倍交叉验证的多器官分割实验。
评估标准:
为了量化病理肝脏分割的准确性，我们遵循lits挑战的评估程序来计算Dice系数。Dice系数度量两组Vseg和Vgt 的相似性，定义为:
其中VSeg和Vgt分别表示自动分割的体素集和手工标注的ground truth， |·|表示集合的基数(即集合中元素的总数)。在本文中，作者用平均的每卷dice分数(Dice-per-case)和全局dice分数(Dice-global)来评估分割性能，该分数将所有测试卷连接到一个长卷中，并计算其上的dice系数。此外，采用基于距离的评价指标，平均对称表面距离(Average Symmetric Surface Distance, ASSD)，量化自动分割VSeg与地面真实VGT T的边界不相似性，定义为:
其中BGT和BSeg分别为VSeg和 VGT的边界体素集，d为从一个体素到一个体素集的欧氏距离。
对于评价多器官分割，使用5倍交叉验证运行所有模型，并采用每个器官的Dice-per-case平均评价和ASSD评分以及所有器官的平均评分来评价性能。
病理肝分割实验：
虽然目前有很多完善的肝脏分割方法，病理肝脏的自动分割对于深度FCNs仍然是一个挑战，因为任何病理或异常的存在都可能会严重扭曲扫描纹理，特别是在少量或中等量的训练数据下。
实现细节：
使用Adam Optimizer，批量大小为16，学习率为10−4，权值衰减为5 × 10−4。由于CT扫描的体素强度范围在-1000 HU到+3000 HU以上，将所有体积的HU值截断到[-200，+250]HU范围内，以去除不相关的细节，然后将其归一化为[0,1]。
在LiTS数据集评估该方法CFCN和C2FCN，与两个基准方法相比UNet和DeepLabv3 +,改进的FCN,并已应用于各种场景的医学和自然图像分割,其有效性和通用性得到了广泛的证明。此外，比较了CFCN和C2FCN与一种Siamese编码器-解码器结构ABDOCS 、的性能，以验证所提结构的有效性。
U-Net: UNet的架构包括一个用于捕获抽象特征的编码器，一个用于恢复详细位置信息的对称解码器，以及一个用于补偿池层缺失细节的编码器和解码器之间的跳过连接。
DeepLabv3+: 该体系结构将空间金字塔池化模块(ASPP)和编解码器结构集成到一个统一的FCN中，有助于对多尺度上下文信息进行编码，并通过逐渐恢复空间信息来捕获更清晰的对象边界。
**ABDOCS:**该方法采用语义注意学习器聚焦所有输入图像中激活度高的特征通道，抑制其他无关的特征通道。通过注意学习，利用一对图像之间的关系获取一定的高级特征，并将共享到这些特征中的信息用于提高分割性能。由于网络最初是用于共分割的，我们利用分割损失使其能够应用到分割任务中，并将其骨干更新为ResNet-18，以便公平比较。
表1给出了所有比较方法在80%和5%的训练样本比例(训练比例)下在LiTS数据集上的平均性能。很容易观察到，所提出的CFCN和C2FCN在所有评价措施方面始终优于其他方法。具体来说，当训练比为5%时，CFCN实现了95.11%的Dice-global，比标准FCN变体高2.4%和1.9%比深成对模型;Dice-per-case为95.01%，比标准FCN变体提高了约1.8%，比深度两两模型提高了1.5%;ASSD评分为1.82mm，优于1.4mm和0.9mm以上的标准FCN变体对深度配对模型的评分。此外，还尝试用一个极其有限的训练集(训练比例为1%)来训练深度模型。从lits的训练集中随机选择一个volume，其索引为volume-56。由于在这种设置下，训练数据只有一个体积，因此不可能对患者之间的配对进行采样。因此，打乱了体积的切片，并对每个切片进行两次配对模拟患者对(这在会议论文中没有实现)。如表1所示， CFCN在Dice-per-case、Dice-global和ASSD方面分别比第二好的比较方法高出约6.1%、7.5%和3.0mm。结果表明，在训练数据有限的情况下，CFCN在医学图像分割方面具有很大的潜力。这部分是因为CFCN有一个暹罗架构，其中输入对增加了训练样本的数量。更重要的是，CFCN模型注重对目标对象的流形建模，并消除类内不一致的影响，这是CFCN优于ABDOCS的主要原因。
表1：在lits数据集上，采用80%、5%和1%的训练样本比例(训练比例)对提出的方法和最新技术进行定量比较，测试集始终设置为固定比例的20%。
尽管性能有了显著的提高，但CFCN的一个明显缺点是参数数量的增加。相比之下, C2FCN只有一个头部产出和减少了参数的数量和推理时间相同的水平DeepLabv3 +与一个可接受的性能下降(在Dice-per-case Dice-global 0.01%, 0.52%,和0.26毫米在ASSD训练比例5%)反对CFCN。一个有趣的发现是，在训练数据量非常有限的情况下，即训练比为1%时，C2FCN的性能倾向于优于CFCN。这主要是因为C2FCN的参数比CFCN少，减少了训练集较小的过拟合风险。此外，CFCN在损耗函数中还包含了一个额外的超参数(见Eq.(6))。这种固定的培训价值并没有充分利用代理监督。相比之下，C2FCN只有一个头输出来适应代理监督，它主导着网络的训练，减少了训练过程中超参数调优的计算开销。
在图5中展示了训练比为5%的LiTS数据集上的定性分割结果，CFCN和C2FCN在划定病理肝脏分割的边界和保持类内一致性方面优于对比方法，结果表明，所提出的方法仅在较小的训练集上就能有效地对目标对象流形进行建模，并消除类内不一致的影响。
图5所示：在LiTS数据集上训练比例为5%的分割结果示例。这里，蓝色和红色线分别表示deep模型的ground truth和自动分割结果。
消融实验：
架构组件的有效性:
为了研究CFCN模型的每个组成部分的影响，对训练比例为5%的LiTS数据集进行了消融研究。分别对Siamese结构、融合模块、多头输出和代理监督进行了研究。具体来说，如果从DeepLabv3+的基线架构中以不同的方式组装这些模型组件，将得到四种不同的模型:
1) SiamFCN，其两个分支与DeepLabv3+相同，权值相同，每个分支译码器的输入由另一个分支的同层特征补偿;
2) C2FCN，可视为DeepLabv3+组装Siamese架构和代理监督，但输出为单头;
3) C2FCN+，将CFCN的解码器替换为融合网，该融合网可以看作是去掉CFCN的两个分割分支的网络;
4) CFCN，其中融合网络、多头输出和代理监控同时进行。
从表2可以看出:
1)四种模型的分割性能均优于DeepLabv3+，说明Siamese架构对任务有帮助，两两学习是一种有效的数据增强方法。
2) C2FCN的性能显著优于SiamFCN，表明代理监督对性能提升起着重要作用，网络能够学习代理监督所隐含的逻辑关系。实际上，在较小的训练集下，拟合所提出的代理监督需要区分输入对同一位置像素的逻辑相关性，从而提高预测置信度，缓解类内异质性。
3)与C2FCN相比，C2FCN+倾向于获得较小的性能增益，表明融合网络能够促进代理监管的拟合。
4)与C2FCN相比，CFCN主要配备两个分割分支，分别学习输入对的ground truth。其性能与C2FCN和C2FCN+进行了比较，进一步说明所提出的代理监督方法能够充分利用语义信息来完成分割任务。
表2：使用5%的训练样本，在LiTS数据集上对网络架构进行消融研究的性能保持不变，如表1所示。
患者内配对和患者间配对的效果:
如前所述，CFCN和C2FCN以成对的切片作为输入，对训练样本进行二次扩展。为了提高网络训练的效率，采用两种方法对输入对进行采样:患者内对和患者间对，如图3所示。具体地说，输入对在患者对中以5、9和13个切片的间隔从一个体积中采样，在患者对中以每个切片对两次的间隔从两个随机体积中采样。使用5%训练样本的LiTS数据集的结果如表3所示。可以看出，与单纯的CFCN相比，患者内对和患者间对的分割性能都有很大的提高。单纯的CFCN是使用相同的切片作为输入对进行训练的。此外，两种对输入对采样的方法是互补的，因为当患者内和患者间对同时使用时，可以获得更多的性能增益。
表3：使用5%训练样本在LiTS数据集对患者内进行消融研究，测试集保持不变，如表1所示。
多器官分割实验：
多器官分割对许多临床程序来说是另一个具有挑战性但有价值的任务。将Sub-CHAOS数据分成5次进行交叉验证，每轮训练集包含16种情况，测试集保留4种情况。对于每个患者的情况，将图像裁剪到整个图像强度值的[2.0,98.0]个百分点，最后归一化到[0,1]，训练阶段的所有切片大小都调整为256 × 256，而测试阶段仍然保持原始大小。使用Adam优化器训练分割网络，学习率为10−4，权值衰减为5 × 10−4，小批量大小为20，共200个epoch。输入对在患者对中以3,5,7个切片的间隔从一个体积中采样，在患者对中以每个切片对两次的间隔从两个随机体积中采样。
由于使用5倍交叉验证来运行所有模型，因此采用每个器官的Dice-percase和ASSD评分的平均评价以及表4中所有器官的平均评分来给出结果。如图所示，
1)与基线DeepLabv3+相比， CFCN实现了很大的性能改进，即平均每例dice得分从86.37%提高到88.25%，而ASSD从3.14mm降低到2.83mm;
2)在dice - every case和ASSD方面，C2FCN的平均得分分别为88.62%和2.47mm，显著优于所有比较方法;
3)与左肾分割相比，C2FCN的整体表现优于CFCN。这可能是因为代理监督在CFCN的训练阶段作为全局约束，其贡献受Eq（6）中超参数λ的影响。与二值分割相比，这样一个单一的参数并不能充分平衡多类别分割中不同类别的差异。因此，CFCN的性能增益不如C2FCN的显著，而C2FCN的代理监管被视为一个完整的监管。
表4：在Sub-CHAOS数据集上对所提出的方法和最新的技术进行定量比较。每例dice得分(±std)的百分比超过交叉验证的5倍。
总结：
本文提出了一种新的基于有限训练样本的医学图像分割框架。特别地，专注于解决由阶级内部的异质性和边界模糊引起的具有挑战性的问题。扩展前期工作，从两个方面改进了框架:首先，将CFCN扩展为一个一般的双学习框架，其中代理监督作为网络的全局约束，以适应标签空间的固有先验知识。除了在LiTS数据集上的二值分割外，进一步将CFCN扩展到多类别分割，用于基准数据集CHAOS上的多器官分割，结果表明，我们的CFCN可以在所有比较方法中取得最先进的结果。
其次，将CFCN扩展为一个紧凑的架构C2FCN，它可以在测试阶段用可以忽略不计的附加参数和计算开销来改进任何现成的分割网络。具体来说，采用DeepLabv3+作为基线，得到的C2FCN在lits数据集上取得了较好的结果(见表1)，在Sub-CHAOS数据集上取得了优于CFCN的结果(见表4)。然而，在训练过程中，C2FCN的参数数量和计算开销都大大低于CFCN。更重要的是，本文提出的C2FCN在训练阶段仅用一个头部学习代理监督中隐含的逻辑关系，在测试阶段通过学习的逻辑关系推断分割概率。与CFCN相比，C2FCN中不需要两个解码器来显式拟合输入对的ground truth，说明通过深度模型学习一般关系是可行的和有潜力的。
值得一提的是，本文采用了提出的两两分割框架来解决类内异质性和边界模糊所带来的挑战。然而，通过明确地设计gproxy函数，可以利用更多的先验信息。未来的另一个研究方向是将所提出的CFCN和C2FCN应用于更多的分割场景，特别是管状结构的自动分割，如血管或小肠。通常在三维空间中折叠，且形状先验很难通过患者内相邻切片进行建模。此外，将方法扩展到三维模型将是作者未来的研究方向。
综上所述，本文提出了一种新的针对有限训练样本的医学图像分割框架。为了解决医学影像中类内异质性和边界模糊的问题，提出了一种代理监督，将标签空间中的先验信息显式编码，并在训练阶段将其作为网络的全局约束。特别是,我们提出了一种新的分割通过C2FCN范式,在网络旨在学习输入对之间的逻辑关系,而不是直接适合地面真理传统FCNs一样的目标,和分割测试样本的概率是推断的逻辑关系。实验结果表明，在训练数据量有限的情况下，所提出的两两分割方法能够显著提高分割精度。