COPLE-Net论文解读
ABSTRACT
文中首先介绍了一种noise-robust的Dice损失，它是针对分割的Dice损失和对噪声的鲁棒性的平均绝对误差（MAE）损失的概括。健壮的Dice损失和COPLE-Net与自适应自我组装框架相结合进行训练，其中学生模型的指数移动平均值（EMA）用作教师模型，当学生训练损失比较大时，通过抑制学生对EMA的贡献来进行自适应更新。仅当教师的表现优于学生时，学生模型才通过向教师学习来适应模型。
INTRODUCTION
实验结果表明：（1）我们的抗噪Dice损失优于现有的抗噪损失函数；（2）提出的COPLE-Net的性能要高于最新的图像分割网络；（3）我们的框架在从嘈杂的标签中学习COVID-19肺炎病变分割的情况下，自适应自我组装明显优于标准训练过程，并且优于其他噪声鲁棒性训练方法。
在处理嘈杂标签的各种方法中，一些新颖的抗噪损失函数由于不需要特定的网络结构，并且可以轻松地与典型的训练过程结合，因此受到越来越多的关注。
这项工作的贡献是三方面的。首先，为了处理用于训练CNN分割COVID-19肺炎病变的嘈杂注释，提出了一种新颖的鲁棒性Dice损失函数，该函数是MAE损失和Dice损失的组合和泛化，可以有效抵抗噪声标签以及处理Dice损失函数对标签前景-背景不平衡不敏感的问题。其次，我们提出了一种基于CNN自组装的新型抗噪学习框架，其中使用模型的指数移动平均线（EMA，教师）来指导标准模型（学生）以提高鲁棒性。与以前的半监督学习和领域自适应的自组装方法不同，文中提出的两种自适应机制能更好地处理嘈杂的标签：**当EMA的训练损失很大时， 自适应教师会抑制学生对EMA的贡献；而当教师的表现优于学生时，自适应学生才向教师学习。**第三，为了更好地处理复杂的病灶，文中提出了一种新型的COVID-19肺炎病灶分割网络（COPLE-Net），该网络结合了最大池化和平均池化功能来减少下采样期间的信息丢失，并采用桥接层来缓解编码器和解码器中功能之间的语义鸿沟。
METHOD
文中所提出的具有鲁棒性的分割框架如图所示。它由三部分组成：抗噪的损失函数Lnr-dice，新颖的网络COPLE-Net和自适应自组装框架，其中教师模型T是学生模型S的指数移动平均值，并根据该模型进行自适应更新，仅当T优于S时，学生S通过适应性损失Lc自适应地向教师T学习。
A. COPLE-Net
由于COVID-19患者的临床CT扫描切片间隔范围很大，因此这项工作使用2D CNN用于分割任务。（数据集为3D）文中所提出的COPLE-Net如图。
受具有编码器-解码器的U-Net变体的最新性能的启发，该项工作使用了类似的主干网，并通过几个重要模块对其进行了扩展。
- 与U-Net等仅使用最大池化进行下采样的方法不同，该网络结构引入了双重池化，即将最大池化和平均池化的组合作为下采样，与简单的最大池化相比，它具有信息丢失率更低的优点。
- 该网络结构使用桥接（即1X1卷积）替换编码器和解码器之间的典型跳连接，以将编码器的低级特征映射到较低维度（即通道数减少一半）之前将它们与来自解码器的高级特征连接起来，以减轻低级和高级特征之间的语义鸿沟。
- 为了更好的分割不同尺度的病变，该网络结构在编码器和解码器结构的瓶颈处添加了一个Astrous空间金字塔（ASPP）模块，其中ASPP由四个平行的膨胀卷积层组成，具有不同的膨胀率，并将它们的输出串联起来，以便网络可以更好地捕获多尺度特征，以对不同大小病变进行分割。
另外，在每一个卷积块，该网络结构使用了残差连接来促进训练，并添加一个SE块来校准不同的通道以获得更好的性能。并且解码器中还通过了一个1X1卷积层实现了每一个上采样层的双线性插值，以便在连接低层和高层特征之前提高空间分辨率。与采用标准转置的上采样相比，该方法实现可以减少参数数量，提高效率。
B. Noise-Robust Dice Loss
早期的肺炎病变通常会占据图像的一小部分，当使用标准图像分类损失函数（交叉熵）训练时，这可能导致CNN的预测强烈偏向背景。Ldice损失函数被证明可以有效克服这一问题。
其中N是图像中像素数。Pi是CNN预测像素i为前景的概率，Gi是从二进制训练标签中得出的对应值。Ldice可以看作是均方误差（MSE）的变体，Ldice公式中，分子将较高的权重分配给有较大预测误差的像素（可用于处理前景与背景不平衡问题）。MSE对噪声标签不具有鲁棒性，MAE可以实现比交叉熵和MSE更高的鲁棒性。MAE损失函数的形式如下：
尽管它对嘈杂的标签具有容忍性，但Lmae平等地对待每个像素，并且在深层CNN和具有挑战性的数据集上可能表现不佳，它也不能处理分割任务中的前景与背景不平衡。为了利用Dice损失函数和MAE损失函数的优势并克服它们的局限性，文中提出了一种新颖的噪声健壮的Dice损失，它是Dice和MAE的组合：
当γ=2.0时，损失等于Dice损失，当γ=1.0时，损失成为MAE损失的加权版本。因此，文中所提出的NR-Dice损失具有强大的抗噪能力，并且可同时抵抗嘈杂的标签和处理前景与背景之间的不平衡问题。通过实验验证，当γ=1.5时损失函数性能最好。
C. Noise-Robust Adaptive Self-Ensembling噪声鲁棒自适应自组装
为了进一步提高处理嘈杂标签的性能，文中将COPLE-Net和NR-Dice集成到最初为半监督学习提出的自组装框架中。它由具有相同CNN结构的教师模型T和学生模型S组成，并且T被更新为S的指数移动平均值（EMA）。
其中θ*和θ分别是T和S的参数，T和S的实现均是COPLE-Net。t是训练步骤，α∈（0，1）是平滑系数。由于有了EMA，T模型比S模型更稳定，可用于通过一致性损失Lc来监督S，令x,y分别表示训练图像及其带噪注释，训练总损失函数为
在以前的用于半监督学习的自组装方法中，α和λ的值是根据训练步骤手动设置为固定数或逐渐变化的，而没有考虑S和T的性能以及是否存在噪声标签。在我们的分割任务中，学生模型S在步骤t可能由于噪声标签而表现不佳，并且使用预定义的α更新教师模型T可能会导致T被噪声标签破坏。此外，不能保证训练期间T总是比S更好，而当T比S差时应用Lc可能会降低S的表现，为解决这些问题，文中提出了自适应自组装方案，其中S和T能够根据彼此的性能自适应地更新。
首先 ，文中提出了一种自适应教师，当S表现不佳且训练损失较大时抑制S对T的贡献。这可能是由嘈杂的标签引起的。这是通过使值α取决于S的训练损失来实现的。
其中α’是EMA的参数，β是分割 损失的动态阈值，文中将其自适应地设置为在最后K个训练步骤中学生模型损失的第P个百分位数。当嘈杂的标签导致S的损失在某个训练步骤上超过β时，教师模型在该步骤上不会被S更新。因此，抑制了噪声标签对教师的影响。
其次，当T的表现低于S时，通过抑制T对S的监督，文中提出了一种自适应学生模型，该模型通过使值λ取决于S和T的表现来实现。
当T的表现优于S时，λ’’=0.1；当T的表现不如S时，λ‘的值很小以抑制一致性损失Lc的权重。