【2019】Recurrent residual U-Net for medical image segmentation

摘要

基于深度学习（DL）的语义分割方法在过去几年中一直提供最先进的性能。更具体地说，这些技术已成功地应用于医学图像分类，分割和检测任务。一种DL技术，U-Net，已经成为这些应用中最流行的技术之一。本文提出了一种递归U-Net模型和一种递归残差U-Net模型，分别命名为RU-Net和R2 U-Net。所提出的模型利用了U-Net、残差网络和递归卷积神经网络的强大功能。使用这些建议的架构进行分割任务有几个优点。首先，残差单元有助于训练深度架构。其次，使用递归残差卷积层进行特征积累，确保了分割任务的更好特征表示。第三，它允许我们设计更好的U-Net架构，具有相同数量的网络参数，具有更好的医学图像分割性能。在三个基准数据集上对所提出的模型进行了测试，例如视网膜图像中的血管分割、皮肤癌分割和肺部病变分割。实验结果显示，与等效模型相比，分割任务的性能上级，包括一种称为SegNet、U-Net和残差U-Net的全连接卷积神经网络的变体。

引言
如今，深度学习（DL）为图像分类、1分割、2检测和跟踪、3和字幕提供了最先进的性能。4自2012年以来，已经提出了几种深度卷积神经网络（DCNN）模型，例如AlexNet、1 VGG、5 GoogleNet、6残差网络、7 DenseNet、8和CapsuleNet。9基于DL的方法（特别是CNN）为最近开发的几种高级方法（包括激活函数、改进的正则化技术和优化方法）的分类、分割和检测任务提供了最先进的性能。1，10然而，在大多数情况下，在非常大规模的数据集上使用分类任务来探索和评估模型，例如ImageNet，1其中分类任务的输出是标签或概率值。或者，具有架构变体的小模型用于语义图像分割任务。例如，全卷积网络（FCN）也为计算机视觉中的图像分割任务提供了最先进的结果。2还提出了FCN的另一种变体SegNet。
由于深度卷积神经网络（DCNN）在计算机视觉领域取得了巨大成功，这种方法的不同变体被应用于不同的医学成像模式，包括分割、分类、检测、配准和医学信息处理。医学成像来自不同的成像技术，例如计算机断层扫描（CT），超声，X射线和磁共振成像（MRI）。计算机辅助诊断的目标是获得更快、更好的诊断，以确保同时对大量患者进行更好的治疗。此外，高效的自动处理减少了人为错误，并显著降低了总体时间和成本。由于手动分割方法的缓慢过程和繁琐的性质，对可以在没有人工交互的情况下快速准确地执行分割的计算机算法存在显著的需求。然而，医学图像分割存在一些局限性，包括数据稀缺和类别不平衡。大多数时候，大量的标签（例如，12标记数据集需要该领域的专家，这是昂贵的，并且需要大量的精力和时间。有时，不同的数据转换或增强技术（数据白化，旋转，平移和缩放）被应用于增加可用的标记样本的数量。13 -15此外，基于补丁的方法用于解决类不平衡问题。在这项工作中，我们已经评估了所提出的方法基于补丁和整个图像的方法。然而，要从基于块的方法切换到基于像素的方法，我们必须意识到类不平衡问题。在语义分割的情况下，图像背景被分配一个标签，前景或目标区域被分配不同的类。因此，阶级不平衡的问题得到解决，没有任何麻烦。两个先进的技术，包括交叉熵损失和骰子相似性，已被引入有效的训练分类和分割任务的参考文献。14和15号
此外，在医学图像处理中，全局定位和上下文调制经常被应用于定位任务。每个像素被分配一个类标签，其具有与识别任务中的靶病变的轮廓相关的期望边界。为了定义这些靶病变边界，我们必须强调相关像素。医学成像中的界标检测16、17就是这样一个例子。在DL革命之前，有几种传统的机器学习和图像处理技术可用于医学图像分割任务，包括基于直方图特征的幅度分割，18基于区域的分割方法，19和图形切割方法。然而，近年来，利用DL的语义分割方法在医学图像分割，病变检测，21此外，基于DL的方法被称为通用学习方法，其中单个模型可以有效地用于不同的医学成像模式，例如MRI、CT和X射线。

医学图像处理中，全局定位和上下文调制经常被应用于定位任务。每个像素被分配一个类标签，
其具有与识别任务中的靶病变的轮廓相关的期望边界。

根据最近的一项调查，DL方法几乎适用于所有医学成像模式。21，22此外，已经发表了大量关于不同医学成像模式中的分割任务的论文。21，22参考文献23中提出了一种基于DCNN的脑肿瘤分割和检测方法。从架构的角度来看，用于分类任务的CNN模型需要一个编码单元，并提供类概率作为输出。在分类任务中，我们使用激活函数执行卷积运算，然后进行二次采样层，这降低了特征图的维度。随着输入样本遍历网络的各个层，特征映射的数量增加，但特征映射的维度减少。这在图2中的模型的第一部分（绿色）中示出。由于特征映射的数量在更深层中增加，因此网络参数的数量也增加。最后，在网络的末端执行softmax操作，以计算目标类的概率。
与分类任务相反，分割任务的架构需要卷积编码和解码单元。编码单元用于将输入图像编码成更大数量的具有更低维度的映射。解码单元用于执行上卷积（转置卷积，或偶尔称为反卷积）操作，以产生与原始输入图像具有相同维度的分割图。因此，与分类任务的架构相比，分段任务的架构通常需要几乎两倍数量的网络参数。因此，为分段任务设计高效的DCNN架构非常重要，这可以确保使用更少的网络参数获得更好的性能。
本研究展示了两种修改和改进的分割模型：一种使用递归卷积网络，另一种使用递归残差卷积网络。为了实现我们的目标，所提出的模型在不同的医学成像模式上进行评估，如图1所示。这项工作的贡献可归纳如下：
1.提出了两种新的医学图像分割模型：递归U网（RU-Net）和递归残差U网（R2 U-Net）。
2·在三种不同的医学成像模式上进行实验，包括视网膜血管分割、皮肤癌分割和肺分割（LS）。
3·对所提出的模型的性能评估是通过用于视网膜血管分割任务的基于块的方法和用于皮肤病变和LS任务的基于端到端图像的方法来进行的。
4·与最近提出的最先进的方法进行比较，显示出与具有相同数量的网络参数的等效模型相比的上级性能。
5·基于训练、验证和测试阶段中训练样本数量与性能之间的权衡，对所提出的R2 U-Net模型对SegNet 11和U-Net 13的鲁棒性进行了实证评估。
该文件的组织如下：Sec。二是相关工作。所提出的RU-Net和R2 U-Net模型的架构在第2节中给出。3.第4节解释了实验设置和性能指标。数据集的详细信息和对实验结果的讨论在第二节中给出。5.实验结果与U-Net和SegNet的比较在第二节中给出。6.结论和未来的方向进行了讨论。7.

相关工作

语义分割是一个活跃的研究领域，其中DCNN用于单独对图像中的每个像素进行分类，这是由计算机视觉和医学成像领域中具有挑战性的不同数据集推动的。在过去的几年中，已经提出了许多模型，证明更深的网络更适合识别和分割任务。5然而，由于消失梯度问题，训练非常深的模型很困难，这是通过实现现代激活函数来解决的，例如整流线性单元（ReLU）或指数线性单元。图27示出了一种深度残差模型，其克服了利用身份映射来促进训练过程的问题。
此外，基于FCN的CNN分割方法为自然图像分割提供了上级性能。2 FCN的性能通过循环神经网络得到了改善，循环神经网络在非常大的网络上进行了微调。28使用DeepLab进行语义图像分割是目前最先进的方法之一。29 SegNet由两部分组成：编码网络是13层VGG-16网络，5以及相应的解码网络使用逐像素分类层。参考文献11的主要贡献是解码器对其较低分辨率输入特征图进行上采样的方式。后来，在2015年提出了SegNet的改进版本，称为Bayesian SegNet。然而，有一些DL模型已经提出了专门用于医学图像分割，因为他们考虑到数据不足和类不平衡的问题。

数据不足和类不平衡的问题。

语义医学图像分割的第一个和最流行的方法之一是U-Net。13根据U-Net架构，网络由两个主要部分组成：卷积编码和解码单元。在网络的两个部分中执行基本的卷积操作，然后激活ReLU。对于编码单元中的下采样，执行2 × 2最大池化操作。在解码阶段，执行卷积转置（表示上卷积或去卷积）操作以对特征图进行上采样。U-Net的第一个版本被用于裁剪和复制特征图，从编码单元到解码单元。U-Net模型为分割任务提供了几个优点：首先，该模型允许同时使用全局位置和上下文。其次，它只使用很少的训练样本，并为分割任务提供更好的性能。13第三，端到端流水线在前向传递中处理整个图像，并直接生成分割图。这确保了U-Net保留了输入图像的完整上下文，这是与基于块的分割方法相比的主要优势。

U-Net模型为分割任务提供了几个优点：首先，该模型允许同时使用全局位置和上下文。其次，它只使用很少
的训练样本，并为分割任务提供更好的性能。13第三，端到端流水线在前向传递中处理整个图像，并直接生成
分割图。这确保了U-Net保留了输入图像的完整上下文，这是与基于块的分割方法相比的主要优势
关键词：patch-based segmentation approaches

然而，U-Net不仅限于医学成像领域的应用，而且现在该模型还应用于计算机视觉任务。31，32同时，已经提出了U-Net模型的不同变体，包括用于基于CNN的医学成像数据分割的非常简单的U-Net变体。33在该模型中，对U-Net的原始设计进行了两项修改：首先，从网络的一部分到另一部分对多个分割图和前向特征图的组合求和（逐元素）。从编码和解码单元的不同层获取特征图，并且最后，在编码和解码单元之外执行求和（逐元素）。作者报告说，与U-Net相比，在训练过程中具有更好的收敛性的性能改进是有希望的，但是在测试阶段使用特征求和时没有观察到任何好处。跳过的连接对于生物医学图像分割任务的重要性已经通过U-Net和残差网络进行了经验评估。34深度轮廓感知网络于2016年提出，它可以使用分层架构提取多级上下文特征，用于组织学图像的准确腺体分割，并且它显示出非常好的分割性能。35此外，Nabla-Net，2017年提出了一种类似深度挖掘的卷积架构用于分割。36
其他DL方法也已提出基于U-网的三维（3-D）医学图像分割任务。用于体积分割的3-D U-Net架构从稀疏注释的体积图像中学习。14已经提出了一种基于体积图像的强大的端到端3-D医学图像分割系统，称为V-Net，其由具有剩余连接的FCN组成。15本文还引入了Dice损失层。15此外，在参考文献37中提出了一种用于体积医学图像的自动分割的3-D深度监督方法。HighRes 3DNet是在2016年提出的，使用残差网络进行3-D分割任务。38 2017年，提出了一种基于CNN的脑肿瘤分割方法，使用具有全连接条件随机场的3-D CNN模型。39胰腺分割在参考文献40中提出，VoxResNet在2016年提出，其中使用深度体素残差网络进行脑分割。该架构利用了残差网络和来自不同层的特征图的总和。41
另外，我们提出了两个模型的语义分割的基础上，在本文中的U-Net架构。基于U-Net的递归CNN（RCNN）模型被命名为RU-Net，如图2所示。此外，我们还提出了一种基于残差RCNN（RRCNN）的U-Net模型，称为R2 U-Net。第3节提供了这两个模型的体系结构细节。

方法—3 RU-Net and R2U-Net Architectures—3 RU-Net和R2 U-Net架构

3.1 RU-Net and R2U-Net Model Details----3.1 RU-Net和R2 U-Net模型详情
受深度残差模型、RCNN和U-Net 13模型的启发，我们提出了两种用于分割任务的模型，分别称为RU-Net和R2 U-Net。这两种方法利用了所有三个最近开发的DL模型的优势。RCNN及其变体已经在使用不同基准测试的对象识别任务中显示出上级性能。43，44根据参考文献44中的改进残差网络，可以在数学上证明递归残差卷积运算。递归卷积层（RCL）的操作是相对于根据RCNN表示的离散时间步长来执行的。42让我们考虑RRCNN块的第i层中的xl输入样本和位于RCL中的第k特征图上的输入样本中的xl处的patch的中心像素。此外，让我们假设网络Ol ijkti的输出是在时间步长t处。输出可表示如下：

在这里，xfi; jl t和xri; jl t-1分别是标准卷积层和第l个RCL的输入。wf k和wr k值分别是标准卷积层的权重和第k个特征图的RCL，bk是偏置。RCL的输出被馈送到标准ReLU激活函数f，并表示为


其中，表示来自RCNN单元的第i层的输出。FIGHXL的输出; wltron分别用于RU-Net模型的卷积编码和解码单元中的下采样和上采样层。在R2 U-Net的情况下，RCNN单元的最终输出通过残差单元，如图3（d）所示。让我们考虑RRCNN块的输出为xlcnn 1，那么它可以计算如下：