Multimodal MR Synthesis via Modality-Invariant Latent Representation
我们提出了一种用于MRI合成的多输入多输出全卷积神经网络模型。该模型对丢失的数据具有鲁棒性，因为它受益于（但不需要）其他输入形式。该模型经过端到端训练，并学会将所有输入模态嵌入到共享的模态不变的潜在空间中。然后将这些潜在表示合并为单个融合表示，然后通过学习的解码器将其转换为目标输出模态。我们还表明，通过合并来自分割蒙版的信息，该模型既可以减少其误差，又可以生成带有合成病变的数据。
方法
图像合成的当前最新技术是学习成对的图像模态之间的映射。但是，通常情况下，我们有几种可用的方式（典型的临床 MR 协议收集大量图像），并且利用它们的集体信息可能会改善综合结果。实际上，不同的方式突出了人体的不同解剖结构（或病理学），并且通过将它们一起使用，可以通过信息共享获得更好的合成结果。因此，最先进的方法使用多输入架构并获得更高质量的合成图像。另一方面，如果模型必须输入特定数量的输入模态，那么这会将适用案例的数量减少到严格包含完整的图像模态集的情况。为了克服这个问题，我们提出了一种多输入（和多输出）深度神经网络，该网络不需要所有输入即可合成输出，但是可以在可用时利用附加输入来提高准确性。在本文中，我们提出了用于 MR 合成的深层全卷积神经网络模型。这里所说的合成是指一个模型，该模型可以拍摄大量图像，以不同的方式显示相同的器官作为输入，并以一种或多种新的方式输出相同解剖结构的合成图像。
总结
通过自编码器将多模 MR 图像投影到低维空间。