摘要
背景：
基于GAN的融合方法存在训练不稳定，提取图像的局部和全局上下文语义信息能力不足，交互融合程度不够等问题
贡献：
提出双耦合交互式融合GAN（Dual-Coupled Interactive Fusion GAN，DCIF-GAN）：
- 设计了双生成器双鉴别器GAN，通过权值共享机制实现生成器之间和鉴别器之间的耦合，通过全局自注意力机制实现交互式融合；
- 设计耦合CNN-Transformer的特征提取模块（Coupled CNN-T ransformer Feature Extraction Module, CC-TFEM）和特征重构模块（CNN-T ransformer F eature Reconstruction Module, C-TFRM），提升了对同一模态图像内部的局部和全局特征信息提取能力；
- 设计跨模态交互式融合模块（Cross Model Intermodal Fusion Module, CMIFM），通过跨模态自注意力机制，进一步整合不同模态间的全局交互信息。
结果：
在肺部肿瘤PET/CT医学图像数据集上进行实验，模型能够突出病变区域信息，融合图像结构清晰且纹理细节丰富。
1. 引言
-
CT——结构信息，分辨率高
-
PET——功能信息
-
传统：Fusion GAN、FLGC-Fusion GAN
-
双判别器：D2WGAN、DDcGAN、DFPGAN
-
多生成器多判别器：MGMDcGAN、RCGAN
贡献：
- 提出跨模态耦合生成器，处理PET图像中的病灶目标和CT图像中丰富的纹理特征，学习跨模态图像之间的联合分布；提出跨模态耦合鉴别器分别用于计算预融合图像与CT和PET图像间的结构差异，并使训练过程更加稳定。
- 设计耦合CNN-Transformer特征提取模块和CNN-Transformer特征重构模块，结合了Transformer和CNN的优势，在挖掘源图像中局部信息的同时也能学习特征之间的全局交互信息，实现更好的跨模态互补语义信息集成。
- 提出基于SwinTransformer的跨模态交互式融合模块，通过跨模态自注意力机制，可以进一步整合不同模态图像之间的全局交互信息。
2. 双耦合交互式融合DCIF-GAN
2.1 整体网络结构
网络结构：
生成器由基于耦合CNN-Transformer的特征提取模块、跨模态与融合模块和基于联合CNN-Transformer的特征重构模块构成。
鉴别器由四个卷积块和一个Linear层构成，鉴别器的“耦合”通过网络最后几层共享权值，此操作可以有效降低网络的参数量。
关键：权值共享
第一生成器G1的目的是生成具有CT图像纹理信息的预融合图像FCT，
第一鉴别器D1的目的是计算FCT与源PET图像的相对偏移量并反馈，以增强FCT中的功能信息；
第二生成器G2用于生成具有PET图像功能信息的预融合图像FPET，
第二鉴别器D2计算FPET与源CT图像的相对偏移量并反馈，以增强FPET中的纹理信息。
随着迭代次数的增加，两个生成器都可以生成足以欺骗鉴别器的预融合图像，生成的图像分别会相对偏向于其中一幅源图像，故将生成的两幅预融合图像进行加权融合，得到最终的融合图像IF。
网络的极大极小博弈可以表示为:
min
G
1
,
G
2
max
D
1
,
D
2
L
(
G
1
,
G
2
,
D
1
,
D
2
)
=
E
I
P
E
T
[
log
D
1
(
I
P
E
T
)
]
+
E
I
C
T
[
log
(
1
−
D
1
(
G
1
(
I
C
T
)
)
)
]
+
E
I
C
T
[
log
D
2
(
I
C
T
)
]
+
E
I
P
E
T
[
log
(
1
−
D
2
(
G
2
(
I
P
E
T
)
)
)
]
\begin{aligned} \min_{G_1, G_2} \max_{D_1, D_2} L(G_1, G_2, D_1, D_2) = \mathbb{E}_{I_{PET}} \left[ \log D_1(I_{PET}) \right] + \mathbb{E}_{I_{CT}} \left[ \log (1 - D_1(G_1(I_{CT}))) \right] + \mathbb{E}_{I_{CT}} \left[ \log D_2(I_{CT}) \right] + \mathbb{E}_{I_{PET}} \left[ \log (1 - D_2(G_2(I_{PET}))) \right] \end{aligned}
G1,G2minD1,D2maxL(G1,G2,D1,D2)=EIPET[logD1(IPET)]+EICT[log(1−D1(G1(ICT)))]+EICT[logD2(ICT)]+EIPET[log(1−D2(G2(IPET)))]
2.2 耦合生成器结构
生成器网络结构：
CNN能简单有效提取信息，但感受野有限，捕捉全局背景信息能力弱；
Transformer将整个图像转换为一维向量组输入（解决感受野有限），使用自注意力捕获全局信息（解决只提取局部信息），但全局信息的秩低，降低了前景和背景的可辨别性，融合不明显。
2.2.1 耦合CNN-Transformer特征提取模块（CC-TFEM）
基于CNN的浅层特征提取，局部特征；
基于Swin-Transformer的深层特征提取，全局特征。
2个卷积块+4个STB块
卷积块：一个卷积层（size=3, stride=1）+一个Leaky ReLU层
两个生成器权值共享：
- 有助于学习多模态图像的联合分布；
- 减少参数量。
通过浅层特征提取模块HSE(.)提取源图像
I
C
T
I_{CT}
ICT和
I
P
E
T
I_{PET}
IPET的浅层特征
F
S
F
C
T
F^{CT}_{SF}
FSFCT和
F
S
F
P
E
T
F^{PET}_{SF}
FSFPET；
通过深度特征提取模块HDE(.)从
F
S
F
C
T
F^{CT}_{SF}
FSFCT和
F
S
F
P
E
T
F^{PET}_{SF}
FSFPET中提取深度特征；
将
F
D
F
C
T
F^{CT}_{DF}
FDFCT和
F
D
F
P
E
T
F^{PET}_{DF}
FDFPET输人到跨模态预融合模块(CMIFM)中进行融合。
表述为:
[
F
S
F
C
T
,
F
S
F
P
E
T
]
=
[
H
S
E
(
I
C
T
)
,
H
S
E
(
I
P
E
T
)
]
\begin{bmatrix} F^{CT}_{SF} , F^{PET}_{SF} \end{bmatrix} = \begin{bmatrix} H_{SE}(I_{CT}) , H_{SE}(I_{PET}) \end{bmatrix}
[FSFCT,FSFPET]=[HSE(ICT),HSE(IPET)]
[
F
D
F
C
T
,
F
D
F
P
E
T
]
=
[
H
D
E
(
F
S
F
C
T
)
,
H
D
E
(
F
S
F
P
E
T
)
]
\begin{bmatrix} F^{CT}_{DF} , F^{PET}_{DF} \end{bmatrix} = \begin{bmatrix} H_{DE}(F^{CT}_{SF}) , H_{DE}(F^{PET}_{SF}) \end{bmatrix}
[FDFCT,FDFPET]=[HDE(FSFCT),HDE(FSFPET)