基于DCIF-GAN 的肺部腫瘤PET/CT 跨模態醫學圖像融合

周 濤， 程倩茹*， 張祥祥， 李 琦， 陸惠玲

（1. 北方民族大學 計算機科學與工程學院，寧夏 銀川 750021；2. 寧夏醫科大學 醫學信息工程學院，寧夏 銀川 750004；3. 北方民族大學 圖像圖形智能處理國家民委重點實驗室，寧夏 銀川 750021）

1 引 言

不同模態的醫學圖像都有其優點和局限性，例如，計算機斷層掃描（Computed Tomography，CT）圖像具有很高的空間分辨率和幾何特性［1］，可以清晰地顯示密集的結構信息，但軟組織的對比度相對較低［2］，尤其是無法清楚表示軟組織和浸潤性腫瘤的邊界［3］；PET（Positron Emission Tomography）圖像對軟組織、器官、血管等顯示清晰，提供了功能信息，有利于確定病灶范圍，但其空間分辨率不如CT 圖像，對剛性的骨組織顯示差，并有一定的幾何失真［4］。在臨床實踐中，單模態的醫學圖像不能完全準確反映病理組織的信息，醫生需要檢查同一部位的不同模態圖像來診斷病人的病情［5］。醫學圖像融合將多模態圖像中的典型信息和互補信息合并到一個圖像中，幫助醫生理解圖像內容［6］，融合的結果更有利于人類的視覺感知或機器的自動檢測［7］，為醫生診斷和治療疾病開辟了新的前景［8］。

自2014 年生成對抗網絡（Generative Adversarial Network，GAN）［9］提出以來，由于其靈活性和優異的性能，在成像領域得到了廣泛應用，GAN 在圖像融合任務中有網絡靈活性強、對外部條件依賴性弱、能夠自主優化融合圖像質量等優勢。按照網絡結構，基于GAN 的圖像融合方法可以分為三種：傳統GAN 的圖像融合方法，雙鑒別器GAN 的圖像融合方法，多生成器多鑒別器GAN 的圖像融合方法。Fusion GAN［10］，FLGC-Fusion GAN［11］和文獻［12］都是基于傳統GAN 的圖像融合方法，將拼接后的源圖像作為生成器的輸入，并生成同時保留兩幅源圖像信息的融合圖像，但是這些方法將融合圖像與單個模態的源圖像作為鑒別器的輸入，導致融合結果更傾向于保留某一個模態的特征信息；D2WGAN［13］，DDcGAN［14］和DFPGAN［15］是基于雙鑒別器GAN 的圖像融合方法，采用兩個獨立的鑒別器分別計算融合圖像與兩幅源圖像的結構差異，這樣能夠使融合圖像更多地保留多源特征信息，但這些方法都以通道拼接的源圖像作為生成器網絡的輸入，以相同的方式對不同模態的圖像進行處理，然而簡單的拼接不能有效地利用多模態圖像的信息，網絡只能學習圖像語義層次之間的一種關系，從而限制了模型的性能；MGMDc-GAN［16］和RCGAN［17］是基于多生成器多鑒別器GAN 的圖像融合方法，這些模型中包含多組GAN，可以充分獲取不同模態源圖像中的信息，提高融合圖像的質量，但由于多個GAN 的網絡結構參數量大，導致在訓練過程中非常耗時。

多生成器多鑒別器GAN 充分地考慮了不同模態圖像的差異性與互補性，在圖像融合任務中取得了良好的效果，但還存在以下問題：多生成器或多鑒別器之間的關聯性較弱，導致訓練過程不穩定；基于GAN 的圖像融合方法大多都以CNN 為基本結構，能夠有效提取圖像的局部細節特征，但關注圖像全局信息的能力不足；基于多生成器多鑒別器GAN 的圖像融合方法模態間特征的交互程度不夠，導致圖像融合不充分。針對上述問題，本文提出了雙耦合交互式融合GAN（Dual-Coupled Interactive Fusion GAN，DCIF-GAN），用于多模態CT 和PET 圖像融合，主要貢獻如下：

（1） 提出跨模態耦合生成器，處理PET 圖像中的病灶目標和CT 圖像中豐富的紋理特征，學習跨模態圖像之間的聯合分布；提出跨模態耦合鑒別器分別用于計算預融合圖像與CT 和PET圖像間的結構差異，并使訓練過程更加穩定。

（2）設計耦合CNN-Transformer 特征提取模塊（Coupled CNN-Transformer Feature Extraction Module， CC-TFEM）和CNN-Transformer特征重構模塊（CNN-Transformer Feature Reconstruction Module， C-TFRM），結合了Transformer 和CNN 的優勢，在挖掘源圖像中局部信息的同時也能學習特征之間的全局交互信息，實現更好的跨模態互補語義信息集成。

（3）提出基于Swin Transformer 的跨模態交互式融合模塊（Cross Model Intermodal Fusion Module， CMIFM），通過跨模態自注意力機制，可以進一步整合不同模態圖像之間的全局交互信息。

2 雙耦合交互式融合DCIF-GAN

2.1 整體網絡結構

CT 圖像和PET 圖像是一組多模態圖像，CT 圖像缺乏組織信息，不能很好地表現病灶，而PET 圖像缺乏紋理結構細節，不能體現病灶所在組織結構中的位置，為了充分利用CT 圖像的解剖結構和PET 圖像中的功能信息，本文提出了雙耦合交互式融合GAN，模型結構如圖1 所示，該模型以雙生成器雙鑒別器的結構來進行一個兩團隊的博弈游戲，每個團隊分別包含一個生成器和一個鑒別器，分別為G1，D1和G2，D2。其中，生成器由基于耦合CNN-Transformer 的特征提取模塊（CC-TFEM）、跨模態與融合模塊（CMIFM）和基于聯合CNN-Transformer 的特征重構模塊（C-TFRM）構成，Liu 等人［18］提出的Co-GAN 證明，通過在生成器中強制執行模塊間權值共享，能夠使網絡學習多域圖像間的聯合分布，受此啟發，本文通過共享特征提取模塊的權值來實現生成器的“耦合”，從而使網絡能夠學習CT 與PET 圖像淺層紋理特征中的聯合分布，實現跨模態醫學圖像上下文語義信息的互補；鑒別器由四個卷積塊和一個Linear 層構成，鑒別器的“耦合”通過網絡最后幾層共享權值，此操作可以有效降低網絡的參數量［18］。

圖1 雙耦合交互融合GAN 整體網絡結構Fig.1 Dual-coupled interactive fusion GAN overall network architecture

在雙耦合交互式融合GAN 中，第一生成器G1的目的是生成具有CT 圖像紋理信息的預融合圖像FCT，對應的第一鑒別器D1的目的是計算FCT與源PET 圖像的相對偏移量并反饋，以增強FCT中的功能信息；第二生成器G2用于生成具有PET 圖像功能信息的預融合圖像FPET，第二鑒別器D2計算FPET與源CT 圖像的相對偏移量并反饋，以增強FPET中的紋理信息，隨著迭代次數的增加，兩個生成器都可以生成足以欺騙鑒別器的預融合圖像，生成的圖像分別會相對偏向于其中一幅源圖像，故將生成的兩幅預融合圖像進行加權融合，得到最終的融合圖像IF。網絡的極大極小博弈可以表示為：

其中：G1和G2是生成網絡模型，D1和D2是鑒別網絡模型，ICT和IPET是源CT 和PET 圖像，G1(ICT)和G2(IPET)分別是兩個生成器生成的預融合圖像，E是期望輸出值。G1和G2的目的是最小化目標函數（1），D1和D2的目的是最大化目標函數（1），通過生成器和鑒別器的對抗，生成樣本的概率分布和兩個真實圖像分布之間的分歧變得更小。

2.2 耦合生成器結構

由于CNN 良好的性能和強大的特征提取能力，已被廣泛應用于基于GAN 的圖像融合任務中，CNN 能夠簡單而有效地提取圖像的特征信息，但由于CNN 的感受野受卷積核大小的影響，主要關注圖像的局部特征信息，捕獲多模態醫學圖像的全局背景信息的能力較弱；Transformer將整個圖像轉換為一維向量組作為輸入，有效解決了CNN 感受野有限的弱點，并通過使用自注意力來捕獲全局特征信息，彌補CNN 只能提取局部特征的缺陷，但由于全局特征信息的秩往往較低，降低了前景與背景之間的可辨別性，導致融合圖像病灶區域不明顯。因此，為了有效利用多模態醫學圖像中的局部和全局互補特征，提高模型的融合性能，本文以聯合CNN-Transformer為基本架構，提出了雙耦合交互式融合GAN。生成器網絡的結構如圖2 所示，其中包含三個模塊：耦合CNN-Transformer 特征提取模塊（CCTFEM）、跨模態預融合模塊（CMIFM）和CNNTransformer 特征提取模塊（C-TFRM）。跨模態耦合生成器的作用是生成融合圖像，但是每個生成的圖像都偏向于一個特定的源圖像，這種有偏倚性的問題將在隨后的耦合鑒別器中得到解決。

圖2 生成器網絡結構圖Fig. 2 The generator network structure

2.2.1 耦合CNN-Transformer 特征提取模塊（CC-TFEM）

充分提取源圖像的特征信息是實現有效融合的關鍵，CNN 只能通過加深網絡，逐漸擴大接受域，從而捕捉到從細節到整體的特征信息，但與原始圖像特征相比，CNN 提取的特征更多地保留了淺層紋理信息，更有利于Transformer 的訓練，故本文結合CNN 與Transformer 的結構，設計了耦合CNN-Transformer 特征提取模塊（CC-TFEM）。如圖3 所示，采用基于CNN 的淺層特征提取單元挖掘源圖像中的局部特征，以保留淺層紋理信息，基于Swin-Transformer 的深度特征提取單元挖掘淺層特征之間的全局交互信息，生成包含高級語義信息的深度特征，兩者的互補組合提高了特征提取的能力，并保留了更有效的信息。每個特征提取模塊中包含2 個卷積塊和4 個Swin Transformer 塊 （Swin Transformer Block， STB），其中每個卷積塊包含一個卷積層和一個Leaky ReLU 層，卷積核的大小設置為3×3，步長設置為1。為了將兩生成器耦合在一起，需要共享特征提取模塊的權值，通過在生成器之間的權值共享，一方面有助于學習多模態圖像的聯合分布，另一方面可以減少參數量。特征提取模塊的步驟為：首先，通過淺層特征提取模塊HSE(?)提取源圖像ICT和IPET的淺層特征和，然后，通過深度特征提取模塊HDE(?)從和中提取深度特征，最后，將，輸入到跨模態預融合模塊（CMIFM）中進行融合，這個過程可以表述為：

圖3 特征提取模塊Fig.3 Feature extraction module

Vision Transformer （ViT）［19］首次將Transformer［20］用于視覺任務中，Swin Transformer［21］是基于ViT 的標準多頭自注意力來實現的，與ViT不同，Swin Transformer 的局部注意力和窗口機制有效地降低了計算量。如圖3 右側所示，給定大小為H×W×C的特征F，W-MSA 首先通過將輸入劃分為不重疊的M×M局部窗口，將輸入特征FH×W×C重構為，其中為窗口總數。接下來，它對每個窗口分別執行標準的自注意力操作。對于局部窗口特征X∈RM2×C，使用三個線性變換矩陣WQ∈RM2×d，WK∈RM2×d和WV∈RM2×d將其投影到Q，K和V中：

利用點積運算對矩陣Q和矩陣K中每個元素進行相似度匹配，然后用softmax 進行歸一化，得到注意力權重。過程可以表述為：

其中：dk是鍵的維數，B是可學習的相對位置編碼，為了使注意力機制能夠考慮不同的注意力分布，并使模型從不同的角度捕獲信息，多頭自注意力并行執行h次注意函數，并將每個注意力頭的結果連接起來，在本文中，h設置為6。然后，通過由兩個多層感知器（Multi Layer Perceptron，MLP）層組成的前饋網絡（Feed Forward Network， FFN）來細化W-MSA 產生的特征向量，過程可以表述為：

其中：Zl-1和Zl分別表示Swin Transformer 的輸入和輸出向量，表示中間輸出向量。前饋網絡FFN(?)可以表述為：

其中，GELU 為高斯誤差線性單元，使網絡更快地收斂，提高了模型的泛化能力。

圖4 顯示了Swin Transformer 層計算注意力的滑動窗口機制的示意圖。在第L層中，采用W-MSA 對圖像進行計算，即一個規則的窗口劃分方案，并在每個窗口內計算注意力，W-MSA 的弊端在于窗口之間的相互作用較弱，為了在不需要額外計算的情況下引入跨窗口交互，在下一層（第L+1 層）中，引入SW-MSA 模塊，SW-MSA的窗口配置不同于W-MSA 層，通過向左上方向循環移動，產生新的批窗口，在移動之后，窗口可以由特征圖中的多個不相鄰的子窗口組成，同時保持新窗口作為W-MSA 中的常規分區進行計算，因此，新窗口中的注意力計算跨越了第L 層中窗口的邊界，提供了它們之間的連接。在WMSA 和SW-MSA 中，當在局部窗口內進行自注意力計算時，在計算相似性中都包含了相對位置偏差。

圖4 Swin Transformer 中的滑動窗口機制示意圖Fig.4 Diagram of sliding window mechanism in Swin Transformer

2.2.2 跨模態交互式融合模塊（CMIFM）

CC-TFEM 可以提取同一模態內的全局交互信息，為了進一步整合跨模態圖像之間的全局交互信息，本文提出了跨模態交互式融合模塊（CMIFM），其結構如圖5 所示，CMIFM 的每個分支由4 個融合塊（FB）構成，融合塊通過自注意力，將特征圖映射到查詢（Query）、鍵（Key）和值 （Value），并通過跨模態自注意力機制交換來自不同模態的鍵（Key）和值（Value）來實現全局特征信息融合。每個CMIFM 由基于滑動窗口機制的多頭自注意力（W-MSA）、基于滑動的W-MSA（SW-MSA）、由兩個多層感知器（MLP）層組成的前饋網絡（FFN）和層歸一化（LN）組成。

圖5 跨模態預融合模塊（CMIFM）Fig.5 Cross Modal Interactive Fusion Module

如果給定來自不同模態的兩個局部窗口特征X1和X2，則將跨模態融合單元的過程定義為：

對特征圖進行模態內和跨模態特征融合后，利用一個卷積層來對融合后的特征圖進行降維，其過程可以表述為：

2.2.3 CNN-Transformer 特征重構模塊（CTFRM）

在融合不同模態的互補信息后，本文采用了基于CNN-Transformer 的特征重構模塊（CTFRM），將融合后的深度特征映射回圖像空間。由于淺層特征包含低頻信息，深層特征包含高頻信息，在重構模塊中，采用一個長跳躍連接，將低頻信息傳輸到重構模塊，這樣CNN 提取的淺層特征得到充分利用。特征重構的過程為：首先，采用兩個Swin Transformer 塊的深度特征重構單元HDR(?)，從全局的角度對融合的深度特征進行細化，對淺層特征進行恢復；然后，為了充分利用深層特征的全局上下文來恢復融合的淺層特征，采用基于CNN 的圖像重構模塊HSR(?)，減少通道數量，融合圖像重構模塊包含兩個卷積層，卷積核大小設置為為3×3，步長設置為1，卷積層之后是Leaky ReLU 激活函數；最后，生成預融合的圖像FCT和FPET。過程可以表述為：

2.2.4 損失函數

本文將第一生成器G1生成的預融合圖像更偏向于學習源CT 圖像的梯度信息。其損失函數可表述為：

其中：LG1表示生成器總損失，Φ(G1)表示對抗損失，Lcontent1表示第一生成器從源圖像到預融合圖像的內容損失，α是控制源PET 圖像信息含量比例的元素。借助該損失函數，第一個生成的預融合圖像可以在FCT的基礎上保留更多源PET 圖像的信息，對抗損失Φ(G1)和內容損失Lconcent1可表述為：

其中：D1(IPET，FCT)是第一鑒別器的函數，IPET是真實的源圖像，FCT表示G1得到的第一個生成的預融合圖像，Lint和Lssim表示強度損失函數和結構相似度損失函數，μ表示正則化參數。

同樣，第二生成器的損失函數設置為：

其中，Φ(G2)和Lconcent2可以表述為：

其中：D2(ICT，FPET)是第二個鑒別器的函數，ICT是真實的源圖像，FPET是第二個生成器生成的圖像，第二個生成的預融合圖像可以在FPET的基礎上保留更多源CT 圖像信息。

2.3 耦合鑒別器結構

在雙鑒別器模型中，不僅要考慮生成器和鑒別器之間的對抗關系，還要考慮兩個鑒別器之間的平衡，否則隨著訓練的進行，一個鑒別器的優勢最終會導致另一個鑒別器的效率低下，為了更好地平衡兩個鑒別器，本文設計了跨模態耦合鑒別器，其結構如圖6 所示。每個鑒別別器由四個卷積塊和一個線性層組成，卷積塊由一個卷積層、一個BN 層和一個Leaky ReLU 激活層組成，所有卷積核大小設置為3×3，步幅設置為2，四個卷積核個數分別設置為32，64，128 和256，最后一層線性層將特征圖轉換為一個輸出，表示融合圖像與相應源圖像之間的相對距離。鑒別器中第三、第四卷積塊和線性層的共享權值，可以有效地減少網絡的參數，且能夠使網絡更快收斂、訓練過程更穩定［18］。

圖6 鑒別器網絡結構Fig.6 Discriminator network structure

耦合鑒別器的作用是通過損失函數使生成的圖像逼近另一幅源圖像，通過反向傳播，生成器與鑒別器反復博弈，生成的圖像可以在包含當前源圖像特征的同時，也一定程度上包含另一幅源圖像的特征。其中，對于第一生成器G1，將源CT 圖像作為損失函數的一部分來優化結果，因此在第一鑒別器D1中，計算第一個預融合圖像FCT與源PET 圖像IPET的接近程度，以此來使FCT更逼近IPET，故本文將第一鑒別器D1的損失函數設為：

相同，第二個鑒別器D2的目的是通過損失函數使第二個預融合圖像FPET逼近源CT 圖像。因此，其損失函數可以表示為：

其中，L1和L2分別表示第一鑒別器和第二鑒別器的損失函數。兩個鑒別器的函數可以表示為：

其中：E是期望輸出值，C1(?)和C2(?)表示兩個鑒別器的非線性變換。跨模態耦合鑒別器允許單個生成的圖像具有相反圖像的信息。但所得到的圖像仍有一定程度的偏置，因此將生成的兩幅圖像進行平均，得到最終的融合結果F為：

由于這兩幅圖像FCT和FPET都是基于源圖像生成的有偏向性的與融合圖像，因此平均操作可以使最終得到的融合圖像既保留CT 圖像中的邊緣、紋理等結構信息，又保留PET 圖像中的病灶等功能信息。

3 實驗結果與分析

3.1 實驗設置

數據集：選用2018 年1 月-2020 年6 月在寧夏某三甲醫院核醫學進行PET/CT 全身檢查的肺部腫瘤臨床患者，以1 000 組已配準的肺部腫瘤PET 和CT 影像，圖像大小為：356 pixel×356 pixel。為了滿足模型的輸入條件，將原始RGB三通道圖像轉換為灰度圖像。本文將處理好的數據集按照6∶2∶2 比例劃分為訓練集、驗證集和測試集，即訓練集、驗證集和測試集分別由600，200，200 對CT-PET 圖像。

硬件與軟件環境：Windows Server 2019 Datacenter 的64 位操作系統，計算機內存256 GB，顯卡NVIDIA TITAN Ⅴ，處理器Intel（R） Xeon（R） Gold 6154 CPU @ 3.00 GHz。Python 3.7 編程語言，Pytorch1.7.0 深度學習框架，CUDA 版本為11.1.106。學習率為1×10-4，為保障模型參數更新較快和在全局最優特點進行收斂，訓練周期為1 000，批處理大小為4。

評價指標：選擇8 個評價指標來對融合圖像進行定量評價，包括平均梯度（Average Gradient， AG）、空間頻率 （Spatial Frequency， SF）、結構相似度 （Structural Similarity Index Measure，SSIM）、圖像標準差 （Standard Deviation， SD）、互信息 （Mutual Information， MI）、峰值信噪比（Peak Signal-to-Noise Ratio， PSNR）、信息熵（Information Entropy， IE）和基于梯度的融合性能 （Edge based Similarity Measurement，QAB/F），這些評價指標都與融合質量正相關。

本節通過兩組實驗來證明本文模型的有效性，第一組實驗是對比實驗，將本文方法與醫學圖像領域的先進方法進行比較，本文選取了兩類數據集進行對比實驗，分別是PET/CT 肺窗、PET/CT 縱膈窗；第二組實驗是消融實驗，在基準模型的基礎上，證明本文所提模塊的有效性。

3.2 對比實驗

為了驗證該文模型的有效性，在兩個數據集上進行實驗，分別為CT 肺窗和PET 圖像組與CT 縱膈窗和PET 圖像組，在CT 肺窗中，肺內部氣管細節信息清晰，圖像灰度值較大，CT 縱膈窗中，縱膈信息清晰，圖像灰度值偏小。將該文方法與其他醫學圖像融合方法做比較，并從主客觀上分析融合結果。

本節選擇了4 種圖像融合方法在該文所提出的數據集上進行對比實驗。分別是方法1：基于單生成器單鑒別器GAN 的醫學圖像融合方法（Fusion GAN［10］）；方法2：基于單生成器雙鑒別器GAN 的醫學圖像融合方法（DDcGAN［14］）；方法3：基于多生成器多鑒別器GAN 的醫學圖像融合方法（MGMDcGAN［16］）；方法4：分解方法采用LatLRR 和NSCT 的嵌套分解，低頻圖像采用平均梯度自適應加權的融合規則，高頻圖像采用基于區域能量最大的融合規則（LatLRR+NSCT）。

3.2.1 實驗一：PET/CT 肺窗

定性實驗：本節選取了5 組融合圖像來進行定性實驗，圖7 提供了對比實驗與本文模型在CT 肺窗和PET 圖像組實驗中的可視化結果，方法1、方法2 和方法3 對肺部支氣管等細節信息不能較好地保留，雖然方法3 能凸顯病灶部位，但融合圖像對比度低，邊緣模糊，本文方法和方法4 在顯示肺部支氣管等細節部分清晰，但本文方法的病灶區域更凸顯。所以，本文方法較好得融合PET 圖像中的病灶信息和CT 影像中的肺部支氣管等信息。

圖7 對比實驗一圖像融合結果Fig.7 Contrast experiment 1 qualitative comparison

定量實驗：表1 展示了本文方法與對比方法的定量實驗數據比較，本文方法在大部分指標中取得了最優結果。具體來說，最高的SF 和IE 代表本文方法的融合圖像從源圖像中保留了更多的特征和邊緣信息，五組實驗中，本文方法與其他方法中最優的相比，SSIM 分別提高了1.16%，10.79%，15.03%，10.26% 和1.57%，數據顯示了本文方法在維護結構信息方面的優勢，PSNR 分別提高了0.81%，6.62%，8.15%，0.86%和0.67%，代表本文方法在融合過程中的信息失真最小，本文方法通過充分集成源圖像中的全局相互作用，更加關注PET 圖像中的顯著病灶區域。

表1 對比實驗一融合圖像指標評價結果Tab.1 Comparison experiment 1 fusion image index evaluation results

3.2.2 實驗二：PET/CT 縱膈窗

定性實驗：圖8 提供了對比實驗與本文模型在CT 縱膈窗和PET 圖像組實驗中的可視化結果，方法1 和本文方法均能較好保留CT 組織、骨骼對比度等信息，但方法1 在一定程度上削弱了功能信息，不能有效地表現病灶區域；方法2、方法3 和方法4 對組織輪廓的表現均不如本文方法清晰，雖然方法4 保留更多病灶信息，但是器官和骨骼等細節部分對比度低；本文方法不僅保留了CT 縱膈窗圖像的骨骼紋理信息，還更好地保留了PET 圖像的功能信息，證明本文方法可以通過跨模態交互自適應地關注功能信息和紋理信息。

圖8 對比實驗二圖像融合結果Fig.8 Contrast experiment 2 qualitative comparison

定量實驗：表2 展示了本文模型與對比方法的定量實驗數據比較，如數據所呈現的，本文方法在大部分指標中取得了最優結果。具體來說，五組實驗中，本文方法與其他方法中最優的相比，AG 分別提高了0.27%，1.05%，3.14%，1.52%和0.85%，代表本文方法對源圖像梯度信息保留的更多；最高的SSIM 顯示了本文方法在維護結構信息方面的優勢，最高的PSNR 代表本文方法在融合過程中的信息失真最小，在本實驗中，SSIM 和QAB/F值略落后于方法4。

表2 對比實驗二融合圖像指標評價結果Tab.2 Comparison experiment 2 fusion image index evaluation results

3.3 消融實驗

本節在基于生成對抗網絡的圖像融合方法的基礎上，證明了本文提出的模塊的有效性，本節基準網絡的構建方法為：采用單生成器單鑒別器GAN（Network1）進行圖像融合，生成器以CT和PET 拼接圖像作為輸入，生成器內部采用五個卷積塊作為主干，鑒別器對融合圖像和CT 圖像進行偏移量計算并回饋，以此為基準網絡，依次對本文提出的模塊進行測試：跨模態耦合生成器和跨模態耦合鑒別器 （Network2）、耦合CNNTransformer 特征提取模塊 （CC-TFEM）（Network3）、跨模態特征融合模塊（CMIFM）（Network4），證明本文模型的有效性。其中，Network2 由兩個生成器和兩個鑒別器組成，每個生成器都和Network1 中的生成器結構相同，并將前兩個卷積塊進行耦合，鑒別器與本文模型的鑒別器結構相同，并將第三、四個卷積塊和最后一個Linear 層進行耦合；Network3 在Network2 的基礎上將前兩個卷積塊替換為CC-TFEM，后兩個卷積塊替換為C-TFRM，并將CC-TFEM 模塊進行耦合，且在CC-TFEM 與C-TFRM 之間加入長跳躍連接；Network4 在Network3 的基礎上，將中間卷積塊替換為CMIFM。

定性實驗：如圖9 所示，因單鑒別器僅對源CT 圖像和融合圖像進行鑒別，所以Network1 得到的結果整體比較模糊，對PET 圖像中病灶的表現能力較差；Network2 對兩幅源圖像和融合圖像進行鑒別，故病灶的表現能力有所提升，但整體依然比較模糊；Network3 加入CC-TFEM 模塊后，從指標值可以看出融合圖像的亮度、對比度等有所提升，這說明了CC-TFEM 可以充分提取圖像的全局深度特征信息，且跳躍連接使得淺層特征提取模塊中的紋理特征得到充分利用，該模塊可以更好地保留源圖像中重要的互補特征信息；CDIFM 模塊使得融合圖像具有更多的梯度信息，提升了融合圖像的質量，與Network3的融合結果相比，CDIFM 使得融合結果更清晰地在突出病灶的同時反映圖像的紋理背景信息，Network4 源圖像的互補語義特征信息交互更充分。

圖9 消融實驗定性比較Fig.9 Qualitative comparison of ablation experiments

定量實驗：表3 展示了消融實驗的評價指標數據，從數據結果中可以看出，本文所提出的模塊都能夠一定程度地提升融合的性能。具體來說，雙耦合生成對抗網絡相較于基準網絡在除MI外都得到了一定程度的提升，Network4 與Network3 相比，SD 分別提升了 4.66%，11.45%，5.02%，3.87%和1.01%，SF 分別提升了8.76%，0.38%，10.49%，0.27% 和2.26%，說明耦合生成對抗網絡結構能夠有效且更多地保留源圖像特征信息；加入CC-TFEM 和CTFRM 后，除SSIM和SD外的指標值都得到了提升，說明該模塊可以有效地提取源圖像的局部和全局上下文特征；加入CMIFM 后，所有指標都得到了提升，說明CMIFM 可以有效地交互跨模態圖像之間的互補信息。

表3 消融實驗結果評價指標Tab.3 Evaluation index of ablation experimental results.

4 結 論

為解決跨模態醫學圖像融合不充分、病灶區域不明顯等問題，本文提出了雙耦合交互式融合GAN，用于肺部腫瘤PET/CT 跨模態醫學圖像融合。本文模型以耦合生成器耦合鑒別器的結構來進行一個兩團隊的博弈游戲，兩個生成器分別用于生成具有偏向性的預融合圖像，鑒別器迫使融合圖像包含更多源圖像的特征信息。在生成器中，首先，提出耦合CNN-Transformer 的特征提取模塊（CC-TFEM），在挖掘源圖像中的局部信息的同時也能學習特征之間的全局交互信息；然后，設計基于Swin Transformer 的跨模態交互式融合模塊（CMIFM），分別對同一模態和跨模態圖像進行融合，在整合同一模態內的全局交互信息的同時進一步整合不同模態之間的全局交互信息；最后，通過CNNTransformer 特征重構模塊（C-TFRM）對融合后的圖像進行重構，生成兩幅“預融合”圖像。在耦合鑒別器的最后幾層共享權值，使訓練過程更加穩定。為了驗證本文模型的有效性，在肺部腫瘤PET/CT 醫學圖像數據集上進行實驗，通過與現有的醫學圖像融合模型的對比實驗，在平均梯度，空間頻率，結構相似度，標準差，峰值信噪比，信息熵等上與其他四種方法中最優方法相比，分別提高了 1.38%，0.39%，29.05%，30.23%，0.18%，4.63%，結果表明本文模型在絕大多數指標數據上取得了最優值，消融實驗表明，本文所提模塊都能在一定程度上提升模型的效果，通過定性實驗證明，本文模型得到的融合圖像符合人類視覺感知，能夠較好地融合PET 圖像中的病灶信息和CT 圖像中的紋理信息，有助于醫生更快速、更精準地定位肺部腫瘤在解剖結構中的位置。