融合殘差和對抗網絡的跨模態PET圖像合成方法

肖晨晨，陳樂庚，王書強

1.桂林電子科技大學電子工程與自動化學院，廣西 桂林 541004

2.中國科學院深圳先進技術研究院數字所生物醫學信息技術研究中心，廣東 深圳 518055

隨著科學技術的發展，醫學圖像的獲取方式多種多樣，不同模態的醫學圖像具有不同的優點和缺點。例如，磁共振成像（magnetic resonance imaging，MRI）對人體沒有輻射，軟組織結構顯示清晰，能夠獲得豐富的診斷信息，但采集時間較長，容易產生偽影；正電子發射型計算機斷層掃描（positron emission computed tomography，PET）能夠通過病變區域組織功能性的改變對疾病做出早期診斷，但價格昂貴，圖像分辨率低。經研究表明，人體因疾病引起的形態或功能異常往往表現在各個方面，單一模態成像設備獲取的信息往往無法全面反映疾病的復雜特征[1]，但臨床上同時采集不同模態的醫學圖像需要大量的時間和財力。因此，如何利用現有模態的醫學圖像，通過計算機技術精準地合成所需模態的圖像是近幾年的研究方向。

目前，醫學圖像跨模態合成方法多基于深度學習，根據所用數據的不同可分為基于成對數據的跨模態合成方法和基于不成對數據的跨模態合成方法。由于基于不成對數據的跨模態合成無法生成特定受試者的圖像，因此本文研究基于成對數據的跨模態合成方法。Li等人[2]利用3D CNN 進行從MRI 到PET 的預測，為增加樣本數據量，實驗將每個樣本圖像分成多個圖像塊，該算法生成的PET 圖像得到了較好的分類效果。Gao等人[3]提出深度殘差編解碼網絡（residual inception encoder-decoder neural network，RIED-Net）來學習不同模態圖像間的映射，提高了生成性能。Nie等人[4]提出用自動上下文模型實現上下文感知的生成對抗網絡，獲取MRI 到CT（computed tomography，電子計算機斷層掃描）圖像的映射，具有較高的準確性和魯棒性。Bi等人[5]提出一種利用多通道生成對抗網絡合成PET 圖像的方法，實驗在50 個肺癌病人的PET-CT 數據上進行，能夠獲得較真實的PET圖像。Ben-Cohen等人[6]將全卷積網絡與條件生成對抗網絡結合，用給定的CT 數據生成預測的PET數據，得到了不錯的效果。Yaakub等人[7]提出基于殘差網絡的3D 生成對抗網絡模型，學習從MRI 到FDG（Fluoro deoxy glucose，氟脫氧葡萄糖）PET 的映射，對局灶性癲癇患者的臨床評估比統計參數映射分析更有效。以上跨模態合成方法雖然都取得了不錯的效果，但由于醫學圖像空間結構復雜，以上合成結果仍不能很好地表示人體組織的邊緣信息，存在信噪比低、邊緣模糊等問題。另外，現有公開的醫學圖像數據集中成對數據較少，以上方法所采用的數據多是自己采集，需要耗費大量的人力物力。

綜上所述，為了在成對數據有限的情況下提高特定受試者PET圖像的合成效果，本文提出了一種融合殘差模塊和生成對抗網絡的從MRI圖像跨模態合成PET圖像的方法。主要工作有以下三點：將改進的殘差初始模塊和注意力機制引入到生成器中，以充分提取MRI圖像的特征；改進pix2pix網絡框架，判別器采用多尺度判別器，提高判別性能；損失函數在傳統對抗損失和L1損失的基礎上添加多層級結構相似損失，更好地保留圖像的對比度信息。

1 相關工作

1.1 生成對抗網絡

生成對抗網絡（generative adversarial network，GAN）最早由Goodfellow 等人[8]于2014 年提出，包括一個生成器G和一個判別器D。生成器接收來自某一分布的噪聲z作為輸入，將其映射到數據空間，捕獲真實樣本x的數據分布，從而生成類似真實數據的生成樣本G(z)。判別器以生成樣本和真實樣本作為輸入，目標是將生成樣本G(z)分類為假，真實樣本分類為真。

GAN 的訓練是生成器與判別器不斷相互對抗，進行極大極小值博弈，最終達到動態平衡的過程。GAN的目標函數定義為：

由于不加條件的生成對抗網絡生成的結果具有很大的不確定性，Mirza等人[9]提出給生成器和判別器添加額外信息y作為條件，構建條件生成對抗網絡（conditional generative adversarial network，CGAN）。CGAN的損失函數定義為：

pix2pix網絡[10]是CGAN的一種，用于圖像翻譯。但它不再輸入噪聲，而是直接將原始圖像作為條件輸入給生成器，判別器則以目標圖像及生成圖像與原始圖像組成的真假圖像對作為輸入，判別其真假。

1.2 殘差初始塊

殘差初始塊[3]結構如圖1 所示，包括兩條路徑。其中，兩個3×3的卷積路徑對數據特征進行提取，1×1的初始殘差短路連接能夠加深（編碼器中）或減小（解碼器中）卷積核的深度，同時解決輸入特征映射與輸出特征映射具有不同通道的問題，確保輸入輸出映射在像素級別的融合。與inception模塊相比，殘差初始塊的參數更少，結構更簡單，能夠解決網絡深度帶來的問題。

1.3 注意力模塊

Oktay 等人[11]提出用于醫學圖像的注意力模塊，結構如圖2 所示。注意力機制通過門控信號g確定每個輸入xl上不同區域的注意力系數，從而使網絡把注意力放在與任務更相關的區域，抑制無關的背景區域。添加了注意力模塊的神經網絡具有更高的靈敏度和精度。

圖2 注意力模塊Fig.2 Structure of attention module

2 本文算法

本文改進的融合殘差模塊和生成對抗網絡的跨模態PET 圖像合成方法的模型框架如圖3 所示。生成器以真實MRI 圖像作為輸入，學習MRI 與PET 之間的特征映射關系，生成與真實MRI相對應的合成PET。合成PET與真實PET分別與真實MRI拼接成真假圖像對，兩個判別器以真假圖像對作為輸入進行真假判別，最后將兩個判別結果加權平均作為最終結果。

圖3 本文模型框架Fig.3 Framework of proposed model

2.1 生成器網絡

由于具有良好的性能和對內存的高效利用，U-Net[12]在醫學圖像分割任務中應用廣泛。因此，本文算法以U-Net作為生成器。

生成器結構如圖4所示，由編碼路徑和解碼路徑組成。編碼路徑由一系列3×3 卷積、4×4 卷積、批歸一化層、激活層構成。算法用卷積層替代U-Net中的最大池化層，通過卷積操作不斷提取MRI圖像的關鍵特征，壓縮從低層到高層提取的重要信息。解碼路徑由一系列3×3卷積、4×4反卷積、批歸一化層、激活層組成，從編碼路徑壓縮的特征映射中重建出最終輸出。

圖4 生成器結構Fig.4 Structure of generator

為了更好地學習圖像中的像素信息，本文算法將改進的殘差初始模塊引入到編解碼路徑中，以保證更好的生成效果。在神經網絡中增加卷積核的大小可以擴大感受野，但是一味地增大卷積核會使網絡參數變多，給網絡的訓練帶來一定難度。因此，本文算法在殘差初始模塊的3×3 卷積路徑上增加一個3×3 卷積，用3 個小卷積核代替更大的卷積核，在擴大感受野的同時盡可能地減少網絡參數。另外，殘差初始模塊的引入還能解決網絡深度帶來的梯度消失問題。

由于醫學圖像結構信息及空間信息較自然圖像更加復雜，為更好的提取MRI圖像中的關鍵結構特征，本文算法將生成器的編解碼路徑深度設置為7 層。但是考慮到網絡復雜度和內存消耗問題，算法并沒有將改進的殘差初始模塊放到編解碼路徑的所有卷積層中，而是通過多次實驗對比生成效果，最終將殘差初始模塊放在網絡的中間四層，編碼路徑的前3層和解碼路徑的最后3層僅采用兩個3×3的卷積，在提高生成質量的同時，減少網絡參數和訓練時間。

U-Net 中的跳躍連接能捕捉編碼路徑到解碼路徑的上下文特征，通過底層特征與高層特征的融合能夠保留更多高層特征圖的細節信息，但其中也可能包含與合成任務不相關的特征信息。因此，為提高合成質量，本文算法在跳躍連接路徑中引入自注意力機制，在跳躍連接操作之前結合解碼路徑提取的特征，通過注意力門機制，減小不相關特征的權重，進一步消除跳躍連接中不相關特征和噪聲帶來的干擾，突出跳躍連接中的關鍵特征，從而更好地捕捉MRI 圖像的關鍵信息。

另外，為了防止網絡過擬合，算法還在生成器中引入dropout操作。最后，經過編解碼后的特征信息，通過Tanh激活函數得到合成的PET圖像。

2.2 判別器網絡

為了更好地學習PET圖像的局部特征和全局特征，提高判別器的博弈能力，使生成器生成更符合真實分布的PET 圖像，本文采用多尺度判別器，即局部判別器和全局判別器。通過兩個具有不同感受野（70×70和128×128）的判別器，生成器和判別器可以學習空間上距離較短和較長的像素間的關系。

判別器網絡基于patchGAN 的思想，先將圖像分為N×N塊，再分別對每個子塊進行真假判別。兩個判別器網絡分別是5 層和7 層，均由卷積層、批歸一化層、激活層交替構成，最后將所有結果加權平均作為判別器的輸出。

2.3 損失函數

本文采用對抗損失、L1 損失和多層級結構相似損失（multi-scale structural similarity，MS-SSIM）作為損失函數。

2.3.1 對抗損失

對抗損失能夠在一定程度上約束生成結果，使結果更接近真實分布。對抗損失如式（3）所示：

2.3.2 L1損失

L1損失通過生成器來減小真實圖像和合成圖像之間的差異。L1損失如式（4）所示：

2.3.3 MS-SSIM損失

結構相似性（structural similarity，SSIM）最初被Wang等人[13]提出用來衡量兩幅圖像的相似性。損失函數中引入多尺度結構相似損失能夠更好的保留圖像的亮度、對比度信息。

MS-SSIM損失如式（5）所示：

模型最終的損失函數如下式所示：

其中，λi(i=1,2,3 )為各損失的權重系數。

3 實驗結果及分析

3.1 實驗平臺

本文實驗在pytorch 框架上進行，實驗的硬件配置是Intel i7-6700 CPU，NVIDIA GeForce GTX1080Ti GPU。軟件環境為Ubuntu16.04 操作系統，Cuda9.0，Cudnn7.6，Pytorch1.1.0，Pyhton3.7。

3.2 數據準備及參數設置

本文采用來自阿爾茨海默病神經影像學計劃（Alzheimer’s disease neuroimaging initiative，ADNI）公共數據集[14]的716 個阿爾茲海默病受試者的成對MRI和PET 圖像，去除33 個受試者的異常數據，最終采用683個受試者的數據。

進行模型訓練之前，先對數據進行預處理。本文采用FSL 軟件[15]進行數據預處理，預處理步驟包括去脖子、顱骨剝離以及線性配準到MNI152空間。經過預處理之后，得到大小為91×109×91的三維數據。取三維數據的第40個軸向切片，上采樣至128×128的大小作為模型輸入。為了得到更為準確的實驗結果，實驗采用5倍交叉驗證（5-fold cross-validation）的方法，將所有數據隨機分成5組，輪流選取其中4組作為訓練集（547個切片），另一組作為測試集（136個切片）。

在網絡訓練階段，對損失函數的權重系數進行調整。由于輸入圖像的像素范圍為（0，1），得到的L1損失數量級較小，而MS-SSIM損失系數數量級較大時，合成圖像的亮度偏高，數量級較小時對結果的作用較小。因此，經過多次實驗調試，最終將各損失函數權重設置為λ1=1，λ2=100，λ3=1。另外，batchsize 設為16，初始學習率設為0.000 2，使用Adam 優化器優化網絡，共迭代訓練200個epoch。其中，前100個epoch學習率不變，后100個epoch學習率線性降為0。

3.3 實驗結果

為驗證本文所改進的算法的性能，本文在ADNI數據集上進行實驗，算法將pix2pix模型作為基準模型，同時與Ried-Net、pGAN[16]、以殘差網絡[17]為生成器的GAN（ResnetGAN）、以殘差U-net 為生成器的GAN 模型[7]等基于CNN和基于GAN的主流算法進行對比，分別從定性和定量兩個方面進行評估，共進行5組交叉實驗。

3.3.1 定性評估

本文算法的生成結果與其他算法的生成結果定性對比如圖5 所示。由圖5 第一行可以看出，與真實圖像相比，其他算法存在結果偏差較大及有斑點噪聲的問題，本文算法的結果則更加完整。另外，其他算法得到的結果結構邊緣看起來過于平滑或模糊，而本文算法生成的結果結構邊緣相對更加清晰，對比度也有了一定改善，視覺上更加接近真實圖像。

另外，由于不同受試者的大腦大小不一，線性配準到標準空間后仍然存在一定的偏差。如圖5第二行、第三行所示，pix2pix和Resnet GAN不能很好地學習這種映射關系，生成的圖像存在模糊、大小映射混亂的問題，其他算法雖然能學習到結構大小的變化，但邊緣信息缺失很多，仍然存在有噪聲和結構誤差大的問題。相比之下，本文算法合成的結果邊緣完整性更好，且沒有噪聲斑點，這可能是因為本文引入了改進的殘差初始模塊，提升了模型性能。由此可見，本文改進的算法生成的結果多樣性更好，而且能更完整地保留圖像的邊緣結構。

圖5 各算法定性結果對比Fig.5 Comparison of qualitative results of algorithms

3.3.2 定量評估

本文采用平均絕對誤差（mean average error，MAE）、峰值信噪比（peak singnal-to-noise ratio，PSNR）和結構相似性指數（SSIM）作為評價指標。

MAE、PSNR計算分別如式（7）和（8）：

其中，MSE是兩張圖像的均方誤差，Imax表示圖像顏色的最大數值，使用8位采樣點表示為255。

SSIM計算如式（9）：

對比實驗得到的定量指標如表1所示。可以看出，與其他算法相比，本文算法所合成的結果MAE 指標均有所降低，表明本文改進后的算法更加穩定。相比其他算法，本文結果的SSIM 值分別比其他算法高0.106、0.033、0.029、0.040、0.026，表明本文算法能夠提高合成圖像的質量。相比MAE 和SSIM 指標，本文算法的PSNR 值提升更加明顯。除基于ResidualUnet 的GAN模型外，本文算法的PSNR 值分別提升了0.575 dB、0.056 dB、0.109 dB、0.257 dB，可見算法能夠在一定程度上提高合成圖像的質量。與基于ResidualUnet 的GAN模型相比，本文算法結果的PSNR值有所降低。這可能是因為PSNR是基于誤差敏感的圖像質量評價指標，并未考慮人眼的視覺特性，它所反映的圖像質量有時與人眼觀察的圖像質量不完全相符，這一點也能從定性視覺效果上得到驗證。

表1 各算法定量評估結果Table 1 Quantitative evaluation results of algorithms

因此，綜合實驗的定性結果和定量指標，本文算法能夠提升合成圖像的質量，較好地提升圖像的邊緣合成效果。

4 結束語

本文針對醫學圖像跨模態合成任務中合成結果邊緣模糊、信噪比低等問題，提出一種融合殘差初始模塊和生成對抗網絡的跨模態PET圖像合成方法，通過在生成器中引入改進的殘差初始模塊和注意力機制，提升生成器的學習能力，采用多尺度判別器提升模型的判別性能。在ADNI數據集下的對比實驗結果表明，本文改進的算法能夠很好的保留圖像的結構信息和對比度信息，生成的圖像視覺上更貼近真實圖像。但本文仍存在一些不足之處，如不同參數的儀器采集到的醫學圖像有一定偏差，本文采用相同的預處理步驟處理所有數據，因此數據的采集方式及預處理方法會對實驗結果有一定影響。另外，本文在進行跨模態PET合成圖像實驗時只取圖像的軸向切片進行實驗，不能完整地展現腦部的三維結構信息。因此，接下來將針對不同的預處理方法以及三維PET圖像跨模態合成方法進行研究。