循環(huán)生成對抗網(wǎng)絡基于顱腦MR圖生成偽CT圖模型

奚謙逸，張 釩，李奇軒，焦竹青，倪昕曄

(1.常州大學微電子與控制工程學院，江蘇 常州 213164；2.南京醫(yī)科大學附屬常州第二人民醫(yī)院放療科，江蘇 常州 213003；3.南京醫(yī)科大學醫(yī)學物理研究中心，江蘇 常州 213003)

放射治療(簡稱放療)是治療腫瘤的主要方法之一，要求射線準確照射靶組織以消除病灶，同時避免對周圍組織造成損傷[1]，放療前精確描繪靶組織與正常組織至關重要。臨床多基于CT圖像勾畫靶組織與正常組織器官，但其區(qū)分電子密度相近的軟組織結構的效果較差，勾畫靶區(qū)時或難以確定[2]。與CT相比，MRI可更好地顯示軟組織，近年已越來越多地用于制定放療計劃；迄今已有多種方法可基于MRI生成偽CT圖像，傳統(tǒng)方法包括基于分割[3]、圖集[4]、統(tǒng)計學習[5]及隨機森林的方法[6]。隨著深度學習的發(fā)展，利用U-net[7]、生成對抗網(wǎng)絡(generative adversarial networks,GAN)[8]及循環(huán)GAN(cycle-consistent GAN，CycleGAN)[9]等均可基于MRI生成偽CT圖像。本研究基于U-net網(wǎng)絡改進CycleGAN(UCycleGAN)，利用顱腦MRI生成偽CT圖，并評估其圖像質(zhì)量。

1 資料與方法

1.1 數(shù)據(jù)來源 收集2018年6月—2021年3月常州市第二人民醫(yī)院50例鼻咽癌的顱腦MR圖和CT資料，男22例、女28例，年齡35～86歲、平均(62.5±7.9)歲；將其中40例用于訓練模型，另10例用于測試。MR圖由Philips Achieva Scanner 1.5T MR設備獲取，T1WI掃描參數(shù)：TR 1 343 ms，TE 80 ms，F(xiàn)A 90°，圖像大小640×640×30～640×640×41，體素間距0.664 0 mm×0.664 0 mm×5 mm。CT圖由GE Optima CT520設備采集，掃描參數(shù)：管電壓120 kV，管電流220 mA，圖像大小512×512×101～512×512×123，體素間距0.976 5 mm×0.976 5 mm×3 mm。

1.2 圖像預處理 因采集2種模態(tài)圖像時所用掃描條件不同，且相同患者的肌肉及脂肪在2種模態(tài)成像中的位置存在明顯差異(非配對數(shù)據(jù))，故以CycleGAN網(wǎng)絡對其進行訓練。首先對MR圖和CT圖進行偏置場校準和剛性配準，以使2種模態(tài)圖像中對應解剖結構的位置相同；再對CT圖進行掩膜處理；之后以根據(jù)MR圖提取的掩膜區(qū)域去除CT圖中的體位固定裝置(圖1)。

圖1 預處理后的CT圖(A)與MRI(B)

1.3 網(wǎng)絡訓練與測試 原始CycleGAN由前向循環(huán)和后向循環(huán)組成，其中分別有2個生成器G和F，以及1個判別器網(wǎng)絡D。在前向循環(huán)中，生成器G以原始MR圖作為輸入，輸出則為生成的偽CT圖，將判別器DCT用于區(qū)分生成的偽CT圖與原始CT圖。將生成器G的輸出作為生成器F的輸入，F(xiàn)輸出相應的偽MR圖。將生成器F輸出的偽MR圖與輸入生成器G的MR圖進行對比，以構成前向循環(huán)的循環(huán)一致性。在后向循環(huán)中，以CT圖作為生成器F的輸入，其輸出則為偽MR圖；將判別器DMR用于區(qū)分生成的MR圖與原始MR圖；生成器G的輸入為MR圖，輸出為偽CT圖；將生成器G輸出的偽CT圖與輸入生成器F的原始CT圖進行對比，以構成后向循環(huán)的循環(huán)一致性[9]。

原始CycleGAN的生成器網(wǎng)絡部分采用深度殘差網(wǎng)絡。在UCycleGAN網(wǎng)絡中以U-net網(wǎng)絡替換原始的深度殘差網(wǎng)絡，并在CycleGAN中加入L1距離函數(shù)，以最小化像素水平的平均誤差，提高合成圖像精準度(圖2)。

圖2 UCycleGAN的網(wǎng)絡結構 (G、F為生成器，DCT、DMR為判別器)

CycleGAN由2種損失函數(shù)構成，分別為生成對抗損失函數(shù)和循環(huán)一致性損失函數(shù)。生成器G和F的生成對抗損失函數(shù)如公式(1)和(2)。前向循環(huán)一致性損失函數(shù)Lforward-cyc和后向循環(huán)一致性損失函數(shù)Lbackward-cyc組成循環(huán)一致性損失函數(shù)LCycle-consistency，如公式(3)～(5)。CycleGAN完整損失函數(shù)見公式(6)。

LGAN_G_MRto CT=Ect～Pdata(ct)[‖log(DCT(ct))‖1]+

Emr～Pdata(mr)[‖log[1-(DCT(G(mr)))]‖1]

(1)

LGAN_F_CTtoMR=Emr～Pdata(mr)[‖log(DMR(mr))‖1]+

Ect～Pdata(ct)[‖log[1-(DMR(F(ct)))]‖1]

(2)

Lforward-cyc=Emr～Pdata(mr)[‖(F(G(mr))-mr)‖1]

(3)

Lbackward-cyc=Ect～Pdata(ct)[‖(G(F(ct))-ct)‖1]

(4)

LCycle-consistency=Lforward-cyc+Lbackward-cyc

(5)

LCycleGAN=LGAN_G_MRtoCT+LGAN_F_CTtoMR+λLCycle-consistency

(6)

式中，λ是循環(huán)一致性損失函數(shù)所占的權重[10]。

兩幅圖之間L1距離以公式(7)計算，即兩幅圖每個對應像素的灰度值差值的絕對值之和。將L1距離添加至CycleGAN中，則可以將L1距離函數(shù)以公式(8)改寫。將L1距離函數(shù)加入CycleGAN原損失函數(shù)中，獲得新的CycleGAN總損失函數(shù)，見公式(9)。

(7)

LL1=EMR,CT～Pdata(MR,CT)[‖G(MR)-CT‖1]+

ECT，MR～Pdata(CT,MR)[‖F(xiàn)(CT)-MR‖1]

(8)

LCycleGAN=LGAN_G_MRtoCT+LGAN_F_CTtoMR+λLCycle-consistency+βLL1

(9)

1.4 對比分析 分別采用ResNet、U-net的CycleGAN及Pix2Pix生成器[11]從MR圖生成偽CT圖。基于python實現(xiàn)基于不同深度學習模型生成偽CT圖的任務，訓練參數(shù)和UCycleGAN基本一致，均采用Adam優(yōu)化器對模型進行200個輪次訓練，批處理數(shù)據(jù)大小設置為1，初始固定的學習率為0.000 2，經(jīng)過200個輪次訓練后的學習率逐漸減少為0。

1.5 評估指標 利用平均絕對誤差(mean absolute error，MAE)、峰值信噪比(peak signal-to-noise ratio，PSNR)及結構相似性(structural similarity，SSIM)評價不同網(wǎng)絡生成的偽CT圖與原始CT圖之間的差異，見公式(10)～(13)。

(10)

ICT(i)表示原始的CT圖某像素點的CT值，SynCT(IMR(i))表示偽CT圖與原始CT圖嚴格對齊的像素點的CT值。MAE越小代表偽CT圖越接近原始的CT圖。

(11)

(12)

式中，MAXI表示圖像顏色的最大數(shù)值。MSE表示均方誤差，PSNR越大就代表偽CT圖失真越少，越接近原始CT圖。

(13)

1.6 統(tǒng)計學分析 采用SPSS 22.0統(tǒng)計分析軟件。以±s表示符合正態(tài)分布的計量資料，模型間評價指標比較行配對t檢驗。P<0.05為差異有統(tǒng)計學意義。

2 結果

相比其他模型，采用UCycleGAN合成的偽CT圖細節(jié)更豐富，更加貼近原始圖像，見圖3。相比原始CT圖，以4種模型生成的偽CT圖的骨質(zhì)區(qū)域均存在誤差；與CycleGAN_ResNet相比，采用UCycleGAN合成的偽CT圖與原始CT圖的差異最小，見圖4。HU直方圖(圖5)顯示，1 000 HU上下，UCycleGAN偽CT圖與原始CT圖的HU峰值更為接近。相比其他模型，UCycleGAN模型生成的偽CT圖與原始CT圖更為接近，其體素MAE為(81.45±3.87)HU，PSNR為(34.13±3.28)dB，SSIM為0.87±0.03。以UCycleGAN模型生成的偽CT圖的MAE小于、而SSIM明顯大于其他3種模型(P均<0.05)；UCycleGAN偽CT圖的PSNR大于CycleGAN_ResNet(P<0.05)，與另2種模型比較差異均無統(tǒng)計學意義(P均>0.05)，見表1。

表1 不同模型生成的偽CT圖的評價指標

圖3 基于MR圖生成的偽CT圖

圖5 偽CT圖與原始CT圖的HU直方圖

3 討論

相比傳統(tǒng)CT引導模式，采用MRI引導放療具有安全、無輻射、對軟組織對比度高等優(yōu)點，但MR圖無法提供電子密度的直接信息，故需先將MR圖轉(zhuǎn)換為CT圖[12]。既往常以深度學習方法，如U-net[13]、GAN[14]、Pix2Pix[15]等，根據(jù)MR圖生成CT圖，均需要采用經(jīng)過配對的MRI與CT數(shù)據(jù)集，且對數(shù)據(jù)配準精度要求較高；但臨床實際工作中，常難以獲得經(jīng)過配對的MRI/CT數(shù)據(jù)集。

本研究提出在原始CycleGAN基礎上更改生成網(wǎng)絡，并添加L1距離函數(shù)的方法。CycleGAN在GAN的網(wǎng)絡結構的基礎上增加了1個還原網(wǎng)絡用于還原輸出，通過將還原后圖像的像素與原始輸入像素進行比較來確保輸出與輸入的對應關系，其還原均為提取特征后的還原，并不需要輸出與輸入在形式上完全一致，而要求其深層次特征保持一致，故可使用未經(jīng)配對的數(shù)據(jù)集，即對獲取數(shù)據(jù)的要求較低，可用于解決訓練數(shù)據(jù)集配準精度不高的問題；可同時進行2種不同模態(tài)轉(zhuǎn)換，以獲得比常規(guī)網(wǎng)絡更為豐富的圖像信息。圖像預測任務中，輸入圖像與生成圖像的低級特征存在諸多相似處，利用U-net網(wǎng)絡的跳躍連接將編碼器和解碼器中的對應特征映射并加以連接，可使編碼器能夠使用這些特征，進而減少損失；來自編碼器的特征信息也可用于解碼，以在更深層次上積累空間信息，故其相比殘差網(wǎng)絡更具優(yōu)勢。另外，L1距離函數(shù)傾向于最小化像素水平的平均誤差，可提高圖像合成精度。基于以上各項，與原始采用深度殘差網(wǎng)絡的CycleGAN及采用U-net的CycleGAN相比，本研究方法可減少在編碼時損失的同時降低圖像合成誤差，提高圖像合成質(zhì)量；相比Pix2pix和原始CycleGAN生成圖像，以上述方法生成的偽CT圖可提供更多對比信息，顯示骨骼更加完整，并更加貼近原始CT圖；4個模型的誤差均主要見于骨骼區(qū)域，可能與CT和MR成像原理差異有關。

盡管本研究采用UCycleGAN使得合成效果得到顯著提升，但系將三維圖像轉(zhuǎn)換為二維圖像，尚未利用圖像的三維結構信息，仍需繼續(xù)改進。

綜上所述，利用UCycleGAN可由頭顱MR圖生成偽CT圖，且比常規(guī)深度學習方法更為精準，有助于實現(xiàn)MRI引導放療。