面向急性缺血性腦卒中CT到MRI的圖像生成

馮二燕,秦品樂,柴 銳,曾建朝,孟延鋒

(1.山西省醫學影像與數據分析工程研究中心(中北大學),山西 太原 030051;2.中北大學 計算機科學與技術學院,山西 太原 030051;3.山西醫科大學 附屬太原中心醫院,山西 太原 030009)

0 引 言

急性缺血性腦卒中是因血管堵塞造成大腦缺血而引起的腦組織病變,且發病癥狀較為平緩,不容易引起人們的注意,因此對急性缺血性腦卒中患者及早的治療和診斷是至關重要的。計算機斷層掃描(Computed Tomography,CT)是疑似腦卒中排除顱內出血的首選方法[1]。且CT檢查快,十幾秒就可完成。但CT對于急性缺血性腦卒中敏感度極低,病灶成像不明顯,需要做進一步的磁共振成像(Magnetic Resonance Imaging,MRI)檢查。彌散加權成像(Diffusion Weighted Imaging,DWI) MRI對急性缺血性腦卒中的病灶極其敏感,特別是對小梗死病灶,可在數分鐘內發現缺血灶[2]。但MRI價格貴,檢查時間長,并且對于一些特殊人群使用受限,如有金屬植入物的病人,這導致醫生不能及時地做出影像診斷[1-3]。針對為急性缺血性腦卒中患者贏得救治黃金時間問題,目前研究的熱點主要集中在以下兩個方面:(1)利用影像組學在CT影像上確定急性缺血性腦卒中病灶位置;(2)通過生成對抗網絡由CT生成MRI,可在生成的MRI上獲得病灶信息。這兩種方法都在試圖通過CT做出診斷,避免做進一步的MRI檢查,為患者贏得搶救時間。

就第一個問題而言,通常醫生無法通過CT影像確定病灶位置及范圍,但研究表明,CT上病灶組織與正常組織存在肉眼不易察覺的差異性[4-5]。Guan等[6]利用影像組學證明了急性缺血性腦卒中病灶在CT上是可分的,且病灶區域與正常區域的影像組學特征差異明顯。這些方法驗證了在CT上病變組織的可分性,但需要依據真實的MRI手動分割病灶,這使得僅從CT上確定病灶位置成為一大難題。

另一方面,現多數研究致力于通過生成對抗網絡建立CT到MRI之間的映射關系,進而實現CT到MRI的跨模態圖像生成[7]。Zhang等[8]在pix2pix的生成器U-Net網絡的下采樣后引入殘差塊,加深網絡提取高級特征但不會引起網絡退化問題,以此來實現腦腫瘤的CT到MRI的跨模態圖像生成。但腦腫瘤在CT和MRI上都清晰可見,二者信息量基本對等。Li等[9]利用多種深度學習方法從腦部CT生成MRI,最終證明有監督的U-Net[10]生成的MRI更具有臨床意義。對于未配對的數據,CycleGAN[11]利用雙循環一致性找到CT和MRI之間的對應關系,但該模型在配對數據上生成的圖像分辨率有限。這些生成算法都是在CT和MRI復雜性相當的情況下進行的,當二者的信息量不平衡,例如對于急性缺血性腦卒中,CT對缺血灶不敏感,而病灶在MRI上表現為高信號區域,CT包含的信息量比MRI少,從CT生成MRI就會出現以下問題:(1)生成的圖像質量差:因為生成器是以復雜度低的CT輸入而生成復雜度高的MRI,導致生成的MRI上無病灶出現甚至出現錯誤病灶。(2)映射關系混亂:從信息量少的CT生成信息量多的MRI,二者對應關系變化大,導致模型對輸入的變化極其敏感。

為解決上述問題,該文首先提取CT病灶區域的影像組學特征來平衡信息量,再結合生成對抗網絡從CT生成MRI,提出一種面向急性缺血性腦卒中的CT到MRI的跨模態圖像生成算法,主要工作有:

(1)基于影像組學的CT病灶檢測。根據影像組學在病灶區域與正常區域提取的特征差異明顯,將多個不同大小的錨框作為感興趣區域,選擇影像組學特征差異最大的錨框作為病灶候選區域。然后,提取病灶候選區域的影像組學特征,從而獲取到CT上的隱藏特征,豐富CT的信息量。

(2)融合影像組學特征的CT到MRI的跨模態圖像生成。在病灶候選區域提取的影像組學特征中篩選出信息增益最大特征可視化為特征圖,將特征圖與真實CT圖像作為兩個通道輸入生成對抗網絡中。生成對抗網絡采用pix2pix網絡,生成器引入殘差模塊,鑒別器采用PatchGAN。

(3)引入病灶特征相似性損失函數。為促使影像組學在生成的MRI病灶區域提取的特征與真實病灶特征相一致,該文引入病灶特征相似性損失函數。在生成的MRI和真實的MRI上提取病灶區域影像組學特征,減小二者的特征差異性,以便生成器將更多的注意力集中在病變部位,從而提高生成圖像的真實性。

1 相關工作

1.1 影像組學

影像組學特征可代表一定的生物學特征,并可作為對患者診斷、治療和預后的依據[12]。例如,影像組學提取的乳房紋理特征已被證明與乳腺癌高度相關,且與乳房密度相結合可以進一步提高預測乳腺癌的準確率[13]。隨著機器學習與深度學習的發展,影像組學已廣泛應用于腦卒中的預測和診療中。通常醫生在急性缺血性腦卒中的CT中無明顯發現,但利用影像組學可檢測出梗死組織與正常組織的差異。Hofmeister等[14]在急性缺血性腦卒中梗死區域提取特征,且利用提取的特征預測溶栓的成功率,AUC達到了0.88。眾所周知,高危頸動脈斑塊可增加腦梗死的風險,Zhang等[15]利用影像組學提取特征,建立機器學習模型區分有癥狀的斑塊和無癥狀的斑塊,AUC達到了0.98,而醫生的傳統檢測方法AUC僅達到0.80。這些研究旨在說明影像組學可以發現病變區域與正常區域的差異,而這些差異在視覺上難以察覺,且所提取的影像組學特征對輔助臨床診斷具有很大的意義。

1.2 生成對抗網絡

生成對抗網絡(Generative Adversarial Network,GAN)[16]已廣泛應用于醫學圖像生成。GAN網絡的輸入是隨機噪聲,網絡生成的模式無法控制,因此CGAN[17]在GAN網絡的基礎上,輸入添加了條件圖像,使生成的圖像與條件圖像之間有對應關系。Nie等[18]提出一種3D GAN網絡,實現由MR圖像生成CT圖像。Ben-Cohen等[19]提出將全卷積網絡(FCN)與條件生成對抗網絡(CGAN)相結合的算法,由CT生成PET圖像,生成的PET圖像可以減少病變檢測中的假陽性。pix2pix[20]網絡將輸入圖像作為條件圖像和隨機噪聲的統一,實現了端到端的圖像生成。而pix2pix需要嚴格配對的數據,對于醫學圖像,配對數據較難獲得。Cao等[21]將密集網絡引入CycleGAN,通過不配對數據實現了MRI到CT的生成,加強了特征的傳遞,避免了梯度消失問題,但生成的CT在骨骼和組織處不清晰甚至有偏差。Armaniou等[22]將對抗網絡與非對抗損失相結合提出MedGAN網絡,并應用在PET圖像與CT圖像的相互轉化中。但MedGAN僅考慮了單通道問題,這會影響CT中運動偽影的矯正,相對位置變化導致在訓練不穩定。對于急性缺血性腦卒中實現CT到MRI的跨模態圖像生成,文獻[23]提出了一個3D-GAN網絡從CT生成MRI,可以幫助檢測疑似腦卒中患者。但它生成的MRI與真實的MRI不太相似,雖然可以在生成的MRI上看到病灶,用來檢測疑似腦卒中患者,但是病灶的位置和大小與真正的MRI有很大不同。文獻[24]訓練了一個改進的CGAN網絡以從CTP生成MRI DWI。而CTP比CT包含更多的病灶信息。但CT對急性缺血性腦卒中病灶不敏感,在生成過程中無法提供更多的病灶信息,因此,該文引入了病灶的影像組學特征來輔助生成。考慮到所使用的數據集是配對的,且需要多通道輸入,采用需要配對數據的pix2pix網絡并加以改進,在生成器中加入殘差模塊,獲取CT和MRI之間更深層次的聯系又不會引起網絡退化問題,從而提高生成圖像的質量。

2 文中算法

面向急性缺血性腦卒中CT到MRI的跨模態圖像生成算法整體結構如圖1所示。

圖1 算法整體結構

2.1 基于影像組學的CT病灶檢測

如前所述,急性缺血性腦卒中CT上的信息量少于MRI,因此添加CT病灶區域的影像組學特征來平衡信息量。但急性缺血性腦卒中病灶在CT上不明顯,無法將病灶在CT上分割出來,且病灶在CT上的具體位置是不可知的。所以使用不同尺度的錨框作為感興趣區域。所謂錨框,是指在目標檢測算法中以像素點為中心生成多個不同大小和寬高比的邊界框[25]。研究證明CT上病灶區域與正常區域的影像組學特征差異較大[4-6]。若某個錨框與其他錨框的影像組學特征差異最大,則這個錨框中包含病灶,將這個錨框作為病灶候選區域。若在整幅圖像中生成錨框,則錨框的數量過大,降低了病灶的檢測效率,因此縮小搜索的范圍,將CT的掩模圖像(mask)等分為四部分,如圖1(a)所示,作為四個感興趣區域,分別提取四個感興趣區域的影像組學特征,并比較特征值的差異,若某個區域與其他區域之間特征值的差異最大,則該區域中包含病灶。然后在該區域中繼續生成錨框,尋找病灶區域,直到找到該區域中影像組學特征值差異最大的錨框,將這個錨框作為病灶候選區域。

某一病例的病灶檢測結果如圖2所示。圖2(c)即為檢測出的該病例的病灶候選區域。

圖2 病灶檢測結果

利用影像組學在確定的病灶候選區域提取影像組學特征,然后從大量的影像組學特征中篩選出有效特征。急性缺血性腦卒中病灶區域與其他區域不易區分,且CT到MRI的生成過程需要特征的參與,因此該文使用過濾式特征選擇法。信息增益是過濾式特征選擇的常用指標,代表了在一定條件下,信息不確定性的減少程度,即信息增益越大,該特征就越重要[6]。該文使用以下公式計算每個特征的信息增益:

(1)

(2)

IG(Xi,Y)=H(Y)-H(Y|Xi)

(3)

其中,Xi表示特征值,Y表示是否是腦卒中的隨機變量,IG表示信息增益,即在該特征下,事件Y的不確定性的減少程度。

2.2 融合影像組學特征的CT到MRI的跨模態圖像生成

通過影像組學提取病灶影像組學特征,共提取1 325個特征,去除無用特征,最終提取到1 283個特征。計算每個特征的信息增益,在CT上信息增益不同閾值下篩選的特征數如表1所示。信息增益越大,代表特征越重要,取信息增益最大的特征“wavelet-LLH glrlm RunLengthNonUniformity”,將該特征可視化為特征圖F,將F與真實的CT圖像一同輸入到生成器G中,即輸入為兩個通道,生成器G可表示為:

表1 信息增益不同閾值下篩選的特征數

S_MR=G(I_CT,F)

(4)

其中,S_MR表示生成的MRI,I_CT表示真實的CT,F表示特征圖,G表示生成器。

生成對抗網絡采用pix2pix網絡[20],并增加一個輸入通道,且將殘差模塊引入生成器,構建了Res_pix2pix,網絡結構如圖3所示,包括生成器(G)和鑒別器(D)。生成器的目的是讓生成的圖像盡可能地接近真實圖像從而欺騙鑒別器。I_CT表示真實的CT,F表示可視化后的影像組學特征圖,S_MR為生成的MRI。鑒別器的目的是盡可能地區分生成器生成的圖片與真實的圖片。鑒別器仍采用PatchGAN[18],即把圖像分為若干個N×N的塊,分別鑒別每個塊的真假,再取平均,增強生成圖像的低頻部分。

圖3 Res_pix2pix網絡結構

在醫學圖像生成領域,將U-Net作為生成器實現端到端的圖像生成越來越受歡迎。但U-Net作為生成器在訓練過程中網絡深度不好把握,若網絡層數太淺,則獲得的語義信息不足,若網絡層數太深,則會丟失細節信息。且輸入圖像與輸出圖像外表大不相同但可能存在潛在的聯系,因此,該文采用對稱的Encoding-Transformation-Decoding網絡結構,如圖1(c)所示。“Input layer”表示輸入層,使用7×7的卷積核,將輸入圖像快速轉換為特征映射。在編碼和解碼階段分別采用3×3下采樣卷積層和3×3上采樣反卷積層,從輸入CT中提取特征并生成MRI,激活函數均使用LReLU。為保留更多的細節特征,編碼階段只采用了兩層下采樣層。然后在編碼之后引入九個殘差模塊[26],殘差塊使用3×3的卷積核,步長為2。殘差塊的網絡結構如圖4所示,F(x)是兩層之間的映射函數,F(x)+x得到該殘差塊的輸入。引入殘差既加深了網絡層次,獲得了更多的特征信息,增強生成圖像的質量,又避免了梯度消失問題,使訓練更加穩定,增強了模型的魯棒性。最后在輸出層使用7×7的卷積核,將特征映射快速轉換為生成圖像。

圖4 殘差塊結構

而文獻[27]采用了“U-Net+殘差塊”的生成器結構,為定量對比文中算法與文獻[27]所提算法的模型參數量,分別計算兩種算法的生成器模型參數量,如表2所示。其中,文中算法與文獻[27]的殘差塊單元數量一致,輸入輸出通道數一致。由表2可得,文中算法的生成器網絡參數量比文獻[27]降低了79.23%,文中算法更加輕量級。

表2 生成器網絡參數量對比

2.3 目標函數

Res_pix2pix采用了與CGAN相同的對抗損失函數,然后pix2pix添加L1損失進行全局約束,該文引入病灶特征相似性損失函數進行局部約束。對抗損失如式(5)所示:

LCGAN(G,D)=EICT,IMR[logD(ICT,IMR)]+EICT,z[log(1-D(ICT,G(ICT,Z)))]

(5)

其中,G為生成網絡,D為鑒別網絡,E表示隨機變量服從概率分布的期望,ICT表示真實的CT圖像,IMR表示真實的MR圖像,D(ICT,IMR)表示鑒別器D鑒別真實的圖像是否為真的概率,G(ICT,Z)表示真實的CT圖像與隨機噪聲輸入生成器G中生成的MRI,D(ICT,G(ICT,Z))表示鑒別器D鑒別生成的圖像是否為真的概率。

為使生成的圖像更接近于真實圖像,pix2pix在CGAN的基礎上,增加了L1loss,對生成的圖像有一個全局的約束,L1loss定義如下:

L1(G)=EICT,IMR,Z[‖IMR-G(ICT,Z)‖1]

(6)

為使生成的MRI與真實的MRI在病灶區域保持一致,該文引入病灶特征相似性損失函數(Lf),即減小影像組學在真實的MRI與生成的MRI上提取的病灶特征的差異性,Lf定義如下:

Lf(G)=EICT,IMR,Z[‖FIMR-FG(ICT,Z)‖1]

(7)

其中,FIMR表示影像組學在真實的MRI上提取的病灶影像組學特征值,FG(ICT,Z)表示影像組學在生成的MRI上提取的病灶影像組學特征值。由于數據集中CT與MRI是配準的,因此利用影像組學在CT上確定的病灶候選區域也是MRI的病灶候選區域,同樣提取真實MRI的病灶影像組學特征,篩選信息增益最大的特征,減小該特征的特征值在真實的MRI與生成的MRI上的差異性,使網絡更加關注于生成圖像與真實圖像病灶區域的一致性。

該文的目標函數是多個損失函數的線性組合,即:

(8)

3 實驗結果

3.1 數據集及實驗環境

該文使用的實驗數據集來自于ISLES2018挑戰賽(https://www.smir.ch/ISLES/Start2018),該挑戰賽的目的是實現在CT上自動分割急性缺血性腦卒中病灶。數據集包含103名急性缺血性腦卒中患者,這些患者在發病8小時內就診并在CT灌注成像(CT Perfusion imaging,CTP)檢查三小時后進行DWI模態的MRI檢查。其中訓練集有63名患者,每個患者都有原始CT、四個CT灌注參數圖、DWI和由醫生手動勾畫的病灶區域的標簽;測試集有40名患者,未提供DWI和病灶區域的標簽。因該文研究的是CT到MRI的跨模態生成,需要配對的CT和MRI,所以只使用了訓練集63個病例共438個樣本,去除不包含病灶的切片后,剩余281個樣本參與訓練,且該文只使用了CT和MRI。

實驗開發環境為基于python3.7.10的深度學習框架pytorch1.2.0,訓練模型使用的是系統為Ubuntu16.10 64位的NVIDIA Station服務器,配置了Intel Xeon E5 2620 v4處理器,內存為128 GB,4個Tesla V100顯卡,每個顯卡顯存32 GB。實驗訓練400個epoch,優化器使用Adam優化器,交替訓練生成器G和判別器D,初始學習率為0.000 2,batchsize為8,輸入圖像大小為256×256,輸出圖像大小為256×256。

3.2 評估指標

生成的MRI是否可以幫助醫生做出診斷,需要經驗豐富的放射科醫生根據累積的臨床經驗進行主觀評價。實驗結果經兩名太原市中心醫院經驗豐富的放射科醫生在生成的MRI上確定病灶并進行正誤分類。除此之外,還使用了定量評估指標:平均絕對誤差(Mean Absolute Error,MAE)、峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)、結構相似性(Structural Similarity,SSIM)、皮爾遜相關系數(Pearson Correlation Coefficient,PCC)。評估指標定義如下[9]:

(9)

(10)

(11)

(12)

其中,xi和yi表示真實的MRI和生成的MRI。MAX表示真實MRI和生成MRI的最大像素值。在SSIM中,μx和μy表示真實MRI的平均像素和生成MRI的平均像素。σx和σy表示真實MRI的像素標準差和生成MRI的像素標準差。c1=(k1L)2,c2=(k2L)2,k1=0.01,k2=0.03,L是像素值的動態范圍。

平均絕對誤差是所有誤差的平均值,數值越小表示失真越小;峰值信噪比表示生成圖像與真實圖像的相似性,數值越大表示相似性越高;結構相似性是一種全局的圖像相似性評價指標,數值越大表示相似性越高;皮爾遜相關系數表示生成圖像與真實圖像的相關性,其值的絕對值大于0.8的話可認為二者高度相關。

3.3 對比實驗

首先,將文中算法與pix2pix、CycleGAN、MedGAN、PRGAN[8]、RegGAN[28]進行性能比較。其中PRGAN是應用在腦腫瘤上CT到MRI的跨模態圖像生成,RegGAN是添加了一個額外的配準網絡來訓練生成器,并很好地應用于醫學圖像生成。生成指標對比如表3所示,生成結果如圖5所示。實驗結果表明,各個評價指標在文中算法中均較優,且其他算法在生成的MRI上均無病灶信息,而文中算法生成的MRI中病灶位置正確,形狀與真實的MRI相似。對于其他算法,盡管其在跨模態醫學圖像生成中表現良好,但對于急性缺血性腦卒中,生成網絡并沒有提取到病灶信息,在生成的圖像上也沒有正確的病灶位置及范圍。

表3 不同算法的客觀評價指標

圖5 不同算法生成結果對比

3.4 消融實驗

通過五組消融實驗驗證影像組學特征與病灶特征相似性損失函數對生成圖像的有效性,評價指標如表4所示,生成結果如圖6所示。其中,算法1表示在Res_pix2pix生成器中用相同數量的卷積層替換殘差塊,算法2表示在Res_pix2pix網絡的輸入中增加病灶影像組學特征圖,算法3表示在Res_pix2pix基礎上,在網絡損失函數中加入病灶特征相似性損失函數。

表4 消融實驗的結果

圖6 消融實驗生成結果對比

為驗證Res_pix2pix在生成器中引入殘差模塊的有效性,用相同數量的卷積層替換殘差塊(即算法1),如表4和圖6(e)所示,引入殘差模塊大幅提高了生成圖像的質量,生成的MRI在形態與輪廓上更接近真實的MRI,但病灶并未出現在生成的MRI上。

為進一步驗證病灶影像組學特征的作用,在Res_pix2pix網絡的輸入中增加病灶影像組學特征圖(即算法2),由表4可知,加入病灶影像組學特征生成的圖像各項指標均優于Res_pix2pix。生成結果如圖6(f)所示。實驗結果可得,加入病灶影像組學特征,病灶在生成的MRI上有所體現但不明顯。

為驗證病灶特征相似性損失函數的作用,在Res_pix2pix基礎上,僅在網絡損失函數中加入病灶特征相似性損失函數(即算法3),由表4可知,僅加入病灶特征相似性損失函數,生成的圖像在各項指標上均與Res_pix2pix不相上下,且不如只加入病灶影像組學特征。生成結果如圖6(g)所示,加入病灶特征相似性損失函數病灶并未在生成的MRI上體現,且生成的結果與Res_pix2pix的生成結果差異不大。結果表明若在CT上未確定病灶區域,則很難在生成的MRI上呈現病灶信息。

為驗證病灶影像組學特征和病灶特征相似性損失函數同時作用的效果,在Res_pix2pix基礎上加入病灶影像組學特征和病灶特征相似性損失函數(即文中算法),由表4可得,生成圖像在各項指標中表現較好。生成結果如圖6(h)所示。病灶在生成的MRI上表現明顯,位置正確,形狀與真實的MRI病灶相似,可作為醫生診斷的參考。且經兩名太原市中心醫院經驗豐富的放射科醫生在生成的MRI上確定病灶并進行正誤分類,其中病灶明顯占比94.9%,病灶不明顯的占比5.1%,在不明顯的病灶錯誤病灶占比1.2%,在病灶明顯中無錯誤病灶生成。

綜上可得,加入病灶候選區域的影像組學特征可生成帶病灶的MRI,同時加入病灶特征相似性損失函數后,各項評價指標達到較優,其中平均絕對誤差達到0.034,峰值信噪比達到70.803,結構相似性達到0.783,皮爾遜相關系數達到0.986。

4 結束語

相較于CT,MRI對急性缺血性腦卒中病灶更加敏感,成像更加清晰,但MRI耗時耗力且受限較多。為此,結合影像組學與生成對抗網絡,該文提出一種面向急性缺血性腦卒中CT到MRI的跨模態圖像生成算法。首先,選擇在CT上不同尺度下影像組學差異最大的錨框作為病灶候選區域,提取病灶候選區域的影像組學特征,篩選出信息增益最大的特征并可視化為特征圖。將特征圖與CT一同輸入生成對抗網絡,在生成器中加入殘差模塊,既能加深網絡,又不會引起退化問題。同時引入病灶特征相似性損失函數,在整體約束下加入病灶區域局部約束。實驗結果由兩名經驗豐富的放射科醫生做出正誤分類并進行了客觀指標評價,證明生成的MRI接近于真實的MRI,可通過生成的MRI輔助診斷,具有臨床意義。但是由于醫學數據獲取困難,該文只對40名患者進行測試,為確保該算法的有效性和魯棒性,下一步仍需要更多的患者進行測試。