基于U-net的海馬體分割算法應(yīng)用

史春暉，朱習(xí)軍

(青島科技大學(xué) 信息科學(xué)技術(shù)學(xué)院，山東 青島 266061)

0 引 言

阿爾茲海默癥(Alzheimer disease，AD)[1]的發(fā)病機(jī)制目前尚不明確，在AD的早期階段(輕度認(rèn)知障礙)，雖然患者還未表現(xiàn)出AD的特征，但其腦部內(nèi)側(cè)顳葉已經(jīng)發(fā)生萎縮，而且極有可能向AD轉(zhuǎn)化。其中，海馬體萎縮的最為嚴(yán)重[2]，同時(shí)海馬體存在形狀不規(guī)則、體積較小、不易分割等特點(diǎn)，因此，對海馬體的分割仍然存在很大的挑戰(zhàn)。核磁共振成像(magnetic resonance imaging，MRI)設(shè)備具有成像分辨率高，不會(huì)產(chǎn)生電離輻射，對比度成像等其它設(shè)備所不具備的優(yōu)勢，故當(dāng)前海馬體的分割多依賴于MRI圖像數(shù)據(jù)。

目前，海馬體的分割主要是醫(yī)生通過手動(dòng)實(shí)現(xiàn)，且分割過程耗時(shí)大，主要原因是醫(yī)生要對病人海馬體區(qū)域花費(fèi)大量的時(shí)間進(jìn)行勾畫，而且勾畫結(jié)果易受醫(yī)生主觀因素的影響。針對手動(dòng)分割存在的問題，相關(guān)工作者提出半自動(dòng)化或自動(dòng)化的海馬體圖像分割算法，而且隨著深度學(xué)習(xí)的發(fā)展，深度卷積神經(jīng)網(wǎng)絡(luò)及其各種模型在醫(yī)學(xué)圖像處理領(lǐng)域中被廣泛應(yīng)用并且取得了較好的效果[3-5]。但是這些算法都存在著相同的問題，神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)間相對較長，需要的樣本數(shù)據(jù)量大，圖像在輸入過程中通過滑動(dòng)窗口的方式對像素點(diǎn)進(jìn)行檢測，使得訓(xùn)練速度很慢，而且容易出現(xiàn)冗余的現(xiàn)象，其次窗口的大小會(huì)對池化操作及其結(jié)果造成影響。針對這些問題，本文基于深度學(xué)習(xí)理論，運(yùn)用改進(jìn)的U-net模型，實(shí)現(xiàn)對海馬體的分割，從而達(dá)到輔助醫(yī)生對阿爾茲海默癥的診斷和診療。

1 基于U-net模型的圖像分割設(shè)計(jì)

本文采用MRI圖像作為海馬體分割的數(shù)據(jù)源，算法的整體流程主要包括圖像預(yù)處理，數(shù)據(jù)擴(kuò)充以及基于U-net模型的圖像分割3個(gè)主要步驟，算法的基本流程如圖1所示。

圖1 算法流程

1.1 圖像預(yù)處理

圖像預(yù)處理可以盡量減少抽取圖像特征時(shí)因圖像的亮度、對比度等無關(guān)因素的干擾，對算法的精度也有一定程度的提高。

1.1.1 限制性對比度自適應(yīng)直方圖均衡算法

傳統(tǒng)的直方圖算法在對圖像的灰度進(jìn)行分布的過程中，對有用信息以及噪聲進(jìn)行了同樣的操作，這使得圖像中的噪聲得到放大。針對噪聲被同步放大的問題，通過限制性對比度自適應(yīng)直方圖均衡算法(contrast limited adaptive histogram equalization，CLAHE)可以很好地解決，CLAHE最顯著的特點(diǎn)便是對圖像對比度增強(qiáng)的幅度予以限制，

使得圖像對比度更加自然。CLAHE算法通過設(shè)定的閾值對直方圖進(jìn)行裁剪，去掉了過高的部分，然后將其均勻分布到直方圖中，從而生成新的直方圖。算法原理如圖2所示，同時(shí)在各個(gè)圖像塊間運(yùn)用雙線性插值方式，去除分塊處理導(dǎo)致的塊邊緣過渡不平衡的問題，使得運(yùn)算效率得到改善。

圖2 CLAHE直方圖裁剪

1.1.2 曲率驅(qū)動(dòng)的圖像去噪

常用的圖像去噪方法在去噪過程中高頻成分被沒有區(qū)分的減弱，所以圖像噪聲在被去除的同時(shí)邊緣也變得模糊。實(shí)際圖像中物體包括邊緣在內(nèi)的等照度線是光滑的曲線，曲率絕對值小，當(dāng)有噪聲存在時(shí)，局部灰度值發(fā)生改變，等照度線隨即產(chǎn)生不規(guī)則的震蕩，形成局部曲率很大的等照度線。根據(jù)這一原理，對相應(yīng)位置的像素點(diǎn)進(jìn)行調(diào)整，把不規(guī)則的等照度線變成平滑的曲線，實(shí)現(xiàn)圖像去噪。

1.1.3 預(yù)處理實(shí)現(xiàn)

本文通過使用CLAHE算法對圖像進(jìn)行預(yù)處理，以達(dá)到增強(qiáng)圖像對比度的目的，同時(shí)運(yùn)用曲率驅(qū)動(dòng)算法去除圖像噪聲，從而得到預(yù)處理后的圖像數(shù)據(jù)。由于實(shí)驗(yàn)采用的腦部MRI圖像樣本，海馬體位置比較固定，因此基于 U-net 模型輸入數(shù)據(jù)的特點(diǎn)，從每個(gè)MRI圖像中提取一個(gè)128×128的圖像塊，對其進(jìn)行預(yù)處理。在后面的過程中，該128×128大小的圖片將作為數(shù)據(jù)樣本被送到網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練和測試。預(yù)處理后的圖像，如圖3所示。

圖3 預(yù)處理后的圖像

1.2 數(shù)據(jù)增強(qiáng)

原始數(shù)據(jù)的數(shù)量遠(yuǎn)不足以訓(xùn)練一個(gè)深層次網(wǎng)絡(luò)，因此在本文中用到了Keras自帶的圖像數(shù)據(jù)增強(qiáng)技術(shù)，對原始數(shù)據(jù)做平移、旋轉(zhuǎn)、扭曲等操作進(jìn)行數(shù)據(jù)擴(kuò)充以增加數(shù)據(jù)樣本量。但是通過這些變換得到的圖像相對于原始圖像在形狀上并沒有太大的差異。而考慮到真實(shí)的腦部MRI圖像中，根據(jù)海馬體的患病程度而導(dǎo)致的圖像形狀大小差異較大，本文處理方法是在原有點(diǎn)陣上，疊加正負(fù)向隨機(jī)距離形成“插值位置”矩陣，然后計(jì)算每個(gè)插值位置上的灰度，形成新的點(diǎn)陣，實(shí)現(xiàn)圖像內(nèi)部的扭曲變形。從而實(shí)現(xiàn)原始MRI圖像數(shù)據(jù)樣本數(shù)據(jù)量的增加。擴(kuò)充后的數(shù)據(jù)樣本如圖4所示。

圖4 數(shù)據(jù)增強(qiáng)

2 改進(jìn)的U-net模型

全卷積神經(jīng)網(wǎng)絡(luò)(FCN)是一種端到端的語義分割方法，實(shí)現(xiàn)了逐像素點(diǎn)預(yù)測。其將傳統(tǒng)CNN中的全連接層轉(zhuǎn)化成卷積層，可以接受任意尺寸的輸入圖像。對池化后縮小的圖片，通過上采樣可得到和原圖等大的分割圖。全卷積之后的結(jié)果直接上采樣會(huì)很粗糙，深層語義信息豐富但圖像失真，淺層圖像特征明顯但語義不顯著，U-net模型通過采用跳躍連接可以改善上采樣粗糙的情況。

2.1 批規(guī)范化[6](Batch Normalization)

深度神經(jīng)網(wǎng)絡(luò)包含很多層，訓(xùn)練過程中會(huì)出現(xiàn)學(xué)習(xí)速度慢、學(xué)習(xí)效果過分依賴于初始數(shù)據(jù)分布以及梯度消失問題。基于這些問題，Ioffe等提出了批規(guī)范化方法，訓(xùn)練時(shí)采用初始很大的學(xué)習(xí)率加快網(wǎng)絡(luò)的衰減速度，少用或不用Dropout和正則化操作，同時(shí)實(shí)現(xiàn)對過擬合的控制，其公式如下

(1)

(2)

(3)

2.2 殘差模塊

如圖5所示。每一個(gè)殘差塊中包含著兩個(gè)卷積層及一條繞過它們的殘差連接，同時(shí)殘差塊的輸入被直接添加到輸出，使得每一層學(xué)到的不僅是參數(shù)本身，還包括殘差，后面的層學(xué)到的是對前面層的補(bǔ)充。這種方法極大地增加了網(wǎng)絡(luò)性能，從而解決網(wǎng)絡(luò)深度變深以后性能退化的問題。

圖5 殘差模塊

2.3 Adam優(yōu)化算法

參數(shù)的學(xué)習(xí)率由Adam(adaptive moment estimation)利用梯度的一階矩估計(jì)和二階矩估計(jì)動(dòng)態(tài)調(diào)整。Adam的每一次迭代，學(xué)習(xí)率都被限制在一個(gè)大致的范圍，具有參數(shù)比較平穩(wěn)的優(yōu)點(diǎn)，同時(shí)計(jì)算高效，可以解決學(xué)習(xí)率消失、收斂過慢、損失函數(shù)波動(dòng)較大等其它優(yōu)化算法中存在的問題。公式如下

mt=μ×mt-1+(1-μ)×gt

(4)

(5)

(6)

(7)

(8)

2.4 U-net模型的改進(jìn)

圖6為本文中使用的U-net網(wǎng)絡(luò)結(jié)構(gòu)。該網(wǎng)絡(luò)包含一個(gè)收縮路徑(contracting path)和一個(gè)對稱的擴(kuò)張路徑(expanding path)[7]形成一個(gè)U型。其中，收縮路徑用于獲取上下文信息，擴(kuò)張路徑用以精確定位。收縮路徑是典型的卷積網(wǎng)絡(luò)結(jié)構(gòu)，結(jié)構(gòu)含有重復(fù)的步驟，每次重復(fù)中都有兩個(gè)3×3卷積層(無padding)，且每個(gè)卷積層后有一個(gè)ReLu非線性激活函數(shù)及批規(guī)范化(BN)層來提高網(wǎng)絡(luò)性能，以及一個(gè)步長為2的2×2最大池化層進(jìn)行下采樣，經(jīng)下采樣特征通道數(shù)量加倍。擴(kuò)張路徑也使用了一種相同的排列模式，對數(shù)據(jù)進(jìn)行上采樣處理，通過反卷積，特征通道數(shù)量被減半，特征圖大小加倍，然后拼接反卷積的結(jié)果與收縮路徑中對應(yīng)步驟的特征圖，拼接后的特征圖再進(jìn)行兩次3×3的卷積。最后一層的卷積核大小為1×1，并利用sigmoid函數(shù)對輸出進(jìn)行處理，將64通道的特征圖最終轉(zhuǎn)化為特定類別數(shù)量的結(jié)果。

圖6 U-net網(wǎng)絡(luò)結(jié)構(gòu)

傳統(tǒng)的卷積層或全連接層在信息傳遞過程中，往往存在信息丟失、損耗等問題，而且隨著網(wǎng)絡(luò)不斷加深，梯度消失和梯度爆炸的問題也會(huì)隨之出現(xiàn)。因此為使模型更有效的訓(xùn)練，區(qū)別于原始U-net，改進(jìn)的U-net在卷積塊中加入殘差，在該模塊中輸入信息被直接傳到輸出，保證了信息的完整性，整個(gè)網(wǎng)絡(luò)僅需要學(xué)習(xí)輸入、輸出差別的部分，這在一定程度上簡化了學(xué)習(xí)目標(biāo)和難度。網(wǎng)絡(luò)模型中的損失函數(shù)使用Adam算法進(jìn)行優(yōu)化，實(shí)現(xiàn)梯度參數(shù)的更新，該優(yōu)化算法較傳統(tǒng)的SGD、動(dòng)量等具有計(jì)算高效，方便實(shí)現(xiàn)的優(yōu)點(diǎn)，最終使得結(jié)果較快的趨向于收斂。

3 實(shí)驗(yàn)結(jié)果及分析

本實(shí)驗(yàn)所用的數(shù)據(jù)樣本來源于阿爾茲海默癥神經(jīng)影像學(xué)計(jì)劃 (Alzheimer’s disease neuroim aging initiative，ADNI)數(shù)據(jù)庫[9]。ADNI于2003年創(chuàng)建，目前已有59個(gè)數(shù)據(jù)采集點(diǎn)。ADNI的主要目的是，盡可能早地檢測出患AD的人群，在早期階段研究發(fā)現(xiàn)最有效的診斷方法，輔助醫(yī)生確定新的治療方案并觀察成效，從而減輕臨床試驗(yàn)的時(shí)間和成本。

本文采用Keras框架搭建基于U-net的海馬體分割模型。為了驗(yàn)證算法的分割精度，將數(shù)據(jù)集分為訓(xùn)練集和測試集兩部分，訓(xùn)練集用于對U-net模型進(jìn)行訓(xùn)練，測試集用來驗(yàn)證算法模型的精確度。原始訓(xùn)練樣本為ADNI數(shù)據(jù)庫中的129組人腦核磁共振影像數(shù)據(jù)。經(jīng)過彈性形變、翻轉(zhuǎn)、旋轉(zhuǎn)等圖像擴(kuò)充操作后，新的數(shù)據(jù)集包含5萬張圖像數(shù)據(jù)，其中2/3被用以網(wǎng)絡(luò)模型的訓(xùn)練，剩余的1/3圖像用于對算法分割精度的驗(yàn)證。

3.1 評價(jià)指標(biāo)

為定量評估算法的分割性能，本文采用Dice系數(shù)、精確率(precision)和召回率(recall)分別對分割結(jié)果進(jìn)行評估。

(1)Dice系數(shù)是一種集合相似度函數(shù)，可用來評判實(shí)際分割樣本與理論分割結(jié)果的相似度，兩個(gè)樣本相似度越好，相應(yīng)的損失就越小，精度越高

(9)

其中，X表示手動(dòng)分割結(jié)果，Y表示本文算法分割結(jié)果，Dice系數(shù)的取值范圍為0-1，Dice系數(shù)越大表示分割結(jié)果越準(zhǔn)確。

(2)精確率，召回率，在圖像分割領(lǐng)域是兩個(gè)比較基本的指標(biāo)，因此將其引入本文中

(10)

(11)

其中，TP表示正確分割的部分，F(xiàn)P表示誤分割部分，F(xiàn)N表示將正確區(qū)域誤分為錯(cuò)誤的部分。上述兩個(gè)指標(biāo)取值越高表示分割結(jié)果越好。

3.2 實(shí)驗(yàn)結(jié)果

圖7給出了本文算法在訓(xùn)練樣本集和測試樣本集上海馬體分割的對比結(jié)果。由圖7中可以看出訓(xùn)練樣本集和測試樣本集隨著數(shù)據(jù)樣本的增大分割結(jié)果趨向于穩(wěn)定，均維持在80%以上。

圖7 樣本分割結(jié)果

圖8為本文算法在MRI腦圖像上的分割結(jié)果，第一列為原始的輸入圖像，第二列為醫(yī)生手動(dòng)分割的海馬體圖像，第三列為本文算法得到的分割結(jié)果。從圖中可以看出，采用本文算法對海馬體分割得到的結(jié)果與手工標(biāo)注的結(jié)果基本接近。

圖8 分割結(jié)果示例

為驗(yàn)證由數(shù)據(jù)增強(qiáng)后樣本擴(kuò)充對實(shí)驗(yàn)結(jié)果的影響，本文分別用兩組數(shù)據(jù)對算法進(jìn)行實(shí)驗(yàn)，其中一組圖像僅包含變形后的數(shù)據(jù)及其擴(kuò)充樣本集，另一組圖像包含原始數(shù)據(jù)及其變形后的總的數(shù)據(jù)樣本集。實(shí)驗(yàn)結(jié)果數(shù)據(jù)見表1。

表1 不同樣本集下分割結(jié)果對比

從表1可以看出，僅采用變形后的樣本集與全部數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果基本接近，這表明了采用數(shù)據(jù)增強(qiáng)的合理性，同時(shí)也驗(yàn)證在本文中原始數(shù)據(jù)集在較小的樣本的情況下，采用包括圖像變形在內(nèi)的方法進(jìn)行數(shù)據(jù)擴(kuò)充增大訓(xùn)練樣本數(shù)量，可以使網(wǎng)絡(luò)性能在一定程度上得到提高。

3.3 對比分析

為驗(yàn)證算法的有效性及優(yōu)越性，本文分別對全卷積神經(jīng)網(wǎng)絡(luò)(FCN)和原始U-net網(wǎng)絡(luò)模型及本文算法在訓(xùn)練集和測試集上進(jìn)行對比驗(yàn)證，實(shí)驗(yàn)結(jié)果數(shù)據(jù)見表2。

表2 本文算法與其它算法的分割結(jié)果對比

從表中可以看出，本文改進(jìn)的U-net算法較其它兩種方法分割性能有所提升，而且相比原模型提高了3.2%。FCN和原U-net模型性能相對較差的原因在于這兩個(gè)模型對特征的提取不夠好，不能有效地將海馬體從MRI圖像中分割出來。同時(shí)由于Adam算法的使用，網(wǎng)絡(luò)收斂速度較其它方法更快，因此本文算法與FCN及原始U-net算法相比較，取得的分割效果最好。

4 結(jié)束語

本文針對海馬體分割問題，提出了一種改進(jìn)的U-net全卷積神經(jīng)網(wǎng)絡(luò)。在神經(jīng)網(wǎng)絡(luò)進(jìn)行卷積的過程中輸入直接被連接到后面的層，從而殘差將直接被后面的層學(xué)習(xí)，對前面的學(xué)習(xí)過程進(jìn)行補(bǔ)充，增加網(wǎng)絡(luò)了性能。實(shí)驗(yàn)結(jié)果表明，本文改進(jìn)的算法較全卷積神經(jīng)網(wǎng)絡(luò)模型與傳統(tǒng)U-net模型具有更好的分割效果，并且收斂時(shí)間最短。但實(shí)驗(yàn)本身仍然存在一些分割準(zhǔn)確率低的問題，雖然我們對U-net做了一定的優(yōu)化，但是分割效果也并不是十分理想。針對這一問題，擬在后續(xù)實(shí)驗(yàn)中加入SE模塊，通過對通道進(jìn)行加權(quán)，強(qiáng)調(diào)有效信息，抑制無效信息，實(shí)現(xiàn)更高精確度的海馬體分割算法。