基于注意力增強(qiáng)U-Net的腦卒中病灶分割

王一諾，張俊然，劉 彥，李家琛

(四川大學(xué) 電氣工程學(xué)院，四川 成都 610065)

0 引 言

腦卒中是常見的腦部疾病，我國總體卒中終身發(fā)病風(fēng)險已高達(dá)39.9%[1]，其中急性缺血性腦卒中約占卒中總數(shù)的70%[2]。在缺血性卒中急救過程中，醫(yī)生主導(dǎo)的閱片診斷環(huán)節(jié)關(guān)系著能否在4.5小時“黃金時間窗”內(nèi)盡快恢復(fù)缺血腦區(qū)供血，降低致死致殘率[3]，但該過程易受醫(yī)生經(jīng)驗等主觀因素制約。利用計算機(jī)輔助診斷技術(shù)，可以準(zhǔn)確分割影像中的缺血病灶，節(jié)約醫(yī)生手動勾畫的時間和精力，減少不同醫(yī)生個體的主觀影響。

區(qū)別于傳統(tǒng)機(jī)器學(xué)習(xí)方法依靠人工設(shè)計特征，基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的分割模型可以更好地適應(yīng)分割任務(wù)，自主學(xué)習(xí)特征，逐漸成為醫(yī)學(xué)圖像分割領(lǐng)域的主流方法。U-Net[4]是經(jīng)典的2D分割網(wǎng)絡(luò)，但是在對圖像特征的關(guān)注上仍有不足。有學(xué)者提出了3D CNN方法實現(xiàn)缺血卒中病灶的分割，但網(wǎng)絡(luò)級聯(lián)[5]或增加網(wǎng)絡(luò)深度[6]的方法會大量增加分割時間，不利于臨床急救的開展，同時對GPU等硬件條件有更高要求。Wang等[7]利用CTP影像合成病灶特征更明顯的偽DWI影像再進(jìn)行分割，將3部分網(wǎng)絡(luò)聯(lián)合進(jìn)行端到端訓(xùn)練，雖然適應(yīng)了特定的分割任務(wù)，但也存在可移植性較差、單個網(wǎng)絡(luò)調(diào)試?yán)щy等問題。已有研究表明注意力機(jī)制可以使CNN關(guān)注圖像中對當(dāng)前任務(wù)更關(guān)鍵的通道、空間等特征，從而提升網(wǎng)絡(luò)性能，但大多是在物體識別的背景下提出的[8-10]，或只涉及增強(qiáng)分割網(wǎng)絡(luò)空間注意力的討論[11]。

基于上述問題，本文提出了基于注意力增強(qiáng)U-Net的缺血性腦卒中病灶分割方法，主要創(chuàng)新點(diǎn)如下：

(1)為了適應(yīng)病灶分割任務(wù)，提出了通道和空間注意力CSA(channel and spatial attention)模塊，利用一維卷積和膨脹卷積，分別獲得高效的通道間依賴關(guān)系和感受野更廣的空間注意力，通過實驗論證了CSA結(jié)構(gòu)的合理性。

(2)為了增強(qiáng)U-Net對缺血性腦卒中影像中特征通道和空間信息的關(guān)注，將CSA模塊與U-Net相結(jié)合，改善了U-Net的分割性能，并與其它U型網(wǎng)絡(luò)的分割結(jié)果進(jìn)行了對比，論證了本文模型的優(yōu)越性。

1 基于注意力增強(qiáng)U-Net的缺血病灶分割

本文采用ISLES(ischemic stroke lesion segmentation)2018[12]數(shù)據(jù)集中的多模態(tài)腦影像作為實現(xiàn)缺血性腦卒中病灶分割的數(shù)據(jù)源，算法的主要流程包括數(shù)據(jù)處理、基于注意力增強(qiáng)U-Net的圖像分割兩部分，如圖1所示。

圖1 本文算法流程

1.1 實驗數(shù)據(jù)介紹

ISLES 2018數(shù)據(jù)集提供了94例訓(xùn)練集和63例測試集影像數(shù)據(jù)，僅公開了訓(xùn)練集病灶標(biāo)簽。本文提出的算法在訓(xùn)練集的CT(computed tomography)和CTP(computed tomography perfusion)影像的4個灌注模態(tài)：腦血流量(cerebral blood flow，CBF)、腦血容量(cerebral blood volume，CBV)、平均通過時間(mean transit time，MTT)、達(dá)峰時間(time maximum，Tmax)，及對應(yīng)的病灶標(biāo)簽上進(jìn)行驗證，使用的各模態(tài)影像如圖2所示。在每例數(shù)據(jù)中，水平面的2D圖像大小均為256×256像素，根據(jù)病例不同像素間隔在1 mm左右不等，同時每個病例包含2至22張2D圖像。

圖2 患者的5個模態(tài)影像以及病灶標(biāo)簽(水平面)

1.2 數(shù)據(jù)處理

本文使用的影像數(shù)據(jù)特點(diǎn)可能對網(wǎng)絡(luò)的訓(xùn)練過程產(chǎn)生不利影響：①原始CT圖像中具有高強(qiáng)度的顱骨區(qū)域；②像素數(shù)值范圍較廣，可能導(dǎo)致分割網(wǎng)絡(luò)訓(xùn)練不易收斂；③缺血病灶區(qū)域僅占大腦組織區(qū)域的7%，類不平衡情況較為嚴(yán)重。同時，從對稱的大腦半球影像中可以學(xué)習(xí)更多區(qū)分病灶和健康組織特征[13,14]。綜合以上因素，對原始數(shù)據(jù)進(jìn)行以下處理。

(1)顱骨剝離：4個灌注模態(tài)的圖像中有效數(shù)據(jù)區(qū)域不包含顱骨，利用此特點(diǎn)生成掩模對原始CT圖像進(jìn)行顱骨剝離。

(2)對稱模態(tài)增強(qiáng)：將各模態(tài)圖像分別沿人體解剖學(xué)的矢狀軸翻轉(zhuǎn)(水平翻轉(zhuǎn))，采用剛性配準(zhǔn)擬合翻轉(zhuǎn)前后的圖像。

(3)圖像歸一化：使用Z-score標(biāo)準(zhǔn)化方法對圖像進(jìn)行歸一化處理，用以下公式表示

(1)

其中，IMOD和I′MOD分別表示歸一化前后的圖像，MOD表示各個影像模態(tài)，μ、λ分別為IMOD的像素均值和標(biāo)準(zhǔn)差，歸一化后的圖像滿足均值為0方差為1的正態(tài)分布。

(4)圖像塊采樣：分別以病灶組織和健康組織的像素為中心提取64×64大小的圖像塊。

(5)數(shù)據(jù)增廣：采用表1所示的數(shù)據(jù)增廣方式，使以病灶組織為中心提取的圖像塊達(dá)到與以健康組織像素為中心的圖像塊相同的數(shù)量N。其中彈性形變參數(shù)α和γ分別是控制變形強(qiáng)度的比例因子和彈性系數(shù)。實驗中設(shè)定N=1000，進(jìn)行數(shù)據(jù)增廣后病灶區(qū)域的占比提升到了17%，類不平衡情況得到了改善。

表1 本文采用的數(shù)據(jù)增廣方法和對應(yīng)參數(shù)

1.3 基于注意力增強(qiáng)U-Net的分割網(wǎng)絡(luò)

大部分CNN存在共有的問題[15]：構(gòu)成CNN的卷積層在不同的空間位置使用共享的權(quán)值，可能導(dǎo)致CNN缺乏空間意識，進(jìn)而在處理不同位置、形狀、大小的目標(biāo)時表現(xiàn)不佳；此外，大量特征通道中可能存在通道冗余的情況。U-Net這一經(jīng)典的語義分割網(wǎng)絡(luò)同樣具有上述問題。

為了使U-Net適應(yīng)不同位置、形狀、大小的缺血病灶的分割任務(wù)，增強(qiáng)分割網(wǎng)絡(luò)對通道和空間信息的關(guān)注，在U-Net的長連接添加通道和空間注意力機(jī)制，使其具有處理空間和通道信息的特定結(jié)構(gòu)，更加關(guān)注特征信息豐富的通道，同時在空間維度對目標(biāo)區(qū)域給予更多關(guān)注，使網(wǎng)絡(luò)分割性能得到改善。本文提出的分割模型如圖3所示。

1.3.1 通道和空間注意力機(jī)制CSA

為適應(yīng)缺血病灶的分割任務(wù)，本文提出了通道和空間注意力模塊CSA，結(jié)構(gòu)如圖4所示，使特征圖在通道和空間維度依次獲得注意力增強(qiáng)。其中應(yīng)用到了使用快速一維卷積獲得高效的通道關(guān)系和膨脹卷積獲取更大的空間感受野的思想，同時對通道注意力增強(qiáng)模塊CA和空間注意力增強(qiáng)模塊SA都添加了殘差連接的結(jié)構(gòu)。

圖4 本文提出CSA模塊結(jié)構(gòu)

假設(shè)輸入特征圖為F，通道注意力機(jī)制CA形成的加權(quán)輸出特征圖為F1，空間注意力機(jī)制SA形成的加權(quán)輸出特征圖為F2，則此注意力增強(qiáng)的過程公式為

F1=MC(F)?F+F

(2)

F2=MS(F1)?F1+F1

(3)

式中：MC(F)為特征圖F經(jīng)過通道注意力增強(qiáng)后的輸出權(quán)值，MS(F1)是特征圖F1經(jīng)過空間注意力增強(qiáng)后的輸出權(quán)值，?表示特征圖加權(quán)乘法。

(1)通道注意力模塊

通道注意力模塊CA可以增強(qiáng)分割網(wǎng)絡(luò)對信息豐富的特征通道的關(guān)注，抑制冗余通道的表達(dá)，在ECA(efficient channel attention)的基礎(chǔ)上添加了殘差連接，由全局平均池化層、一維卷積層和權(quán)重計算層組成。其原理是首先對特征圖的信息通過平均池化的方式在空間維度上進(jìn)行壓縮，然后通過一維快速卷積，利用相鄰?fù)ǖ赖男畔γ總€通道的注意力權(quán)重進(jìn)行預(yù)測。其中不涉及SE(squeeze-and-excitation)和CBAM(convolutional block attention module)中通道注意力機(jī)制廣泛使用的通道降維方法，避免了降維給通道注意力預(yù)測帶來的負(fù)面影響和獲得低效的通道間依賴關(guān)系。殘差連接可以使特征映射對輸出的變化更加敏感，防止網(wǎng)絡(luò)發(fā)生退化[16]。

將平均池化和卷積過程、sigmoid歸一化分別用Favg.pool、Fconv(X;inch,ouch,k,d)、 σ的形式進(jìn)行表示，X、inch、ouch、k、d分別表示輸入特征圖、輸入通道數(shù)量、輸出通道數(shù)量、卷積核大小、膨脹率，其中膨脹率d在普通卷積層中默認(rèn)為1。則通道注意力機(jī)制輸出權(quán)重MC(F)的計算公式為

MC(F)=σ(Fconv(Favg.pool(F);1,1,k,1))

(4)

一維卷積層的卷積核大小k和通道數(shù)C滿足指數(shù)映射，因此可以自適應(yīng)地計算卷積核大小k，即

(5)

其中， |t|odd為取計算結(jié)果最接近的奇數(shù)。

(2)空間注意力模塊

空間注意力模塊SA可以增強(qiáng)分割網(wǎng)絡(luò)對前景像素的關(guān)注，抑制分割不相關(guān)區(qū)域特征的表達(dá)，由膨脹卷積層、全連接層和權(quán)重計算層組成，同樣添加了殘差連接。其原理是首先以卷積核大小為3膨脹率為d的膨脹卷積層學(xué)習(xí)特征，同時對特征通道進(jìn)行降維，并使用ReLU函數(shù)激活，最后通過全連接層對通道維度進(jìn)行恢復(fù)，獲得分布式特征在特征空間中的映射，最終通過權(quán)重計算層得到特征圖進(jìn)行空間注意力增強(qiáng)的權(quán)重。這樣的設(shè)計與SE模塊的擠壓激勵原理對比，以膨脹卷積層代替原有的全局平均池化層對特征圖的壓縮操作，在不改變卷積層的參數(shù)總量和輸出特征圖大小的基礎(chǔ)上，增大了卷積核對空間層面特征信息的感受野[17]，獲得了更多可利用的上下文信息，大小為3的卷積核在不同膨脹率下的感受野原理如圖5所示，從左到右膨脹率d依次為1，2，3。

圖5 不同膨脹率下的感受野

空間注意力機(jī)制輸出權(quán)重MS(F1) 的計算公式為

(6)

其中，C為特征圖的通道數(shù)，r為通道壓縮率，d為膨脹率。考慮到性能和計算成本，在實驗中參數(shù)選擇為r=4和d=3。

1.3.2 注意力增強(qiáng)的U-Net網(wǎng)絡(luò)

在醫(yī)學(xué)圖像分割的深度學(xué)習(xí)方法研究中，U-Net的出現(xiàn)一定程度上改善了利用有限樣本訓(xùn)練模型完成分割的問題。U-Net具有對稱的編碼器和解碼器結(jié)構(gòu)，在編碼器部分，對特征圖進(jìn)行4次下采樣得到高級特征圖，再通過解碼器部分進(jìn)行對應(yīng)的4次上采樣，最終將得到的特征圖恢復(fù)到原圖片的分辨率，獲得更精細(xì)的分割細(xì)節(jié)信息。此外，U-Net的另一個顯著特征，在編碼器每層次最終獲得的特征圖，會通過長連接傳遞到解碼器部分，這樣的結(jié)構(gòu)可以將每層次獲得的不同尺度的低級特征和高級特征融合，從而將低級特征作為高級特征的補(bǔ)充信息，用以修正并獲得最終的分割結(jié)果，同時也避免了直接對高級特征圖進(jìn)行監(jiān)督和損失函數(shù)的計算，提高了分割精度。

在本文的研究中發(fā)現(xiàn)其分割結(jié)果與病灶標(biāo)簽相比，得到的病灶位置、大小和形狀都有一定的差距，產(chǎn)生了較多的誤分割和漏分割，仍存在一定的改進(jìn)空間。將U-Net與本文提出的CSA模塊結(jié)合，在不會過多增加原有分割網(wǎng)絡(luò)體積的基礎(chǔ)上，使其對圖像中的病灶區(qū)域和信息豐富的特征通道給予更多關(guān)注，抑制冗余通道和分割不相關(guān)區(qū)域特征的表達(dá)。如圖3所示，將CSA模塊作為處理通道和空間關(guān)注信息的結(jié)構(gòu)，添加在U-Net的長連接， 以加強(qiáng)模型對不同尺度的低水平特征圖中病灶的通道和空間關(guān)注度[18]，從而加強(qiáng)對病灶區(qū)域特征的學(xué)習(xí)能力，能夠?qū)ζ溥M(jìn)行更準(zhǔn)確的定位，適應(yīng)不同大小和形狀病灶的分割任務(wù)，提高病灶分割精度。

2 實驗結(jié)果與分析

本文實驗在Ubuntu 16.04的Linux設(shè)備上運(yùn)行，深度學(xué)習(xí)框架基于PyTorch，硬件配置為Intel?CoreTMi7-9700 @3.00 GHz CPU，內(nèi)存為16 GB，顯卡為NVIDIA GeForce GTX 2060。

2.1 評價指標(biāo)

為了量化評估本文實驗涉及到的網(wǎng)絡(luò)模型的分割結(jié)果準(zhǔn)確性和離散性，選擇Dice系數(shù)、靈敏度(Sensitivity)、陽性預(yù)測率(PPV)、Hausdorff距離(HD)作為評價指標(biāo)

(7)

(8)

(9)

(10)

公式中做出以下定義：正確分割的病灶區(qū)域為真陽性(true positive，TP)，錯分為病灶的區(qū)域為假陽性(false positive，F(xiàn)P)，正確分割的非病灶區(qū)域為真陰性(true nega-tive，TN)，錯分為非病灶的區(qū)域為假陰性(false negative，F(xiàn)N)，A和B分別表示病灶標(biāo)簽與分割結(jié)果中病灶邊緣的點(diǎn)。Dice系數(shù)、靈敏度、陽性預(yù)測率都是可以從像素層面衡量分割結(jié)果中正確分割、誤分割以及欠分割程度的綜合性指標(biāo)，但是對于分割結(jié)果中的離群值無法表征，因此引入了Hausdorff距離，用于評價病灶標(biāo)簽和分割結(jié)果邊緣的差異性。

此外，為了對分割結(jié)果中病灶位置的準(zhǔn)確性進(jìn)行評價，本文引入了質(zhì)心距離(centroid distance，CD)的概念。即以病灶標(biāo)簽f的質(zhì)心(x1,y1)和分割結(jié)果g的質(zhì)心(x2,y2)之間的距離評估分割模型對病灶位置預(yù)測的能力，用以下公式表示

(11)

2.2 實驗結(jié)果與分析

本文使用1.1節(jié)介紹的數(shù)據(jù)集進(jìn)行實驗，將306組包含病灶的多模態(tài)圖像按照4:1的比例分為訓(xùn)練集和測試集。采用自適應(yīng)優(yōu)化器Adadelta，訓(xùn)練批大小為32，損失函數(shù)使用交叉熵與廣義Dice損失函數(shù)之和，采用dropout機(jī)制和早停法監(jiān)督訓(xùn)練防止過擬合。實驗結(jié)果表明，本文提出的CSA模塊可以提升U-Net對缺血性腦卒中病灶的分割性能，能夠更好地定位病灶。

2.2.1 消融實驗

為了論證CSA模塊結(jié)構(gòu)對U-Net分割性能的提升，以U-Net為基礎(chǔ)網(wǎng)絡(luò)，進(jìn)行了5項對比實驗：①不添加注意力機(jī)制；②添加無殘差連接的NCSA模塊；③添加交換CA和SA級聯(lián)順序的SCA模塊；④添加文獻(xiàn)[19]提出的并聯(lián)結(jié)構(gòu)改進(jìn)的PCSA模塊；⑤添加CSA模塊。對CSA模塊的結(jié)構(gòu)調(diào)整如圖6所示。

圖6 對于CSA模塊的結(jié)構(gòu)調(diào)整

分割結(jié)果評估見表2，在靈敏度和陽性預(yù)測率較為穩(wěn)定的情況下，添加CSA后U-Net的Dice系數(shù)、Hausdorff距離、質(zhì)心距離最優(yōu)，在病灶分割精度和分割結(jié)果的離散性、病灶定位的準(zhǔn)確性上表明CSA優(yōu)于其它3種結(jié)構(gòu)，驗證了本文提出的CSA模塊在結(jié)構(gòu)上的合理性。

表2 調(diào)整CSA結(jié)構(gòu)的分割結(jié)果評估(均值±標(biāo)準(zhǔn)差)

2.2.2 分割性能對比

為了進(jìn)一步評估本文模型性能，選擇了ISLES 2018挑戰(zhàn)中前兩名所提出的分割網(wǎng)絡(luò)部分SL-Net[7]和不對稱U型殘差全卷積神經(jīng)網(wǎng)絡(luò)[20]，以及同樣在長連接處添加注意力機(jī)制CBAM的U-Net網(wǎng)絡(luò)結(jié)構(gòu)，將上述網(wǎng)絡(luò)在相同實驗條件下的分割性能進(jìn)行比較，評估結(jié)果見表3。同時將病灶標(biāo)簽、U-Net、上述網(wǎng)絡(luò)模型，共6組結(jié)果對比繪制，使用不同顏色表示過分割、欠分割、正確分割區(qū)域，如圖7所示。

根據(jù)表3的實驗結(jié)果可以得出：在與不同的U型網(wǎng)絡(luò)的分割結(jié)果對比中，本文模型擁有最佳的Dice系數(shù)和質(zhì)心距離，在分割精度和對病灶的準(zhǔn)確定位上具有一定的優(yōu)勢。結(jié)合圖7進(jìn)行分析：在第一行分割結(jié)果中，本文模型較好地分割出了缺血病灶，不存在離散的假陽性區(qū)域；所有模型在第二行分割結(jié)果中普遍存在較大范圍的過分割情況，本文分割模型對此進(jìn)行了有效改善；第三行分割結(jié)果中，除本文模型之外，其它模型的欠分割情況較為嚴(yán)重，在臨床應(yīng)用中，不能被檢測出來的病灶對病人的影響是不可預(yù)估的。雖然本文模型的各項評估參數(shù)并不全是最優(yōu)，但是在正確分割、過分割和欠分割的綜合性能，以及對病灶的準(zhǔn)確定位方面，本文模型表現(xiàn)最佳。關(guān)于進(jìn)一步減少假陽性分布的問題，后續(xù)研究中可以采取更合適的閾值處理預(yù)測結(jié)果，或根據(jù)CTP影像各模態(tài)反映大腦血液動力學(xué)變化的特點(diǎn)添加病灶區(qū)域的約束進(jìn)行改善。

表3 不同U型網(wǎng)絡(luò)的分割結(jié)果評估(均值±標(biāo)準(zhǔn)差)

圖7 不同U型網(wǎng)絡(luò)的分割結(jié)果對比

在不對稱U型殘差FCN的分割結(jié)果指標(biāo)中Hausdorff距離最優(yōu)，這一優(yōu)勢原作者在文中也提及，但從圖7的結(jié)果來看，該模型的欠分割情況較為嚴(yán)重；SL-Net是文獻(xiàn)[7]中聯(lián)合訓(xùn)練網(wǎng)絡(luò)的分割網(wǎng)絡(luò)，在U-Net的編碼器各層應(yīng)用了通道注意力機(jī)制SE，相比于U-Net分割性能獲得了一定改善，但整體結(jié)果不及本文模型；CBAM-U-Net作為同樣使特征圖在通道和空間維度依次獲得注意力增強(qiáng)的對比實驗，在正確分割、分割結(jié)果的離散性和病灶定位的準(zhǔn)確性的綜合評價上不及本文模型，表明本文提出的通道和空間注意力機(jī)制CSA更適合于缺血病灶的分割任務(wù)。

以單張圖像的分割時間作為衡量本文算法時間效率的指標(biāo)，本文模型與上述U型網(wǎng)絡(luò)參數(shù)量與單張圖像平均分割時間對比見表4。可以看出，本文模型對256×256大小圖像的分割平均用時為0.73 s，相比于U-Net僅增加不到0.1 s，模型參數(shù)量增加不到3%，在可接受范圍內(nèi)獲得了分割精度的有效改善；同時與其它3種分割網(wǎng)絡(luò)對比，本文模型的單張圖像分割時間相對最優(yōu)。

表4 不同U型網(wǎng)絡(luò)的參數(shù)量和單張圖像平均分割時間/s

3 結(jié)束語

本文結(jié)合了一維快速卷積獲得高效通道注意力和膨脹卷積擴(kuò)大感受野的原理，提出了通道和空間注意力模塊CSA，并將其與醫(yī)學(xué)圖像分割經(jīng)典網(wǎng)絡(luò)U-Net相結(jié)合，利用注意力機(jī)制使U-Net對各級提取到的低水平特征在通道和空間層面加以關(guān)注和利用，再與高水平特征進(jìn)行融合，使分割網(wǎng)絡(luò)對病灶區(qū)域與非病灶區(qū)域、區(qū)域邊界的特征、特征通道信息進(jìn)行關(guān)注進(jìn)而充分學(xué)習(xí)。實驗結(jié)果表明，本文模型在沒有過多增加U-Net網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜性的基礎(chǔ)上，提高了對多模態(tài)缺血性腦卒中病灶的分割精度，并且對于準(zhǔn)確分割、誤分割和過分割的綜合性能較好，對病灶的定位較為準(zhǔn)確，可以為臨床醫(yī)生對于缺血性腦卒中患者的診斷、治療方案的制定、預(yù)后等提供客觀高效的決策支持，同時本文實驗方法為研究缺血性腦卒中病灶區(qū)域的快速量化評估提供了一種思路。關(guān)于通道和空間注意力機(jī)制CSA在目標(biāo)檢測、目標(biāo)跟蹤等其它CNN機(jī)器視覺領(lǐng)域的作用，未來可以進(jìn)一步探究。