基于殘差通道注意力的視網(wǎng)膜血管圖像分割

王文輝，劉彥隆

（太原理工大學(xué) 信息與計算機(jī)學(xué)院, 山西 晉中 030600）

視網(wǎng)膜血管分割在眼相關(guān)疾病的早期診斷中具有重要意義，通過觀察眼底血管系統(tǒng)，可以很容易地診斷和跟蹤許多疾病(如糖尿病和高血壓)。在臨床實踐中，視網(wǎng)膜血管系統(tǒng)通常由眼科醫(yī)生根據(jù)眼底圖像手動分割。這種手動分割是一項煩瑣、費力且耗時的任務(wù)。為了減少人工分割的工作量并提高視網(wǎng)膜血管分割的準(zhǔn)確性、處理速度和再現(xiàn)性，大量的研究工作致力于開發(fā)全自動或半自動的視網(wǎng)膜血管分割方法。然而，視網(wǎng)膜血管有許多細(xì)小而脆弱的血管，而且這些血管緊密相連，視網(wǎng)膜血管樹結(jié)構(gòu)相當(dāng)復(fù)雜。

現(xiàn)有的方法可以通過是否使用了人工預(yù)先標(biāo)注血管信息分為有監(jiān)督方法和無監(jiān)督方法。大多數(shù)無監(jiān)督方法都是基于血管固有的特征的，主要包括形態(tài)學(xué)方法[1-2]、匹配濾波方法[3]、血管跟蹤方法[4]。

視網(wǎng)膜血管分割的監(jiān)督方法是基于二進(jìn)制像素分類，即預(yù)測像素屬于血管類還是非血管類。機(jī)器學(xué)習(xí)方法包括兩個步驟：第1 步,手工制作特征來捕捉目標(biāo)像素的內(nèi)在特征，Staal 等[5]提出了一種基于脊的特征提取方法，該方法利用了血管的細(xì)長結(jié)構(gòu)，Soares 等[6]利用多尺度2D Gabor 小波變換進(jìn)行特征提??；第2 步，使用諸如神經(jīng)網(wǎng)絡(luò)[7]、支持向量機(jī)[8]和隨機(jī)森林[9]等各種分類器與從局部斑塊提取的手工特征結(jié)合使用，用于對斑塊的中心像素進(jìn)行分類。上述監(jiān)督方法依賴于由專家設(shè)計的相關(guān)特征表示，這通常需要復(fù)雜的特征設(shè)計過程和豐富的特征設(shè)計經(jīng)驗。

為了解決這些問題，基于深度學(xué)習(xí)的方法被用于視網(wǎng)膜血管的自動分割，并取得了很好的結(jié)果[10-16]。Oliveira 等[10]結(jié)合多尺度平穩(wěn)小波變換和全卷積網(wǎng)絡(luò)(FCN)分割眼底圖像局部斑塊內(nèi)的視網(wǎng)膜血管。Zhang 等[11]在U-Net 中引入了基于邊緣檢測的機(jī)制，用來改進(jìn)模型的性能。Wu 等[12]介紹了一種用于視網(wǎng)膜血管分割的多尺度網(wǎng)絡(luò)跟蹤網(wǎng)絡(luò)(MS-NFN)。Wang 等[14]將通道注意機(jī)制應(yīng)用于U-Net 結(jié)構(gòu)中的“跳躍連接”來進(jìn)一步提高血管分割能力。在文獻(xiàn)[15]中通道注意力機(jī)制只采用了平均池化用來聚集血管空間信息，但是最大池化同樣收集了血管另一個重要的空間信息，用來推斷更精細(xì)的通道方向注意力[16]。但是由于視網(wǎng)膜血管結(jié)構(gòu)復(fù)雜，細(xì)小血管眾多，而且有病理性結(jié)構(gòu)（滲出物、出血、視盤）影響，導(dǎo)致現(xiàn)有網(wǎng)絡(luò)結(jié)構(gòu)的靈敏度（模型識別血管的能力）普遍不高。

為了解決以上問題，本文提出了一種基于殘差通道注意力的改進(jìn)HED 網(wǎng)絡(luò)模型用于視網(wǎng)膜血管分割。所提網(wǎng)絡(luò)模型主要有以下4 個特點：1）受文獻(xiàn)[15]啟發(fā)，本文改進(jìn)了ECA 模塊，并將其命名為改進(jìn)的高效通道注意力(modified efficient chanel attention，MECA)，該模塊在保持性能的同時大大降低了網(wǎng)絡(luò)的復(fù)雜性；2）將傳統(tǒng)的隨機(jī)丟棄模塊替換為結(jié)構(gòu)化丟棄（DropBlock）模塊，有效避免模型產(chǎn)生過擬合現(xiàn)象；3）將MECA 模塊加入殘差結(jié)構(gòu)中，提出了雙殘差通道注意力模塊（DRCAM），充分考慮了特征圖通道間的相關(guān)性，提高了模型識別微小血管的能力；4）在HED 網(wǎng)絡(luò)的特征融合階段加入短連接結(jié)構(gòu)，并把MECA 模塊也融入短連接結(jié)構(gòu)中，充分降低低級語義信息中的噪聲和進(jìn)一步提高模型的靈敏度，即識別精細(xì)血管的能力。

1 網(wǎng)絡(luò)結(jié)構(gòu)與算法原理

1.1 結(jié)構(gòu)化丟棄模塊

隨機(jī)丟棄模塊(Dropout)是一個被廣泛采用的防止過擬合的方法之一，但是隨機(jī)丟棄模塊通常在全連接層使用，在卷積層起到的作用微乎其微。這是因為在卷積層中特征圖相鄰位置元素的特征信息差別很小，所以某個元素被丟棄掉時，該元素的語義信息仍然可以通過卷積網(wǎng)絡(luò)流通過來。所以本文采用了DropBlock[17]，這是一種結(jié)構(gòu)化的隨機(jī)丟棄模塊。該結(jié)構(gòu)把特征圖的一小部分方塊區(qū)域一起丟掉，如圖1(b)所示，而不是隨機(jī)的丟棄方塊，如圖1(c)所示。

圖1 Dropout 和DropBlock 丟棄方塊原理Fig. 1 Principle of discarding blocks about Dropout and DropBlock

DropBlock 模塊主要有兩個參數(shù)Sb和 γ，Sb表示丟棄的方塊的大小， γ表示伯努利函數(shù)的概率。 γ通過如下公式得到

式中：Sb表示丟棄的方塊的大小，S f表示輸入特征的大小，K表示保留方塊的概率。

1.2 改進(jìn)高效通道注意力模塊

SE（squeeze and excitation block）模塊[18]就是最初的通道注意力（channel attention，CA）模塊，該模塊通過將輸入的特征圖進(jìn)行全局平局池化然后進(jìn)行激活，獲得每個通道的權(quán)重，最后使用獲得的權(quán)重對輸入的特征圖通道進(jìn)行加權(quán)，從而抑制不重要的特征，增強(qiáng)重要的特征（例如細(xì)小的血管特征）。最近，一些研究采用了各種方法用來改進(jìn)SE 模塊，然而這些方法在改進(jìn)模塊性能的同時不可避免的增加了模型的復(fù)雜度。文獻(xiàn)[15]提出了一種高效通道注意力(efficient channel attention，ECA)模塊，該模塊利用一維卷積來避免SE 模塊在跨通道信息交流中的降維操作，從而在保持優(yōu)越性能的同時大大降低了模型的復(fù)雜度。然而在ECA 中只有平均池化用來聚集空間信息，但是最大池化同樣收集了特征圖的另一個重要的空間信息，可以用來推算更精細(xì)的通道注意力。

因此，本文設(shè)計了一種改進(jìn)高效通道注意力（MECA）模塊，該模塊采用平均池化和最大池化兩種方式來獲得更精細(xì)的通道注意力，如圖2 所示。模塊首先將輸入特征圖F∈RH×W×C通過平均池化和最大池化生成Fmp∈R1×1×C和Fap∈R1×1×C，分別通過以下公式得到：

圖2 改進(jìn)高效通道注意力模塊Fig. 2 Modified efficient chanel attention module

式中：H、W、C分別代表輸入特征圖的高度、寬度、通道數(shù)的數(shù)量，F(xiàn)c(i，j)表示第C個通道特定位置的像素值。

然后將兩個生成的特征圖通過一個共享權(quán)重的一維卷積層，獲得兩個輸出特征向量，用來生成一個通道注意力圖M∈R1×1×C。

式中：CONV (·)代表一維卷積層， σ(·)代表激活函數(shù)。MECA 在本文中使用的一維卷積的核被設(shè)置為3(k=3)，即每使用一個MECA 只增加3 個參數(shù)，這直接證明了MECA 是一個非常輕量級的模塊。

其實想要撕掉這些標(biāo)簽，在手指上擠一點護(hù)手霜就可以了。將這些護(hù)手霜均勻涂抹在標(biāo)簽上，靜置30秒，然后，你就會發(fā)覺標(biāo)簽很輕松地就被撕下來了。之后，再用紙巾將殘留的黏膠擦掉，這樣碗碟就變得十分美觀了。要是家里遇到標(biāo)簽難撕的問題，就趕緊來試試這個方法吧。

1.3 雙殘差通道注意力模塊

在識別視網(wǎng)膜血管結(jié)構(gòu)時，淺層網(wǎng)絡(luò)可能會限制網(wǎng)絡(luò)提取所需血管特征的能力。本文認(rèn)為構(gòu)建更深層次的神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)更復(fù)雜的血管特征，所以構(gòu)建了雙殘差結(jié)構(gòu)來代替HED 網(wǎng)絡(luò)中的原始卷積單元，用來提取更加精細(xì)的血管結(jié)構(gòu)。該結(jié)構(gòu)由ReLU 激活、批處理歸一化(BN)和卷積層組成的預(yù)激活殘差塊構(gòu)成。但是單純增加網(wǎng)絡(luò)層數(shù)可能會阻礙訓(xùn)練，還可能出現(xiàn)退化和過擬合問題，所以將傳統(tǒng)的隨機(jī)丟棄模塊替換為性能更強(qiáng)的結(jié)構(gòu)化丟棄模塊。

MECA 模塊通過自動學(xué)習(xí)來學(xué)習(xí)每個特征通道的權(quán)重，并使用獲得的權(quán)重來增強(qiáng)本文需要的血管特征和抑制對視網(wǎng)膜血管分割任務(wù)不重要的特征。換句話說，MECA 可以提取通道之間的通道統(tǒng)計，從而進(jìn)一步增強(qiáng)網(wǎng)絡(luò)的區(qū)分視網(wǎng)膜血管的能力。

基于上述工作本文提出了雙殘差通道注意力模塊（double residual channel attention module，DRCAM），如圖3 所示。

圖3 雙殘差通道注意力模塊Fig. 3 Double residual channel attention module

1.4 網(wǎng)絡(luò)結(jié)構(gòu)

圖4 顯示了本文所提模型的詳細(xì)結(jié)構(gòu)，該模型是從傳統(tǒng)HED 網(wǎng)絡(luò)改進(jìn)而來。圖中虛線框內(nèi)為預(yù)訓(xùn)練部分，將原始的卷積塊替換為DRCAM模塊，并將傳統(tǒng)的池化層替換為擴(kuò)張卷積層，這么做的主要目的是為了在增加感受野的同時，保證特征圖的輸入尺寸不變。方便后續(xù)進(jìn)行特征融合。圖4 虛線框外的部分為側(cè)輸出部分，將經(jīng)過預(yù)訓(xùn)練的特征圖通過16 個1×1 的卷積進(jìn)行融合，然后通過一個MECA 模塊，最后通過由高到低短連接結(jié)構(gòu)，將具有不同級別的語義信息的特征圖進(jìn)行特征融合，這么做能夠使模型充分利用不同級別的語義信息進(jìn)行訓(xùn)練，減少低級語義信息中的噪聲。

圖4 本文所提網(wǎng)絡(luò)模型的整體結(jié)構(gòu)Fig. 4 Overall structure of the proposed network module

2 實驗及結(jié)果分析

2.1 數(shù)據(jù)集和實驗參數(shù)配置

本文使用DRIVE 和STARE 兩個公共的視網(wǎng)膜眼底圖像數(shù)據(jù)集來評估本文提出的模型。DRIVE 數(shù)據(jù)集包含40 幅分辨率為565×584 的彩色眼底圖像。20 幅圖像用來訓(xùn)練，20 幅圖像用來測試。STARE 數(shù)據(jù)集包含20 幅605×700 的彩色眼底圖像。由于STARE 數(shù)據(jù)集未劃分訓(xùn)練集和測試集，本文采用文獻(xiàn)[19]中的留一法進(jìn)行交叉驗證。

由于DRIVE 和STARE 數(shù)據(jù)集數(shù)據(jù)量很少，為了避免模型在訓(xùn)練過程中產(chǎn)生過擬合現(xiàn)象，需要對以上兩個數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)。首先將預(yù)處理后的圖像進(jìn)行-90°～90°隨機(jī)旋轉(zhuǎn)，然后將圖片隨機(jī)進(jìn)行水平或垂直翻轉(zhuǎn)，概率各為50%。最后采用滑窗方式對圖像進(jìn)行隨機(jī)切片，在每張眼底圖像中裁剪出5 000 個48×48 的重疊圖像塊。采用這種數(shù)據(jù)增強(qiáng)方式，以上兩個數(shù)據(jù)集將會獲得1 200 000 個小圖像塊，取前90% 用于網(wǎng)絡(luò)訓(xùn)練，后10%用于驗證。

訓(xùn)練細(xì)節(jié)：預(yù)訓(xùn)練階段，優(yōu)化算法為Adam，所有可以訓(xùn)練的卷積核都采用HED 初始化方法初始化參數(shù)，epoch 為150，初始學(xué)習(xí)率設(shè)置為0.01，在連續(xù)6 次迭代以后損失函數(shù)都沒有變化，則學(xué)習(xí)率衰減為原來的一半。輸出階段使用預(yù)訓(xùn)練階段訓(xùn)練好的模型參數(shù)繼續(xù)進(jìn)行學(xué)習(xí)，epoch 為100，初始學(xué)習(xí)率設(shè)置為0.001，在連續(xù)5 次迭代以后損失函數(shù)都沒有變化，則學(xué)習(xí)率衰減為原來的一半。

結(jié)構(gòu)化丟棄模塊的丟棄方塊的大小設(shè)置為7，為了使模型的性能達(dá)到最好，根據(jù)經(jīng)驗本文將DRIVE 數(shù)據(jù)集中的結(jié)構(gòu)化丟棄模塊的方塊保留概率設(shè)置為0.85，將STARE 數(shù)據(jù)集中的結(jié)構(gòu)化丟棄模塊的方塊保留概率設(shè)置為0.78。

2.2 圖像預(yù)處理

視網(wǎng)膜血管圖像存在亮度不均勻以及血管與背景之間的對比度較低等問題，為了使模型能夠更好地捕獲細(xì)小血管的更多特征，必須對視網(wǎng)膜血管圖像進(jìn)行預(yù)處理。首先提取RGB 圖像的3 個通道，受文獻(xiàn)[20]啟發(fā)，本文采用紅綠通道比例為3∶7 進(jìn)行組合并進(jìn)行灰度變換。然后歸一化眼底視網(wǎng)膜灰度圖像，采用對比度受限的自適應(yīng)直方圖均衡化(CLAHE)最后進(jìn)行伽馬校正。圖5為預(yù)處理前后結(jié)果圖。

圖5 預(yù)處理結(jié)果Fig. 5 Typical image after preprocessing

2.3 性能評價指標(biāo)

為了評估本文采用的模型的性能，采用了以下指標(biāo)：準(zhǔn)確度Acc、靈敏度se、特異性sp和受試者工作特征曲線ROC 的曲線下面積AUC。AUC 可用于衡量分割性能，因為它是評估兩分類的指標(biāo)，并且具有不受不平衡數(shù)據(jù)影響的特點。如果AUC 值為1，則表示分割無瑕疵。

2.4 結(jié)果分析

本文在HED 網(wǎng)絡(luò)結(jié)構(gòu)上進(jìn)行了5 組消融實驗，用來驗證本文提出的改進(jìn)方法和網(wǎng)絡(luò)結(jié)構(gòu)是否有效。模型1 在原始的HED 網(wǎng)絡(luò)結(jié)構(gòu)中加入殘差結(jié)構(gòu)和底部短連接結(jié)構(gòu)；模型2 在模型1的基礎(chǔ)上加入了通道注意力；模型3 則采用了改進(jìn)高效通道注意力代替原始的通道注意力模塊；模型4 在模型3 的基礎(chǔ)上加入了DRCAM；模型5 也就是本文最終采用的方法，在底部短連接結(jié)構(gòu)中也加入改進(jìn)高效通道注意力模塊，并把結(jié)構(gòu)化丟棄模塊的丟棄方塊的大小設(shè)置為7，以達(dá)到最好的分割性能。

從表1 中可以得出：1）原始的HED 網(wǎng)絡(luò)主要用來進(jìn)行邊緣檢測，通過對網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行一些改進(jìn)，該網(wǎng)絡(luò)在視網(wǎng)膜血管圖像分割領(lǐng)域也有不錯的表現(xiàn)；2）通過引入普通的通道注意力，網(wǎng)絡(luò)的各項性能僅有略微提升；3）通過在網(wǎng)絡(luò)中加入MECA 模塊，模型的靈敏度大幅提升，在DRIVE 和STARE 數(shù)據(jù)集上分別提升了2.18%和2.96%，其他各項指標(biāo)均有不同幅度的提升，這表明本文提出的MECA 模塊是有效的；4）通過采用DRCAM 結(jié)構(gòu)，模型的靈敏度進(jìn)一步提高，雖然特異性略有降低，但是可以通過調(diào)整結(jié)構(gòu)化丟棄模塊的參數(shù)來優(yōu)化；5）通過優(yōu)化結(jié)構(gòu)化丟棄模塊和進(jìn)一步引入MECA 模塊使本模型在靈敏度上取得了最好的性能，在其他指標(biāo)上也與最先進(jìn)的方法相差無幾。

表1 DRIVE 和STARE 數(shù)據(jù)集上的消融實驗結(jié)果Table 1 Results of ablation study on DRIVE and STARE dataset%

圖6 給出了5 組模型在DRIVE 數(shù)據(jù)集一副彩色視網(wǎng)膜血管圖像的分割結(jié)果和專家的手動分割結(jié)果圖。通過與專家的手動分割結(jié)果圖對比，可以看出通過引入MECA 模塊，模型可以識別出更精確的微小血管，通過優(yōu)化結(jié)構(gòu)化丟棄模塊參數(shù)和進(jìn)一步引用MECA 模塊，模型識別出的微小血管更加清晰，并且識別出的血管結(jié)構(gòu)更加完整。

圖6 消融實驗分割結(jié)果Fig. 6 Segmentation results of ablation experiments

在表2 和表3 中，本文總結(jié)了每個模型的發(fā)布年份以及它們在DRIVE、和STARE 數(shù)據(jù)集上的性能。結(jié)果表明，本文所提方法在DRIVE 和STARE 數(shù)據(jù)集上的綜合分割性能更好，雖然特異性sp和準(zhǔn)確度Acc都略低于目前的最先進(jìn)方法，但是靈敏度se有大幅度的提升，分別高于目前最先進(jìn)方法1.18%、0.96%。這說明本文所提方法具有最先進(jìn)的識別視網(wǎng)膜微小血管的能力，并且AUC 也略高于其他先進(jìn)方法。

表2 本文方法和其他方法在DRIVE 數(shù)據(jù)集上結(jié)果Table 2 Results of the proposed method with other methods on DRIVE dataset%

表3 本文方法和其他方法在STARE 數(shù)據(jù)集上結(jié)果Table 3 Results of the proposed method with other methods on STARE dataset%

3 結(jié)束語

本文提出了一種基于殘差通道注意力的視網(wǎng)膜血管圖像分割方法，首先，本文針對最近提出的高效通道注意力(ECA)模塊進(jìn)行了一些改進(jìn)，提出了改進(jìn)高效通道注意力模塊（MECA），這樣可以使神經(jīng)網(wǎng)絡(luò)有效地提取更精細(xì)的血管結(jié)構(gòu)。然后加深了HED 網(wǎng)絡(luò)結(jié)構(gòu)，提出了雙殘差結(jié)構(gòu)，并用結(jié)構(gòu)化丟棄模塊替換了原始的隨機(jī)丟棄模塊，把MECA 嵌入殘差結(jié)構(gòu)中，進(jìn)一步加強(qiáng)了模型識別精細(xì)血管的能力。最后，在HED 網(wǎng)絡(luò)結(jié)構(gòu)的特征融合階段加入短連接結(jié)構(gòu)，并把MECA 模塊融入到短連接結(jié)構(gòu)中來進(jìn)一步增強(qiáng)模型的靈敏度。通過在DRIVE 和STARE 數(shù)據(jù)集上的實驗表明，所提方法的綜合分割性能最優(yōu)，且在檢測血管的靈敏度性能方面明顯大于目前先進(jìn)的方法，靈敏度的提高對早期眼部相關(guān)疾病的臨床檢測具有重要意義，這說明本文所提方法具有很強(qiáng)的應(yīng)用潛力。本文所提方法尚未考慮血管的連通性，這也將是下一步工作的重點。