基于RAU-net的視網(wǎng)膜血管圖像分割

張麗娟，梅 暢，李超然，章 潤

基于RAU-net的視網(wǎng)膜血管圖像分割

張麗娟1，梅 暢1，李超然2，章 潤1

（1. 長春工業(yè)大學(xué) 計算機科學(xué)與工程學(xué)院，吉林 長春 130012；2. 長春理工大學(xué) 光電信息學(xué)院信息工程學(xué)院，吉林 長春 130114）

在眼科疾病的診斷中，對視網(wǎng)膜血管進行分割是非常有效的一種方法。在方法使用中，經(jīng)常會遇到由于視網(wǎng)膜血管背景對比度低及血管末梢細節(jié)復(fù)雜導(dǎo)致的血管分割難度較大的問題，通過在設(shè)計網(wǎng)絡(luò)的過程中在基礎(chǔ)U-net網(wǎng)絡(luò)中引入殘差學(xué)習(xí)，注意力機制等模塊，并將兩者巧妙地結(jié)合在一起，提出一種新型的基于U-net的RAU-net視網(wǎng)膜血管圖像分割算法。首先，在網(wǎng)絡(luò)的編碼器階段加入殘差模塊，解決了模型網(wǎng)絡(luò)加深導(dǎo)致梯度爆炸以及梯度消失的問題。其次，在網(wǎng)絡(luò)的解碼器階段引入注意力門（attention gate, AU）模塊，用來抑制不必要的特征，從而使模型產(chǎn)生更高的精度。通過在DRIVE數(shù)據(jù)集上進行驗證，該算法的準確率、靈敏度、特異性和1-score分別達到了0.7832，0.9815，0.9568和0.8192。分割效果相對于普通監(jiān)督學(xué)習(xí)算法較為良好。

圖像分割；視網(wǎng)膜血管；全卷積網(wǎng)絡(luò)；殘差模塊；注意力機制

0 引言

人眼的視網(wǎng)膜結(jié)構(gòu)的表征和分析可以幫助準確診斷各種眼部疾病[1]以及各種其他疾病，例如青光眼，糖尿病性視網(wǎng)膜病變（diabetic retinopathy, DR）[2]，年齡相關(guān)性黃斑變性（age-related macular degeneration, AMD）等。為此，對視網(wǎng)膜血管樹結(jié)構(gòu)的分析和準確檢測可以被認為是大規(guī)模人群預(yù)防疾病的首要任務(wù)。然而，由于視網(wǎng)膜圖像的噪聲影響，圖像對比度過低，微小血管之間的變化不均勻，對視網(wǎng)膜圖像的分割成為了許多專家研究的問題。

傳統(tǒng)的人工手動分割需要專業(yè)眼科醫(yī)生進行手動標注，但由于視網(wǎng)膜血管分布十分密集，故重復(fù)性低，效率也較低。此外在手動分割中，可從眼底圖像中提取的信息量也受到限制。在目前階段，無監(jiān)督和有監(jiān)督的視網(wǎng)膜圖像分割方法在很大程度上也依靠專家人工手動標記的標準特征來表征血管和背景之間的差異。但是，難點在于如何使算法適應(yīng)血管尺度，形狀和幾何變換，實現(xiàn)對血管特征的智能識別，從而能夠?qū)δ繕说妮喞徒Y(jié)構(gòu)進行準確有效的分割，用來達到輔助臨床的需求診斷。

目前國內(nèi)外近些年來的視網(wǎng)膜血管圖像分割算法，主要分為無監(jiān)督分割和有監(jiān)督分割兩大類。無監(jiān)督學(xué)習(xí)方法通常使用過濾器或其他基于模型的技術(shù)來提取血管。Chaudhuri等人[3]使用復(fù)雜的Gabor濾波器用來增強血管的外觀并抑制背景噪聲。然后，基于灰度共生矩陣，使用熵閾值檢測血管增強圖像中的血管像素。Vlachos等人[4]提出了一種新型的多尺度線性跟蹤算法，通過多尺度線性矩陣的地圖量化，得出血管網(wǎng)絡(luò)，然后使用血管的方向?qū)傩院托螒B(tài)重建來消除噪聲線路。Zana等人[5]提出了一種有高斯型輪廓改進的線性模式，并且使用了跨曲率評估和線性濾波進行分割。

相對于無監(jiān)督分割來說，有監(jiān)督分割相對簡單。通過專家分割的黃金標準用來對比檢測算法的可行性。雖然有監(jiān)督分割效率更高，但是由于黃金標準來自專家的手動分割，所以主觀且成本昂貴。近些年來，深度學(xué)習(xí)的語義分割效果出色，許多學(xué)者將深度學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)應(yīng)用到視網(wǎng)膜血管圖像分割上。Wu[6]等人將殘差學(xué)習(xí)與緊密連接的網(wǎng)絡(luò)（DenseNet）相結(jié)合。其次，為了提取更多的細血管，在編碼器-解碼器網(wǎng)絡(luò)中采用了擴張的卷積來擴展接收場，而不增加參數(shù)。但過度使用了密集塊結(jié)構(gòu)導(dǎo)致高內(nèi)存使用率和大計算復(fù)雜度。DHIMAS[7]在將眼底圖像發(fā)送到源自U-Net的卷積神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)之前首先應(yīng)用新的方向敏感型血管增強方法。Fu[8]等人將血管分割問題轉(zhuǎn)換為邊界監(jiān)測問題，并采用完全連接的條件隨機場（conditional random fields, CRF）來組合判別血管概率圖和像素之間的遠程交互作用。但是該算法無法根據(jù)血管的形狀信息進行有效轉(zhuǎn)換，并且條件隨機字段無法捕獲與血管曲率相關(guān)的復(fù)雜形狀特性，從而導(dǎo)致微血管分割不完整。Jiang[9]等人提出了一種名為D-Net的基于深度卷積神經(jīng)網(wǎng)絡(luò)（deep convolutional neural network, DCNN）結(jié)構(gòu)。在編碼階段，我們通過降低下采樣因子來減少特征信息的丟失，從而降低了細小血管細分的難度。使用組合的擴展卷積來有效擴大網(wǎng)絡(luò)的接收范圍，并減輕標準擴展卷積中存在的“網(wǎng)格問題”。這兩年，卷積網(wǎng)絡(luò)的各種改進在視網(wǎng)膜血管圖像處理中獲得了更加出色的效果。Alom[10]等人提出了一種基于U-net的遞歸殘差卷積神經(jīng)網(wǎng)絡(luò)（R2U-net），利用了U-Net，殘差網(wǎng)絡(luò)和RCNN的功能，提供了更好的性能。而Zhuang[11]等人對R2U-net進行改進，使用了改進過的殘差模塊，提出了LadderNet，構(gòu)造了多對編碼器-解碼器分支，并且在每個級別的每對相鄰解碼器和解碼器分支之間加入了跳躍連接。

1 算法介紹

1.1 RAU-net框架

針對視網(wǎng)膜血管背景對比度低及血管末梢細節(jié)復(fù)雜導(dǎo)致的血管分割難度較大的問題，本文提出了一種基于普通U-net網(wǎng)絡(luò)改進的RAU-net算法。該算法在編碼階段引入殘差單元與U-net網(wǎng)絡(luò)結(jié)合來提高網(wǎng)絡(luò)訓(xùn)練的性能，減少梯度下降的問題，而且殘差模塊的跳頻連接可以保證信息的不降級，從而設(shè)計更深的網(wǎng)絡(luò)結(jié)構(gòu)。在解碼階段的跳躍連接部分引入注意力機制，可以有效地將編碼器階段產(chǎn)生的噪聲所導(dǎo)致的誤差抑制，來提高對視網(wǎng)膜圖像分割的精確率。經(jīng)過改進的RAU-net模型如圖1所示。

本文所提算法一共有3個階段構(gòu)成，分別是編碼器階段，橋接階段和解碼器階段，對普通的編碼-解碼網(wǎng)絡(luò)結(jié)構(gòu)進行了改進。網(wǎng)絡(luò)在編碼階段將原始的卷積模塊改進成殘差模塊，形成了新的殘差單元。編碼器階段共設(shè)計了3個殘差單元，故相對應(yīng)在解碼階段也設(shè)計了3個殘差單元。輸入經(jīng)過預(yù)處理后的視網(wǎng)膜數(shù)據(jù)后，編碼部分經(jīng)過3個殘差單元，每一個殘差模塊由兩個3×3的卷積核和一個身份映射組成。網(wǎng)絡(luò)通過帶有一個殘差模塊的橋梁連接編碼部分和解碼部分。在解碼階段，通過上采樣向上通過殘差單元進行反卷積，但在上采樣的過程中會產(chǎn)生信息丟失和部分噪聲，為了解決上采樣過程中產(chǎn)生的噪聲和信息丟失，在跳躍連接的部分加入注意力機制（attention gate, AG）來進行噪聲處理和降低損失。最后通過Softmax對視網(wǎng)膜圖像的血管和背景進行一個二分類，從而達到使其分割的效果，最后輸出圖像分割結(jié)果。

圖1 RAU-net視網(wǎng)膜血管圖像分割算法模型

1.2 殘差單元

近些年來，對神經(jīng)網(wǎng)絡(luò)深度的研究成為了優(yōu)化網(wǎng)絡(luò)性能的關(guān)鍵。但是隨著網(wǎng)絡(luò)深度的加深，梯度消失和梯度爆炸問題開始出現(xiàn)，甚至出現(xiàn)了網(wǎng)絡(luò)退化。本文借助了Resnet[14]中的深度殘差模型來延緩網(wǎng)絡(luò)傳播過程中的梯度消失。殘差模塊的構(gòu)成如圖2所示。假設(shè)某個神經(jīng)網(wǎng)絡(luò)的輸出為，預(yù)期輸出為()，如果我們將輸入直接作為初始結(jié)果傳遞給輸出，則我們的目標需要學(xué)習(xí)的公式如下：

()＝()－(1)

因此原始映射將被表示為：

()＝()＋(2)

當(dāng)模型中的層數(shù)加深時，這個簡單的結(jié)構(gòu)可以很好地解決退化問題。殘差模塊與傳統(tǒng)的深度神經(jīng)網(wǎng)絡(luò)一樣，由批量歸一化（BatchNorm, BN），ReLU激活函數(shù)和卷積層進行有效組合。為找到最佳效果，Zhang等人[12]通過3種不同的實驗找出了最佳組合，提出了如圖2的網(wǎng)絡(luò)結(jié)構(gòu)。

圖2 殘差模塊的構(gòu)成

1.3 注意力機制

在解碼器的跳躍連接部分，我們引入了注意力機制[14]，用來消除不相關(guān)的噪聲，和解決上采樣階段產(chǎn)生的信息丟失。從而提高視網(wǎng)膜血管精度，注意力機制的結(jié)構(gòu)如圖3所示。

注意力機制的輸入是兩個不同的信息和。模塊的構(gòu)成主要包括通過3個1×1×1的卷積實現(xiàn)的線性變換g，W，，線性變換g和W兩者相加，得出注意力系數(shù)?[0,1]，的計算過程如下：

2.1兩組治療效果對比 對照組患者的總有效率為78.1%,觀察組患者的總有效率為93.7%,觀察組明顯高于對照組,差異有統(tǒng)計學(xué)意義(P<0.05),具體見表1。

＝2(T1(WTx＋gTg＋g)＋) (3)

通過注意力門的訓(xùn)練，從而抑制噪聲和其他無關(guān)的特征信息。

1.4 損失函數(shù)

在網(wǎng)絡(luò)訓(xùn)練過程中，我們采用二進制交叉熵作為損失函數(shù)。最后一層的網(wǎng)絡(luò)輸出為o?(0,1)，y?(0,1)為分割結(jié)果。損失函數(shù)設(shè)計如下：

2 實驗結(jié)果及分析

2.1 實驗環(huán)境與數(shù)據(jù)集

本文的實驗環(huán)境是以Tensorflow為基礎(chǔ)的Keras開源框架，硬件配置是Intel Core i5-7300HQ 和NVIDIA 1050Ti GPU，實驗操作系統(tǒng)為Windows 10。

實驗所用的數(shù)據(jù)集是公共數(shù)據(jù)集DRIVE[15]。數(shù)據(jù)集由Nieneijer團隊于2004年組成。包括20個訓(xùn)練圖像和20個測試圖像，圖像像素為565×584。

兩組圖像都來自兩個專家的手動黃金分割，第一組作為分割的黃金標準，第二組作為對比。

2.2 圖像預(yù)處理

由于采集到的視網(wǎng)膜圖像中血管與背景之間的對比度較低，無法捕捉細小血管中的精確特征，導(dǎo)致算法的效果不好。故我們對數(shù)據(jù)集的圖像進行預(yù)處理[16]，以便更好地對圖像進行后續(xù)的處理。具體步驟如下：

①提取彩色眼底圖像中血管和背景之間具有高對比度的綠色通道，并通過雙邊過濾將其去噪。

②對經(jīng)過濾波和去噪的綠色通道圖像采用自適應(yīng)直方圖均衡化（CLAHE）算法[17]。改善了血管和背景之間的對比度，同時抑制了噪音。然后，通過濾鏡濾波進行全局銳化，以抑制由CLAHE增強的圖像（如偽影和黃斑）的噪聲影響，從而突出顯示血管信息。

③局部自適應(yīng)伽瑪校正[18]用于根據(jù)血管和背景的不同像素特征進行伽瑪匹配，以校正不同區(qū)域的視網(wǎng)膜圖像，從而抑制不均勻的光因子和中心線的反射。

圖3 注意力機制結(jié)構(gòu)圖

2.3 圖像擴充

由于卷積網(wǎng)絡(luò)訓(xùn)練的模型參數(shù)擬合一般需要大量的數(shù)據(jù)。但由于本文使用數(shù)據(jù)庫本身較小，不適合對圖像進行直接的訓(xùn)練。所以我們采用隨機切片的方式對數(shù)據(jù)進行擴增。對整個圖像內(nèi)隨機選擇其中心獲得每個尺寸為48×48的貼片，對數(shù)據(jù)庫中20個圖像每一個隨機提取9500個貼片，獲取共190000個貼片。盡管貼片重疊，即不同的貼片可以包含原始圖像的相同部分，但是不執(zhí)行下一步的數(shù)據(jù)增強。然后對數(shù)據(jù)進行分布，前90%的數(shù)據(jù)集用于訓(xùn)練（171000個切片），而最后10%用于驗證（19000個切片）。圖4是進行貼片擴充后的視網(wǎng)膜圖像切片。

圖4 圖像擴充后的圖像塊

Fig.4 Image block after image expansion

2.4 參數(shù)設(shè)置

訓(xùn)練網(wǎng)絡(luò)中的權(quán)重與偏差參數(shù)使用正態(tài)分布隨機進行初始化；并使用Adam[19]算法基于二進制交叉熵進行優(yōu)化，訓(xùn)練迭代50個epoch。將模型訓(xùn)練的batch size設(shè)定為64，學(xué)習(xí)率設(shè)置為0.001。

2.5 評價指標

為了更加系統(tǒng)明確地比較算法之間的分割效果，我們使用4個指標以及ROC（receiver operating characteristic curve）曲線作為評判標準，包括敏感性（Sen），特異性（Spe），準確性（Acc）和1-score。4個指標的具體計算公式如下：

對于數(shù)據(jù)集中的血管像素點而言，TP、FP分別是分割結(jié)果與標準一致和不一致的數(shù)量。對于非血管像素點，TN、FN分別是與標準一致和不一致的數(shù)量。

ROC曲線的橫坐標是FP，縱坐標為TP，以此在一個直角坐標系中繪制出一條曲線。主要是對模型進行一個定性的分析。如果要對模型進行一個量化的分析，那么便要引入AUC（aarea under curve）面積。AUC面積主要是ROC曲線下的面積，AUC的值越大，說明該模型的性能越好。

2.6 結(jié)果分析

本文在DRIVE數(shù)據(jù)集上進行實驗，實驗結(jié)果如圖5所示。

圖5 DRIVE數(shù)據(jù)集上的分割結(jié)果

圖5(a)是DRIVE數(shù)據(jù)集的原始輸入圖像，圖5(b)是手動分割的作為對比的圖像，圖5(c)是經(jīng)過本文算法預(yù)測的結(jié)果。從圖5可以看出，本文算法的分割結(jié)果較為良好，與專家手動分割結(jié)果基本一致。

表1是基礎(chǔ)的U-net算法和近幾年來對U-net進行有效改進的幾個網(wǎng)絡(luò)結(jié)構(gòu)在DRIVE數(shù)據(jù)集上的評測指標結(jié)果?？梢钥闯?，該算法在敏感性（Sen），特異性（Spe），準確性（Acc）和1-score上都優(yōu)于其他幾個算法。圖6是該算法在DRIVE數(shù)據(jù)集上的AUC曲線，從表1中也可以看出，AUC的值也優(yōu)于上述算法。因此可以說明我們的網(wǎng)絡(luò)模型在視網(wǎng)膜血管分割上有較為優(yōu)秀的表現(xiàn)，具有創(chuàng)新和使用價值。

表1 基于U-Net的常見算法和本文算法在DRIVE數(shù)據(jù)集上的視網(wǎng)膜血管分割性能對比

圖6 DRIVE數(shù)據(jù)集上的ROC曲線

3 結(jié)論

本文提出一種基于RAU-net的視網(wǎng)膜血管圖像分割算法，首先，在網(wǎng)絡(luò)的編碼器階段加入殘差模塊，解決了模型網(wǎng)絡(luò)加深導(dǎo)致梯度爆炸以及梯度消失的問題。其次，在網(wǎng)絡(luò)的解碼器階段引入注意力門（AG）模塊，用來抑制不必要的特征，并將兩者充分結(jié)合，從而使模型產(chǎn)生更高的精度。實驗結(jié)果表明，該算法在敏感性，特異性和準確性和1-score方面達到了0.7832，0.9815，0.9568和0.8192，分割效果更好。下一步將會在網(wǎng)絡(luò)結(jié)構(gòu)上更加優(yōu)化，提高網(wǎng)絡(luò)模型的泛化能力。

[1] Abràmoff M D, Folk J C, Han D P, et al. Automated analysis of retinal images for detection of referable diabetic retinopathy[J]., 2013, 131(3): 351-357.

[2] ZENG X, CHEN H, LUO Y, et al. Automated diabetic retinopathy detection based on binocular siamese-like convolutional neural network[J]., 2019, 7: 30744-30753(doi: 10.1109/ ACCESS.2019.2903171).

[3] Chaudhuri S, Chatterjee S, Katz N, et al. Detection of blood vessels in retinal images using two-dimensional matched filters[J]., 1989, 8(3): 263-269.

[4] Vlachos M, Dermatas E. Multi-scale retinal vessel segmentation using line tracking[J]., 2010, 34(3): 213-227.

[5] Zana F, Klein J C. Segmentation of vessel-like patterns using mathematical morphology and curvature evaluation[J]., 2001, 10(7): 1010-1019.

[6] WU C, YI B, ZHANG Y, et al. Retinal vessel image segmentation based on improved convolutional neural network[J]., 2018, 38(11): 1111004-1-1111004-7.

[7] Dharmawan D A, LI D, Ng B P, et al. A new hybrid algorithm for retinal vessels segmentation on fundus images[J]., 2019, 7: 41885-41896 (doi: 10.1109/ACCESS.2019.2906344).

[8] FU H, XU Y, WONG D, et al. Retinal vessel segmentation via deep learning network and fully-connected conditional random fields[C]// 13(ISBI 2016), 2016: 698-701.

[9] JIANG Y, TAN N, PENG T , et al. Retinal vessels segmentation based on dilated multi-scale convolutional neural network[J]., 2019, 7: 76342-76352.

[10] Alom M Z, Yakopcic C, Taha T M, et al. Nuclei segmentation with recurrent residual convolutional neural networks based U-Net (R2U-Net)[C]//(NAECON 2018), 2018: 228-233(doi: 10.1109/ NAECON. 2018. 8556686).

[11] ZHUANG J. Multi-path networks based on U-Net for medical image segmentation[J]., 2018, arXiv: 1810.07810.

[12] HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]//, 2016: 770-778.

[13] Oktay O, Schlemper J, Folgoc L L, et al. Attention U-net: Learning where to look for the pancreas[J]., 2018, arXiv:1804.03999.

[14] Gkantsidis C, Mihail M, Saberi A. Random walks in peer-to-peer networks: algorithms and evaluation[J]., 2006, 63(3): 241-263.

[15] Staal J, Abramoff M D, Niemeijer M, et al. Ridge-based vessel segmentation in color images of the retina[J]., 2004, 23(4): 501-509.

[16] Satapathy S C, Raja N S M, et al. Multi-level image thresholding using Otsu and chaotic bat algorithm[J]., 2018, 29(12): 1285-1307.

[17] PAN X, ZHANG Q, ZHANG H, et al. A fundus retinal vessels segmentation scheme based on the improved deep learning U-Net model[J]., 2019, 7(99): 122634-122643.

[18] 雷軍明, 王成鋼, 劉雪燕. 基于改進U-Net的視網(wǎng)膜血管圖像分割[J]. 信息技術(shù)與信息化, 2019(10): 168-169.

LEI J M, WANG C G, LIU X Y. Retinal vessel image segmentation based on improved U-Net[J]., 2019(10): 168-169.

[19] Kingma D, Ba J. Adam: A method for stochastic optimization[J]., 2014, arXiv:1412.6980.

Retinal Vessel Image Segmentation Based on RAU-net

ZHANG Lijuan1，MEI Chang1，LI Chaoran2，ZHANG Run1

(1.,,130012,;2.,,,130114,)

In the diagnosis of ophthalmic diseases, segmentation of retinal blood vessels is a quite effective method. However, using this method, difficulties in blood vessel segmentation are often encountered due to the low contrast of the retinal blood vessel background and complex details of the blood vessel end. Thus, residual learning is introduced by adding a basic U-net network to the process of network design. Through the introduction of residual learning and attention mechanism modules into the basic U-net network in the process of network design, a new type of U-net-based RAU-net retinal blood vessel image segmentation algorithm is proposed. First, the residual module is added to the encoder stage of the network to address gradient explosion and disappearance caused by the deepening of the model network. Second, the attention gate module is introduced in the decoder stage of the network to suppress unnecessary features to ensure high accuracy of the model. Through verification of DRIVE, the accuracy, sensitivity, specificity, and1-score of the algorithm reached 0.7832, 0.9815, 0.9568, and 0.8192, respectively. Thus, the segmentation effect was better than that of ordinary supervised learning algorithms

image segmentation, retinal vessels, fully convolutional network, residual module, attention mechanism

TP394.1；TH691.9

A

1001-8891(2021)12-1222-06

2020-10-08；

2020-10-14.

張麗娟（1978-），女，吉林梅河口人，博士，教授，主要從事計算機視覺及光學(xué)圖像處理等方面研究。E-mail: zhanglijuan@ccut.edu.cn。

吉林省教育廳“十三五”科學(xué)研究規(guī)劃項目（JJKH20210747KJ）；吉林省生態(tài)環(huán)境廳科研項目（吉環(huán)科字第2021-07）。