基于改進R2U-Net型網絡的視網膜血管圖像分割

王 瑩，朱家明，宋 梟

(揚州大學 信息工程學院，江蘇 揚州 225127)

0 引言

視網膜血管作為人體內唯一的可視血管，它的變化在一定程度上反映了一些器官的改變，所以醫生會把它當作了解其他器官血管情況的窗口。但由于視網膜血管比較細，分支較多，單純依靠醫生醫學經驗進行手動分割費時費力且重復性高，還可能存在漏診和誤診的情況。為了提高分割的效率和準確性，許多國內外研究人員一直致力于研究計算機自動分割視網膜血管。

Fu等人[1]引入了一種基于深度學習結構和全連接條件隨機場(CRF)的視網膜血管分割方法，全卷積神經網絡(CNN)體系結構學習到的判別特征處理眼底圖像中具有挑戰性的病理區域。Liskowski等人[2]提出了一種有監督的分割技術，使用CNN在一個大樣本上進行視網膜圖像的分割訓練。Hu等人[3]提出了一種基于改進原始的交叉熵損失函數的多尺度CNN結構并結合各中間層的特征圖構建多尺度網絡，從而來獲取視網膜血管的更詳細信息。Liu[4]將平穩小波變換生成的多尺度分析融入到全卷積網絡中，形成多尺度神經網絡來對視網膜血管結構進行分割。盡管CNN較傳統的分割方法有一定的優勢，但仍然存在特征提取能力不夠強、訓練樣本少導致的過擬合問題，分割過程中因噪聲影響導致分割精度不夠等問題。

為了提高圖像分割的精度，對原有的U型網絡進行研究改進，提出了多尺度特征融合的R2U-Net，使得血管分割的準確率和靈敏度有了進一步的提高。本文構建了一種融合循環殘差空洞卷積塊和多尺度注意力機制的混合編解碼器用于分割視網膜血管，并采用Focal Loss和Dice Loss相結合的混合損失函數。

首先，采用具有正向卷積層和特征連接的U-Net模型替代原版本的U-Net[5]的裁剪和復制方法，減少了網絡的工作量。其次，在殘差網絡的基礎上引入循環空洞卷積，循環結構實現網絡各層之間的參數復用并進行特征積累，空洞卷積從網絡中獲得到多感受野特征，從而提高網絡對多分辨率圖片的特征提取能力。改進的注意力機制依次對各層進行多尺度特征融合，使得模塊學習過程更具有針對性。結構的最底層則使用帶殘差結構的金字塔池化模塊來提取特征圖中不同的尺度特征，豐富了網絡空間信息，使其獲得更強的學習判斷能力。最后，使用Focal Loss與Dice Loss混合損失函數來處理，加快網絡收斂，提高網絡計算效率。

1 分割算法原理

1.1 改進注意力機制

注意力模型是借助人類注意力機制來命名的，深度學習中注意力機制被廣泛應用。醫學圖像分割中，為了突出分割對象區域，抑制不相關背景區域的特征響應，在網絡結構中引入注意力機制，提高了模型的靈敏度。受Attention U-Net的啟發，本文基于原始注意力進行改進，其結構圖如圖1所示。

圖1 改進注意力機制Fig.1 Improved attention mechanism

(1)

式中,xl為輸入特征，l表示每個特征的像素個數。

注意力機制的輸出結果xout為：

(2)

分割任務中，由于多個語義類別的存在，引入了學習多維注意力的系數，因此，注意力機制更能關注到分割過程中的主要情況。對比乘法注意力與加法注意力算法的方式與性能，可以發現加法注意力算法精度更高，分割效果更好。注意力系數αl為：

αl=σ2(φ(σ1(ωxxl+ωggl+bg))+bφ)，

(3)

式中，ωx為輸入xl的權值；ωg為輸入gl的權值；φ為標準卷積函數；bg為gl的偏置值；bφ為φ的偏置值。輸入特征xl，gl給注意力機制提供了上下文信息，這些信息可以判斷出輸入特征哪些與視網膜血管有關。αl則是對低層特征進行加權，從而增加相關性，抑制無關背景信息，以免影響網絡判斷。

1.2 混合損失函數

為了實現眼底細小血管的精準分割，本文采用騰訊醫療[6]提出的Focal Loss和Dice Loss混合的損失函數。Dice Loss減少不平衡問題，Focal Loss主要解決分割過程中累計損失偏大導致的分類效果差的問題?；旌蠐p失函數結合了二者的優勢，即降低誤分類和優化處理類不平衡。其推導公式如下：

(4)

(5)

(6)

L=LDice+λLFocal=

(7)

式中，c表示圖像的像素類別；TPp(c),FNp(c),FPp(c)分別為第c類的真陽性、假陰性和假陽性；pn(c)為c類第n個像素的預測率；gn(c)為c類第n個專家標注值；C表示類的數量；N表示訓練批次中像素數量；λ為平衡Focal Loss和Dice Loss的系數；α，β為均衡假陽性和假陰性的系數。

2 網絡模型與結構

2.1 U-Net

U-Net是在FCN的基礎上加以改進形成的網絡模型，由收縮(編碼)路徑和擴展(解碼)路徑組成，二者為對應關系。收縮路徑通過連續的卷積層和最大池化層對特征圖進行下采樣，減小輸入圖像的尺寸；擴展路徑通過卷積層和反卷積層進行上采樣，恢復圖像大小和信息。通過跳躍連接層連接編碼器和解碼器，并且恢復編碼器下采樣時丟失的圖像細節信息。U-Net在訓練數據較少的樣本時能取得不錯的性能，因此，U-Net在醫學相關領域被廣泛運用。U-Net結構如圖2所示。

圖2 U-Net結構Fig.2 U-Net structure

2.2 空洞卷積

在卷積網絡中,下采樣、池化用于減小特征圖的尺寸或者增加卷積核的大小來擴大感受野,但會導致圖像特征不全面、學習參數增加計算量大等問題。為了解決這些問題，Yu和Koltun[7]提出了空洞卷積，在不改變圖像尺寸和不損失分辨率的前提下擴大了感受野。其基本原理是在傳統卷積核的每2個像素之間填入0像素來增加卷積的擴張率，擴張率不同，感受野也不一樣，從而能夠獲取多尺度特征信息，如圖3所示。當卷積率為1時，就是普通的3×3的卷積，當卷積卷率為2時，就是5×5的空洞卷積核?？梢钥闯觯斩淳矸e在不額外增加參數和復雜計算的情況下擁有更大的感受野信息，并將全局特征信息加以利用。積核的計算公式為：

F=(r-1)×(k-1)+k，

(8)

圖3 不同擴張率的空洞卷積Fig.3 Dilated convolution of different dilation rates

式中，r和k分別為擴張率和卷積核的大小。

2.3 Dropblock

由于CNN中的參數較多，為了避免出現過擬合現象，使用dropout對全連接卷積網絡進行正則化操作[8]。但由于dropout是隨機丟棄特征圖中的元素，沒有完全割裂與相鄰元素的位置信息的連接，在卷積過程中彼此的特征還會相互影響，從而學習到冗余特征。Ghiasi等人[9]提出了Dropblock正則化，與dropout不同的是，Dropblock丟棄特征圖中連續區域塊的元素，如丟棄一些非必要的信息來增強網絡特征學習的魯棒性，進一步提高抗過擬合的能力。

(a) 原始圖

(b) Dropblock效果圖

Dropblock中有2個參數block_sice和γ，其中block_sice是丟棄塊區域的大小，其值是事先設定好的恒定值,不會隨著特征圖大小改變。一般可設為1,3,5,7等奇數，通過實驗結果表明，當block_sice設定為7時,循環殘差網絡的效果最好；當block_sice設定為1時，Dropblock隨機丟棄效果等同于dropout；當block_sice設定為特征圖尺寸大小時，又稱為Spatial dropout。γ是丟棄的語義特征塊的概率，其公式為:

(9)

式中，keep_prob是特征圖中保留下來的元素概率;feat_size為特征圖的大小;(feat_size-block_size+1)2為有效種子區域的大小。

2.4 循環殘差空洞卷積

網絡越深，能獲取的特征信息也越豐富，理論上可以通過堆疊卷積層和下采樣層來提取深層網絡的特征結構，但實驗結果發現堆疊到一定程度后，網絡出現了梯度爆炸、消失的問題。為了解決這些問題，何凱明等人[10]提出了ResNet，使得深層網絡也能訓練出好的效果。其核心思想是引入恒等映射，跳躍連接能將淺層特征傳遞給更深一層網絡，實現淺層特征的重復使用，增強圖像細節學習。Alom等人[11]將循環結構融入到ResU-Net中，形成了R2U-Net網絡，并將該網絡結構用于醫學圖像分割中。R2U-Net通過端到端的學習結構，降低了特征提取過程中噪聲的干擾，提高了特征提取的有效性和準確率。將R2U-Net卷積塊中原始卷積替換為空洞卷積來擴大感受野，但卷積塊中同時使用多個相同的空洞卷積會使得數據連續性變差，故采用不同擴張率的空洞卷積。每個空洞卷積層后都是一個Dropblock層、BN層和一個SeLu激活函數層。卷積塊結構圖如圖5所示，其中圖5(a)為T=2的循環結構的展開圖，圖5(b)為本文中改進后的循環殘差空洞卷積塊的展開圖。

(a) T=2的循環網絡

(b) 循環殘差空洞卷積

2.5 殘差多尺度池化層

分割過程中目標圖像變化大導致分割難度增加，為了減少不同子區域間相鄰特征信息的丟失，本文使用殘差多尺度池化層來提取不同尺度的信息。池化模型融合了4種不同尺度的特征，從上到下的池化核分別為2×2，4×4，8×8和16×16，來提取全局上下文特征信息。金字塔4層輸出不同尺度的特征圖，為了使全局特征權重不變，在4個不同層級后面都連接一個1×1大小的卷積操作來減少輸出特征圖的通道數。然后，利用雙線性插值將低層特征圖進行上采樣，得到和輸入池化層的原始特征圖一樣大小的特征，最后再將得到的特征圖與原始特征圖相疊加，組成一個多通道多尺度特征的特征圖，進行圖像的分割。殘差多尺度池化層如圖6所示。

圖6 殘差多尺度池化層Fig.6 Residual multi-scale pooling layer

2.6 網絡結構

本文提出了基于改進的U-Net網絡——R2MAFF-Net，它保留了原始U型網絡的端到端的結構，使得網絡學習具有較好的遷移特性。原始U型網絡的收縮路徑充分利用上下文信息進行特征提取，擴展路徑恢復特征細節和維度。但隨著網絡層數越來越深，網絡性能不升反降，出現了梯度消失的問題。并且，分割過程中還存在眼底血管較細小，拍攝圖像中病灶太亮等噪聲干擾情況。為了解決這些問題，將原始的U型網絡的編解碼部分使用循環殘差空洞卷積網絡替換。通過引入恒等映射解決了網絡層數過深引起的梯度消失的問題；利用循環結構對底層特征信息進行重復提取、積累；通過空洞卷積在不損失信息的情況下進一步擴大感受野，提高了網絡各層之間的相關性，加強了全局的聯系，但也會帶來特征過度提取、噪聲干擾等問題。為了解決這些問題，在編解碼的跳躍連接中加入多尺度注意力機制，增加血管特征信息權重的同時將高低層的特征語義信息相結合，減少網絡模型參數的計算量，使得分割明暗對比效果更清晰。

R2MAFF-Net由4部分組成：編碼器、解碼器、帶多尺度注意力機制的跳躍連接以及上下文特征提取模塊。編碼器包含4組下采樣層和卷積層，采樣層由2個并行通道構成，卷積層采用的是循環殘差空洞卷積模塊來優化網絡結構，并在卷積塊中添加了Dropblock來防止過擬合的問題。解碼器由4組上采樣層和尺寸為3×3的卷積層以及最高層的1×1的卷積層組成,用來恢復特征大小，輸出分割的結果。編碼器與解碼器之間是通過帶有注意力機制的跳躍層連接，該模塊用以融合成像背景與血管比例，降低背景混沌對血管形態的影響[12]。通常低層特征語義信息少而精；高層特征語義信息多而略。上下文特征提取模塊則是殘差多尺度特征池化層，通過多尺度池化聚集不同區域的信息，進而獲得全局上下文信息。R2MAFF-Net結構如圖7所示。

圖7 R2MAFF-Net結構Fig.7 Structure diagram of R2MAFF-Net

3 實驗結果與分析

3.1 眼底圖像數據集

實驗用到的數據集為DRIVE和STARE公開眼底數據集，DRIVE數據集中有40幅圖像，其中7幅有輕微病變，33幅是正常的，每幅圖像的像素為565 pixel×584 pixel,分成訓練集和測試集，每個子集含有20幅圖像，每幅圖像對應2個專家手動分割的結果。STARE數據集中有20幅眼底圖像，其中10幅有病變，10幅是正常的，圖像分辨率為605 pixel×700 pixel，每幅圖像對應2個專家手動分割的結果，但是其自身的數據集中沒有掩膜，需要自己手動設置掩膜。數據集圖像如圖8所示。

(b) 手動分割1

(c) 手動分割2

(d) 掩膜

在預處理的完整圖像的子圖像(補丁)上執行神經網絡的訓練，把圖像隨機剪裁成48×48的塊狀用于模型訓練，DRIVE和STARE數據集分別抽取200 000個和190 000個局部樣本塊。將專家手工標注的金標準圖進行裁剪，拼接成與訓練集相對應的圖像，如圖9所示。

(a) 訓練集局部樣本塊

(b) 金標準局部樣本塊

本實驗在個人計算機Windows10操作系統上搭建實驗平臺，其參數如表1所示。

表1 實驗運行參數Tab.1 Experimental operation parameters

3.2 評價指標

為了對本文所提算法的分割性能進行評估，采用準確率(Accuracy)、優異性(Specificity)、靈敏度(Sensitivity)、F1值(F1-score)和ROC曲線下方的面積(Area Under Curve,AUC)值作為評價標準。準確率ACC為圖像整體被正確分割的指數；特異性SP為圖像背景被正確分割的指數；靈敏度SE為血管被正確分割的指數；F1值則是衡量分割結果和標準結果之間相似性的指數。ROC曲線圖表示的是敏感性和特異性之間關系，AUC越接近1，則預測算法的分割準確率越高。相關指標計算公式如下：

(10)

(11)

(12)

(13)

式中，TP(pTP)表示預測算法分割結果與專家手工分割結果相同；TN(pTN)表示背景被正確分類；FP(pFP)表示背景被誤分為血管；FN(pFN)表示血管被誤分為背景。

3.3 實驗結果及分析

本文實驗在數據集DRIVE和STARE得到的分割效果如圖10和圖11所示。其中第1行為輸入圖像，第2行為專家手工分割圖像，第3行為本文實驗結果。通過與金標準圖像進行對比，本文算法可以較好地區分血管與背景的像素點，證實了本文算法在血管細小、曲折和分叉等復雜情形下也能取得不錯的分割效果。

(a) 原始圖像

(b) 手動分割

(c) 本文分割

(d) U-Net分割

(a) 原始圖像

(b) 手動分割

(c) 本文分割

(d) U-Net分割

U-Net網絡和本文算法網絡在數據集DRIVE和STARE上的各項分割指標結果如表2所示。其中包括靈敏度、特異性、準確率和AUC值?？梢园l現，本文提出的算法分割指標均優于U-Net網絡。

表2 實驗數據Tab.2 Experimental data

圖12為ROC曲線，可以更直觀地體現本文分割的優異性，圖中顯示DRIVE和STARE數據集上的ROC曲線下方面積分別為0.981 3和0.982 0，這表明假陽性率較低，真陽性率高，血管分割出錯率較小。

(a) DRIVE數據集(AUC=0.981 3)

(b) STARE數據集(AUC=0.982 0)圖12 ROC曲線Fig.12 ROC curve

3.4 不同算法指標對比

為了進一步證明本文提出的帶有循環殘差卷積模塊和帶有多尺度特征融合的特征提取模塊與U-Net模型結合具有優勢。下面將以U-Net模型為基礎，在該網絡結構上進行修改，并在DRIVE數據集上進行了實驗對比，測試其準確性、敏感性、特異性與AUC值，其中包含了U-Net，AttR2U-Net,R2U-Net和本章分割算法。實驗結果如表3所示。

表3 實驗對比數據Tab.3 Comparison of experimental data

圖13選取了圖像中的血管交叉處和血管末梢進行放大對比，圖13(a)和圖13(e)為原始圖像，圖13(b)和圖13(f)為金標準圖像，圖13(c)和圖13(g)為U-Net網絡的分割結果細節圖，圖13(d)和圖13(h)為本文改進的網絡分割結果細節圖。將本文方法分割結果圖13(d)、圖13(h)和U-Net網絡在眼底血管的分割結果圖13(c)、圖13(g)進行對比，可以明顯發現:U-Net網絡在血管末梢和血管分叉處的分割效果比較一般，準確率不高，錯將血管分割為背景，與臨床上的要求還有一些差距。改進后的R2MAFF-Net網絡分割的血管末梢更加連續完整，特征信息丟失較少，抗干擾能力也更強，對背景和血管的分類也更加清晰，具有一定的臨床參考性。

(a) 原始圖

(b) 手動分割

(c) U-Net分割

(d) 本文分割圖

(e) 局部

(f) 手動分割局部圖

(g) U-Net分割局部圖

(h) 本文分割局部圖

為了直觀地體現出本文算法的血管分割性能，表2和表3是不同分割算法在數據集DRIVE和STARE上的分割指標數據，其中包括靈敏度、特異性、準確率和AUC值，并將每項中的最優質值加粗表示。本文在DRIVE數據集上的測試結果中準確率ACC達到0.959 1，SE的值為0.806 3，SP的值為0.983 1，AUC的值為0.981 3。在STARE數據集上的測試結果中準確率ACC達到0.959 7，SE的值為0.786 8，SP的值為0.985 2，AUC值為0.982 0。在2個數據集下的分割指標相比文獻[13-21]中的算法均有所提高，說明本文改進的網絡能更為準確地識別并分割出細小血管。

表4 DRIVE數據集算法指標對比Tab.4 Comparison of algorithm indexes in DRIVE dataset

表5 STARE數據集算法指標對比Tab.5 Comparison of algorithm indexes in STARE dataset

綜上所述，本文的改進算法能在背景較為復雜的眼底圖像中將分割細節處理得當，分辨背景干擾和其他噪聲，分割結果的準確率等性能指標也有所提高。

4 結束語

本文提出了一種融合多尺度注意力機制的循環殘差空洞卷積網絡，來提高眼底血管分割的精度和準確率。編碼器在循環殘差空洞卷積塊中融入Dropblock有效對抗過擬合現象，并對深層網絡的語義特征進行全面的學習，提取出豐富的視網膜血管信息。網絡的連接層中引入多尺度的注意力模塊，使學習過程中能注意到細小血管，擴大血管與背景的權值差，從而改善血管的分割結果。在第5層編解碼末端的連接處融入多尺度信息的循環殘差特征融合模塊，不同內容和不同尺度的特征融合使整個模型在面對目標尺度變化時能夠及時有效應對。使用Focal Loss和Dice Loss混合損失函數，使模型的注意力更集中于難分割且重要的區域，平衡了模型分割的準確率和召回率，從而進一步提高了模型的適用度。但本文在分割過程中也遇到一些問題，比如在圖像預處理時視杯周圍的血管不能較好地識別，以至于在測試訓練時誤將有些視盤區域的像素點分為血管像素點。未來將繼續探索識別度更高的網絡模型，以改進這些不足。