全尺度密集卷積U型網絡的視網膜血管分割算法

夏 平，何志豪，雷幫軍，彭 程，王雨蝶

(1.三峽大學 水電工程智能視覺監測湖北省重點實驗室，湖北 宜昌 443002；2.三峽大學 計算機與信息學院，湖北 宜昌 443002)

0 引 言

視網膜的相關疾病易導致視網膜的損傷[1，2]，如糖尿病常見并發癥之一的糖網病[3]使視網膜產生新生血管、或大片視網膜血管缺血，引起視力下降、復視等癥狀；利用視網膜圖像分割中血管的粗細、彎曲度以及空間結構特性，醫生可以診斷視網膜是否存在病變或結構異常，因此，視網膜血管分割用于輔助醫生分析和研究視網膜疾病[4，5]，對視網膜相關疾病的預防和治療具有重要的意義[6，7]。視網膜血管粗細變化跨度大，既有明顯的粗血管，也有大量細小血管，且血管與背景邊界模糊；此外，血管結構類似樹支狀，各枝節相互交錯，分支和分叉結構復雜；且視網膜血管病變程度不同，造成血管粗細、對比度以及血管結構特征發生明顯變化。因此，視網膜血管的分割存在一定的困難。

傳統機器學習的視網膜血管分割主要有模糊C均值(FCM)聚類[8]、多方向濾波[9]、多尺度小波算子等方法。傳統算法主要存在表達視網膜圖像的特征并不充分，算法泛化能力局限于通過人工設計特征而設計的算法模型[10]。隨著深度學習技術的發展與在醫學領域中的應用，基于深度學習的視網膜血管分割取得了優良的分割效果。文獻[11]采用Unet編解碼結構應用于醫學圖像分割，編碼器提取特征信息并降低圖像尺寸大小，減少計算量，解碼器將提取的特征恢復到原始圖像大小，保留更多空間信息。Unet3+[12]在其基礎上，使用全尺度的跳躍連接將不同尺度捕獲細粒度的細節和粗粒度的語義結合，并用深度監督從多尺度聚合的特征圖中學習層次的表示。SA-Unet[13]網絡引入空間注意力模塊，沿空間維度推斷注意力權重圖，并將注意力權重圖與輸入特征圖相乘，進行自適應特征細化；此外，采用結構化的dropout卷積塊代替UNet卷積塊，降低過擬合，提升分割精度。FR-Unet[14]網絡通過多分辨率卷積交互機制進行水平和垂直擴展，同時保持全圖像分辨率，并提出了雙閾值迭代算法(DTI)來提取弱血管像素，以改善血管連通性。雖然這些方法在分割精度上有一定的提升，但沒有很好地關注視網膜圖像的全局信息，網絡沒能獲取到足夠復雜的特征信息，導致模型對細小血管分割不充分和誤分割情況。

針對視網膜血管圖像的特點，本文提出了全尺度密集卷積U型網絡的視網膜血管分割方法。本文主要工作：結合密集網絡和多尺度信息特點，提出了CCF-DB模塊作為模型的編解碼結構，取代了傳統U型網絡編解碼部分的卷積結構，提升網絡寬度并增加了前層特征的復用率，使得網絡能夠更好地提取血管樹狀結構的特征信息，有利于提高模型的分割精度。此外，在網絡的最底層和最上層加入了注意力機制，提升了感受野，抑制了無關的背景區域信息。最后，模型的解碼和網絡最底層采用全尺度的特征融合，使網絡更加關注視網膜圖像的全局信息，提升了捕獲多尺度血管特征信息的能力。網絡提升了對細小血管處的分割，減少了細小血管的誤分割。

1 本文方法

1.1 全尺度的密集卷積U型網絡

全尺度密集卷積U型網絡結構如圖1所示。網絡整體采用U型結構，主要由CCF-DB模塊、MACC-DB模塊和全尺度連接的解碼器組成。網絡通過一個3×3卷積將通道數擴充至32，再經過CCF-DB模塊構成U型網絡的編解碼結構；CCF-DB模塊由卷積模塊和級聯卷積模塊(cascaded convolutional block，CCB)模塊構成。在卷積模塊中執行BN(batch normalization)、LeakyRelu、3×3卷積和Dropout操作；在CCB模塊中執行BN、LeakyRelu、1×1卷積、3×3卷積、5×5卷積和Dropout操作；卷積模塊用于提取血管特征信息，CCB模塊進一步豐富特征信息，增強網絡對血管特征信息的提取能力。CCF-DB模塊增加前層信息的復用率，進一步降低細小血管信息的丟失，加快網絡的收斂和降低過擬合。通過不斷的下采樣提取到血管不同尺度的信息。U型網絡底端采用MACC-DB模塊，其由級聯聚合模塊(cascade aggregation block，CAB)、CCF-DB、卷積模塊的注意力機制模(convolutional block attention module，CBAM)構成。CAB由級聯的不同大小卷積、Maxpool和Avgpool組成。CBAM由串聯的通道注意力和空間注意力組成。MACC-DB模塊能夠提升感受野，抑制背景噪聲，更容易獲取血管的拓撲結構，以提升分割精度。模型的解碼部分從MACC-DB模塊開始，輸入均為前層模塊分支特征融合后的信息，增強網絡對不同尺度信息流動并讓網絡重視不同尺度的特征信息。在4次上采樣后圖像恢復至原來的大小，最后通過1×1的卷積降低通道后經過softmax得到預測圖。

圖1 全尺度密集卷積U型網絡結構

1.2 CCF-DB模塊

為了更好提取視網膜圖像中的血管特征信息和保留細小血管的信息，提升網絡深度以及增強信息流動顯得尤為重要。文獻[15]提出一種密集連接網絡，將前面所有層的輸出特征連接到當前層的輸入上，從而增強了模型的特征重用和梯度信息的流通能力。這種結構可以有效地利用參數、提高特征重用率、減少梯度消失的問題、增強模型的表達能力和泛化能力。

本文結合網絡深度和信息的流動的特點，構建了CCF-DB模塊作為視網膜血管分割模型的編解碼結構，如圖2所示。CCF-DB模塊主要由卷積模塊和CCB模塊組成；卷積模塊主要由BN、LeakRelu和3×3卷積組成；CCB模塊如圖3所示，由3個并聯的卷積模塊提取特征信息后相加，這種結構能夠有效提升網絡模型的復雜度和深度，同時不會過度增加參數和計算量，在保證模型高效性的同時，提升了模型的特征提取和泛化能力。網絡輸出

(1)

圖2 CCF-DB結構

圖3 CCB結構

式中：Qi表示第n層輸出的特征圖，F表示卷積模塊的復合函數操作；G表示CCB模塊的復合函數操作；[·]表示合并特征通道操作。在不大量增加參數同時提升網絡特征提取能力，當密集卷積的第8層或者8的倍數層時，使用CCB模塊提取特征，其它層采用普通卷積模塊。

1.3 MACC-DB模塊

小尺寸卷積能夠提取視網膜小血管區域信息，較大的卷積能夠提取大區域的目標且濾去一些假陽性；平均池化能夠起到平滑和降噪的作用且提取到全局的血管信息，最大池化能夠保留特征圖中的最顯著的特征，起到突出圖像主體的作用。文獻[16]提出了一種級聯結構，使用不同大小的卷積來提取不同尺度的特征，這種結構能夠提取到不同尺度下的粗細血管特征。受此啟發，本文在U型網絡的最底層構建了MACC-DB模塊；MACC-DB結構核心思想是通過多個級聯卷積核和池化核來捕捉不同尺度的視網膜圖像特征。通過在不同的尺度上捕捉圖像的不同大小特征，得到更豐富的特征信息，提升感受野，從而提高模型的分類性能。如圖4所示。該模塊由串聯的CAB、CCF-DB、CBAM組成。CAB由級聯的1×1卷積、3×3卷積、5×5卷積、Maxpool、Avgpool最后相加組成，如圖5所示。這種網絡結構能夠提取更加豐富的信息，使網絡在不同的分支中學習到不同的特征，增加網絡的深度和復雜度。CBAM[17]由串聯的通道注意力模塊和空間注意力構成，能夠抑制無關的背景區域，增加目標區域的權重。其輸出為

圖4 MACC-DB模塊

圖5 CAB結構

O=B(Q(D(x)))

(2)

式中：D表示CAB模塊的復合函數操作；Q表示上文CCF-DB模塊的函數操作；B表示CBAM的混合注意力函數操作。通道注意力和空間注意力如式(3)所示

Mc(F)=σ(MLP(AvgPool(F))+MLP(MaxPool(F)))=

σ(W1(W0(Fcavg))+W1(W0(Fcmax)))

Ms(F)=σ(f7×7([AvgPool(F)；MaxPool(F)]))=

σ(f7×7([Fsavg；Fsmax]))

(3)

式中：σ表示Sigmoid函數，f7×7表示一個卷積操作，使用7×7的卷積核。W0∈RC/r×C，W1∈RC×C/r。MLP的權重W0和W1是共享的，用于處理兩個輸入，并且ReLU激活函數先于W0被執行。

2 視網膜血管分割算法

基于全尺度密集卷積U型網絡的視網膜血管圖像分割的具體算法：

步驟1 對視網膜圖像進行預處理：

(1)將原始RGB圖像每個通道賦予圖像灰度化計算的權重，如式(4)所示

GrayImg=0.299R+0.587G+0.114B

(4)

(2)進行對比度受限自適應直方圖均衡化處理；

(3)應用伽馬變換，調整圖像的亮度和對比度，提高圖像的可識別性和魯棒性；

(4)隨機取48×48像素大小的窗口并對局部圖像塊進行隨機旋轉操作，通過數據增強擴大數據集。

步驟2 采用Adam優化算法訓練模型，學習率設置為5e-5，batchsize為16，迭代50次訓練，并設置early-stop為10，保存最好權重；

步驟3 網絡主要采用4次下采樣和上采樣，首先將原始圖片經過預處理后，通過3×3卷積將通道擴到32，再經過編解碼器，最后通過1×1的卷積降低通道后經過softmax得到預測圖；

步驟4 使用測試集驗證網絡效果，并得到分割圖和評價指標值；

步驟5 模型分割效果評價。

3 實驗結果與對比分析

3.1 數據集

本文實驗中采用的數據集見表1。

表1 實驗數據集

3.2 實驗環境

本文實驗基于GeForce GTX 1080顯卡的服務器，配備Intel Core i7-8700K處理器，操作系統為Ubuntu16.04，采用Pytorch 1.7.1為框架的環境進行對比實驗。實驗中使用交叉熵損失函數和Adam算法進行優化，初始學習率為5e-5。訓練輪次為100，batch size為16。

3.3 評估指標

將視網膜血管的分割結果與專家標注的金標準對比，將像素歸為4類：①真陽性(true positive，TP)，表示該像素位置與金標準同為血管像素；②假陽性(false positive，FP)，表示該像素位置為血管像素，金標準則為背景像素；③真陰性(true negative，TN)，表示該像素位置和金標準位置上同為背景像素；④假陰性(false negative，FN)，表示該像素位置為背景像素。

本文采用敏感性、特異性、F1-score、準確率和AUC來衡量算法分割視網膜圖像的效果。如表2所示。

表2 視網膜血管分割性能指標

3.4 實驗結果與分析

為驗證本文方法的分割效果，在同一實驗環境下將本文方法分別與Unet[11]、UNet3+[12]、SA-UNet[13]和FR-Unet[14]等近年視網膜血管分割經典網絡方法進行了對比實驗。

3.4.1 分割效果

圖6和圖7給出了本文算法與U-Net[11]、U-Net3+[12]、SA-Unet[13]、FR-Unet[14]在DRIVE和CHASE_DB1數據集分割效果。從圖中可以看出，本文算法的血管分割效果與標簽圖最為接近，且對視網膜細小血管的分割效果好。如圖8所示，除了本文方法，其它方法在背景區域和主干分叉血管出均產生了細小血管的誤分割。并且本文方法血管分割連通性最好。如圖9中，在CHASE_DB1數據集的中心背景光照區域，其它算法均在該區域產生大量誤分割，本文算法在此未出現假陽性。因此，本文方法能夠更好地處理光照、病變區、邊緣區等異常噪聲區域，表現出較好的抗干擾性能。

圖6 DRIVE數據集上不同算法分割效果

圖7 CHASEDB1數據集上不同算法分割效果

圖8 DRIVE數據集上的細節分割效果

圖9 CHASE_DB1數據集上的細節分割

3.4.2 分割效果客觀評價

表3中給出了不同算法在同一實驗環境下的評價指標對比；加粗部分為最好的性能表現，本文方法在DRIVE數據集上，除敏感性略低于SA-Unet、FR-Unet算法，特異性略低于U-Net3+外，其它指標均為最優結果。在CHASE_DB1數據集上，本文方法在AUC和ACC指標上具有更高的優勢，AUC指標高，反映了模型能夠更正確分類正負樣本的能力，說明本文網絡能夠更好區分血管和背景區域，網絡能夠更好區分假陽性或假陰性。ACC指標反映了模型正確分割血管的能力，這一指標高驗證了本文網絡對細小血管分割效果更好。

表3 實驗結果對比

3.4.3 消融實驗

為說明本文網絡中單元模塊對視網膜血管圖像分割的貢獻，在DRIVE數據集上進行消融實驗，加粗部分為最好的性能表現，如表4所示，由表4可知，僅加入CCF-DB模塊后，網絡的綜合能力更高，能夠提取更豐富的特征信息，但對細小血管分割和誤分割表現力不強，準確率和AUC偏低。在此基礎上，加入MACC-DB模塊后準確率和AUC都有提升，網絡能夠更好保留部分提取的細小血管信息。在加入FSC(full-scale connected)全尺度跳躍連接后，本文網絡結構能夠提取到更豐富的血管信息并保留細小血管的信息，在模塊合理構建后的分割性能最佳。

表4 消融實驗

4 結束語

本文提出了一種全尺度密集卷積U型網絡用于視網膜血管圖像的分割。在網絡中，通過級聯卷積融合密集塊，在保留前層特征信息的同時，提取不同尺度的血管信息，提高網絡前層特征復用率，降低細小血管經過若干神經網絡層后造成的信息丟失；編碼層捕獲豐富的不同尺度特征信息，經過混合注意力級聯卷積密集塊，進一步提升感受野，對于輸入數據中局部變化進行平滑和減少噪聲的影響，提高模型的魯棒性。網絡提取不同分辨率下不同尺度的特征信息，并補充上下文間的信息流動。實驗結果表明，本文算法的綜合性能優于近年的視網膜血管圖像分割網絡；此外，可視化分割結果表明，網絡精準地分割視網膜粗血管的同時，減少了相關的細小血管誤分割。后續工作將其衍生至計算機斷層掃描血管成像中[18]，有助于輔助醫生分析、預防和診斷視網膜疾病。