基于注意力U-Net網絡的彩色眼底圖像視網膜血管分割

鄭麗萍 張天舒 曹珂崯

摘? 要：彩色眼底圖像的視網膜血管分析可以幫助醫生診斷許多眼科和全身性疾病，具有十分重要的臨床意義。為進一步提高視網膜血管的分割效果，文章提出一個基于注意力U-Net網絡的視網膜血管分割方法，該方法使用U-Net結合通道注意力機制以提高分割準確率，在公開數據集DRIVE的靈敏度、特異性和準確率分別為0.772 6，0.984 7和0.966 0，優于現有的許多方法。

關鍵詞：注意力；U-Net；血管分割

中圖分類號：TP391.4? 文獻標識碼：A? 文章編號：2096-4706（2023）06-0065-04

Segmentation of Retinal Vascular in Color Fundus Images Based on Attention U-Net Network

ZHENG Liping， ZHANG Tianshu， CAO Keyin

（Jiangsu Vocational College of Electronics and Information， Huaian? 223001， China）

Abstract： Retinal vascular analysis of color fundus images can help doctors diagnose many ophthalmic and systemic diseases， which is of great clinical significance. To further improve the segmentation effect of retinal vascular， this paper proposes a retinal vascular segmentation method based on attention U-Net network， which uses U-Net and channel attention mechanism to improve segmentation accuracy， The sensitivity， specificity and accuracy of DRIVE in the open dataset are 0.772 6， 0.984 7 and 0.966 0 respectively， which are superior to many existing methods.

Keywords： attention; U-Net; vascular segmentation

0? 引? 言

眼睛是人類接受外部信息的重要器官之一，而隨著年齡的增長各種眼科疾病的發病率會顯著上升。眼底的視網膜血管是人類全身血管系統中唯一可以無創觀察到的部分，視網膜血管的變化不僅可以觀察到各種眼科致盲疾病，還可以診斷身體各種全身性疾病，例如糖尿病[1]。彩色眼底圖像的視網膜血管分割可以幫助醫生細致的觀察到視網膜的寬度和分叉形態的變化，這有助于對各種眼科和全身性疾病的前期診斷[2]，避免疾病進一步惡化。因此，使用圖像處理技術對彩色眼底圖像進行視網膜血管分割具有重要的臨床意義和研究價值。圖1（a）為正常彩色眼底圖，圖1（b）為早期糖尿病彩色眼底病變圖，圖1（c）為手動正常彩色眼底血管分割圖像。

近年來，許多國內外學者進行了大量彩色眼底圖像視網膜血管分割的研究，其中根據是否需要先驗的標簽信息可以分為有監督的分割方法和無監督的分割方法兩類。無監督的視網膜血管分割方法不需要提供額外的標簽信息，Zhang等人[3]協同使用匹配濾波對視網膜血管進行分割，該方法協同使用局部和全局特征，在當時取得了不錯的效果。Fraz等人[4]使用4個不同方向的高斯濾波得到中心線，然后使用頂帽變換增加血管信息，最后，選出候選區域并以血管中心線上的點初始點，在候選區域使用區域生長法不停填充血管。無監督的方法雖然在前期可以減少制作標簽的工作量，但其分割效果受到的選取人工特征的影響較大，并且泛化能力較弱。

有監督的方法需要在前期訓練提供相應的標簽信息，現在主流的有監督的分割方法主要是基于深度學習的算法，Almo等人[5]利用U-Net[6]、殘差網絡和遞歸卷積神經網絡創建RU-Net和R2U-Net，在視網膜血管分割任務上表現出優秀的性能。Soomro等人[7]設計了一個全卷積神經網絡進行精細視網膜血管分割，該方法包括預處理和后處理的過程，預處理用來處理照明不均勻，而后處理步驟用于去除背景噪聲像素。孟嫻靜等人[8]改進了SegNet[9]進行眼底圖像的視網膜血管分割，他們根據數據特征設計了不同的編碼塊和解碼塊，并在解碼的最后階段結合不同尺度的特征以提高網絡的性能。進一步的研究使用深度學習中卷積神經網絡結合注意力機制進行視網膜血管分割，表現也十分出色，陳林等人[10]構建了一個基于殘差模塊與CBAM注意力機制模塊的混合編-解碼網絡，在DRIVE、STARE和CHASE_DB1數據集上都取得了不錯的效果，鄧小波等人[11]設計了一個雙通路卷積神經網絡DPCA-Net分割視網膜血管，其中網絡的主路徑和次路徑都融合了通道注意力機制來自適應預測潛在的關鍵特征，它在DRIVE數據集上取得了95.58%的準確率。

綜上，本文構建一個基于注意力U-Net網絡[6]用于實現彩色眼底圖像的視網膜血管分割，進一步提高了視網膜血管分割的準確性。我們通過實驗驗證本文提出方法的有效性，在DRIVE數據集[12]上Se為0.772 6，Sp為0.984 7，Acc為0.966 0，優于現有的許多方法。

1? 相關方法

本文采用一個基于注意力U-Net網絡用來完成彩色眼底圖像的視網膜血管分割，整體網絡主要包骨干網絡U-Net和通道注意力機制兩個部分。

1.1? U-Net

U-Net[6]是由Ronneberger等人創建的像素級分類網絡，它常被用在生物醫學圖像處理當中，本文采用U-Net作為彩色眼底圖像的視網膜分割任務的骨干網絡。U-Net的網絡結構[6]如圖2所示，從圖中可以看出U-Net分為左邊的編碼階段和右邊的解碼階段兩個階段，編碼階段是由交替的卷積層（conv3×3，ReLu）和下采樣層（max pooling 2×2）組成，編碼階段用來提取圖像的高級語義信息，解碼階段則是由卷積層（conv3×3，ReLu）和上采樣層（up-conv 2×2）交替組成，編碼階段把編碼階段提取到的特征圖還原到原圖大小，編碼階段和解碼階段對應的層存在跳層連接（copy and crop），它可以結合淺層信息和深層信息，降低編碼階段的下采樣所帶來的信息損失。

1.2? 通道注意力機制模塊

在彩色眼底圖像的視網膜分割任務當中，每一個通道的圖像都包含不同比重的視網膜血管信息，因此本文在骨干網絡的基礎上建立通道注意力機制模塊，它用來自適應的給不同的通道賦予不同的權重，即包含視網膜血管信息多的通道分配的權重就大，以此讓U-Net的注意力聚焦到圖像中“那些”是視網膜血管的部分，增加最終網絡的分割效果。

本文創建的通道注意力機制模塊如圖3所示，特征圖進入通道注意力機制模塊時首先經過一個最大池化與平均池化的concat操作，隨后進入一個兩層的感知機，在感知機中第一層神經元數為原通道數/16，第二層神經元數為原通道數，最后通過一個sigmoid函數并乘以原特征圖得到通道注意力，經過本文的通道注意力機制后原特征圖的通道數和大小都沒有改變，這使得本文的通道注意力機制可以方便地嵌入到各種骨干網絡當中。

最終本文所使用的網絡是U-Net結合通道注意力機制模塊，我們在U-Net的編碼每個下采樣層之前和解碼階段的和每個上采樣層之后放入了通道注意力機制模塊，以改善模型的分割效果。

2? 數據集

2.1? 數據集介紹

本文采用視網膜血管公開數據集DRIVE[12]作為本文實驗用數據集，DRIVE數據集是2004年Niemeijer團隊為了篩選荷蘭糖尿病患者的視網膜病變工作而建立的彩色眼底圖像數據集[13]，該數據集包括40張彩色視網膜圖像，其中7張圖像是早期糖尿病視網膜病變的，另外33張是正常人的彩色眼底圖像，每張圖的分辨率為565×584。DRIVE數據集本身就區分了訓練集和測試集，訓練集和測試集分別為20張不同的彩色眼底圖像，且每張圖像都配有專家手動分割的血管標簽圖像。

2.2? 數據預處理方法

彩色眼底圖像由專業團隊專門采集而來，但由于受到相機的性能、光照和病人眼底病例結構的不同等影響，這將導致每張圖的質量大不相同，并且由于DRIVE的訓練集只有20張圖像，對于深度學習訓練來說數據相對較少，以上原因都會進一步會影響到網絡的最終效果，因此在網絡訓練之前需要對所有訓練用的圖像進行預處理和數據增強操作。

2.2.1? 分割通道

DRIVE數據集所采集的圖像是R、G、B三通道的圖像，然而這三個通道中含有一些無用信息。圖4中（b）（c）和（d）分別為分割原圖的R、G、B三通道的圖像，可以從圖中觀察到G通道可以更清楚地看到眼底的各種細節，例如血管和滲出物。R通道圖像和B通道圖像則存在大量的噪聲，有些眼底的細節特征消失。因此，最終本文選用G通道圖像作為最終訓練的圖像。

2.2.2? 數據增強

DRIVE的訓練集只有20張圖像，而深度學習需要大量數據進行訓練才能有良好的效果，因此我們在原訓練集的基礎上進行了旋轉和翻轉的數據增強操作以增加訓練集的數據量，數據增強的結果如圖5所示，最終我們把訓練集變成了原本的6倍一共120張圖像。

3? 實驗與結果

3.1? 實驗環境

本實驗基于PyTorch深度學習框架對網絡進行訓練和測試，實驗環境為Windows 10、Cpu Intel Core i3-10100F、DDR4 3200 MHz和NVIDIA GPU 1080TI。

3.2? 評價指標

為了驗證我們所提出方法的有效性，本文采用靈敏度（Sensitivity， Se），特異性（Specificity， Sp）和準確率（Accuracy， Acc）作為網絡的評價指標來評價算法的性能，其中Se代表分割正確的血管點占總正確血管點的比例，Sp代表分割正確的背景點占總正確背景點的比例，Acc代表分割正確的像素點占整個圖像像素點的比例，三個指標的計算公式為：

（1）

（2）

（3）

三個公式中參數含義如下：

（1）真陽性（TP）：血管點被正確分為血管點。

（2）假陰性（FN）：血管點被錯誤的分為非血管點。

（3）假陽性（FP）：非血管點被錯誤的分為血管點。

（4）真陰性（TN）：非血管點被正確的分類為非血管點。

3.3? 實驗結果與分析

本文首先對DRIVE的測試集進行測試，測試結果如圖6所示，其中第一列為原圖像，第二列為專家手工標注的圖像，第三列是網絡預測的結果，從圖像中可以看出本文提出的方法可以有效分割出圖像中的視網膜血管，為相關疾病的診斷提供參考。

為了進一步驗證本文提出方法的有效性，本文與目前先進的算法在DRIVE數據集上的結果進行對比，如表1所示。從實驗結果可以看出，本文提出的方法的Acc與Sp是這些方法中最高的，分別為0.966 0和0.984 7，Se為0.772 6僅低于ALom[14]所提出的方法，這說明本文提出的方法可以有效地分割出彩色眼底圖像的視網膜血管。

4? 結? 論

本文構建了一個注意力機U-Net網絡用于分割彩色眼底圖像的視網膜血管。首先對DRIVE數據集進行預處理，本文采用分割通道的方式取出彩色眼底圖像G通道圖像作為網絡的輸入圖像，隨后對訓練集進行數據增強的操作以增加數據量，隨后構建通道注意力機制結合U-Net網絡進一步提高視網膜分割效果，實驗結果表明，本文提出的方法優于目前的許多方法。

參考文獻：

[1] 朱承璋，鄒北驥，向遙，等.彩色眼底圖像視網膜血管分割方法研究進展 [J].計算機輔助設計與圖形學學報，2015，27（11）：2046-2057.

[2] BAKER M L，HAND P J，WANG J J，et al. Retinal Signs and Stroke：Revisiting the Link Between the Eye and Brain [J].Stroke，2008，39：1371-1379.

[3] ZHANG Y P，HSU W，LEE M L. Detection of Retinal Blood Vessels Based on Nonlinear Projections [J].Journal of Signal Processing Systems，2009，55：103-112.

[4] FRAZ M M，BARMAN S A，REMAGNINO P，et al. An approach to localize the retinal blood vessels using bit planes and centerline detection [J].Computer Methods Programs in Biomedicine，2012，108（2）：600-616.

[5] ALOM M Z，YAKOPCIC C，HASAN M，et al. Recurrent residual U-Net for medical image segmentation [J/OL].Journal of Medical Imaging，2019，6（1）[2022-10-18].https：//www.zhangqiaokeyan.com/academic-journal-foreign-pmc_journal-medical-imaging_thesis/040006256846.html.

[6] RONNEBERGER O，FISCHER P，BROX T. U-Net：Convolutional Networks for Biomedical Image Segmentation [J/OL].arXiv：1505.04597 [cs.CV].[2022-10-19].https：//arxiv.org/abs/1505.04597.

[7] SOOMRO T A，AFIFI A J，GAO J B，et al. Boosting Sensitivity of a Retinal Vessel Segmentation Algorithm with Convolutional Neural Network [C]//2017 International Conference on Digital Image Computing：Techniques and Applications （DICTA）.Sydney：IEEE，2017：1-8.

[8] 孟嫻靜，李菁，呂曉琪，等.基于改進SegNet的眼底圖像血管分割 [J].計算機工程與設計，2020，41（11）：3148-3153.

[9] BADRINARAYANAN V，KENDALL A，CIPOLLA R. SegNet：A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（12）：2481-2495.

[10] 陳林，陳亞軍，沈銳.基于殘差卷積注意力網絡的視網膜血管分割算法 [J].內江師范學院學報，2021，36（2）：49-55.

[11] 鄧小波，劉奇，陳曦，等.基于通道注意力雙路徑架構網絡分割視網膜血管 [J].中國醫學影像技術，2021，37（10）：1543-1547.

[12] STAAL J，ABR?MOFF M D，NIEMEIJER M，et al. Ridge-based vessel segmentation in color images of the retina [J].IEEE Transactions on Medical Imaging，2004，23（4）：501-509.

[13] NIEMEIJER M，STAAL J，GINNEKEN B V，et al. Comparative study of retinal vessel segmentation methods on a new publicly available database [EB/OL].[2022-10-18].https：//www.spiedigitallibrary.org/conference-proceedings-of-spie/5370/1/Comparative-study-of-retinal-vessel-segmentation-methods-on-a-new/10.1117/12.535349.short.

[14] ALOM M Z，HASAN M，YAKOPCIC C，et al. Recurrent Residual Convolutional Neural Network based on U-Net （R2U-Net） for Medical Image Segmentation [J/OL].arXiv：1802.06955 [cs.CV].[2022-10-18].https：//arxiv.org/abs/1802.06955v2.

[15] LISKOWSKI P，KRAWIEC K. Segmenting Retinal Blood Vessels With Deep Neural Networks [J].IEEE Transactions on Medical Imaging，2016，35（11）：2369-2380.

[16] LI Q L，FENG B W，XIE L P，et al. A Cross-Modality Learning Approach for Vessel Segmentation in Retinal Images [J].IEEE Transactions on Medical Imaging，2016，35（1）：109-118.

[17] YAN Z Q，YANG X，CHENG K T. Joint Segment-Level and Pixel-Wise Losses for Deep Learning Based Retinal Vessel Segmentation [J].IEEE Transactions on Biomedical Engineering，2018，65（9）：1912-1923.

作者簡介：鄭麗萍（1980—），女，漢族，河南開封人，講師，工程師，碩士，研究方向：計算機視覺等；張天舒（1995—），男，漢族，河南商丘人，助教，碩士，研究方向：計算機視覺；曹珂崯（1994—），男，漢族，山東菏澤人，助教，碩士，研究方向：數據分析。

收稿日期：2022-11-15

基金項目：淮安市創新服務能力建設計劃-重點實驗室建設項目（HAP201904）