基于多尺度U型網絡的圖像分割方法

劉 鵬，雷 濤*，耿信哲，蘇 健

(1.陜西科技大學 人工智能學院，陜西 西安 710021；2.陜西省人工智能聯合重點實驗室，陜西 西安 710021)

0 引言

眼底圖像主要包括視盤、黃斑和血管等部分，眼底血管分割結果能為高血壓、糖尿病等疾病提供重要的診斷依據[1]，這使得它成為醫學圖像分析領域的熱點研究內容[2]。眼底血管形態復雜，以往主要由醫生對其進行手工標注分割，人工成本非常高，且受主觀因素影響較大，還無法進行批量處理[3]。因此，運用人工智能技術來實現眼底血管分割具有重要的意義。

Fraz等[4]利用決策樹和形態學變換的方法完成了血管分割。王娜等[5]將Gabor特征融入到全卷積網絡中，分割精度有所提高，但血管存在斷裂現象。Ronneberger等[6]以全卷積網絡為基礎，設計出U-Net模型，分為編碼部分與解碼部分，編碼解碼結構是完全對稱的，利用通道拼接將語義信息重新定位獲得了較好的結果。Wang等研究者[7]先用卷積網絡提取血管特征，再用隨機森林算法對眼底血管做分割。薛文渲等[8]在U-Net上加入注意力模型和殘差結構，改善分割結果。吳晨玥等[9]結合密集連接與殘差網絡，對U-Net做出改進。這些算法都研究了眼底血管分割任務，但由于細小血管特征不突出、血管與背景特征差異不明顯等因素，目前算法還存在著微小血管丟失、斷裂等問題。

本文針對眼底圖像血管分割存在的問題，提出了多尺度U型網絡。該網絡主要有兩方面改進:一方面是引入金字塔池化模塊，對U-Net編碼器端提取的特征進行多尺度的融合，對不同尺度的血管特征信息充分利用;另一方面，將卷積操作后的激活函數用Leaky ReLU替換，使負值特征能夠向后傳遞，利用負值特征改善細小血管的分割精度。本文網絡利用不同感受野的細小血管特征和負值特征，將淺層信息與深層信息有效融合，提高網絡對細小血管的分割能力。

1 U-Net模型、金字塔池化模型與Leaky ReLU函數模型

1.1 U-Net模型

經典卷積網絡結構在多次卷積池化后，得出的特征圖損失了空間位置信息，使目標定位精度受到影響[10-11]。研究人員用全卷積網絡的思想，對網絡進行了改進，設計了U型網絡。U-Net是全卷積網絡的變形結構，由編碼器和解碼器2塊構成，分別對應為收縮路徑與擴張路徑，收縮路徑有4個池化層，擴張路徑有4個上采樣層[12]。U-Net模型如圖1所示，編碼器部分由2個3×3的卷積核加上激活函數、下采樣層組合而成。2個3×3卷積核用來提取特征，激活函數用ReLU對特征進行非線性映射，下采樣層將特征圖縮小為原來的一半。解碼器部分由反卷積操作、通道維的拼接操作和2次3×3卷積操作組成。反卷積操作將特征通道減半，尺寸擴大為2倍，然后將對應下采樣的特征圖拼接到通道維度上，再用2個3×3卷積提取特征。最后，用1×1卷積得到1個2層的特征圖，對應分割結果。高層特征包含語義信息，可以對像素分類，低層特征主要是邊緣細節、空間位置信息，使得目標定位準確[13]。U-Net網絡將圖像的低層特征與高層特征結合互補，使得分割精度得到提高。

圖1 U-Net模型Fig.1 U-Net model

1.2 金字塔池化模型

金字塔池化能夠把局部特征變換到不同尺度空間再進行特征融合，池化后能產生與輸入相同大小的特征圖[14]，如圖2所示。利用4種劃分方式對特征圖做池化，對應得到1×1，2×2，3×3，6×6四種尺度的特征圖。用1×1卷積改變通道維數，使它們的維數調整為輸入的1/4,再經上采樣使特征圖與輸入特征圖尺寸一致，最后將它們在通道維上前后拼接，完成金字塔池化。該池化模型對不同感受野下的特征做了有效聚合，圖2中的4種顏色特征分別代表著不同尺度下的語義信息，使網絡能夠提取到不同尺度的特征，對提升算法預測精度非常有用。不同感受野下的特征獲得了多層次的全局語義信息，增強了網絡對于全局信息的捕獲能力，能有效改善眼底血管分割結果。

圖2 金字塔池化模塊Fig.2 Pyramid pooling module

1.3 Leaky ReLU激活函數

Leaky ReLU也被稱為帶泄露的ReLU函數，該激活函數改善了ReLU函數在訓練時比較脆弱的缺點。當輸入x<0時，該函數給所有負值賦予一個非零斜率a，由此在神經元未激活時也可以有一個非零的梯度對參數做更新，避免一直不被激活。Leaky ReLU定義如公式所示，函數圖像如圖3所示。

圖3 Leaky ReLU函數Fig.3 Leaky ReLU function

式中，a是一個很小的常數，通常取值為0.01。

2 多尺度特征U型網絡

2.1 網絡框架設計

U-Net網絡在醫學數據集上表現出色，大幅減少了過擬合現象，但是對眼底微細血管的分割效果不好，細節丟失嚴重。由于U-Net獲取多尺度特征是通過特征維度拼接實現的，因此其尺度有一定的局限性，本文將金字塔池化與U-Net跳躍連接結合起來，實現多種尺度特征的提取與融合。運用金字塔池化，將卷積得到的特征圖經過4種尺度的池化操作得到4種尺度的特征圖，用1×1卷積將通道維度變為原始通道數的1/4，再上采樣到原特征圖的大小，在通道維上進行拼接，將得到的特征圖與解碼端的特征圖做跳躍拼接，實現多尺度的特征融合，在多個尺度上提取血管特征，提高對微細血管的分割能力。同時，為了利用負值特征的信息增加微細血管的分割效果，在卷積操作中使用Leaky ReLU函數進行激活操作，改變原來激活函數在負值特征上的缺失。本文設計的多尺度U型網絡框架如圖4所示。

圖4 多尺度特征U型網絡框架Fig.4 U-shaped network framework with multi-scale features

2.2 網絡結構分析

U-Net網絡通過4次通道維拼接將特征融入到解碼器端，這一方式對圖像語義信息的定位起到了作用，但仍有局限性。在眼底血管分割任務中，簡單的下采樣過程會產生某些特征丟失，這樣的丟失對微細血管的分割影響更大。改進的網絡對特征圖做金字塔池化后再進行跳躍連接，每個金字塔池化都是4個尺度特征的融合，對不同尺度的特征都能夠充分利用，對細節信息的丟失做了有效的補充。同時，Leaky ReLU函數在進行激活操作時，對負值特征的利用能夠推動分割精度的提高。

3 實驗結果與分析

3.1 數據集

DRIVE數據集來源于糖尿病篩查項目，該項目針對糖尿病患者的視網膜圖像進行采集與研究[15]。針對此數據集，學者們可以對比不同算法的分割效果，方便不同國家的研究人員在一個標準下討論交流[16]。數據集部分圖像原圖和標簽如圖5和圖6所示。

圖5 數據集部分圖像Fig.5 Sample images of the dataset

圖6 數據集部分標簽Fig.6 Sample labels of the dataset

該項目選擇了400名糖尿病患者，以他們的視網膜眼底圖為原圖，先隨機迭出40幅作為DRIVE數據集的圖像，包括33幅正常的視網膜圖像與7幅糖尿病引發早期視網膜病變的圖像[17]。每幅圖像為8位的三通道圖像，統一為jpg格式。數據集中已做好劃分，用20幅來訓練，其余20幅用來測試。每一幅圖都有一張對應的由醫生完成的人工分割結果，作為網絡的訓練標簽。該數據集隱去了病人的相關信息，對病人進行隱私保護[18]。

3.2 實驗設置與數據增強

實驗硬件為Intel(R) Core i7-8700 3.20 GHz處理器、RTX2080Ti顯卡，在64位Windows10系統CUDA8.0平臺上進行。算法在PyTorch框架上完成,用Python3.7來實現。本實驗網絡的初始學習率為1×10-4，并在每經過6次循環后，學習率衰減0.2，反向傳播用隨機梯度下降的方式更新權重。

DRIVE數據集的數據量較小，不適合直接利用網絡進行訓練，需要對它做數據增強。本文通過對圖像進行0.9～1.1倍的縮放、順時針20°旋轉、逆時針20°旋轉、5～15個像素的平移、翻轉(水平、垂直方向)等方式進行數據增強，經過數據增強后數據量達到原來的70倍。

3.3 評價指標

血管像素與背景像素的4種情況如表1所示。

表1 血管像素與背景像素的4種情況Tab.1 Four cases of vessel pixel and background pixel

算法對眼底圖像做分割,即給各像素賦上血管與非血管2類標簽。為了定量比較分割結果，本文采用精確度、特異性和敏感性3個指標客觀評價算法的性能。精確度是指正確分類為血管與非血管的像素占圖像總像素的比例；特異性是指正確分為非血管占實際非血管像素的比例；敏感性是指正確分為血管占實際血管像素的比例。各指標的計算公式如表2所示。

表2 評價指標Tab.2 Evaluation index

3.4 結果分析

視網膜血管分割結果如圖7所示。通過在DRIVE數據集上的對比實驗可以看出，采用U-Net網絡，分割結果圖上可見很多毛細血管的分割斷裂區域，還存在較多沒有分割出來的區域，說明U-Net能夠對眼底圖像中的大部分血管完成分割，但毛細血管位置的分割效果不理想。采用多尺度U型網絡后，在未改變激活函數，依然用ReLU函數時，分割指標有所提高，但分割結果存在少分的現象，斷裂情況也比較嚴重。采用多尺度U型網絡加Leaky ReLU函數時，利用不同尺度的池化操作得到了不同尺度的特征圖，并在通道維做了特征融合，對不同尺度的特征做了較為充分的利用，同時由于使用了Leaky ReLU函數進行激活，利用了負值特征，使得實驗指標提升較多。分割結果更加接近醫生手動分割的標簽圖，毛細血管分割精度提升較多，斷裂區域有了明顯的改善，誤分區域有效減少，顯示出本文算法對眼底血管分割任務的意義。各評價指標的對比如圖8所示。

(a) 原圖

(b) 標簽

(c) U-Net分割結果

(d) 多尺度U型網絡+ReLU分割結果

(e) 多尺度U型網絡+Leaky ReLU分割結果

圖8 視網膜血管分割指標對比Fig.8 Comparison of retinal vessels segmentation indexes

4 結束語

眼底血管分割對疾病的早期診斷有重要的臨床價值，使用分割算法完成這一過程能有效地減少醫生的工作時間，提高診斷效率。本文針對眼底圖像血管豐富、U-Net網絡不能很好地實現對細小血管分割的問題，提出了一種多尺度U型網絡。該網絡運用金字塔池化將不同尺度的特征聚合在一起，運用Leaky ReLU函數將負值特征向后傳遞，在對特征利用更充分的基礎上，使得網絡對細小血管的分割有了明顯的改善。在后續的工作中，計劃用多尺度U型網絡對帶病灶的眼底圖像展開研究。