一種淺層非對稱結構的視網膜血管分割網絡

王 耀，顧 德

(江南大學 物聯網工程學院，江蘇 無錫 214122)

0 引言

糖尿病是由血液中葡萄糖的積累引起的[1]。糖尿病使人面臨各種疾病的風險，如腎衰竭、視力喪失、牙齒出血、神經衰竭、下肢癲癇發作、中風、心力衰竭等[2]。糖尿病性神經病變是由腎單位的破壞引起的，而糖尿病性視網膜病變是由腦神經元損傷引起的，這會導致視網膜感染，并可在早期階段逐漸損害視力[3]。因此，糖尿病患者必須進行全面的眼科檢查，在此期間必須由眼科醫生檢查視網膜。光學相干斷層掃描、眼底熒光素血管造影、裂隙燈生物顯微鏡檢查和眼底成像是識別患眼的一些方法[4]。

根據世界衛生組織進行的調查，糖尿病[5]是第七大致命疾病。此外，通過補充統計，糖尿病患者人數大幅增加，攀升至4.22億。數據顯示，18歲以上的糖尿病患者人數從4.7%增加到8.5%，而一些最貧窮的人更容易患糖尿病。葡萄糖水平的最大升高對血管有顯著影響，導致眼睛血液滲出，人體視覺系統減弱[6]。另一方面，人類天生具有治愈疾病的能力。當大腦識別到血液泄漏時，它會刺激周圍組織來處理這種情況。因此，它會導致新血管的零星形成，但由此產生的細胞是貧血的[7]。

視網膜眼底圖像分析是一種有用的醫療處理操作。眼科醫生可以使用視網膜血管分割來幫助他們診斷各種眼部問題[8]。因此，包括糖尿病視網膜病變、高血壓、動脈粥樣硬化和黃斑變性在內的疾病可以改變動脈的形態，從而改變其直徑、曲折度和分支角度。醫生通過觀察眼底血管的彎曲度、長度、寬度、分叉情況等來獲得眼底疾病的臨床病理特征[9]。將視網膜眼底圖像中的視網膜血管進行精確分割將有助于醫生更加容易識別這些臨床病例特征，使醫生更好的幫助病人進行眼底病變的診斷[10]。視網膜血管形狀復雜、分支較多，對其進行精確分割需要專業醫生將圖片中的每一個像素點進行正確歸類，這使得人工分割血管非常耗時。由于眼底圖像質量以及病變產生的一些疾病特征使得部分區域血管不明顯，人為分割容易出錯。通過分割算法將視網膜眼底圖像中的血管進行精確分割能夠幫助醫生分析復雜的視網膜眼底圖像，減少了醫生的診斷時間和誤診幾率，計算機化分割策略近年來引起了科學工作者極大的興趣，許多細分方法已經被提出[11-13]。然而，現有的視網膜血管分割方法存在靈敏度較差，細小血管難以被分割的問題。

關于視網膜血管分割算法大體可分為基于傳統算法和基于深度學習算法兩大類。傳統算法包含閾值分割法、基于線檢測器檢測法、形態學法等。文獻[14]提出了一種基于線檢測器的血管檢測方法，用于識別主要血管區域，然后應用馬爾可夫模型檢測去除噪聲后的視網膜血管。文獻[15]提出了一種基于多尺度圖像增強與底帽變換相結合的混合方法，其中分割任務是基于形態學操作執行的。文獻[16]提出了一種基于概率補丁的降噪器來緩解阻礙血管分割的噪聲，其中使用了改進的Frangi濾波器和降噪器。另一種是基于深度學習的方法，文獻[17]基于深度學習技術設計了一種具有編碼-解碼結構的U-Net全卷積神經網絡模型，U-Net網絡分為編碼階段和解碼階段，這兩個階段結構是對稱的，在兩個階段之間通過跳躍層將相應的特征進行連接，這使得網絡可以對圖片進行像素級的分割，在數據集圖片數量較少的情況下也能獲得較好的分割性能。文獻[18]提出了密集殘差網絡(DRNet)分割視網膜圖像中的血管。在DRNet中，采用了一種雙殘差塊的殘差結構來增加網絡的深度，使得網絡可以獲得更加復雜的語義信息。

傳統的語義分割網絡使用相同數量的編碼器和解碼器，同時保持對稱的架構設計。這增加了網絡的整體深度和可訓練參數的數量。此外，傳統網絡使用多個池化層來減小特征圖的大小，使得最終的特征圖尺寸變得太小，無法表示原始特征圖中的微小目標。在視網膜血管分割過程中，傳統的編碼解碼架構將導致大量微小血管無法被正確分割而使算法的靈敏度變得很低。為了避免分割后細小血管像素模糊、丟失等現象，提升血管分割靈敏度和精確度，本文設計了一種新的視網膜血管分割算法。該網絡將殘差通道注意力模塊(RCA，residual channel attention)和多尺度空洞卷積模塊(MDC，multiscale dilated convolution)相結合作為特征提取模塊。網絡中通過兩次Strided Conv操作來將特征圖尺寸減半，相比于傳統網絡中多次使用池化操作減小特征圖尺寸的操作，Strided Conv在將特征圖尺寸減少的同時，還可以提取特征圖中的信息，整個網絡也只使用了兩次Strided Conv操作，減少了因特征圖尺寸改變所導致的特征圖信息丟失現象。值得注意的是，為了減少網絡深度加深導致的信息丟失的問題，整個網絡使用了兩次特征通道融合操作，將不同網絡深度的特征信息進行通道層融合，減少了原始特征圖中因為多次卷積操作而丟失的信息，每一次特征圖尺寸減半操作都需要對應尺寸擴張操作將特征圖尺寸，由于本網絡只使用了兩次尺寸減半操作，因此減少了整個網絡的權重參數。網絡權重參數的數量為7.2 MB，相比于傳統網絡參數數量更少。

1 模塊設計及網絡結構

1.1 殘差通道注意力模塊(RCA)

深度學習領域中的注意力機制(attention mechanism)和人類的視覺選擇性注意力機制類似，往往關注于已收集信息的某些特定部分。考慮到該機制在辨別和聚焦方面的優勢，注意力機制已廣泛應用于各種人工智能領域。然而，大多數致力于獲得更好性能的方法不可避免地增加了模型的復雜性。文獻[19]提出了一種有效的通道注(ECA)模塊，使用1D卷積來避免壓縮和激勵塊中的降維操作，這大大降低了模型的復雜性，同時保持了優異的性能。然而，在ECA模塊中，僅僅使用平均池化會丟失大量信息，為了減少信息丟失，本文采用平均池化和最大池化來獲得更精細的通道注意模塊，通道注意機制通過自動學習來學習每個特征通道的重要性，并使用獲得的重要性來增強重要特征，抑制對視網膜血管分割任務不重要的特征，從而進一步增強網絡對于血管的辨別能力。通道注意機制(CA)通過自動學習來學習每個特征通道的重要性，由于眼底視網膜圖像中亮度不均勻、血管形狀以及病理噪聲等都會對血管的分割造成干擾，CA通過增大含有血管像素的特征圖通道的權重來增加網絡對血管像素的學習能力，抑制視網膜眼底圖像中噪聲的干擾。

圖1 CA模塊

(1)

(2)

Pr=σ(Pm1D+Pa1D)

(3)

Po=Multiply(P，Pr)

(4)

為了解決神經網絡中層數加深所導致的梯度消失和梯度爆炸等問題，更好地發揮注意力機制的作用，網絡采取殘差網絡(ResNet，residual network)[20]模塊相結合的方式構造了如圖2所示的殘差通道注意力模塊(RCA)，使用批量歸一化(batchnormalization)、ReLU激活、3×3卷積層和Spatialdropout來構造殘差學習塊，然后在最后引入通道注意力模塊來增加殘差模塊所提取特征圖中重要特征通道的權重值。

圖2 RCA模塊

1.2 多尺度空洞卷積模塊(MDC)

受到文獻[21]啟發，為了捕獲到更加完整的視網膜血管邊緣特征，本文構建了如圖3所示的多尺度空洞卷積模塊(MDC)。多尺度空洞卷積模塊采用殘差網絡結構，首先使用一個3×3的普通卷積進行初步的特征提取，然后利用批量歸一化和ReLU激活函數濾掉其他冗余信息。為了獲得不同范圍的特征信息，在多尺度空洞卷積模塊中使用3種不同感受野的卷積核來對視網膜血管特征圖進行邊界信息的提取；然后將3個空洞卷積的輸出進行通道拼接。拼接后 的信息經過一次1×1的卷積將通道數變為和輸入通道一樣，最后與通過殘差結構將原始輸入的特征圖進行維度拼接與特征融合，在提升血管特征提取精度的同時，還可以獲得豐富的血管邊界特征信息。普通卷積感受野范圍有限，如果需要增大感受野則需要增大卷積核對大小，但這又會大大增加網絡的參數數量，使用空洞卷積可以在不增加參數量的情況下增加卷積核的感受野，但是連續使用相同空洞率的空洞卷積會造成網格(gridding)效應等問題，為了解決 “網格化”問題，本文參考了文獻[22]的方法，使用了一個空洞率r=[1，3，5]，卷積核大小為3×3的多尺度空洞卷積，多尺度空洞卷積可以在不改變卷積參數量的前提下，通過增大空洞率來提升卷積核的感受野。同時，多尺度空洞卷積的特征提取能夠覆蓋更多的像素點，可以提取到不同尺寸視網膜血管的特征，能夠獲得視網膜血管更遠距離的上下文信息，得到更加細致的血管邊界特征。

圖3 MDC模塊

1.3 網絡結構

本文設計了一種的新的視網膜血管分割網絡。如圖4所示，網絡以殘差通道注意力模塊(RCA)和多尺度空洞卷積模塊(MDC)相結合來作為特征提取模塊提取眼底圖像的血管信息，這不僅可以解決加深網絡所導致的網絡退化問題，同時可以使網絡捕獲到多尺度的血管信息，增加特征圖中重要信息的權重。網絡通過兩次跨步卷積將特征圖進行兩次尺寸減半，再進行一次特征提取操作，之后通過一次反卷積操作將特征圖尺寸擴大一倍。將第一次尺寸減半操作的輸出繼續進行一次特征提取操作，然后將此次特征提取的輸出與第一次特征提取的輸出和第一次反卷積的輸出進行通道融合，然后通過1×1卷積操作壓縮融合的特征圖通道數，將通道壓縮后的特征圖再進行一次特征提取操作，然后進行第二次反卷積操作，此時，特征圖經過第二次反卷積操作的輸出尺寸與網絡輸入圖像的尺寸一樣，將它們進行特征融合來獲得網絡深層與淺層的特征，然后將此次融合的特征進行1×1卷積和特征提取操作，然后通過1×1卷積對其進行通道壓縮，最后經過sigmoid函數對其分類得到最終預測血管圖。網絡中每一次卷積后都經過一次數據歸一化和ReLU操作來緩解梯度消失。網絡中特征提取通道數最深為64層。

圖4 網絡結構

2 實驗結果與分析

2.1 數據集與預處理

本文使用了兩個公開可用的數據集，即DRIVE和CHASE-DB1。DRIVE數據集由40個RGB圖像組成，每幅圖像的像素為584×565，每張圖像帶有視網膜血管的像素級專家注釋。這些圖像是使用佳能 CR5眼底相機捕獲的。DRIVE數據集提供了20個訓練圖像和20個測試圖像的預定義官方數據拆分。CHASE-DB1數據集包括28個RGB圖像，每幅圖像的像素大小為999×960，每張圖像帶有視網膜血管的像素級專家注釋。這些圖像是使用NidekNM-200D眼底相機捕獲的。CHASE-DB1數據集提供了20個訓練圖像和8個測試圖像的預定義官方數據拆分。為了適應本文網絡模型，將DRIVE、CHASE-DB1數據集圖片的大小擴大為592×592、1 008×1 008，并將圖像中非眼球部分用零填充。為了獲得更合理的結果，本文在評估時將分割結果裁剪為初始寸。為了增強網絡的魯棒性，本文采用隨機旋轉和水平、垂 直和對角線翻轉的方式來增加DRIVE、CHASE-DB1數據集的訓練圖像。

2.2 損失函數

二元交叉熵(BCE，binary cross entropy)損失函數是二分類問題中常用的一個Loss損失函數，其公式為：

(5)

式中，gi為像素點的二元標簽0或者1，pi為像素點i輸出屬于gi標簽的概率。

2.3 參數設置

本文實驗環境為云服務器，顯卡為RTX 3090。模型在TensorFlow 2.5.0框架上進行實驗，batch size設為4，選擇Adam作為優化算法，訓練總輪次為100，前75次學習率設置為10-3，后25次學習率設置為10-4。

2.4 評價指標

為了定量分析模型的分割結果，并能夠更好地與其他網絡進行對比.本文采用準確率(accuracy)、靈敏度(sensitivity)、特異性(specificity)、和AUC(area under ROC curve)值作為評判標準。AUC的值越接近1，表示模型的分割能力越好。準確率、靈敏度、特異性的定義如下：

(6)

(7)

(8)

式中，TP表示正確分割的血管像素點數；TN表示正確分割的背景像素點數；FP表示錯誤分割的血管像素點數；FN表示錯誤分割的背景像素點數。

2.5 實驗結果

本實驗在DRIVE、CHASE-DB1數據集上對本文網絡分割結果進行驗證。分割結果如圖5所示，圖中第1～2行為DRIVE數據集圖像，第3～4行為CHASE-DB1數據集圖像，圖(a)～(d)分別為原圖、標簽、本文算法所分割的結果和分割細節對比圖。由圖可知，本算法可以很好地將視網膜眼底圖像中的血管分割出來，針對傳統網絡無法識別分割的血管末端細小血管，本文算法也可以將其精確識別分割出來。值得注意的是，本文算法在DRIVE和CHASE-DB1數據集上測試結果所得精確度分別達到了0.968 5和0.973 9，靈敏度分別達到了0.840 3和0.865 0，這表明本文算法不僅可以精確識別眼底圖像中的像素點，同時能夠精確識別視網膜眼底圖像中的細小血管。

圖5 不同數據集分割結果

在DRIVE和CHASE-DB1數據集測試的ROC曲線如圖6所示，圖6(a)和(b)為分別在DRIVE數據集和CHASE-DB1上測試得到的ROC曲線。在兩個數據集上AUC的值分別達到了0.986 3和0.989 9，表明血管存在誤分割的可能性較小。

圖6 不同數據集ROC曲線

2.6 算法對比

為了驗證本文改進模型在眼底視網膜血管分割上的分割性能的優越性，將本文方法在DRIVE和CHASE-DB1公共眼底圖像數據集上進行測試，以Accuracy、Sensitivity、Specificity，和AUC作為評價指標與近年相關算法做對比。表1和表2分別展示了在DRIVE和CHASE-DB1所示將本文所提算法在DRIVE和CHASE-DB1數據集上的性測試結果與目前先進的算法進行對比，其中最優指標加粗表示。相較于原始的UNet分割結果，在DRIVE數據集下的測試結果，本文算法在精確度、敏感度、特異性和AUC值4個評價指標分別提升了1.27%，4.62%，0.1%和0.16%，在CHASE-DB1數據集上分別提升了1.31%，4.74%，1.08%和0.34%，其中在兩個數據集的測試中，精確度均提升了1個百分點以上，靈敏度均提升了4個百分點以上，其中，由于CHASE-DB1數據集的分辨率999×960，比DRIVE數據集的584×565高，所以在CHASE-DB1數據集的測試精確度和靈敏度均比DRIVE數據集更高，對于分割網絡中尺寸減半所導致的細小血管消失問題，所受到的影響更小，這也證明了更高的分辨率對于視網膜眼底圖像血管分割效果有益，因此本文所設計的網絡中只使用兩次尺寸減半操作，通過通道連接將不同深度的特征信息融合對于提升視網膜眼底圖像血管分割的精確度和靈敏度是有效的，相比近年來的其他算法的分割結果，本文算法在精確度，靈敏度和AUC值也均取得了最高值，因此對于視網膜血管分割，本文所題方法更具優勢。

表1 DRIVE數據集上的平均性能指標評估結果

表2 CHASE-DB1數據集上的平均性能指標評估結果

3 結束語

為了避免分割后細小血管像素模糊、丟失等現象，提升血管分割靈敏度和精確度，本文設計了一種新的視網膜血管分割算法。將RCA和MDC模塊相結合作為網絡的特征提取模塊。網絡中特征圖尺寸減半和尺寸擴大操作均只使用了2次，減少了網絡因特征圖尺寸改變所導致的微小血管的丟失現象，特征圖的通道數最多為64層，網絡權重參數只有7.2 MB。與此同時，網絡通過融合操作使得深層特征圖與對應尺寸的淺層特征圖進行通道融合，減少了因為網絡深度加深所導致的信息丟失問題。實驗結果表明，本文算法結構有效提高了靈敏度和精確度，能夠減少視網膜眼底圖像中微小血管無法被分割的情況，相比其他算法對視網膜血管分割更具優勢。