改進U 型網絡在視網膜病變檢測中的應用研究

楊知橋，張 瑩,2+，王新杰，張東波,2，王 玉

1.湘潭大學 自動化與電子信息學院，湖南 湘潭411105

2.機器人視覺感知與控制技術國家工程實驗室，長沙410082

糖尿病性視網膜病變是全世界適齡工作人群最主要的致盲眼病之一，隨著病情的不斷加深會引發許多并發癥。為了防止病情惡化和有效預防失明，對糖尿病性視網膜病變的早期診斷和及時治療是很有必要的。臨床上以是否出現視網膜新生血管為分界，將糖尿病性視網膜病變分為非增殖性糖尿病視網膜病變（non-proliferative diabetic retinopathy，NPDR）和增殖性糖尿病視網膜病變（proliferative diabetic retinopathy，PDR）5 個病變等級。主要病灶區為滲出物、出血點、微血管瘤等。

眼底視網膜血管的形狀、尺度、分叉、分支角度、延伸程度等結構特征可以通過儀器直接觀察，醫生通過觀測血管形態以及滲出物、出血點等主要病變特征來判斷病變程度。目前主要通過經驗豐富的眼科專家人工標注的方式進行視網膜血管以及病灶區的分割，分割過程費時費力且容易受到主觀因素的影響，無法達到短時高效的效果。因此，采用計算機輔助醫療對眼底視網膜血管以及病灶區進行自動分割具有重要的臨床醫學意義。

深度學習方法已廣泛應用于醫學圖像分割領域。U-Net 網絡憑借其出色的實用性表現以及在少量數據中的學習能力，在近幾年的醫學圖像分割領域得到了廣泛應用。鐘思華等人在U-Net 網絡的卷積層間加入密集連接融合網絡上下層特征信息，在肺結節分割上取得良好的分割結果。錢寶鑫等人基于U-Net 網絡，結合多尺度輸入、空洞空間金字塔池化和注意力機制，提高了肺分割性能。CE-Net 網絡以U-Net 網絡為基礎，提出了上下文特征提取模塊，在眼底視網膜血管和視盤分割中，取得了較好的效果。Pang 等人基于CE-Net 網絡，將上下文特征編碼模塊加入到各尺度跳躍連接，獲取不同尺度的上下文信息，從而提高肝臟腫瘤的分割性能。Wang等人將三維卷積輸入層與CE-Net網絡相結合，解決帶有時序信息的冠狀動脈分割問題。針對眼底視網膜血管以及病灶區分割，相關分割對象很細小的特點，提出一種混合注意力機制（hybrid attention mechanism，HAM），讓網絡更加關注于貢獻大的特征，減小噪聲對細微血管以及細小病灶區特征的影響，提高分割效果。針對CE-Net 編碼階段所生成的高級別特征圖，稠密空洞卷積模塊（dense atrous convolution，DAC）獲取高級別的上下文特征的感受野不夠豐富，殘差多尺度池化模塊（residual multi-kernel pooling，RMP）的最大池化操作會損失部分特征信息的不足，提出采取豐富感受野以及平均池化的方法進行改進。

1 改進U 型網絡基本結構

改進U型網絡以CE-Net為骨干網絡（Backbone），由混合注意力特征編碼模塊、上下文提取編碼模塊和特征解碼模塊三部分組成，如圖1 所示。混合注意力特征編碼模塊由4 個特征編碼塊和4 個混合注意力機制模塊組成，每個編碼塊采用殘差網絡（ResNet）塊作為主干。在特征編碼塊進行特征提取之后，通過混合注意力機制模塊進行特征加權，將加權后的特征圖送入最大池化層以增加感受野，從而更好地提取全局特征。然后，將混合注意力特征編碼模塊所提取的高級別特征輸入到所改進的上下文提取編碼模塊中，以獲取并整合豐富的上下文信息，最后利用特征解碼模塊恢復高級別語義特征的尺寸，輸出與原始輸入尺寸相同的分割結果。特征解碼模塊采用逐層向上恢復高級語義特征圖的尺寸的方式，每一層都采用跳躍連接，將編碼器中經過混合注意力機制模塊產生的特征圖加入解碼模塊，為解碼模塊提供帶有權重的特征信息。每一層的解碼塊以ResNet 殘差塊作為主干，由一個1×1 卷積、3×3 反卷積和1×1卷積構成，通過參數反傳來自動學習參數，從而能夠更好地恢復特征表示。通過特征解碼器，網絡能在最后恢復到與輸入圖像相同尺寸的預測圖。

圖1 改進U 型網絡結構圖Fig.1 Improved U-shaped network structure diagram

1.1 上下文提取編碼模塊

上下文提取編碼模塊由稠密空洞卷積模塊（DAC）和殘差多尺度池化模塊（RMP）組成，通過提取上下文語義信息獲得高級別特征圖，提高醫學圖像分割性能。

CE-Net 的稠密空洞卷積模塊通過四個級聯空洞卷積分支來捕獲多尺度的語義特征，四個級聯空洞卷積分支的感受野分別為3、7、9、19。相對于14×14的輸入特征圖來說，其在小尺度感受野比較豐富，能有效獲取局部上下文信息，但是視網膜血管、出血點病灶區通常分布于整張眼底視網膜圖像，該模塊對此類特征的上下文信息提取有限，會漏掉很多特征信息，因此需要豐富大尺度感受野，以獲取更全面的上下文特征信息。連續的空洞卷積能夠擴大感受野，獲取更豐富的特征信息。但是不恰當的膨脹率選擇會產生“網格化”現象，丟失掉大部分的信息，如圖2（a）所示。為了克服“網格化”現象，覆蓋更豐富的特征信息，采用“鋸齒化”的膨脹率設計，如圖2（b）所示，對于連續空洞卷積膨脹率設計為[,,…,r,…,r]，需滿足式（1）：

圖2 “網格化”現象示意圖Fig.2 “Grid”phenomenon schematic

式中，M=r。

改進后的稠密空洞卷積模塊結構圖如圖3 所示，感受野分別為3、7、9、13、17、19，增加的13、17 大尺度感受野能獲取更全面的上下文特征信息。

圖3 改進稠密空洞卷積模塊Fig.3 Improved dense atrous convolution module

CE-Net 的殘差多尺度池化模塊是基于空間金字塔池化，對從稠密空洞卷積模塊獲取的上下文特征信息進行多尺度的特征整合編碼。由于高級特征圖的所有特征信息是特征編碼網絡所提取出來的信息，最大池化無法充分利用全局的語義信息，會造成一定程度的信息損失。本文提出運用多尺度最大池化和平均池化相結合的方式，小尺度采取最大池化（2×2、3×3），大尺度采取平均池化（5×5、6×6），以編碼更豐富的上下文特征信息，結構如圖4 所示。

圖4 改進殘差多尺度池化模塊Fig.4 Improved residual multi-kernel pooling module

1.2 混合注意力機制模塊

為減少噪聲的干擾，使網絡能更加關注于眼底視網膜微小血管以及病灶區特征，本文提出在特征編碼模塊加入混合注意力機制（HAM），有利于對輸入特征圖的特征信息進行充分加權，從而全面突出有效特征對網絡的貢獻。混合注意力機制模塊結構如圖5所示，由通道注意力和空間注意力組成。對于輸入特征圖∈R，經過HAM模塊后生成通道注意力權重∈R和空間注意力權重∈R。輸出特征圖的計算過程由式（2）和式（3）所示：

圖5 混合注意力機制模塊Fig.5 Hybrid attention mechanism module

式中，?表示逐元素相乘。

通道注意力機制模塊首先采用最大池化和全局平均池化來整合不同的空間特征信息，最大池化保留了紋理特征，全局平均池化保留了整體的數據特征，再通過兩層全連接層生成通道注意力權重，然后對兩種權重進行融合以及歸一化，從而生成最終的注意力權重。通道注意力機制結構如圖6 所示。

圖6 通道注意力機制Fig.6 Channel attention mechanism

對于輸入特征圖∈R，分別通過最大池化和全局平均池化操作來整合空間特征信息，得到的兩種空間上下文描述分別表示為∈R和∈R。最終的注意力權重計算如式（4）所示：

空間注意力利用特征間的空間關系生成注意力權重主要側重于信息部分。本文采用文獻[14]提出的方法，在通道方向上分別采用最大池化和平均池化來整合通道信息，以有效地突出空間信息區域，再將兩種特征信息拼接后通過卷積層生成最后的空間注意力權重。結構如圖7 所示。

圖7 空間注意力機制Fig.7 Spatial attention mechanism

對于經過通道注意力生成的帶有通道注意力權重的特征圖′∈R，在其通道上分別運用最大池化和平均池化操作后分別生成兩種二維特征信息圖，表示為∈R和∈R，再拼接起來進行卷積操作以生成空間注意力權重。計算公式如式（5）所示：

式中，表示Sigmoid 函數，表示卷積核大小為7×7 的卷積操作。

2 實驗與結果分析

本文訓練和測試的平臺是Ubuntu 16.04 系統，配有Nvidia GeForce Titan RTX 顯卡，內存為24 GB。改進U 型網絡編碼階段采用基于ImageNet 上預訓練的ResNet，采用PyTorch 深度學習框架進行實驗。在訓練過程中，采用了批量大小為8、動量為0.9、權重衰減為0.000 1 的隨機梯度下降（stochastic gradient descent，SGD）進行優化，初始學習率設置為0.001，并對學習率采取poly 學習率策略。

為防止過擬合，對樣本數據集使用數據增強策略。在訓練階段，對每張圖像進行水平翻轉、垂直翻轉和對角翻轉，每張圖像被擴充為8 張圖像。在測試階段，也對每張圖像進行水平翻轉、垂直翻轉和對角翻轉，取其平均值作為最終的預測圖。

2.1 評價指標

本文采取的定量指標分別為準確率（AC）、靈敏度（SE）、特異性（SP）和AUC 值。準確率（AC）為所有正確分割的像素點占總像素點的比例，靈敏度（SE）為正確分割的血管點或病灶點占總血管點或病灶點的比例，特異性（SP）為正確分割的背景點占總背景點的比例，計算如式（6）～式（8）所示：

式中，，真陽性，分割正確的血管點或病灶點；，假陽性，非血管點或病灶點被錯誤分割為血管點或病灶點；，真陰性，分割正確的背景點；，假陰性，被錯誤分割為背景點。

2.2 眼底視網膜血管分割實驗

眼底視網膜血管分割實驗所采用的數據集為DRIVE 數據集，由40 張彩色眼底視網膜圖像組成，分辨率為565×584，每一張圖像都有兩位專家人工標注的像素級標簽，并提供了對應的掩膜。官方將其均勻地分為20 張訓練集和20 張測試集。

改進U 型分割網絡的眼底視網膜血管分割結果如圖8 所示。從左到右依次為原始眼底圖像、U-Net網絡分割結果、CE-Net 網絡分割結果、本文方法分割結果和Ground-Truth 結果。可以看到本文方法對細微且形態復雜的血管的分割效果更好，包括對于細微血管的分叉或者端點處都有著良好的分割效果，較之前的方法有良好的提升效果，能夠更好地輔助醫生來進行診斷及進一步的觀測。

圖8 眼底視網膜血管分割結果Fig.8 Results of retinal blood vessel segmentation

定量的評價指標結果如表1 所示。AUC 值為ROC 曲線下方與坐標軸圍成的面積大小，值越大代表算法的準確性越高，用來衡量算法診斷的準確性。

表1 不同方法分割性能對比（眼底視網膜血管）Table 1 Comparison of segmentation performance of different methods(fundus retinal blood vessels)

由表1 可知，改進U 型網絡分割效果最好。本文比較了在骨干網絡的基礎上對上下文提取編碼模塊中的稠密空洞卷積模塊（Backbone+New DAC）和殘差多尺度池化模塊（Backbone+New RMP）分別進行改進的分割效果，得知殘差多尺度模塊改進后效果提升更好，對于視網膜血管、出血點病灶區分布于整張眼底視網膜圖像的特征，能有效促進網絡對高級別上下文特征信息的利用，從而提升網絡分割效果。在骨干網絡的基礎上本文對上下文提取編碼模塊進行改進后（Backbone+New DAC+New RMP），效果有進一步的提升。由此可知，對于高級別的特征進行更全面的整合利用對于網絡效果提升有很好的促進作用，可以提高整體的分割效果，但是AUC 值提升不明顯，可知對細微血管分割的能力提升一般。在骨干網絡的基礎上，本文提出在特征編碼的各尺度階段加入混合注意力機制模塊（Backbone+HAM），AUC 值提升明顯，可知加入混合注意力機制模塊對有效特征信息的加權，對細微血管特征信息的利用更充分，有助于網絡對血管和背景信息進行區分。

2.3 糖尿病性視網膜病變病灶區分割實驗

糖尿病性視網膜病變病灶區分割實驗采用DIARETDB1 數據集，由89 張彩色醫學眼底圖像組成，分辨率為1 500×1 152，官方提供了滲出物、出血點等糖尿病性視網膜病變主要病灶區人工標注的像素級標簽。本文按照7∶3的比例分為訓練集和測試集。

對DIARETDB1數據集進行滲出物、出血點實驗，分割結果如圖9、圖10 所示。從左到右依次為原始眼底圖像、U-Net網絡、CE-Net網絡、本文方法和Ground-Truth 的分割結果。可以看出本文方法對于滲出物、出血點等病灶區的分割效果較好，能夠準確地分割出分布零散的病灶區，并且邊界清晰，準確性有較好的提升，在不同的光照條件下也能有效地分割出病灶區，魯棒性良好，為醫生診斷提供了很好的輔助作用。

圖9 滲出物分割結果Fig.9 Exudate segmentation results

圖10 出血點分割結果Fig.10 Bleeding point segmentation results

糖尿病性視網膜病變病灶區分割的定量評價指標如表2、表3 所示。

表3 不同方法分割性能對比（出血點）Table 3 Comparison of segmentation performance of different methods(bleeding point)

由表2可知，針對邊界不明顯的滲出物病灶區，本文提出對上下文提取編碼模塊進行改進（Backbone+New DAC+New RMP），分割效果有提升，說明對高級別特征的上下文之間的特征信息進行整合利用，網絡能夠更好地提取病灶特征信息，有利于病灶區的邊界分割。在特征編碼階段加入混合注意力機制后（Backbone+HAM），算法分割準確性、AUC 值都有所提升，說明帶權特征信息能夠很好地減小噪聲信息的影響，對此類病灶區分割效果起到良好的促進作用。

表2 不同方法分割性能對比（滲出物）Table 2 Comparison of segmentation performance of different methods(exudate)

由表3 可知，改進U 型網絡的上下文提取編碼模塊（Backbone+New DAC+New RMP）能夠對零散的出血點病灶區特征進行整合，相互之間的特征信息交流讓網絡更好地提取出小而散的出血點病灶特征，從而提高分割效果。混合注意力機制（Backbone+HAM）有效地突出了病灶區特征對網絡的貢獻，減小了噪聲與背景類的干擾，使得分布零散的出血點病灶區能夠更好地分割出來。

3 結束語

針對糖尿病性視網膜病變相關分割任務，眼底視網膜血管以及病灶區特征分布廣泛而零散，需要獲取更豐富的高級別特征上下文信息以進行更好的特征表征。本文通過改進上下文提取編碼模塊，在網絡特征編碼模塊的不同維度加入所提出的混合注意力機制模塊，對視網膜血管以及病灶區特征加權以突出其對網絡的貢獻，提高細微血管分叉、端點處以及細小而零散的病灶區的分割性能。實驗結果表明，改進U 型網絡僅需要很少的附加參數，計算量相較于骨干網絡僅增加2.03%，能有效區分前景與背景信息，提升細微血管的分叉、端點處以及病灶區的分割效果，分割性能更精確和更精細，對醫生的輔助診斷有積極的促進作用，對將來實現糖尿病的計算機輔助診斷有重要意義。