一種基于改進U 形網絡的眼底圖像視網膜新生血管檢測方法

鄒北驥，易博松，劉晴?

（1.中南大學自動化學院，湖南長沙 410083；2.中南大學計算機學院，湖南長沙 410083；3.湖南省機器視覺與智慧醫療工程技術研究中心，湖南長沙 410083）

糖尿病性視網膜病變是糖尿病的微血管主要并發癥之一，也是主要的致盲疾病之一[1].據估計，到2030 年全世界將有約3.6 億人罹患糖尿病.我國目前的糖尿病患病率為9.7%，約有9 400 萬人罹患糖尿病[1].臨床上視網膜新生血管的出現是非增殖期糖尿病性視網膜病變惡化至增殖期糖尿病性視網膜病變的主要標志，也是醫生是否需要對患者立刻進行積極治療的關鍵判斷依據[1-2].

目前已有的對于視網膜新生血管的檢測方法主要是通過傳統圖像處理方法對彩色眼底圖中的新生血管進行分割，去除背景和大部分圖像噪聲，只提取血管圖像，再使用機器學習方法訓練分類器并對眼底圖像全局或者特定區域的血管進行分類以達到新生血管檢測的目的.

Agurto 等[3]將AM-FM 算法用于檢測正常和非正常的血管，以此篩查糖尿病性視網膜病.Goatman 等[4]直接提取血管的形狀、位置、方向、密度等特征，并使用支持向量機（Support Vector Machine，SVM）分類器來區分正常和非正常血管.Hassan 等[5]選擇固定大小區域里的血管數目和血管所占面積作為特征來檢測新生血管.Maryam[6]證明了在各種描述新生血管的特征中，Gabor 濾波器方法能實現最好的特異性和較好的敏感性.Welikala 等[7]分別從標準線性算子和修正線性算子生成的二值化的血管圖中提取兩組不同的特征集，并提出了一個基于SVM 的雙重分類系統用于正常血管和新生血管的分類.Gupta 等[8]提出將視網膜圖像拆分成小塊來檢測，提取小塊的紋理特征和灰度特征等525 個特征，使用隨機森林分類器來訓練并進行血管的分類.Pujitha 等[9]提出了一種半監督方法來解決訓練數據量不夠的問題.對于含有新生血管的小片段，使用Gabor 濾波器來提取特征，通過在特征空間中使用領域信息，將特征融合在基于共同訓練的半監督的框架中來分類.Yu 等[10]提出通過對新生血管候選區域進行再次篩選并使用SVM分類新生血管和普通血管.

近年來，U 形網絡[11]在醫學圖像分割任務上獲得了巨大的成功.在彩色眼底圖像普通血管分割任務上，相比于傳統方法，U 形網絡能夠實現更好的分割性能[12].但與常規血管不同的是，視網膜新生血管在形態上更加細小[1]，分割和檢測的難度均比常規血管大.

針對新生血管較難檢測的問題，為了提升檢測的準確率，本文提出一種改進U 形網絡的眼底圖像血管分割算法，使之能更好地分割出常規血管和新生血管，方便后續新生血管的檢測.具體地，本文首先設計了一種改進型的U 形網絡用于新生血管和常規血管分割.然后使用一個滑動窗口對分割后的新生血管圖像進行完整遍歷，使用SVM 對每一個窗口生成的子圖像內的血管圖像按照特征信息進行分類，分類成普通血管或新生血管以完成檢測.使用MESSIDOR 數據集和Kaggle 數據集進行方法的訓練和測試.實驗證明，改進型U 形網絡對新生血管的分割精度高于原始U 形網絡，本文提出的新生血管檢測方法可以準確地對新生血管進行檢測.

1 方 法

本文提出的新生血管檢測方法流程如圖1 所示.首先對眼底圖像的綠色通道圖像進行預處理，預處理操作包括對比度受限的自適應直方圖均衡化和伽馬變換，接著使用改進的U 形網絡進行血管分割.然后使用滑動窗口對分割出來的血管圖像進行遍歷，使用SVM 對每個窗口中的血管圖像提取特征并分類，最后統計分類結果，根據分類結果確定該圖是否檢測到新生血管.

1.1 預處理

彩色眼底圖像在綠色通道中整體對比度最高，細節損失最少，相較原圖可以更好地表現整體血管結構[10]，因此，本文后續實驗操作都將在彩色眼底圖的綠色通道上完成.

在針對彩色眼底圖的視網膜新生血管處理中，新生血管像素所占整張眼底圖像素的比例非常低，使用形態學方法進行預處理會導致大量新生血管像素丟失，嚴重影響實驗結果.為了保證眼底圖中新生血管結構的信息完整，本文采用對比度受限的自適應直方圖均衡化方法[10]和伽馬變換方法[10]來對眼底圖進行增強，改善圖像低對比度的情況，同時將對新生血管像素的影響降到最小.

圖1 本文方法流程Fig.1 The method flow of this study

1.2 血管分割

為了提高對新生血管分割的準確率，本文設計了一種改進型U 形網絡并使用該網絡分割新生血管.本文設計的改進型U 形網絡在原始U 形網絡的基礎上，引入了改進的殘差模塊（Improved ResBlock）[13]和金字塔場景解析（Pyramid Scene Parsing，PSP）池化模塊[14]，可以實現對新生血管圖像的語義分割，即將視覺輸入分為不同的語義可解釋類別，把同類的像素用同一種顏色進行標記，每一種分類類別都具有對應的現實意義.在本文中，白色像素對應血管，黑色像素對應著除血管外的所有背景信息.同時本文在所有卷積層之后執行批歸一化操作，將每個批次的輸入進行歸一化處理，使模型在訓練過程中更易于優化，同時降低模型過擬合的風險.本文設計的改進U 形網絡結構如圖2 所示.

該網絡由下采樣路徑和上采樣路徑組成，其下采樣路徑通過下采樣操作逐漸減少圖像的空間維度，而上采樣路徑通過上采樣操作逐步修復圖像的細節和空間維度.對于下采樣路徑和上采樣路徑中的每一個卷積層級，使用融合模塊實現對應層級的圖像輸出特征的拼接，使網絡可以利用不同層級的圖像特征信息.

圖2 改進U 形網絡結構Fig.2 Improved U-shaped network structure

為了緩解網絡層數加深而引發的梯度消失問題[13]，在原始U 形網絡每個卷積層之間，引入一系列的殘差模塊.為了提高網絡的感受野，使網絡更好地捕捉上下文信息，在每一個殘差模塊中，除了已經存在的兩個普通卷積的分支，本文設計的殘差模塊將額外引入一組空洞卷積分支[15].改進的殘差模塊結構圖如圖3 所示.

為了在網絡中引入更多的上下文信息，進一步融合網絡多尺度特征，本文在上采樣路徑和下采樣路徑之間引入了PSP 池化模塊.該模塊將輸入從通道維度平均劃分為4 個層級，針對劃分后的4 個層級，分別對其使用1×1、2×2、3×3、6×6 尺寸的池化核進行池化操作.在每組池化的結果之后，采用原始特征數量1/4 的1×1 卷積實現特征維度的縮減，最終在4 組池化后的特征上采樣到與輸入特征相同的尺寸，并進行特征的拼接，融合多尺度特征.本文采用的PSP 池化模塊的結構圖如圖4 所示.

圖3 改進的殘差模塊結構Fig.3 Improved residual module structure

圖4 PSP 池化模塊結構Fig.4 PSP pooling module structure

本網絡使用ReLU 函數作為網絡激活函數.輸入的彩色眼底圖經過改進型U 形網絡的分割會輸出血管的二值圖，這些輸出圖像將用于新生血管的分類.

1.3 血管分類

在Yu 等[10]的研究中證明了，面對兩類樣本數量不均衡的情況下的新生血管二分類任務時，SVM 比卷積神經網絡有著更強的分類能力，可以極大地提高分類的效率和準確性.故本文使用SVM 對經過分割的新生血管圖像進行血管的分類.

在訓練SVM 的過程中，本文設置了一個滑動窗口，每個滑動窗口大小為50×50 像素，按照從左至右，從上至下，步長為20 像素的順序對新生血管圖像進行遍歷.計算每個窗口內的血管特征信息，比對專家的標定結果附上屬于新生血管或不屬于新生血管的標簽，形成一個訓練樣本.

結合本文的應用場景和新生血管的形態特征，采用血管段彎曲度平均值、血管段彎曲度方差、血管寬度平均值、血管寬度方差、血管段長度平均值、血管段長度方差、血管面積、血管分支點個數和血管段個數等9 個參數作為樣本特征.

使用AngioTool 軟件可以批量地從窗口中提取以上特征值.AngioTool 是一款專業的血管分析工具，它可以快速并且準確地測量一系列的血管形態學指標和空間參數.本文所選取的9 個特征值均可通過使用AngioTool 獲取.AngioTool 對血管圖像測量參數的效果如圖5 所示.

圖5 AngioTool 測量血管特征參數Fig.5 Measuring vascular characteristic parameters by AngioTool

在分類過程中，窗口每滑動一次都會對當前窗口區域內的圖像進行血管特征信息的計算，由訓練好的SVM 給出分類結果，判斷該窗口圖像內是否包含新生血管.

2 實驗設置與實驗結果

2.1 實驗數據與實驗設置

本文分別從MESSIDOR 數據集和Kaggle 數據集中各挑選了29 張和90 張共119 張包含新生血管的彩色眼底圖作為實驗材料，并將圖片分辨率統一調整至1 024×1 024 像素.這119 張新生血管圖均由專家進行了新生血管區域的標定.

此外，本文還從Kaggle 數據集中隨機選取80 張正常的彩色眼底圖像，統一分辨率1 024×1 024 像素，作為負樣本參與檢驗本方法中新生血管分類器的性能.

本文的改進型U 形網絡和SVM 的訓練和測試均使用Nvidia Titan Xp GPU，在Keras 深度學習框架上進行.

對于改進型U 形網絡的訓練，為了避免訓練數據過少而導致網絡訓練過程中出現過擬合現象，本文從每一個訓練集圖像中隨機提取等大小的10 000個圖像塊，38 張圖像，共380 000 個圖像塊參與訓練，每一個圖像塊大小為48×48 像素.這38 張圖像均配有專家標定的金標準圖像.

本文采用隨機梯度下降的優化函數來對網絡參數進行優化，采用對數交叉熵代價函數作為損失函數來衡量網絡的分類誤差.學習率初始化為0.01，每次訓練38 個圖像塊，共訓練200 輪.

對于SVM 的訓練，本文選取46 張新生血管圖像，共9 026 個帶標簽的樣本（有效的窗口子圖像）參與訓練.測試集數據由80 張正常眼底圖像和另外73張新生血管圖像組成.

在本文中，SVM 的C 參數值設為0.55.使用K折交叉驗證方法，將訓練數據隨機分為k 個較小的子集，并在每次迭代中對數據的k-1 部分訓練模型.數據的其余部分用作驗證和性能評估.該過程重復k 次，平均性能報告為總體性能.在本文中，k=10.

2.2 實驗指標

對于新生血管分割網絡的分割結果評估，其分割結果將會與專家標注的金標準血管圖進行比對，計算4 種統計指標：真陰性（true negative，TN）、真陽性（true positive，TP）、假陰性（false negative，FN）和假陽性（false positive，FP）.TN 表示被正確地分為背景像素的像素點；TP 表示被正確地分為血管像素的像素點；FN 表示被錯誤地分為血管像素的像素點；FP表示被錯誤地分為背景像素的像素點.

對于分類器的分類結果評估，其分類結果將會與專家標注的診斷結果進行比對，同樣計算4 種統計指標：TN、TP、FN 和FP.如果存在一個窗口將當前的圖像區域正確地分類為新生血管區域，則該圖像正確地檢測到了新生血管，計入TP；如果所有窗口都將當前的圖像區域正確地分類為非新生血管，則該圖像正確地被分類為不含新生血管圖像，計入TN；如果一張不包含新生血管的圖像存在一個窗口將當前區域的圖像錯誤地分類為新生血管，則該圖像被錯誤地分類為新生血管圖像，計入FN；如果一張包含新生血管的圖像的所有窗口都將當前圖像區域錯誤地分類為非新生血管，則該圖像被錯誤地分類為不含新生血管的圖像，計入FP.

對于血管分割和血管分類兩個任務，通過這4種統計指標，進一步計算出3 個評估指標：特異性（Specificity，Sp）、靈敏度（Sensitivity，Sn）、準確率（Accuracy，Acc），這3 個評估指標的計算方法為：

2.3 實驗結果

改進型U 形網絡對21 張含新生血管的眼底圖像進行了分割測試，這21 張圖像均帶有專家標注的血管金標準圖像.同樣地，使用原始U 形網絡對這21 張圖像進行分割測試.兩個模型的分割結果對比見表1.兩種模型對新生血管分割的結果對比見圖6.

表1 分割結果與原始U 形網絡對比Tab.1 The segmentation results compared with the original U-shaped network

圖6 改進型U 形網絡與原始U 形網絡對局部新生血管分割的結果對比Fig.6 Comparison of segmentation results of local neovascularization between improved U-shaped network and original U-shaped network

由圖6 可以看出，改進型U 形網絡和原始U 型網絡對于普通血管的分割效果相近.但對于低對比度血管和細小血管的分割，改進型U 形網絡效果明顯優于原始U 形網絡.

由表1 可知，本文提出的改進型U 形網絡對新生血管的分割準確率優于原始U 形網絡，達到87.60%.改進型U 形網絡對血管全局分割的效果見圖7.

圖7 改進型U 形網絡對血管進行全局分割效果圖Fig.7 Improved U-shaped network for global segmentation of blood vessels

分類器對153 張眼底圖像進行了分類測試，這153 張圖像中有73 張圖像被專家標注為含新生血管圖像，80 張正常眼底圖像.分類結果與其他新生血管檢測研究的對比見表2.

表2 分類結果與其他新生血管檢測研究對比Tab.2 Comparison of classification results with other neovascularization detection studies

從表2 可見，本文提出的方法最終取得了對新生血管分類準確率95.96%、靈敏度91.10%、特異性97.16%的結果，對比其他已有研究結果，本文提出的方法在新生血管分類的準確率和特異性上獲得了最優的水平.

分類準確率代表著分類器在進行分類任務時，對多個標簽的樣本分類的總體正確率.考慮到本文的實際情況是非新生血管標簽數量遠大于新生血管標簽數量，說明本文提出的方法對非新生血管區域可以更好地分類.靈敏度在本文中代表著對新生血管區域分類的正確率，靈敏度越高，說明有更多的新生血管區域被正確地分類，有更少的非新生血管區域被錯誤地分類成新生血管區域.特異性在本文中代表著對非新生血管區域分類的正確率，特異性越高，說明有更多的非新生血管區域被正確地分類，有更少的新生血管區域被錯誤地分類成非新生血管區域.

本文提出的方法對非新生血管區域分類的效果極佳，有很高的特異性.這樣可以最大程度地避免在實際操作中將非新生血管區域誤診為新生血管.本文的方法在整體的準確率上也取得了最優的水平.綜合來看，本文提出的方法可以作為計算機輔助診斷方法輔助醫生進行新生血管的檢測.

3 結論

本文提出的改進型U 形網絡對新生血管分割的效果優于原始U 形網絡，可以較好地分割新生血管.本文提出的新生血管檢測方法相比目前文獻，在MESSIDOR 數據集和Kaggle 數據集上可以較好地檢測新生血管，且準確率最高.

少量的新生血管圖像被本方法錯誤分類，這是因為新生血管并不是糖網病在眼底圖上會出現的唯一病癥，其他病癥如出血、滲出等會覆蓋新生血管，干擾檢測.

本文提出的方法可以用于計算機輔助診斷，幫助醫生做出決策.今后將構建專門的新生血管圖像數據庫，進一步優化分割神經網絡和新生血管分類器，尋找有效的噪聲消除方法，提高本方法對新生血管檢測的準確率和魯棒性.