一種融合殘差模塊的U-net對眼底圖像滲出液的檢測

傅迎華，李 震，張雨鵬，潘東艷

1(上海理工大學 光電信息與計算機學院，上海 200093)2(第二軍醫大學 長海醫院眼科，上海 200433)

1 引 言

隨著人們生活水平不斷提高和物質條件的改善，糖尿病的發病率在逐年上升.目前，我國已成為全球糖尿病患者人數最多的國家.糖尿病同時也會引起各種的慢性并發癥[1]，糖尿病視網膜病變(Diabetic Retinopathy，DR)是糖尿病常見的并發癥之一，是引起失明的主要的眼病，致盲率較高[2].滲出液(exudates,Es)是DR的早期病灶之一，同時也是評定糖尿病視網膜病變程度的關鍵指標.

滲出液是由于視網膜血管系統受損漏出富含脂肪和膽固醇而形成的.一般滲出液包括硬性滲出液和軟性滲出液，軟性滲出液又叫棉絮斑.在眼底圖像中，硬性滲出液呈黃色斑點狀，有清晰可見的邊界；軟性滲出液呈黃白色，無明顯邊界特征.由于滲出液與視盤在亮度特征上很近似，通過計算機輔助的診斷系統很難精確地檢測到滲出液.

在現有的文獻中，滲出液的檢測方法一般可分為以下幾類：基于聚類的方法[3]、基于數學形態學的方法[4,5]、基于主成分分析的方法[6]、基于區域生長的方法[7]及基于像素分類的方法[8-16]，其中基于像素分類的方法屬于監督學習方法，其他方法均屬于無監督學習方法.

無監督方法中，基于聚類的方法主要有K均值和模糊C均值方法，選擇合適的聚類特征是實現該算法的一個關鍵步驟.一般通過計算每一個特征屬于不同簇的隸屬度來對特征分組，再對簇進行判斷，分為滲出液與非滲出液，并給出相應的分割.陶靜等[3]提出了一種由蜻蜓算法優化的隨機森林算法進行滲出液的分割.楊振宇等[4]通過基于遺傳算法和熵相結合的方式實現對滲出液的分割形態學方法主要用于確定滲出液的邊界.在去除視盤等因素的基礎上，段彥華等[5]利用Canny 邊緣檢測算法，對滲出液的邊緣進行提取.該方法對視盤定位要求較高，受光照影響比較大.陳莉等[6]在去除血管、暗病灶和視盤的基礎上，根據滲出液的稀疏性等特點，通過穩健主成分分析和低秩分解得到關于滲出液的稀疏矩陣，從而分割滲出液.謝莎等[7]利用自適應閾值法尋找種子點，通過兩次連續的區域生長來確定滲出液的位置.相對于監督方法，無監督方法簡單高效，處理效率相對快，但漏檢率較高，同時在檢測血管、視盤和暗病灶區域時受光照和亮度等影響較大.且需要后期對假陽性區域進行排除，在穩定性上表現差異較大，魯棒性較差，對后期的處理要求較高.

傳統的監督學習的檢測方法一般基于眼底圖像中滲出液的特征，通過分類器判斷該像素是否為滲出液來實現滲出液的分割.一般可分為預處理，候選特征檢測和分類三個步驟.分類器主要包括有非深度學習的傳統機器學習方法[8-10]和深度卷積神經網絡(Convolutional Neural Network,CN-N)[11-16].

在傳統機器學習方法研究中，王岳等[8]通過提取亮度和顏色等特征,使用均值、標準差等指標對像素點進行統計和聚類算法構造平均亮度等新的特征，利用支持向量機(SVM)和樸素貝葉斯對滲出進行識別.高瑋瑋等[9]通過顏色特征來檢測滲出液，再通過SVM對區域分類.陳寧華等[10]根據滲出液的顏色、亮度、形態、邊緣、紋理等特征提取超像素區域,再通過人工神經網絡進行分類.

龍勝春等[15]利用GAN網絡實現了對滲出液的分割，其主要通過對生成器和判別器的訓練，令生成器產生的圖片足以被判別器判定為滲出液標注，以此達到滲出液分割的目的，作為一種深度學習模型，該方法需要對視盤等干擾結構去除，對預處理的要求較高.

高瑋瑋等[16]提出了一種基于RBF神經網絡的滲出液自動檢測方法.該方法對綠色通道進行粗分割獲取病灶候選區域，對紅色通道的有效信息缺乏關注導致.

對比現有方法的缺點，本文提出了一種基于U-net網絡的滲出液檢測方法，U-net的端對端的方式更多考慮了像素類標的空間信息，同時U-net網絡借鑒了FCN網絡設計的思想，改進了FCN網絡的解碼過程，有效減少學習過程中的信息丟失.其多尺度的特征提取過程，使不同尺度的底層特征得到了的融合，從而可以在多個層次上進行監督和預測，對醫學圖像具有較強的學習能力.在對于醫學圖像檢測中，基于U-net網絡的病灶和結構檢測，都得到了較好的檢測結果，尤其在血管檢測中達到了較高精度[17]，在滲出液等亮病灶的檢測中有待進一步討論和驗證.本文在U-net網絡的基礎上引入殘差模塊[18]，本文稱之為Res U-net網絡，配合圖像增強的預處理算法，在不對視盤等結構進行去除的情況下，實現了對滲出液的分割.

2 數據集

本文使用Kaggle數據集的一部分[19]和DIARETDB1[20]數據集對所提出的算法進行評估.Kaggle數據集包含在不同成像條件下拍攝的高分辨率的45度彩色眼底視網膜圖像共有35126張訓練集圖像和53576 張測試集圖像.臨床醫師根據滲出液等DR病灶的嚴重程度，將每張圖像中DR的嚴重程度按0至4分進行評分.本文從Kaggle數據集選取了100張視網膜區域完整的圖像，并將其進行裁剪和縮放操作.在統一為436×422分辨率后作為本文的數據集.DIARETDB1數據集包含89張分辨率為1500×1152的視網膜眼底圖像以及多個專家的標注，數據集的標注經過了多個專家嚴格的評估.由于kaggle并未給出滲出液標注，同時DIARETDB1缺少像素級的標注，本文對兩個數據集進行了像素級標注.標注工作得到了本文第4作者第二軍醫大學長海醫院眼科醫師的驗證.

由于兩個數據集規模較小，網絡的訓練需要足夠樣本量，因此在kaggle數據集中，本文選取其中70張作為訓練集，50張作為測試集.在DIARETDB1數據集中，本文采用kaggle數據集中的訓練模型以驗證算法的泛化能力.訓練樣本均以塊的形式從每幅圖有滲出的位置隨機取樣裁剪出10240張，如圖1所示.為考驗算法對細微特征的檢測能力和視盤干擾的排除能力，選取的訓練集和測試集圖像分別具有不同的DR等級，圖像亮度、對比度和滲出液特征均有不同程度的變化.

圖1 塊的裁剪Fig.1 Cutting of patch

3 滲出液檢測

本文所提出的算法分兩部分：首先進行掩膜提取，同時進行圖像對比度增強和單通道提取，再通過訓練的Res U-net模型進行滲出液檢測，其算法流程圖如圖2所示.

圖2 算法流程圖Fig.2 Algorithm flow chart

3.1 圖像預處理

視網膜眼底圖像的采集受光照的影響對滲出液的分割帶來了挑戰性，預處理方法對于抑制光照增強特征具有重要的意義.

3.1.1 掩膜提取

在眼底圖像中，為了提取包含病理特征的感興趣區域，消除感興趣區域外的光照影響，通常采用掩模來對感興趣區域外的區域進行屏蔽，圖3為kaggle數據集中的彩色眼底視網膜圖像提取掩模的過程.

首先對圖3(a)的原始輸入彩色圖像進行灰度變換，如圖3(b)所示，接著對灰度圖像進行高斯濾波處理，以此抑制噪聲，如圖3(c)所示，再使用Canny邊緣檢測器獲得眼底圖像的邊緣(圖3(d))，最后分別對所檢測到的邊緣進行了閉運算，以此確保連通域的完整性，如圖3(e)所示，進行形態學填充來填充孔洞，以得到完整的掩模，如圖3(f)所示.

圖3 眼底圖像邊界檢測及掩模提取Fig.3 Boundary detection and mask extraction of fundus images

3.1.2 對比度增強

視網膜眼底成像時由于眼檢燈的位置和光照強度不同，造成了不同圖像之間亮度不均勻、偽影、失焦、曝光不足或過度曝光等問題，這對滲出液的亮度特征產生了干擾.視網膜色素的沉著等因素進一步影響了滲出液的檢測.

本文提出了一種圖像對比度增強的方法，首先利用直方圖均衡化對圖像進行初步對比度增強，如圖4(a)所示，并將增強后的圖像從RGB色彩空間轉換至YIQ色彩空間，如圖4(b)所示.選取半徑為10個像素的圓形結構元素，分別對圖像做頂帽變換和底帽變換，其公式如式(1)、式(2)所示：

圖4 圖像對比度增強Fig.4 Image contrast enhancement

ITOP=IYIQ-(IYIQ〇S)

(1)

IBOTTOM=(IYIQ⊙S)-IYIQ

(2)

其中IYIQ為YIQ圖像，ITOP為頂帽變換后的YIQ圖像，IBOTTOM為底帽變換后的YIQ圖像，〇為形態學開運算，⊙為形態學閉運算，S為結構元素.將頂帽底帽變換后的YIQ圖像按式(3)進行計算：

Ienhance=IYIQ+ITOP-IBOTTOM

(3)

其中Ienhance為增強后的YIQ圖像，如圖4(c)所示.最后將增強的YIQ圖像返回到RGB色彩空間，其過程如圖4(d)所示.

由于滲出液的亮度特征主要活躍在RGB圖像的紅色通道和綠色通道中，因此在對圖像進行對比度增強后，本文提取了紅色通道和綠色通道，并對其做加權相加處理，其權值關系如式(4)所示:

I=0.25IR+0.75IG

(4)

其中I為Res U-net的輸入圖像，IR和IG分別為預處理后圖像的紅色通道和綠色通道.

3.2 基于Res U-net的滲出液分割

U-net網絡本質上是FCN網絡的延續和發展.U-net包括兩部分：第1部分為下采樣部分，這一部分主要對相關特征進行提取；第2部分為上采樣過程，區別于FCN中跳躍連接的相加，U-net僅僅是對下采樣中的特征圖譜與上采樣連接，這使得上采樣的特征融合了更多丟失的信息，對語義分割具有重要的意義.

在傳統的U-net網絡中，隨著網絡層數的加深，反向傳播的鏈式求導往往出現梯度消失或爆炸現象，殘差模塊通過對上層網絡和下層網絡的短跳躍連接，使得網絡保留了梯度信息，其結構如圖5所示.殘差模塊在面對特征細微的變化時具有較好的表現.本文在U-net網絡的基礎上融入殘差模塊，加強網絡對不同亮度滲出液的學習，同時對于視盤這種與滲出液高度相似的特征，Res U-net中的殘差模塊發揮了重要的作用.

圖5 殘差模塊的結構Fig.5 Structure of residual module

本文的Res U-net如圖6所示，其采用了4級結構，在上采樣和下采樣階段，每級分別包含3個卷積層、1個最大池化層及1個跳躍連接.其中第1個卷積層與第3個卷積層中的卷積核尺寸均為1×1，第2個卷積層中的卷積核尺寸為3×3，每一級的最后一個卷積層均通過短跳躍連接的殘差模塊與第1個卷積層相連接.網絡中的激活函數為RELU，并使用隨機梯度下降對網絡的訓練速度優化，其Batch Size設為32.

圖6 Res U-net網絡結構Fig.6 Structure of Res U-net

U-net的下采樣過程是個對圖像逐步縮放的過程，因此在下采樣結束后，圖像的分辨率達到最小，這主要是由于卷積操作和池化操作造成的.本文的Res U-net網絡在每一級的卷積層中將Padding設為same，以此保證卷積前后的圖像尺寸不變，這種設定能減少圖像因卷積而造成的分辨率縮小，減少滲出液細微特征的丟失.

本文選取交叉熵作為Res U-net網絡的損失函數，其損失計算原理如式(5)所示：

(5)

其中，L表示損失，yi表示樣本i的標簽，正類為1，負類為0,pi表示樣本i預測為正的概率，N為樣本量.

4 實驗結果與分析

本文使用了CPU為酷睿i5-8500，GPU為Nvidia Geforce GTX1080的實驗平臺對網絡進行訓練.模型訓練過程中使用了Nvidia CUDA GPU并行加速平臺.網絡算法使用Tensorflow作為后端的Keras框架實現并進行50次迭代.其定量分析在4.1中展示，實驗結果在4.2中展示.

4.1 定量評價

醫學上一般用陽性(P)和陰性(N)來描述病理現象和正常現象，因此視網膜圖像中滲出液的區域通常用P來表示，而未含有滲出液的區域通常用N來表示.滲出液的檢測結果通常有4種，即真陽性(TP)、假陽性(FP)、假陰性(FN)和真陰性(TN).TP表示被正確識別為病變的像素.FP表示被錯誤識別為病變的像素.FN表示被錯誤識別為正常的像素，TN表示被正確識別為正常的像素.根據這4個參數，可分別計算出靈敏度(Sensitivity)、特異性(Specificity)和準確度(accuracy)，計算方法如式(6)、式(7)、式(8)所示:

(6)

(7)

(8)

本文對提出的算法進行統計分析和比較評估，在公開的Kaggle數據集上的檢測結果如表1所示，其中本文提出的Res U-net算法的準確度、敏感性和特異性分別達到99.1%、80.3%和99.3%.在DIARETDB1數據集上的檢測結果如表2所示，準確度、敏感性和特異性分別達到99.0%、89.3%和99.0%.

表1 自選數據集中對滲出的檢測結果Table 1 Detection results of the exudate in the optional dataset

表2 DIARETDB1數據集中對滲出的檢測結果Table 2 Detection results of exudate in DIARETDB1 dataset

受試者工作特性曲線(ROC曲線)和精確率召回率曲線(PR曲線)是常用的兩種定量評價算法性能的指標.ROC曲線的橫坐標為預測為正但實際為負的樣本占所有負樣本的比例(FPR)，縱坐標為預測為正且實際為正的樣本占所有正樣本的比例(TPR),計算方式如式(9)、式(10)所示.ROC曲線圖反映了敏感性與特異性之間的關系，曲線越靠近左上角，算法分割能力越強，一般用曲線下與橫軸圍成的面積(AUC)衡量.

PR曲線的橫坐標為查全率(Recall)，縱坐標為查準率(Precision),計算方式如式(11)、式(12)所示.PR曲線反映了精確率和召回率之間的關系，曲線越靠近右上角，算法分割能力越強，同樣用曲線下與橫軸圍成的面積(AUC)衡量.

(9)

(10)

(11)

(12)

本文的Res U-net網絡在Kaggle數據集上的ROC曲線和PR曲線如圖7所示，其AUC值分別達到了0.98和0.80.

圖7 ROC曲線和PR曲線Fig.7 ROC curve and PR curve

4.2 實驗結果

本文Res U-net檢測結果及其對比如圖8所示.本文與迭代200次的GAN網絡[13]和KSW熵雙閾值算法[8]進行了比較.結果顯示，相比其他算法，本文的Res U-net可以在視盤干擾下對滲出液區域進行準確的分割.

圖8中的第1行顯示了kaggle數據集中一個具有挑戰性的分割情況，其中視盤與滲出的亮度特征差異較小，滲出液和背景區域的對比度較差，在此情況下，GAN網絡[13]對視盤進行去除后檢測結果產生了較多的假陽性噪點.GA-KSW熵雙閾值算法[8]同樣對視盤進行了去除，但滲出液漏檢率較高.在DIARETDB1數據集上，GAN網絡分割結果依然出現了較多的假陽性噪點，GA-KSW熵雙閾值算法則因為無法提供有效的感興趣區域定位，導致在滲出液分割的結果中感興趣區域邊緣的背景也被判定為陽性.而本文的Res U-net可以過濾掉視盤和背景干擾，對滲出液做出較為準確的分割.

圖8 檢測結果Fig.8 Detection results

5 總 結

本文介紹了一種對眼底圖像自動分析檢測滲出液的計算機算法，該算法基于Res U-net網絡，結合圖像預處理，實現對滲出液的分割.與其他現有監督算法相比，該算法的Res U-net結構減少了原始樣本數據的需求量，加強了U-net的空間一致性和長短跳躍連接對細微特征的提取，提高了模型的泛化能力.本文使用kaggle數據集和DIARETDB1數據集進行了評估，該算法在兩個數據集上的準確性普遍達到99%以上.同時，與其他現有無監督算法相比，該方法在視盤抗干擾能力上具有較高的魯棒性，極大減少了滲出液檢測中預處理的工作量.本文對滲出液的檢測算法可作為糖尿病黃斑病變分析的工具.