面向糖網小目標檢測的反卷積神經網絡方法

彭志浩 陳 輝 張欣鵬 武繼剛

(廣東工業(yè)大學計算機學院 廣東 廣州 510006)

0 引 言

糖尿病性視網膜病變是一種慢性代謝性疾病，會導致患者的視網膜毛細血管發(fā)生變化出現(xiàn)一系列眼底病變，早期病變表現(xiàn)為微動脈瘤、出血點和硬性滲出物[1]。DR已成為導致20歲～70歲人群失明的主要原因，及早對早期病變進行篩查對治療DR具有重要意義[2]。在眼底圖像中，微動脈瘤表現(xiàn)為小尺寸的類圓形斑點，出血點表現(xiàn)為形狀不規(guī)則的斑點，硬性滲出物表現(xiàn)為高亮區(qū)域，如圖1所示。臨床中，醫(yī)生多利用彩色眼底圖像統(tǒng)計病變數(shù)量并對DR進行初步診斷，但該方式既耗時又費力。因此，需要借助計算機視覺和圖像處理技術實現(xiàn)對三類早期病變的自動檢測。目前，現(xiàn)有檢測方法主要分為兩類：傳統(tǒng)檢測方法和基于深度學習的檢測方法。

圖1 眼底圖像中的DR早期病變

傳統(tǒng)檢測方法主要包括三個階段，分別是數(shù)據(jù)預處理、候選區(qū)域提取和目標分類。針對檢微動脈瘤檢測，Rosas等[3]首先利用低帽轉換抑制眼底圖像中較亮的區(qū)域，然后利用形態(tài)學檢測微動脈瘤。Ganjee等[4]首先采用馬爾可夫隨機森林對眼底圖像進行初步篩選得到候選區(qū)域，再提取候選區(qū)域的形狀、灰度以及高斯特征，但該方法并不適用于對比度低和噪聲多的眼底圖像。為彌補這一不足，Datta等[5]利用模糊統(tǒng)計技術有效降低了眼底背景噪聲的影響。Sreng等[6]采用最大熵閾值與canny算子實現(xiàn)了對邊緣清晰微動脈瘤的檢測。Zhou等[7]提出了一種基于字典學習的檢測方法，通過生成具有表征能力的語義關系準確檢測微動脈瘤。Dai等[8]通過分析目標的局部梯度特性分割出出微動脈瘤的候選區(qū)域，再利用RUSBoost分類器對這些候選區(qū)域進行分類。Dashtbozorg等[9]提取了一組局部收斂的形狀特征，并將該特征與形態(tài)學、灰度等特征進行融合，并采用RUSBoost分類器實現(xiàn)微動脈瘤的精確分類。針對出血點的檢測，García等[10]提取候選目標的顏色和形狀等特征，并采用多層感知機、徑向基函數(shù)、支持向量機以及神經網絡對每類特征進行分類，最后使用投票機制得出最終分類結果。Raja等[11]利用局部直方圖均衡化方法先對眼底圖像進行增強，再使用Gabor變換和SVM分類器對出血點進行分類。Pandey等[12]通過提取病灶區(qū)的面積、離心率和周長三種特征初步定位出血點。Kaur等[13]采用形態(tài)學算法初步檢測出血點，然后設計基于隨機森林的分類器對出血點進行精確分類。為了避免眼底圖像中血管的干擾，Zhou等[14]依據(jù)血管的連續(xù)性利用Hessian矩陣先對眼底血管進行分割并移除，再利用支持向量機(Support Vector Machine,SVM)實現(xiàn)對出血點的精確分類。Srivastava等[15]提出了一種改進的Frangi濾波器，并利用Hessian矩陣區(qū)分微動脈瘤和血管。Popescu等[16]提出一種投票機制，對圖像的每個區(qū)域進行投票，將篩選出的高票數(shù)區(qū)域作為出血點的感興趣區(qū)域(Regions of Interest，ROI)，降低組織背景對目標分類的影響。Mumtaz等[17]首先利用形態(tài)學算法消除背景噪聲，克服光照不均，然后分割并移除血管以降低其對出血點檢測的干擾。針對硬性滲出物的檢測，Kayal等[18]利用中值濾波對圖像進行降噪并移除視盤，并通過閾值分割實現(xiàn)對硬性滲出物進的分類。Haloi等[19]提出基于高斯尺度空間和數(shù)學形態(tài)學的硬性滲出物檢測方法。Asha等[20]在預處理階段使用HSI轉換、局部對比度增強、直方圖均衡化和模糊C均值聚類對圖像進行增強，初步檢測硬性滲出物，然后樸素貝葉斯分類器對候選區(qū)域實現(xiàn)分類。Rokade等[21]提出了基于Haar小波變換的方法初步定位目標區(qū)域，然后采用KNN(K-Nearest Neighbor)對候選區(qū)域進行分類。Singh等[22]通過提取灰度和形態(tài)學特征，實現(xiàn)了對硬性滲出物的準確檢測。Rajan等[23]通過提取硬性滲出物梯度方向特征，實現(xiàn)對硬性滲出物的檢測。Amin等[24]利用Gabor濾波器對眼底圖像中的硬性滲出物進行增強，然后提取幾何特征實現(xiàn)硬性滲出物的精確檢測。Liu等[25]首先分割出圖像中的血管和視盤，再利用隨機森林對滲出物進行初步定位并提取紋理特征，最后采用分類器實現(xiàn)對硬性滲出物的準確分類。雖然上述方法對單類病變的檢測取得了不錯的效果，但人工提取特征難度較大、特征表達能力低，當存在噪聲干擾時，該類特征難以有效地描述待檢測目標的特性。

為了能夠同時檢測三類DR早期病變，Tan等[35]提出了一種了10層卷積神經網絡模型實現(xiàn)了對微動脈瘤、出血點、硬性滲出物的檢測。為了能夠定位眼底圖像中的不同目標，Gondal等[36]提出一種卷積神經網絡模型對目標進行定位并提取候選區(qū)域。為了尋找在預測中每個待檢測目標的關鍵像素點，Quellec等[37]提出利用卷積神經網絡提取出對分類起關鍵作用的目標像素塊，再提取目標像素塊的相關特征實現(xiàn)最終分類。Khojasteh等[38]提出了一種改進的卷積神經網絡模型，首先利用CLAHE(Contrast Limited Adaptive Histogram Equalization)算法增強眼底圖像的對比度，然后將增強結果作為訓練樣本輸入到網絡模型中，最終實現(xiàn)眼底病變的多分類。

雖然基于CNN的檢測方法有效地提升了眼底病變檢測的準確率，但針對DR多類病變的同時檢測，實驗結果仍然不理想，尤其當提取微動脈瘤和小出血點特征時，池化運算會導致大量的信息丟失，降低分類精度。本文檢測的檢測目標包括微動脈瘤、出血點、硬性滲出物，均屬于眼底圖像中的小目標。與自然圖像相比，該類小目標具有特殊性，主要包括：(1) 正負樣本數(shù)量的極不均衡，即負樣本的數(shù)量遠遠超過正樣本；(2) 目標尺寸較小，與小目標具有相似特征的噪聲點均會對檢測結果造成影響，降低檢測精度；(3) 眼底圖像中某些結構與三類小目標的類間差異較小，如細小血管與微動脈瘤、視盤與硬性滲出物、小出血點與微動脈瘤等，均會干擾預測模型對目標的識別與檢測。

為了解決上述問題，本文提出了一種反卷積神經網絡模型，用反卷積層代替池化層，通過轉置卷積核以及“0”填充操作，恢復在卷積操作中丟失的有用信息，提高特征表達能力，增加類間差異，適用于圖像小目標的檢測。此外，本方法使用RMSprop算法對網絡參數(shù)進行優(yōu)化更新可有效地加快網絡的收斂速度。實驗結果表明，本方法能夠準確地檢測DR圖像中的多種早期病變。

1 反卷積神經網絡

1.1 網絡結構

本文提出的反卷積神經網絡模型如圖2所示，共包含4個卷積層、4個反卷積層、2個全連接層和1個Softmax層。首先，利用卷積層提取目標的深度特征。然后采用反卷積層恢復在卷積運算中丟失的有效信息，利用全連接層提取目標的深層特征，提高特征的表達能力，最后將Softmax層作為分類器對眼底病變進行分類，網絡參數(shù)如表1所示。

圖2 網絡結構

表1 參數(shù)設置

為了提高眼底圖像的對比度和亮度，首先對RGB彩色眼底的綠色通道進行Gamma校正。由于紅色通道(R)包含的病變信息相比于藍色通道(B)和綠色通道(G)通道較少[39]，因此本文采用G通道、B通道和Gamma校正結果構建訓練集和測試集，最后將三個通道的融合結果作為最終的分類結果F:

F=FG∪FB∪FGamma

(1)

式中：FG表示G通道的分類結果；FB表示B通道的分類結果；FGamma表示Gamma通道的分類結果。

1.2 損失函數(shù)與優(yōu)化算法

由于微動脈瘤、小出血點尺寸較小而且可訓練樣本較少，為了防止在網絡在訓練過程中出現(xiàn)過擬合并加快訓練的收斂速度，降低決在訓練優(yōu)化過程中的過度振蕩，選用RMSprop算法對網絡參數(shù)進行優(yōu)化[40-41]。網絡損失函數(shù)定義為：

(2)

(3)

(4)

(5)

(6)

(7)

式中：g2是第l層之前梯度總和的二次方運算；β是指數(shù)加權平均值并設置為0.98。

2 實 驗

2.1 數(shù)據(jù)設置

本方法在配有Intel Core i7- 6700、工作頻率為3.40 GHz的PC機上進行實驗，并使用深度學習框架Caffe[42]，在MATLAB R2016b平臺上搭建網絡。

本文首先采用眼底公共數(shù)據(jù)庫DIARETDB1(DB1)[43]進行訓練與測試。該數(shù)據(jù)庫包含89幅彩色眼底圖像，由眼底相機以50°的視場角度拍攝，圖像分辨率為1 500×1 152，由4名眼科專家在該數(shù)據(jù)庫上分別對三類早期病變進行標注，構建概率真值圖，圖中的區(qū)域亮度越大，判斷為病變的概率越大。因此，本實驗將標注置信率大于50%的區(qū)域作為病變區(qū)域，并將70%的數(shù)據(jù)用于訓練，30%的數(shù)據(jù)用于測試，訓練集和測試集的數(shù)據(jù)劃分如表2所示。本方法將微動脈瘤、出血點和硬性滲出物三類病變區(qū)域以外的區(qū)域定義為“背景”，將包含微動脈瘤、出血點或硬性滲出物的樣本作為正樣本，將背景區(qū)域作為負樣本。

表2 實驗數(shù)據(jù)集

2.2 實驗結果

圖3為本方法對三類病變的檢測結果，其中：(a)、(b)、(c)為DB1數(shù)據(jù)庫中的原始彩色眼底圖像，(d)、(e)、(f)為針對三類病變的檢測結果。在原始圖中，使用三角形對微動脈瘤、出血點和硬性滲出物進行標注；在結果圖中，將分類正確的目標用圓圈標注，分類錯誤的目標則用叉號標注。具體檢測結果如表3所示，本文提出的方法能夠有效地檢測出眼底圖像中的大部分病變，但仍存在少量漏檢和誤檢。

(a) 原始圖1 (b) 原始圖2 (c) 原始圖3

(d) 結果圖1 (e) 結果圖2 (f) 結果圖3圖3 檢測結果

表3 檢測結果

2.3 樣本尺寸選取

參加訓練的圖像樣本(微動脈瘤、出血點、硬性滲出物)尺寸大小均保持一致。構建樣本集時，選擇不同的樣本尺寸會對檢測結果產生一定程度的影響。樣本尺寸過大會增加計算量，計算時間也隨之增加；反之，如果樣本尺寸過小，則無法包含足夠的目標信息，難以提取足夠的特征。為了選取最佳的訓練樣本尺寸，本文分別對不同尺寸的樣本集進行實驗，實驗結果如圖4所示。結果表明，當樣本尺寸(即像素)為33×33時，檢測準確率最高。因此，本文選取33×33為樣本尺寸。

圖4 不同樣本尺寸的檢測準確率

2.4 參數(shù)優(yōu)化算法性能比較

為了驗證網絡參數(shù)優(yōu)化算法RMSprop的性能，本文將RMSprop算法和隨機梯度下降(Stochastic Gradient Descent，SGD)算法分別在DB1數(shù)據(jù)庫上進行實驗并統(tǒng)計兩種算法的損失曲線，如圖5所示?？梢钥闯?，SGD對應的損失函數(shù)曲線在第800次迭代時損失值為0.4，而RMSprop對應的曲線在第90次迭代時損失值就已經降至0.4，相比于SGD算法，RMSprop算法顯著提升了訓練過程的收斂速度。同時，RMSprop在第2 000次迭代時損失值已趨近于0，而SGD在第2 000次迭代時損失值仍為0.3，由此可見RMSprop算法收斂速度更快。

圖5 損失曲線

此外，為了評價該方法的檢測性能，將靈敏度(Sensitivity)和準確率(Accuracy)作為評價標準。

(8)

(9)

式中：TP表示預測正確的正樣本數(shù)量；FN表示預測錯誤的正樣本數(shù)量；FP表示預測錯誤的負樣本數(shù)量；TN表示預測正確的負樣本數(shù)量。本文比較了采用RMSprop和隨機梯度下降(Stochastic Gradient Descent，SGD)兩種方法優(yōu)化后的網絡模型分別對三類病變的檢測靈敏度，如表4所示。采用SGD算法優(yōu)化的網絡針對微動脈瘤、出血點、硬性滲出物的檢測靈敏度分別為0.792、0.919、0.956。而采用RMSprop算法得到的靈敏度分別為0.917、0.970、0.994，均優(yōu)于SGD算法，特別是針對微動脈瘤的檢測靈敏度提升尤為顯著。因此，RMSprop算法更適合本文方法的網絡參數(shù)優(yōu)化。

表4 優(yōu)化算法性能對比

2.5 方法比較

為了驗證反卷積層的作用，本文在含池化層的網絡中進行相同的多目標檢測實驗，其中反卷積層替換成最大池化層(Max pooling)，如圖6所示。同時，本文對比了不同方法在DB1數(shù)據(jù)庫上的實驗結果，如表5所示?？梢钥闯?，本文方法的靈敏度和準確率均要高于含池化層網絡，尤其是對微動脈瘤和出血點，同時實驗結果也高于其他四種方法。這不僅表明了反卷積層取代池化層后對檢測性能提升的有效性，而且體現(xiàn)出本方法在多目標分類上的高效性。

圖6 含池化層網絡結構

表5 檢測結果

針對三類病變檢測結果的對比結果如表6至表8所示。表6、表7分別為硬性滲出物和出血點檢測方法的對比結果?？梢钥闯?，本文方法對硬性滲出物和出血點的單個目標分類效果均優(yōu)于已有方法，包括傳統(tǒng)方法和深度學習方法。表8為微動脈瘤檢測方法的對比結果，Dai等[41]提出的檢測方法靈敏度略高于本方法，但本方法在準確率上優(yōu)于該方法。

表6 硬性滲出物檢測方法對比

表7 出血點檢測方法對比

表8 微動脈瘤檢測方法對比

本文采用FROC(Free-Response Operating Characteristic)[44]曲線評價方法的整體性能，F(xiàn)ROC曲線描繪了靈敏度與平均每幅圖像中的誤檢數(shù)量(False Positives per Image，F(xiàn)PI)之間的關系。圖7和圖8分別為本方法與含池化層網絡檢測三種DR早期病變的FROC曲線?？梢钥闯觯啾扔诤谐鼗瘜拥木W絡，本方法針對三類病變的檢測，均在較小的FPI值時就達到了較高的靈敏度，檢測效果優(yōu)于含池化層網絡。

圖7 本文方法FROC曲線

圖8 含池化層網絡FROC曲線

此外，為了充分驗證本文方法的性能，選取天津醫(yī)科大學代謝病醫(yī)院獲取的臨床數(shù)據(jù)集進行訓練和測試，共包括300幅眼底圖像，分辨率為2 180×2 000，樣本集構建如表9所示，檢測結果如表10所示，本方法針對三類病變的分類準確率為0.991，對應的FROC曲線如圖9所示。從檢測結果可以看出，本文方法在檢測臨床數(shù)據(jù)上也獲得了較高的準確率和靈敏度，并且誤檢較低。因此，本文方法可適用于臨床的DR診斷和評級。

表9 臨床數(shù)據(jù)集

表10 臨床數(shù)據(jù)測試結果

圖9 本文方法在臨床數(shù)據(jù)集上的FROC曲線

3 結 語

本文提出了一種反卷積神經網絡模型，采用Gamma校正實現(xiàn)了對眼底圖像綠色通道的對比度增強，在訓練階段采用RMSprop算法優(yōu)化模型參數(shù)，降低網絡訓練時間，加快收斂速度，并顯著提高了對三類病變的檢測精度。為驗證本方法的分類性能，采用DB1公共數(shù)據(jù)庫和天津醫(yī)科大學代謝病醫(yī)院的臨床采集的眼底圖像作為訓練集和測試集。實驗結果表明，針對DB1公共數(shù)據(jù)庫，本文方法能夠準確地檢測出眼底圖像的DR早期病變，檢測靈敏度和準確均優(yōu)于已有方法。同時，針對臨床數(shù)據(jù)集中的三類病變，本文方法同樣獲得了較高的檢測靈敏度和準確率，大大降低了誤檢率和漏檢率。