基于R-FCN算法的糖尿病眼底病變自動診斷

王嘉良，羅健旭，劉 斌，馮 瑞，鄒海東

1.華東理工大學 信息科學與工程學院，上海200237

2.上海無線電設備研究所，上海200000

3.復旦大學 計算機科學與工程學院，上海200433

4.上海市眼科醫院，上海200040

1 引言

糖尿病眼底病變（Diabetic Retinopathy，DR）是一種由糖尿病引起的視網膜微血管損傷的并發癥，患者若沒有及時救治，會導致視力嚴重下降或失明。根據國際標準，通常將糖尿病眼底病變的嚴重程度分為五級[1]：健康、輕度、中度、重度、增殖。健康，視網膜完全正常；輕度，有少量的微血管瘤出現，但是不影響視力；中度，眼底開始出現少量的出血點，視力會受到輕微影響；重度，眼底大量出血，視力嚴重下降，但是還沒有新生血管增殖；增殖，出現玻璃體出血，有新生血管增殖，患者可能會失明。本文的自動診斷系統分級也按如上的五級標準進行。

近年來，使用圖像算法對眼底圖像進行識別的研究越來越多[2-5]。隨著深度學習的發展，卷積神經網絡在糖尿病眼底圖像的分類上也得到了較多的應用[6-8]。然而，這些研究均只能實現DR分類，未能對病變區域進行檢測，即精確框選出病變區域的位置。

另外普通的卷積神經網絡用于實際場景的眼底圖片識別也面臨著如下的問題：

（1）卷積神經網絡的輸入圖像尺寸必須是固定的，然而現實中往往面臨著不同款式的眼底相機拍出的圖像格式尺寸不同的問題。

（2）醫院中的實際圖像不像公共數據集那樣整潔，可能有病人的名字或身份id或日期打印在圖像上。

針對上述問題，本文提出了基于R-FCN（Regionbased Fully Convolutional Networks）算法的糖尿病眼底病變自動診斷。R-FCN算法[9]是基于區域的目標檢測卷積神經網絡算法，能同時實現分類和對目標的邊框回歸任務。并且R-FCN算法可以接受任意尺寸的輸入，不受背景雜質（打印在圖像上的無關文字）影響。

本文實現的病變區域檢測主要有如下三種：微血管瘤、眼底出血、玻璃體出血。微血管瘤常見于輕度患者，是指眼底上的小血斑，是非常小非常難發現的目標；眼底出血常見于中度以上的患者，是由毛細血管內膜損傷導致，雖比微血管瘤大，但也較小，不易檢測；玻璃體出血，是指玻璃體上的血液滲出或積血，很容易檢測到，常見于增殖階段。

原始R-FCN算法由于只有下采樣通道，即只用主干網絡提取特征的最后一層卷積特征圖作為RoI（Region of Interests）池化層和RPN（Region Proposal Network）網絡的輸入，其卷積特征圖的尺寸因多次最大池化而變小，導致對小目標的檢測性能降低。由于對病變區域的檢測是以小目標為主，本文對原始R-FCN算法進行了一定的改進，加入了特征金字塔網絡（Feature Pyramid etworks，FPN）結構[10]，使主干網絡擁有上采樣和下采樣兩個分支，修改了RPN網絡，升級主干網絡為ResNeXt[11]，增大RoI池化層的輸出尺寸。改進后的R-FCN算法能準確地實現病變程度的分級和病變區域的定位。

2原型R-FCN算法

R-FCN算法是深度學習目標檢測R-CNN系列中的成員，實現在一張圖片上找出多個目標，并對目標精確分類和對目標位置框的精確回歸。它的前代算法主要有R-CNN[12-13]算法、Fast R-CNN[14]算法和Faster R-CNN[15]算法。R-FCN算法是當前主流目標檢測算法Faster R-CNN的延伸。

如圖1所示，R-FCN原型主要由以下幾部分組成：（1）輸入；（2）提取特征的主干網絡ResNet[16]（Residual Networks）；（3）RPN網絡；（4）RoI池化層；（5）非極大值抑制[17]（Non Maximum Suppression，NMS）。

圖1 原始R-FCN結構圖

原型R-FCN算法默認使用ResNet-101的全卷積神經網絡[18]進行提取特征，去除ResNet-101原本的全連接層，保留100層卷積進行下采樣，最后輸出的卷積特征圖分別送入RPN網絡和RoI池化層。RPN網絡，即區域建議網絡，其功能是區分前景和背景，尋找目標的大概位置，輸出目標候選框。然后，RPN輸出的目標候選框和主干網絡的卷積特征圖同時作為RoI池化層的輸入，生成位置敏感分數圖（Position Sensitive Score Maps）以及位置敏感分數圖上的RoI區域，池化后連接一個softmax分類層和邊框回歸層，對目標進行精確分類和邊框回歸。最后，使用NMS去除重疊度IoU較大的目標框，輸出最終結果。

3 改進的R-FCN算法

改進的R-FCN算法結構圖如圖2所示。改進算法加入了FPN結構，升級ResNet為ResNeXt；RPN網絡由單個改為5個RPN網絡；主干網絡到RPN網絡從單通道改為5通道，到RoI池化層的輸入變為4通道，位置敏感池化的輸出尺寸從3×3增加到8×8。

圖2 改進R-FCN結構圖

3.1 FPN結構

沒有FPN結構的目標檢測算法有如下缺陷：低層的卷積特征圖語義信息稀疏，但是目標位置信息精確（特征圖分辨率大）；高層的卷積特征圖語義信息豐富，但是目標位置信息粗糙（特征圖分辨率小）。原始R-FCN算法只使用高層的卷積特征圖，不使用低層的卷積特征圖，會導致小目標定位粗糙。檢測小目標需要精確的位置信息，加入FPN結構可以有效地解決上述問題。

如圖3所示，FPN結構添加了一個上采樣分支，分別使用5個不同分辨率的卷積特征圖構建了下采樣的特征金字塔和上采樣的特征金字塔。特征金字塔之間互相用1×1卷積連接，融合高層特征圖的語義信息與低層特征圖的語義信息。例如，圖中特征圖P2等于特征圖P3與C2的1×1卷積特征圖的相加之和。將特征圖P2到P6進行3×3卷積得到特征圖P2'到P6'，特征圖P2'到P6'送入RPN網絡，特征圖P2'到P5'送入到RoI池化層。低層的P2特征圖分辨率較大，對小目標的位置信息很精確，同時P2也融入了高層卷積特征圖的語義信息，使得P2目標分類信息也和高層特征圖一樣豐富。

圖3 融入特征金字塔結構的主干網絡結構圖

3.2 ResNeXt

ResNeXt是ResNet的改進版。以往的卷積神經網絡都是通過增加模型的深度與寬度，這樣做的代價往往是參數與計算量的增加。ResNeXt提出了基數（Cardinality）的概念，將殘差網絡的殘差塊中的單分支的殘差變換過程，變為多分支的殘差變換過程。單個殘差塊結構如圖4所示。

ResNeXt實現了在不增加算法復雜度的情況下，提高算法的精度。本文的主干網絡使用ResNeXt-101，基數為32。

3.3 RPN網絡

原始R-FCN的RPN網絡的作用是盡可能地生成包含目標的候選框。在輸入的卷積特征圖上，以一個3×3的滑動窗口進行卷積操作，然后分別連接分類層和Anchor生成層。分類層是二分類，區分目標和背景；Anchor生成層，滑動窗口每滑動1次，產生9個Anchors，面積為1282、2562、5122和長寬比為1∶2、2∶1、1∶1的9個矩形框，經過邊框精修后，變為目標候選框。

圖4 ResNeXt殘差塊結構圖

為了適應FPN的多尺度特征圖輸出，RPN的數量增加為5個，每個RPN產生一種面積下3個長寬比的3個Anchor，5個RPN對應的面積分別為162、322、642、1282、2562。產生小面積Anchor的RPN善于檢測小目標，產生大面積Anchor的RPN善于檢測大目標。最后，Proposal-Layer將5個RPN輸出的結果合并。

3.4 RoI池化層

本文RoI池化層的結構與原型R-FCN基本相同，其結構圖如圖5所示。先將輸入的卷積特征圖經過1×1卷積處理成K2(C+1)通道數的特征圖，即位置敏感分數圖。K是設定的值，原型R-FCN取3；C是指目標的類別總數，例如本文糖尿病的分級有5個等級，則C=5，后者的+1是指背景類，即不屬于任何需要識別的類別，例如眼底圖片上的文字。在特征圖框出RoI區域（RPN得到的目標候選框），把RoI區域分割成3×3的網格。對每一個網格的池化是分開進行且位置相關的，例如RoI左上角區域（標記1號），只在深藍色塊的左上角區域進行池化；RoI右邊中間區域（標記6號），只在黃色塊的右邊中間區域進行池化。最后，生成得到K2(C+1)的三維矩陣，經過均值池化后，送入softmax層進行最后分類。

圖5 位置敏感RoI池化

本文為提高算法的精度將K值提高到8，即位置敏感池化的輸出增大到8×8。

4 實驗

4.1 系統架構

原型R-FCN算法使用Caffe作為深度學習的構建平臺，本文使用Tensorflow作為深度學習的構建平臺重寫算法。

糖尿病自動分級和病變區域診斷系統在如下的硬件環境下進行。CPU為E5-2620V4，GPU為GTXTitanXp。軟件環境為Linux-Ubuntu18.04，Cuda9.0，Cudnn7.1。編程語言為C++、Python、CUDA。如圖6所示，前端界面是以B/S架構的PHP網站實現，醫生可以通過訪問網站上傳需要識別的眼底圖片。然后，網站主機對GPU設備操作，使用GPU異構計算程序進行糖尿病眼底快速輔助診斷。

圖6 糖尿病智能輔助診斷系統實現

分級和病變區域的檢測分別在兩個模型上進行，兩者的預測結果會在可視化時進行合成，同時顯示眼底圖片的結果和眼底病變區域的定位。

4.2 數據集及訓練參數

本文訓練和測試的私有數據集從某眼科醫院采集而來。圖片有13種尺寸，以1 956×1 934居多，其余有2 592×1 944和3 058×3 000等。數據集格式為目標檢測最常用的PASCAL-VOC[19]，記錄每個需要識別目標的類別和坐標框信息。

學習率初值是0.000 1，在前1 000次迭代線性增加到0.001，然后第1 000～80 000次迭代保持學習率0.001不變，第80 000～160 000次迭代學習率為恒定值0.000 1，第160 000～240 000次迭代學習率為恒定值0.000 01。

5 結果

基于改進的R-FCN算法分別對分級和病變區域檢測進行測試。

5.1 分級模型（私有數據集）

使用某眼科醫院采集的眼底圖片分級數據集中的4 807張眼底圖片作為訓練集，3 998張眼底圖片作為測試集。糖尿病的五級分別被標注為dr0、dr1、dr2、dr3、dr4，即健康、輕度、中度、重度和增殖。分別用改進的R-FCN算法、原始R-FCN算法、Faster R-CNN和VGG-16[20]進行分級結果的比較。

由表1和表2可以看出，改進R-FCN比原始R-FCN在五分類精度上有所提升，從91.82%提升到92.92%，但是由于增加了FPN，導致計算量增加，對于醫生而言精度優于速度，計算速度降低的副作用還在接受范圍內。Faster R-CNN略次于R-FCN。對于非目標檢測的純分類VGG-16表現較差，由于沒有預處理和裁剪圖像，純分類的CNN模型難以適應任意尺寸或沒有切除背景的輸入圖像，不能對未知尺寸的圖片正確預測，除非CNN對測試數據集中的圖片尺度進行多尺度訓練。即使在純分類的任務上，目標檢測算法也能很好地勝任。

表1 分級模型正確率比較

表2 分級模型ROC比較

5.2 分級模型（公開數據集）

如表3所示，本文改進的R-FCN算法在公開Messidor數據集上也有較好的表現，并與文獻[21]與文獻[22]的結果進行比較，實現了高靈敏度和高特異度。靈敏度和特異度分別統計漏診率和誤診率，靈敏度和特異度越高，漏診率和誤診率越小。

表3 Messidor數據集ROC比較

5.3 病變區域檢測模型

需要檢測的病變類型有微血管瘤、眼底出血和玻璃體出血。使用450張病人標注圖片作為訓練集，200張病人和正常人混合圖片作為測試集。由于訓練集較小，使用了數據增強技術，訓練算法時隨機旋轉和翻轉圖片來擴充訓練集。擴充方法為旋轉90°、180°、270°，以及上下翻轉和水平翻轉。本文使用目標檢測最常用的PASCAL-VOCAP（%）評估標準來評價區域定位的準確度。每一個類都有對應的AP值，其多類平均AP為mAP（mean Average Precision）。

mAP是計算機視覺目標檢測領域，統計算法的目標分類和邊框回歸精度的一個常用標準。AP值越大，表示算法對目標分類更準確，邊框回歸更精準，漏報越少，誤報越少。

從表4的結果可以看出，目標檢測類的算法對于病變區域的檢測很有效。改進后的R-FCN在小目標檢測（微血管瘤和眼底出血）明顯比原始R-FCN和Faster R-CNN更優，微血管瘤AP從81.35%提升到83.68%，眼底出血AP從90.46%提升到92.28%，可見改進后的RFCN算法有效解決了微血管瘤和眼底出血的漏檢問題。玻璃體出血是十分明顯的大目標，基于深度學習的目標檢測算法都能100%檢測到。另外訓練集中沒有健康人的圖片，而在測試集的健康人圖片上，算法的病變區域檢測結果為空。這說明算法準確度非常高，神經網絡已經訓練出正確預測病變區域的模型，不會對未經訓練過的健康人眼底圖像預測出病變檢測。

表4 病變區域檢測比較

圖7～圖11給出了分級模型和病變區域檢測合并的結果圖。

圖7 健康眼底圖片預測結果

圖8 輕度眼底圖片預測結果

6 結論

圖9 中度眼底圖片預測結果

圖10 重度眼底圖片預測結果

圖11 增殖眼底圖片預測結果

本文實現了基于深度學習的目標檢測算法的糖尿病視網膜眼底病變智能輔助診斷系統。在分級系統上，針對以往純卷積神經網絡不能對未經訓練過的圖片尺寸進行正確分類，或不能過濾背景的缺陷，使用基于目標檢測的區域卷積神經網絡算法進行目標檢測及分類，可以適應任意多尺度輸入并過濾背景信息，并定位出眼底在圖片的位置并實現分類；在病變區域檢測上，加入FPN結構，并調整了算法的其他參數和結構。FPN結構的下采樣（降維）和上采樣（升維）的多通道結構，相比原始的下采樣（降維）的單通道結構，可融合不同層次的特征圖的語義信息，使低層的高分辨率特征圖擁有高層的豐富語義信息，并將融合后多層的特征圖同時進行識別，減少了小目標的漏檢率，能比原始R-FCN算法更好地檢測小目標，有效解決原始R-FCN單通道下采樣結構對小目標識別能力較弱的問題。