基于代價敏感正則化和EfficientNet的糖尿病視網膜病變分類方法

王明智，馬志強，趙鋒鋒，王永杰，郭繼峰

（東北林業大學 信息與計算機工程學院，黑龍江 哈爾濱 150040）

1 引 言

糖尿病視網膜病變（Diabetic Retinopathy，DR）是最常見的視網膜疾病之一［1］，這種疾病主要是由糖尿病性微血管病引起的，它會對糖尿病患者眼睛后部視網膜的小血管造成損傷，導致視網膜組織腫脹和視力模糊。根據2021年世界衛生組織（WHO）的報告顯示，全球超過4.2億人患糖尿病，預計到2030年將上升到5.78億［2］。在全球的糖尿病人群中，約40%~50%可能會患有視網膜病變［3］。值得注意的是，DR病人失明的風險性是一般健康人群的25倍，所以，在全球范圍內DR是20~65歲人群失明的主要因素之一。

事實上，如果及時發現和治療，糖尿病視網膜病變對于視力的損害是可以控制甚至避免的。由于DR的早期幾乎沒有明顯的癥狀，這使得及時診斷變得非常困難。傳統的檢查方案效率較低，經驗豐富的臨床醫生可以手動檢查和通過眼底數字圖像進行診斷。這種診斷由于不同地區醫療水平的不一致，有時會需要很長的時間。此外，診斷的結果也因不同醫生的主觀性會產生一定的區別，其準確性在很大程度上取決于臨床醫生的專業知識［4］。通過定期眼底檢查可以預防DR引起的失明。對于DR篩查的好處，部分西方國家已經形成了廣泛的共識。大多數DR研究根據早期治療糖尿病視網膜病變研究（Early Treat?ment Diabetic Retinopathy Study，ETDRS），使用國際臨床疾病嚴重程度量表對DR進行分類。

在過去的10年里，研究人員已經開發了多個自動診斷系統。Pan等人［5］設計了眼底自適應成像系統的輔助工具并取得了良好的效果。Quellec等人［6］提出了一個模型，通過使用卷積神經網絡（Convolution Neural Network，CNN）檢測DR，利用敏感度標準［7］的修改產生熱圖，可視化每個像素在輸出預測中的貢獻。Lam等人［8］開發了幾個關于二分類、三分類和五分類任務的模型，對于“無DR”或“嚴重DR”的病例在敏感性和特異性方面取得了較好的表現。Khojasteh等人［9］為了避免分割后的標識周圍存在冗余邊界和雜亂像素，采用關閉、打開和最后侵腐蝕3種形態進行了實驗。然而，由于他們生成了3個輸出概率映射，每種情況對應一個，因此很可能有些像素屬于多種情況。Saha等人［10］利用一種Encoder-Decoder CNN來分割病灶，他們還采用一個額外的類對應視盤，以便網絡能夠更好地區分它與滲出物。Zhou等人［11］提出了一種融合多尺度特征及注意力機制的醫學圖像檢索方法，引入注意力模塊，對網絡輸出的特征圖進行通道加權求和，提高關鍵特征通道的特征表達能力，使網絡更能關注到圖像中具有辨識性的病理特征區域。

Pang等人［12］構建兩級深度卷積神經網絡，完成了原始照片的特征提取、特征組合和結果分類，提出利用弱監督學習進行細粒度圖像分類的改進方法在驗證集上獲得了0.85的kappa分數。Galdran等人［13］在2020年的一項研究中使用基于ResNeXt50網絡的模型對DR進行分類，得到二次加權kappa分數為0.78。同年Goolge Health［14］訓練了一個深度學習模型，從眼底照片預測ci-DME，模型受試者工作特征曲線（Receiver oper?ating characteristic curve，ROC）下面積（AUC）值為0.89。2020年，Sun等人［15］通過修改Inception模塊的組成減少模型參數從而提升收斂速度，引入殘差模塊，解決了模型深度增加帶來的梯度消失和梯度爆炸等問題，提出的DetectionNet深度卷積神經網絡對糖尿病視網膜病變患病程度等級分類任務的識別率達到91%。Lands等人［16］在2020年利用DenseNet網絡訓練模型，該模型能夠定位物體、檢測物體和分割視網膜圖像中的毛細血管，毛細血管異常可用于檢測糖尿病患者的失明。他在EyePACS數據上得到了二次加權kappa 0.81的分數。

代價敏感正則化（Cost Sensitive Regulariza?tion，CSR）可應用于多種疾病的分類模型中，但很少出現在糖尿病視網膜病變檢測模型中。基于上述分析，為了提高糖尿病視網膜病變分類模型的性能，本文提出基于EfficientNet網絡的改進模型用于糖尿病視網膜病變的檢測，有針對性地對眼底圖像進行預處理和數據增強［17］，然后輸入到模型中，模型自動提取特征、訓練參數、產生分級，引入代價敏感正則化對錯誤的分級施加不同程度的懲罰，盡可能地糾正模型中的分級錯誤。同時，從ImageNet訓練得到的遷移學習［18］結果有利于提升模型的性能。

我們所提出的模型在DR主流數據集上表現出了很好的分類性能，對醫生輔助診斷DR嚴重程度具有重要的參考意義。現在已有很多系統在實際生活中獲得了很好的應用。EyeArt是美國食品和藥物管理局批準的商業AI軟件，該軟件在檢測DR時的敏感度為92%，特異性為94%。我們所提出的模型應用于臨床當中，將會大幅減輕眼科醫生的負擔，同時也可以減少由于醫生主觀性所導致的誤診，具有非常廣闊的臨床應用前景。

2 改進的EfficientNet模型

EfficientNet是Google在ICML 2019提 出 的一個神經網絡模型［19］。該模型提供了一種更有效的計算方式，并改善了最新的研究結果。通常，如果模型設計得太寬、太深或者分辨率太高，剛進行訓練時，增加這些特性是有益的，但是訓練很快就會達到飽和，模型的參數也會隨之增加很多。通過人工去調整網絡深度、網絡寬度和輸入圖像的分辨率這3個參數使網絡達到最佳性能是非常困難的，由于組合空間太大，人力無法窮舉并驗證所有可能組合的性能，因而效率不高。而在EfficientNet中，這些特性是按更優原則的方式擴展的，不會像傳統的方法那樣任意地縮放網絡的維度，一切都是逐漸增加的。EfficientNet使用了組合縮放系數，用單一的組合縮放系數φ，同時縮放網絡寬度w、網絡深度d和輸入圖像的分辨率r，其縮放系數分別為α、β和γ。在約束條件下，在EfficientNet-B0中最好的參數是α=1.2、β=1.1、γ=1.15。根據算力的不同，我們提出了B0~B7的縮放尺度。EfficientNet-B0模型結構如圖1所示。

圖1 EfficientNet-B0模型結構Fig.1 Model structure of EfficientNet-B0

2.1 標準損失函數改進

首先考慮模型R會產生預測R(x)=y?∈[0，1]×…×[0，1]，此預測與相應的真實標簽y進行比較。用y概括地指代整體標簽y∈L={0，1，2，3，4}，對應的獨熱編碼為y∈{0，1}×…×{0，1}，其在相應的分級下取1，其他分級下取0。我們使用兩種標準分類損失函數作為基本損失函數。

第一種是交叉熵損失函數（Cross Entropy Loss Function，CE），其定義為：

式中對于一個特定的例子(xi，yi)，無論預測結果如何，最后產生的誤差將保持不變［20］。

第二種基本損失函數是焦點損失函數（Focal Loss Function，FL），其定義為：

式中α是加權因子，γ是聚焦參數［21］。Focal Loss函數在多分類任務中已經得到廣泛的應用，它是在標準交叉熵損失函數的基礎上改進得到的，目標是克服樣本類型不均勻和樣本分類難度不均勻等問題。這個函數能夠通過降低容易分類樣本的權重，使模型在訓練的過程中更專注在難于分類的樣本上。相較于正確分類中的誤差，Focal Loss對錯誤分類中的誤差懲罰會更大。

2.2 代價敏感正則化改進

為了使模型能夠在多分類任務的訓練過程中懲罰不同類型的錯誤，進一步改進式（1）的結果，考慮使用一個懲罰代價矩陣M，將需要的懲罰設置到代價矩陣當中，并且隨著預測標簽y?與真實標簽y之間的距離||y-y?||的增大，懲罰也會更大。

要想實現這種根據預測標簽y?與真實標簽y相差的不同程度來設置不同的懲罰，可以通過在代價矩陣M中的每一行編碼這些懲罰，然后計算y?與M中對應行的標量積，如式（3）所示：

給出一個帶有標簽y=k和一個獨熱編碼預測R(x)=[x1，x2，x3]，代價敏感損失將通過簡單的計算R(x)與懲罰代價矩陣M中第k行的標量積實現懲罰。值得注意的是，在不同的分類任務中，對于不同的錯誤分類情況，我們對它們的懲罰程度也不相同。本文對糖尿病視網膜病變嚴重程度進行5分類，根據Krause等人［22］收集的關于視網膜專家之間對于受試者嚴重程度的分歧以及在數據集的分級過程中裁定共識信息的研究，我們設計了具體的代價懲罰矩陣Md如式（4）所示，其中矩陣中數值越高，懲罰越低；數值越低，懲罰越高。

然而由于目前糖尿病視網膜病變數據集各分類間的高度不平衡，在實驗中發現，如果只使用CSR的損失會導致復雜的卷積神經網絡陷入局部最小值，因此，把CSR作為其他標準損失函數（CE，FL）的正則化結合起來，得到公式（5）：

式中選擇了基于L2規范化的代價矩陣M(2)，它能最大化二次加權kappa分數，θ是正則化參數。

2.3 遷移學習方法引入

遷移學習是機器學習中的一種方式，也就是將源領域的知識轉移到目標領域之中，讓目標領域可以達到更好的學習效果。一般來說，源領域的數據量很充足，而目標領域數據量較小。如本文所研究的DR分類問題，當涉及醫療問題時，訓練穩定且準確的模型是相當困難的，可用的數據也非常有限。考慮到這些分類任務之間是具有關聯性的，利用遷移學習我們能夠將曾經獲得的模型參數共享給最新的網絡模型，使模型可以更加方便地檢測圖像的低水平特征，進而提高并優化模型的訓練效率，不再需要從零開始訓練。

選擇EfficientNet-B3網絡作為分類任務的主要模型，在此模型上進行具體的調整。將模型在ImageNet數據集上訓練，得到可以識別圖像低水平特征的模型參數。隨著特征圖分辨率的降低，模型通道的數量將成倍增長，從而盡可能地提取和保留圖像的語義信息，逐漸地將圖像的紋理特征組合成類別特征。在ImageNet上得到一個預訓練好的EfficentNet網絡模型后，刪除該網絡模型頂部的全連接層，將網絡的剩余部分作為EyePACS和Messidor-2兩個數據集的特征提取層。

加載EfficientNet網絡模型，模型底層使用從ImageNet預先訓練好的特征提取層參數。同時對頂層網絡進行微調，在模型頂部添加平均池化和dropout為0.2的隨機失活層，并使用Soft?max激活函數的全連接層。將EfficientNet-B3輸出的1 536張大小為13×13的特征圖像作為頂層的輸入。根據本文研究的DR分類問題，整個EfficientNet網絡結構的輸出具有與每個DR嚴重程度相對應的5個可能性值。

3 數據集及數據處理

3.1 實驗數據集

本文采用Kaggle EyePACS作為主要數據集，它是糖尿病視網膜病變分類任務中使用最多、規模最大的公共數據集［23］。加州醫療保健基金會提出一個比賽，創建一個自動檢測糖尿病視網膜病變的程序，包含在各種成像條件下拍攝的35 126張高分辨率的眼底訓練圖像。圖像由一名經驗豐富的專業人員根據ICDRDSS評分標準［24］進行標注。根據DR嚴重程度將圖像分為5個等級（0，1，2，3，4），0級圖像表示沒有視網膜病變的跡象，而4級圖像則表示增生性視網膜病變。圖2展示了眼底圖像上指示性DR病變，圖3展示了不同等級糖尿病視網膜病變的眼底圖像。Kaggle EyePACS訓練集是非常不平衡的，0級圖像 有25 810張，1級 圖 像 有2 443張，2級 圖 像 有5 292張，3級圖像有873張，4級圖像有708張，如表1所示。我們對數據集進行了詳細的劃分，將不同等級標簽的圖像分別分為兩部分，其中90%用于訓練網絡，10%用于測試模型性能，即數據集的80%作為訓練集，10%作為驗證集，剩下的10%作為測試集。

表1 Kaggle EyePACS數據集的數據分布Tab.1 Data distribution of the Kaggle EyePACS

圖2 眼底圖像上指示性DR病變Fig.2 Indicative DR lesions on a fundus image

圖3 不同病變等級的DR圖像。（a）正常無明顯病變；（b）輕度非增生性DR；（c）中度非增生性DR；（d）重度非增生性DR；（e）增生性DR。Fig.3 Different levels of DR images.（a）Normal with?out obvious lesions；（b）Mild non-proliferative DR；（c）Moderate non-proliferative DR；（d）Severe non-proliferative DR；（e）Proliferative DR.

值得注意的是，這些圖像是由不同類型的成像設備在各種環境下拍攝的。由于這種可變性，數據存在模糊、聚焦、曝光、倒置、人為干擾等問題，因此在Kaggle EyePACS的數據集中，圖像和真實標簽都存在不可避免的噪聲，這對任何模型的魯棒性都有很高的要求。

我們使用Messidor-2作為第二測試集，該數據集包含了874名患者的1 748張圖像，全部用于測試。與Kaggle EyePACS不同的是該數據集沒有任何形式的明顯噪聲，包含了每幅圖像關于糖尿病視網膜病變嚴重程度的圖像級醫療診斷。由于它本身的自定義分級系統與ICDRDSS評分標準不同，我們采用Krause等人［22］發布的真實標簽，這些標簽是由3個視網膜專家共同表決得出的，因此，它們的質量比EyePACS的真實標簽更加可靠。

無論是Kaggle EyePACS還是Messidor-2都是糖尿病視網膜病變等級分類相關研究中主流且具有代表性的數據集，數據集規模大、數據質量高等特點使其在訓練實驗和對比實驗中可以有效地訓練模型并真實地反映出模型性能的變化［25-26］。

3.2 數據預處理和數據增強

由于原始數據存在噪聲和嚴重的數據不平衡問題，我們對數據集進行了有針對性的預處理和數據增強處理操作：

（1）隨機縮放每幅圖像10%；

（2）將圖像從中心裁剪到416×416像素，以提高模型的訓練速度；

（3）對圖像進行對比度受限的自適應直方圖均衡化（CLAHE）［27］處理，使視網膜的微妙結構變得更加清晰可見，更容易被檢測；

（4）采用非局部均值去噪（NLMD）［27-28］方法去除圖像中的部分噪聲；

（5）將圖像的色調、亮度統一到一定的范圍內，將其歸一化以提高模型的訓練效果［29］；

（6）將所有圖像由原來的方形圖像裁剪為以中心為圓點，以208像素為半徑的圓形圖像。

為了平衡訓練集并增加用于訓練的圖像數量，處理數據集的類別不平衡問題，我們使用0°~360°的旋轉、0~15像素的放大和縮小以及水平和垂直的翻轉進行數據增強，對訓練集中所有的圖像進行隨機的增強，對類1、類2、類3和類4設置不同的增強參數重復圖像［30-31］。改進Effi?cientNet的糖尿病視網膜病變分類模型如圖4所示。

圖4 改進EfficientNet的糖尿病視網膜病變分類模型Fig.4 Diabetic retinopathy classification model of improved EfficientNet

4 實驗結果與分析

4.1 實驗設置

本實驗在Intel（R）Xeon（R）CPU E5-2407、32G內 存、Geforce RTX 3060 12G顯卡 的Ubun?tu18.04服務器上調試運行。本文所提出模型的訓練過程是基于Pytorch模型框架實現的。我們選擇EfficientNet-B3體系結構，首先使用在ImageNet數據集中預先訓練的權重文件進行訓練，然后傳輸到EyePACS數據集并執行微調。設置式（4）中的參數θ=10來訓練網絡，使用隨機梯度下降（Stochastic gradient descent，SGD）算法，Momentum設置為0.9，batch-size設置為8，學習率初始化為0.000 1。性能二次加權kappa分數在驗證集中停滯時，學習率會降低10倍。本文設置了早停機制（Early Stopping），在10個epoch后性能沒有提升時，訓練就會停止。

損失函數會影響模型的性能，在相同網絡條件下不同的損失函數會導致不同的實驗結果。為了驗證交叉熵損失函數和焦點損失函數在EfficientNet網絡中的影響，設計了2組對比實驗。實驗1使用交叉熵損失函數的EfficientNet網絡，實驗2使用焦點損失的EfficientNet網絡，2組實驗均引入代價敏感正則化。

目前，糖尿病視網膜病變的分類通常采用Inception V3網絡［32-34］進行數據訓練。為了驗證所引入的代價敏感正則化對模型的影響，本文設計了4組實驗更加全面地對比實驗結果。實驗3使用Inception V3網絡，實驗4使用EfficientNet網絡，實驗5使用引入代價敏感正則化的Incep?tion V3網絡，實驗6使用引入代價敏感正則化的EfficientNet網絡，4組實驗均使用在實驗1和實驗2中表現更好的損失函數。

4.2 實驗結果

本文采用準確率（Accuracy，ACC）、二次加權kappa分數和ROC曲線下面積AUC等指標來評價模型的性能。TP、FP、FN、TN分別表示真陽性、假陽性、假陰性、真陰性，ACC的計算公式為：

二次加權kappa分數的計算公式為：

式中Οi，j表示將第i類判別為第j類的個數，ωi，j為加權系數，ωi，j和Ei，j的公式分別如式（8）和式（9）所示：

式（8）中N為分類的總類數，式（9）中n為樣本的總數量。

4.3 實驗對比分析

4.3.1損失函數的影響

從表2可以看出，在引入代價敏感正則化的EfficientNet網絡中使用交叉熵損失函數時，模型的準確率為0.88，二次加權kappa分數為0.85，ROC曲線下面積AUC的值為0.91；使用焦點損失函數時，模型的準確率為0.90，二次加權kappa分數為0.86，ROC曲線下面積AUC的值為0.93，各項指標都有約2%的提升。交叉熵損失函數已經廣泛應用于多分類任務中，而本實驗結果驗證了焦點損失函數在樣本類別不均勻的多分類任務中能夠通過對分類錯誤施加不同程度的懲罰來提升模型的結果，對性能產生更好的影響。

表2 使用交叉熵損失函數和焦點損失函數的Efficient?Net網絡性能Tab.2 EfficientNet network performance with cross en?tropy loss function and focal loss function

4.3.2引入代價敏感正則化的影響

從表3可以看出，EfficientNet網絡在使用焦點損失時引入代價敏感正則化所得到二次加權kappa分數為0.86，AUC值為0.93，表明該模型具有很好的性能，相較于不引入代價敏感正則化的EfficientNet網絡各項性能指標提高了3%~5%。

為進一步驗證引入代價敏感正則化對分類網絡模型的影響，在Inception V3網絡中引入代價敏感正則化。由表3的實驗結果可以看出，作為DR分類常用的Inception V3網絡在引入代價敏感正則化后準確率、二次加權kappa分數和AUC有2%~4%的提升。從上述結果可以看出，兩種分類模型的各項性能指標均有所提高，特別是EfficientNet網絡準確率提升到0.90以上，證明引入代價敏感正則化能夠有效提高分類網絡的性能。

表3 實驗結果對比Tab.3 Comparison of experimental results

4.3.3與其他網絡模型的比較

［

我 們 將 本 文 方 法與Lands等 人16］在2020年利用DenseNet169網絡所提出的方法進行對比，該方法在利用CNN對糖尿病視網膜病變進行分類的任務中具有較高的性能結果。使用二次加權kappa分數和ROC曲線下面積AUC作為評估模型性能的指標。同時為了進一步驗證本文方法的先進性，另外選擇了Galdran等人［13］在2020年使用的ResNeXt50網絡模型和Inception V3網絡模型，分別在EyePACS和Messidor-2兩大分類數據集上進行實驗，實驗結果如表4所示。同時使用集平均方式計算了模型5分類的平均真陽性率和假陽性率，并繪制了模型在EyePACS測試集上的ROC曲線以及混淆矩陣，如圖5所示。

圖5 EfficientNet-CSR模型在EyePACS測試集上的性能。（a）ROC曲線；（b）混淆矩陣。Fig.5 Performance of EfficientNet-CSR in the EyePACS test set.（a）ROC curves；（b）Confusion matrix.

表4 4種網絡模型在兩個數據集上的性能Tab.4 Performance of four Network models on two data sets

從 表4可 以 看 出，ResNeXt50網 絡和Incep?tion V3網絡在兩個數據集上的二次加權kappa分數未超過0.80，AUC值未超過0.90，分類器性能一般。Lands等人［16］所提出的模型二次加權kappa分 數 為0.81~0.83，AUC超 過0.90，分 類器性能較好。本文所提方法在EyePACS數據集上的二次加權kappa分數為0.86，AUC值為0.93；在Messidor-2數據集上的二次加權kappa分數為0.88，AUC值為0.95，分類器性能很好，特別是二次加權kappa分數超出Lands等人［16］所提出模型的5%。

從圖5的混淆矩陣可以看出，數據大部分分布在主對角線上，說明模型的準確率很高。模型把第0類預測成第2類，把第1類預測成第0類，把第2類預測成第0類，3種錯誤所占比例較高，我們可以在后續的實驗中通過修改懲罰矩陣中的值加大對這3種錯誤的懲罰。ROC曲線位于偏左上角位置，表明我們的分類器性能較好，AUC值為0.93表明模型綜合性能很好。

Lands等人［16］所提出的模型復雜，無法優化網絡，模型參數量和計算量較大。利用Efficient?Net網絡在網絡寬度、網絡深度等方面進行特征提取，同時引入代價敏感正則化加大對難分類別的懲罰，提高了模型對DR的分類效果，彌補了EfficientNet網絡模型分類準確率不高的缺點。上述結果與分析表明，EfficientNet網絡模型在該分類任務中比其他CNN模型具有更好的性能。與目前主流分類模型相比，本文所提出的引入代價敏感正則化的EfficientNet網絡模型在糖尿病視網膜病變分類任務中具有更好的結果。

5 結 論

本文提出了一種引入代價敏感正則化的Ef?ficientNet網絡模型對糖尿病視網膜病變進行分類的方法。將代價敏感正則化引入到焦點損失函數中，使模型能夠懲罰錯誤的分類結果，更好地區分不同類別之間的差異。通過代價敏感正則化和EfficientNet的結合，使DR分類任務的綜合性能得到了提升。在EyePACS和Messidor-2上得到0.86和0.88的二次加權kappa分數，實驗結果充分證明了所提方法的優越性。與其他模型相同，EfficientNet網絡模型也無法給出分類的具體原因，這也是糖尿病視網膜病變分類模型無法有效應用于臨床當中的主要原因之一，未來可以在模型的結構上進一步優化完善。