融合注意力機制與多任務學習的DR分級模型

徐常轉(zhuǎn)，吳 云，藍 林，黃自萌

貴州大學 計算機科學與技術(shù)學院，貴陽550025

糖尿病視網(wǎng)膜病變是糖尿病最常發(fā)生的并發(fā)癥，也是導致失明的主要原因[1]。不受控制的糖尿病及其并發(fā)癥最終導致DR[2]。DR的臨床診斷需要眼科醫(yī)生仔細檢查患者的彩色眼底圖像，然后對嚴重程度進行分級。診斷的準確性和時間對治療非常重要，如果能夠準確且足夠早地檢測到DR，通過一些保健措施可以有效地延遲視力損害的進展。根據(jù)最新的英國國家標準，DR可分為五個階段，嚴重程度逐漸增加：正常、輕度、中度、嚴重和增生（為簡單起見，也分別使用0到4來表示這些類別）。圖1顯示了DR不同階段的彩色眼底圖像。DR的分類涉及對患者的彩色眼底圖像中呈現(xiàn)的幾種病理的視覺特征加權(quán)[3]。這些病理特征包括微動脈瘤、出血、硬性滲出物、軟性滲出物、新血管形成等。如微動脈瘤這一病理特征十分微小，這些微小難發(fā)現(xiàn)的病理使得眼科醫(yī)生的臨床診斷困難且耗時。隨著深度學習在計算機視覺的發(fā)展，如果對分類模型進行訓練，計算機可以快速準確地對DR進行分類。

幾十年中，DR的自動分類研究一直是醫(yī)學圖像處理中較為活躍的領(lǐng)域。許多研究人員提出了不同的方法來分類DR。根據(jù)不同的分類標準，這些方法主要分為三種類型：第一類是二元分類，即有或沒有DR；第二種是正常，非增殖或增殖性DR的三級分類；第三種是目前最廣泛使用的標準，即是第一部分中所提及的五級分類。

對于二元分類，Gardner等[4]使用像素強度作為神經(jīng)網(wǎng)絡的輸入特征，并且在約200幅圖像的小數(shù)據(jù)集上分別獲得88.4%和83.5%的靈敏度和特異性結(jié)果。Roychowdhury等[5]提出了一種兩步分層分類方法，它結(jié)合了高斯混合模型（GMM），k-最近鄰(kNN)，支持向量機（SVM）和AdaBoost四種機器學習算法，并實現(xiàn)了100%敏感性、53.16%特異性和0.904 AUC。Priya等[6]將帶有DR的眼底圖像分類為增殖性或非增殖性DR，它們首先提取血管、出血和滲出物的特征，然后將這些特征輸入到概率神經(jīng)網(wǎng)絡（PNN），貝葉斯分類器的三個分類模型中。支持向量機（SVM）分別達到89.6%、94.4%和97.6%的準確率；至于三級分類，Nayak等[7]提取了諸如滲出物區(qū)域和血管區(qū)域以及紋理等特征，并將其輸入到神經(jīng)網(wǎng)絡。

近年來的大多數(shù)方法都集中在五級分類上。Acharya等[8]使用高階譜方法提取特征，并使用SVM對圖像進行分類。Adarsh等[9]使用了病變區(qū)域和紋理特征和訓練有素的多類SVM進行分類。隨著近年來出現(xiàn)的深度學習，Pratt等[3]提出使用13層CNN對DR進行分類，并評估其網(wǎng)絡在大型Kaggle數(shù)據(jù)集上的性能表現(xiàn)。在多任務學習方面，Zhou等[10]提出了一個多單元結(jié)構(gòu)，用于針對不同眼底圖像輸入大小來增加網(wǎng)絡深度，同時提出多任務學習來平衡不同階段眼底圖像嚴重程度不同的距離。Borys等[11]提出了融合多個模型，并在最后同時使用了回歸、分類以及元原始模型輸出的結(jié)果進行融合。而注意力機制方面，Zhao等[12]最新提出了為了解決微小病理特征難以檢測的問題，由注意力機制和線性模型組成的BiRA-Net。

然而，由于DR圖像的特點，目前使用深度學習的DR診斷依舊面臨兩個重要問題：（1）DR圖像的分辨率通常大于2 048×3 072像素，明顯高于一般圖像ImageNet基準上的469×387像素。高分辨率圖像可以更好地檢測到微小病理特征，但高分辨率圖像在網(wǎng)絡訓練中會非常耗時，且單純的下采圖像無法獲取微小病理特征。（2）一般圖像分類，如果一個圖像分類錯誤，它的損失是固定的且與圖像被分為哪種類別無關(guān)。對于DR檢測，一方面，希望圖像分類正確；另一方面，將類別錯分為其他不同階段的損失P也是不同的。即：

因此，希望預測的標簽盡可能接近真實標簽，使用分類的softmax的損失函數(shù)（CE）和回歸中的均方誤差（MSE）損失來診斷DR都不是最佳的。

因此本文在DR分類網(wǎng)絡的三個方面做出了創(chuàng)新：（1）提出了一個注意力機制模塊，使得深度學習網(wǎng)絡能夠提取到細粒度病理特征，增加了分級準確度。（2）提出了加權(quán)的多任務學習策略，縮短預測標簽與真實標簽之間的差異和。（3）提出了一種針對DR分類的全新網(wǎng)絡架構(gòu)-融合注意力機制與多任務學習網(wǎng)絡FAMT，在DR診斷領(lǐng)域提出將多任務學習與注意力機制結(jié)合的新思路，以解決上述兩個問題。

1 FAMT網(wǎng)絡

本文的方法稱為融合注意力機制的多任務學習網(wǎng)絡，簡稱FAMT，其中F是融合（Fusing）過程，A代表注意力（Attention）機制，MT代表多任務學習（Multi-Tasking）模塊。FAMT的整個網(wǎng)絡結(jié)構(gòu)圖如圖2所示。首先利用BaseNet（橙色卷積層）對圖像特征不斷提取，得到小分辨率且具有高語義信息的32倍視野特征圖z∈RH×W×C,對z進行BatchNorm（藍色BN層），注意力單元（黃色）對特征圖的特征融合通道信息，然后運算操作（綠色）對特征權(quán)重進行重分配。最后使用多任務的總損失進行優(yōu)化。網(wǎng)絡包括三個模塊：（1）基礎(chǔ)網(wǎng)絡BaseNet，采用的是EfficientNet[13]等高效率網(wǎng)絡，負責對圖像進行下采和特征提取；（2）注意力機制模塊，設計的注意力機制是先將通道信息提取，得到與分級相關(guān)的通道信息權(quán)重后再與輸入的特征圖進行融合，然后利用除操作去除非關(guān)鍵信息；（3）多任務學習模塊，將注意力機制的輸出做輸入，使用圖像分類和回歸對DR圖像進行分級，設計了加權(quán)融合這兩個任務的損失函數(shù)來均衡單任務損失函數(shù)的缺點，并加入正則項來防止過擬合。

圖2 FAMT網(wǎng)絡結(jié)構(gòu)Fig.2 FAMT network structure

1.1 基礎(chǔ)網(wǎng)絡BaseNet

本文中的BaseNet采用的是Google在2019年提出EfficientNet網(wǎng)絡[13]，網(wǎng)絡對寬度、深度以及分辨度三者對卷積神經(jīng)網(wǎng)絡的影響進行重新思考，網(wǎng)絡模塊基于移動倒置瓶頸（Mobile inverted Bottleneck MBConv）和squeeze-and-excitation優(yōu)化進行建立。最后利用算法搜索尋找最合適的深度和寬度加入到算法中，該網(wǎng)絡在ImageNet數(shù)據(jù)集上的top1準確率達到了84.4%。Efficient-Net網(wǎng)絡不僅準確率高，同時參數(shù)量小，速度快，是目前最優(yōu)的圖像分類網(wǎng)絡。EfficientNet網(wǎng)絡包括了B0～B7，它們的差異是深度和寬度不同，隨著數(shù)字增大，深度和寬度增加，對圖像分類的準確度逐漸提高。

1.2 注意力模塊

眼底圖像中含有多個結(jié)構(gòu)，包括正常的眼底血管、黃斑等，這些特征對于糖尿病視網(wǎng)膜的分級診斷會造成決策干擾。在DR分級中，微小的病理特征如微動脈瘤等類別之間差異小的細粒度圖像對預測至關(guān)重要。注意力機制在特征提取時會使網(wǎng)絡自動學習到需要關(guān)注的特征，忽視不重要的特征，從而去模仿醫(yī)生在診斷時專注于關(guān)鍵特征，提高速度和準確度。全局平均池化（Global Average Pool，GAP）[14]能夠?qū)⒖臻g信息壓縮，對輸入的空間變化的魯棒性更強。但一個區(qū)域里的特征相關(guān)性遠大于與其他區(qū)域的，全局平均池化過于簡單，無法完成這些相關(guān)性的信息提取。

因此，建立了一個全新的注意力機制，通過融合特征圖原本的特征信息與注意力單元得到的通道信息，為微小特征增加了網(wǎng)絡的權(quán)重，再使用除操作去除特征圖中的冗余信息，得到注意力機制映射。

注意力單元由圖3中的結(jié)構(gòu)組成。其中Conv 1×1表示為核為1×1的卷積，feature map為基礎(chǔ)網(wǎng)絡提取的特征圖。由BaseNet一系列卷積得到的特征向量z：

其中，Φ為激活函數(shù)，Np為圖像的大小H×W,X為輸入，W為權(quán)重，b為偏置。特征進入如圖3所示的注意力單元后，由4個1×1的卷積進行通道信息的提取，并學習得到權(quán)重Wk，經(jīng)過sigmoid激活函數(shù)后與輸入的特征進行融合，生成圖像的掩碼T。

圖3 注意力單元Fig.3 Attention_cell

為了減少網(wǎng)絡的參數(shù)和避免過擬合，在圖像掩碼T和注意力映射之后都使用GAP，并利用除操作來篩除非關(guān)鍵特征，得到重新分配的權(quán)重。其中注意力機制原理如圖4所示，其中Wk代表了注意力單元里1×1卷積的權(quán)重，×和÷都是指代元素相乘和相除，其目的是融合上層的特征。H×W×C指代是輸入的高×寬×通道。注意力機制的輸出O可以表示為：

圖4 簡化的注意力機制Fig.4 Simplify attention mechanism

最后的注意力機制的輸出大小為1×1×C，作為回歸任務和分類任務的輸入。本文的注意力機制在學習關(guān)鍵特征信息時，并未增加太多參數(shù)，這也保證了網(wǎng)絡訓練時間。

1.3 多任務學習

多任務學習模塊中，加入了圖像分類和回歸兩個任務，圖像分類這一任務最后預測結(jié)果是預測標簽為5個分類的概率，選擇了使用了圖像多分類中最常用的交叉熵損失（Cross Entropy Loss，CE）函數(shù)。交叉熵輸出使用了softmax激活函數(shù)得到預測標簽的概率。

m表示輸入的數(shù)量，k為分類的類別，tj表示真實標簽是第j類，probi表示經(jīng)過激活函數(shù)的預測標簽概率。如之前所說，單獨使用CE損失函數(shù)會忽視錯分的代價。所以，加入均方誤差損失函數(shù)來對總體損失函數(shù)進行平衡?；貧w任務中均方誤差損失可表示為：

y為輸出的分數(shù)。MSE損失主要考慮是預測標簽與真實標簽的差距，但MSE中存在一個問題：難以優(yōu)化。當輸出值很大時，權(quán)重更新的步幅會比較小，但在此時，網(wǎng)絡誤差較大且需快速調(diào)整，這就導致網(wǎng)絡收斂變慢；而在輸出值小時，權(quán)重更新幅度變大，這時候網(wǎng)絡的預測值正好在真實值的邊緣，太大的步幅也會導致網(wǎng)絡的震蕩，這與人們希望網(wǎng)絡優(yōu)化不一致，即能像人一樣，錯誤越大，改正的幅度越大，從而學習得越快；而錯誤越小，改正的幅度小一點，從而穩(wěn)定的越快。

提出了將MSE損失和CE損失進行加權(quán)整合。MSE損失通過計算真實標簽和預測標簽的距離來完善CE損失，同時整合后的損失函數(shù)能夠更好地進行優(yōu)化，提出的損失函數(shù)定義為：

其中，α,β分別表示的是MSE損失和CE損失在總損失所占的比重，用于平衡單個損失函數(shù)占比太大而導致難以優(yōu)化的問題。Lr表示正則損失，也稱為權(quán)重衰減，用于避免過擬合。

2 實驗

為了驗證基礎(chǔ)網(wǎng)絡EfficientNet與ResNet，VGG對眼底圖像的訓練效果差異，設置了實驗1——BaseNet網(wǎng)絡模型評估；為了驗證提出的網(wǎng)絡FAMT在驗證集上的QWK與其他模型的差異，以及注意力機制和多任務學習模塊的必要性，設置了實驗2——FAMT模型評估。

2.1 實驗環(huán)境

數(shù)據(jù)。實驗數(shù)據(jù)來自kaggle2015競賽和2019年競賽[15]，由Aravind Eye Hospital提供。2019年數(shù)據(jù)共有3 662張訓練圖片和1 928張測試圖片；2015年的訓練數(shù)據(jù)35 126張，包括了左右眼的數(shù)據(jù)。圖片均大小不同，圖片共有5個標簽，為0、1、2、3、4，分別DR患病的不同級別?；跓o法得知真實的測試標簽，為了驗證實驗1，將2019年的訓練數(shù)據(jù)按照60%、20%、20%進行劃分，即測試集為2 197張圖片，732張圖片為驗證集，733張圖片為測試集；為了驗證實驗2的實際效果，將2015年競賽的訓練數(shù)據(jù)做FAMT網(wǎng)絡的訓練數(shù)據(jù)，把2019年的訓練數(shù)據(jù)作為測試集對本文的方法進行評價。

數(shù)據(jù)處理。為了處理數(shù)據(jù)集圖像視覺差異，按照如下的順序?qū)?shù)據(jù)集進行了預處理：（1）截取感興趣區(qū)域，去除黑色無用的背景；（2）圖像尺寸調(diào)整，將數(shù)據(jù)集中3 000×3 000的圖片調(diào)整為224×224左右；（3）顏色和亮度歸一化，在一定程度上消除這些噪聲對網(wǎng)絡分類性能的潛在影響。在網(wǎng)絡在網(wǎng)絡訓練時，為了避免過擬合，采取了翻轉(zhuǎn)，旋轉(zhuǎn)和像素值歸一化的在線數(shù)據(jù)增強措施。圖像處理效果如圖5所示。

圖5 DR數(shù)據(jù)圖片F(xiàn)ig.5 DR data images

評價指標。準確率（accuracy），準確率為測試正確數(shù)量占總測試數(shù)量的比例，AP[16]表示平均準確度；xi,j表示真實屬于第i類的圖像，被分類網(wǎng)絡預測為第j類的數(shù)量。

敏感度（sensitivity）。敏感度表示實際患病且被正確地診斷出來的比例：

特異性（specificity）。特異性表示正常樣本且被標記為正常結(jié)果的比例：

二次加權(quán)Kappa（Quadratic Weighted Kappa，QWK）。二次加權(quán)Kappa系數(shù)不僅衡量了兩個等級之間的關(guān)系，同時也考慮了真實標簽與預測標簽之間的距離。其中wi,j為懲罰權(quán)重，Ei,j代表了真實類別頻數(shù)與預測類別頻數(shù)的列聯(lián)表。

實驗設置。實驗1設置，基于已有的EfficientNet和ResNet的網(wǎng)絡框架，重新設計了全連接層的輸出。將ImageNet預訓練網(wǎng)絡參數(shù)初始化為初訓練的參數(shù)。采用了均方誤差作為損失函數(shù)[17]，共迭代30次，基礎(chǔ)學習率為0.001，批大小為32，5次迭代后減小為原來得到10倍，權(quán)重衰減為0.000 01，采用Adam[18]算法進行優(yōu)化求解目標函數(shù)。

實驗2設置，以ImageNet上訓練的參數(shù)對BaseNet進行初始化，以設計的總損失作為損失函數(shù)，α和β設置為1，共迭代11次，Adam初始學習率為1E-3，采用Cyclical Learning Rates（CLR）[19]來動態(tài)調(diào)整學習率，其中基礎(chǔ)學習率為1E-4，最大學習率為3E-3，步長因子為6。批大小為32，采用基于pytorch的自動混合精度訓練加速包amp對訓練進行加速。

2.2 模型評估

2.2.1 BaseNet網(wǎng)絡模型評估

首先，為了驗證圖片預處理對網(wǎng)絡性能的影響，分別對比了ResNet的101層和EfficientNet_B0是否預處理圖片的結(jié)果。其中a表示未處理圖片，b表示預處理了圖片。從表1可知，EfficientNet在預處理照片上的數(shù)據(jù)集上表現(xiàn)更好，四個指標均有較大提升。說明了EfficientNet對于噪聲很敏感，主要原因是因為EfficientNet通道數(shù)和深度都比其他兩個網(wǎng)絡更深，所以特征信息捕捉更多，網(wǎng)絡將噪聲誤認為特征進行提取，從而使得結(jié)果有了很大的差異。

為了驗證輸入圖像大小對于EfficientNet的分類性能影響，使用了512×512的輸入圖像，利用EfficientNet進行DR分級，從表1結(jié)果可知EfficientNet對于更大尺寸的眼底圖像，效果沒有得到明顯的提升（僅準確度提高了0.1%）。從而證明了將輸入圖像尺寸選為224×224更加合理。表1結(jié)果說明了EfficientNet網(wǎng)絡在眼底圖像上分類性能強于ResNet和VGG網(wǎng)絡以及Pratt提出的針對DR圖像的深度卷積神經(jīng)網(wǎng)絡；EfficientNet對于輸入的尺寸不敏感，相對較小的輸入大小也能夠得到更佳的驗證結(jié)果，但對于噪聲敏感，需要對圖像進行預處理。這也是本文將BaseNet選為EfficientNet網(wǎng)絡的原因。

表1 EfficientNet與其他網(wǎng)絡在驗證集上的對比Table 1 Comparison of EfficientNet and other network on validation set

2.2.2 BaseNet網(wǎng)絡模型評估

觀察FAMT網(wǎng)絡中的注意力機制的特征熱圖，從而去了解提出的注意力機制是否給予了微小病理特征和關(guān)鍵病理特征更多關(guān)注。從圖6可以看出，注意力機制的確學習到了東西，熒光色指代了網(wǎng)絡正在關(guān)注的特征位置，注意力機制使得網(wǎng)絡把注意力集中在病理區(qū)域所在的位置，即使微小的微動脈分配了足夠的權(quán)重，讓網(wǎng)絡自動學習到關(guān)鍵特征的權(quán)重。

圖6 注意力機制模塊的特征熱圖Fig.6 Attention mechanism module features heat maps

為了驗證多任務學習模塊和注意力機制的有效性，基于基礎(chǔ)網(wǎng)絡為EfficientNet_b0下，隨機選取了一個訓練集為1 280張圖片，測試集為640張圖片的小數(shù)據(jù)集，設計了一組對照實驗。

從表2中可以看出，僅使用多任務學習模塊是無法提高DR分級的加權(quán)Kappa系數(shù)值，甚至表現(xiàn)還不如沒有使用多任務學習的基礎(chǔ)模型。而在加入注意力模塊后，以回歸值進行驗證的結(jié)果高出BaseNet近3%，這證明了注意力機制和多任務學習模塊相互作用，能大大提升DR分級的準確度。主要原因是因為注意力機制能使得網(wǎng)絡提取到更多微小特征，如微動脈瘤，而微動脈瘤是區(qū)別等級0和1的主要特征，從而提升了準確度。同時也驗證了FAMT模型更適合以回歸進行驗證。

表2 各階段模型的QWK驗證結(jié)果Table 2 Stages QWK verification results of model

FAMT_b0_512表示使用FAMT使用B0的基礎(chǔ)網(wǎng)絡，驗證集圖片大小為512×512。FAMT_b3_512表示使用FAMT使用B3的基礎(chǔ)網(wǎng)絡。從圖7可以看出，F(xiàn)AMT網(wǎng)絡收斂速度快，可以在5次迭代中就達到最優(yōu)解，同時迭代穩(wěn)定，這證明了本文的多任務損失的確可以達到易于優(yōu)化的目的。

圖7 FAMT模型驗證QWK對比Fig.7 FAMT model validation QWK

從圖8可知，在訓練總迭代次數(shù)為131 760時，雖然增加了注意力機制和多任務學習模塊，但是訓練總時間僅增加4 min。同時驗證了在增加驗證集圖片大小時，F(xiàn)AMT性能的變化。從圖7的結(jié)果中發(fā)現(xiàn)了FAMT網(wǎng)絡在圖片尺寸變大時QWK有所下降，但使用更深的B3網(wǎng)絡時，F(xiàn)AMT的QWK有所增加。這說明FAMT網(wǎng)絡對于尺寸變化的魯棒性取決于基礎(chǔ)網(wǎng)絡的深度。

圖8 FAMT模型驗證時間對比Fig.8 FAMT model validation time

比較了FAMT網(wǎng)絡與其他在kaggle競賽中使用深度學習取得良好成績的DR分級模型，如在競賽中取得排名第二的Wang等人提出Zoom-in-Net[20]，其中M2CNN[10]（排名第三）同樣也使用多任務學習，但因為加入了注意力機制，且權(quán)衡了兩者損失，使得FAMT網(wǎng)絡表現(xiàn)更好。在2020年提出的BiRA-Net則是僅使用注意力機制的分類網(wǎng)絡。從表3的結(jié)果可知，F(xiàn)AMT在QWK、準確度以及敏感度都優(yōu)于其他網(wǎng)絡。

表3 FAMT與其他網(wǎng)絡模型的比較Table 3 Comparison of FAMT and other network model

3 總結(jié)

提出一種全新的DR分級模型，稱為融合注意力機制的多任務學習網(wǎng)絡（FAMT）。該網(wǎng)絡結(jié)構(gòu)考慮到微小病理特征難以檢測和單任務的缺點，設計了注意力機制模塊和多任務學習模塊，并在kaggle的糖尿病視網(wǎng)膜眼底圖像數(shù)據(jù)集上驗證了FAMT的有效性和穩(wěn)定性。而且與同類型的網(wǎng)絡進行了比較，說明FAMT性能優(yōu)于其他網(wǎng)絡。本文的模型證明了注意力機制和多任務學習的融合在DR領(lǐng)域的可用性。