融入多尺度雙線性注意力的輕量化眼底疾病多分類(lèi)網(wǎng)絡(luò)

摘 要：現(xiàn)在大多數(shù)眼疾分類(lèi)方法都是對(duì)單一類(lèi)別疾病不同級(jí)別進(jìn)行分類(lèi)，并且網(wǎng)絡(luò)模型存在參數(shù)量大、計(jì)算復(fù)雜等問(wèn)題。為解決這些問(wèn)題，提出一種輕量化的眼底疾病多分類(lèi)網(wǎng)絡(luò)MELCNet，該網(wǎng)絡(luò)以PPLCNet為主干網(wǎng)絡(luò)，由輸入層特征提取、并行多尺度結(jié)構(gòu)、雙線性SE注意力模塊、深度可分離卷積、更小參數(shù)計(jì)算的h-swish激活函數(shù)構(gòu)成，能關(guān)注到不同尺度不同疾病的關(guān)鍵患病信息。實(shí)驗(yàn)結(jié)果表明，提出的多尺度注意力輕量網(wǎng)絡(luò)模型具有較少的參數(shù)量和計(jì)算復(fù)雜度，并在所選的四種眼底疾病和正常眼底圖像的多分類(lèi)上取得了優(yōu)異的分類(lèi)結(jié)果，在內(nèi)部組合數(shù)據(jù)集測(cè)試集上的分類(lèi)準(zhǔn)確率相對(duì)于ResNet-50提升1.11%，相對(duì)于Xie等人提出的類(lèi)似眼疾多分類(lèi)網(wǎng)絡(luò)在公開(kāi)數(shù)據(jù)集cataract測(cè)試集上提升2.5%，相較于其他輕量級(jí)分類(lèi)網(wǎng)絡(luò)在眼底疾病多分類(lèi)領(lǐng)域具有較高的準(zhǔn)確率以及較強(qiáng)的魯棒性。

關(guān)鍵詞：眼底疾病分類(lèi)；并行多尺度；雙線性注意力；輕量化

中圖分類(lèi)號(hào)：TP391.411 文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-3695（2022）07-043-2183-07

doi：10.19734/j.issn.1001-3695.2021.12.0664

基金項(xiàng)目：貴州省科學(xué)技術(shù)基金資助項(xiàng)目（黔科合基礎(chǔ)[2019]1099）

作者簡(jiǎn)介：李朝林（1996-），男，四川南充人，碩士研究生，主要研究方向?yàn)橛?jì)算機(jī)視覺(jué)、深度學(xué)習(xí)；張榮芬（1977-），女（通信作者），貴州貴陽(yáng)人，教授，博士，主要研究方向?yàn)闄C(jī)器視覺(jué)、智能硬件及智能算法（rfzhang@gzu.edu.cn）；劉宇紅（1963-），男，貴州貴陽(yáng)人，教授，碩士，主要研究方向?yàn)橛?jì)算機(jī)視覺(jué)、智能圖像處理、大數(shù)據(jù)與智能物聯(lián)．

Lightweight fundus disease multi-classification network with multi-scale bilinear attention

Li Chaolin，Zhang Rongfen?，Liu Yuhong

（College of Big Data amp; Information Engineering，Guizhou University，Guiyang 550025，China）

Abstract：Most of the eye disease classification methods are to classify a single category of diseases at different levels，and the network model has problems such as large parameters and complex calculations.To solve these problems，this paper proposed a lightweight fundus disease multi-classification network called MELCNet.The network used PPLCNet as the backbone，which was composed of input layer for feature extraction，parallel multi-scale structure，bilinear SE attention module，depth separable convolution and the h-swish activation function which calculated with smaller parameters，in order to pay attention to the key disease information of different scales and different diseases.Experimental results show that the proposed multi-scale attention lightweight network model has less parameters and computational complexity，and excellent classification results have been obtained in the multi-classification of the four selected fundus diseases and normal fundus images.The classification accuracy in the internal combined test set is 1.11% higher than that in ResNet-50，and the performance on the public datasets is improved by 2.5% relative to the multi-classification literature of similar type network by Xie et al，and compared with other lightweight classification networks，it has higher accuracy and strong robustness in the field of multi-classification of fundus diseases.

Key words：classification of fundus diseases；parallel multi-scale；bilinear attention；lightweight

0 引言

眼睛是人類(lèi)心靈的窗戶，代表人類(lèi)的感覺(jué)。因此，眼睛的健康對(duì)人們的生活質(zhì)量影響很大，伴隨著年齡的增長(zhǎng)，人們可能患有各種各樣的眼疾，例如糖尿病視網(wǎng)膜病變（diabetic retinopathy，DR）、青光眼（glaucoma，GLC）、白內(nèi)障（cataract，CAT）和年齡相關(guān)性黃斑變性（age-related macular degeneration，ARMD）是導(dǎo)致老年人視力喪失的主要原因。如果能夠盡早發(fā)現(xiàn)這些疾病，則有很大可能進(jìn)行早期干預(yù)，降低視力障礙甚至失明的概率。然而，對(duì)這些眼疾的檢測(cè)耗時(shí)耗力且需要專(zhuān)業(yè)的眼科醫(yī)生來(lái)進(jìn)行篩查，因此開(kāi)發(fā)出一種能夠檢測(cè)這些眼疾的系統(tǒng)來(lái)減少專(zhuān)業(yè)臨床醫(yī)生初篩的工作量是非常有必要的。

DR是由糖尿病引起的視網(wǎng)膜病變并發(fā)癥，也是導(dǎo)致成年人視力喪失的常見(jiàn)原因。據(jù)估計(jì)，2000—2030年，全球糖尿病患者占總?cè)丝诒壤烙?jì)將從2.8%（1.71億）增長(zhǎng)到4.4%^[1]，另有1.95億人患有DR^[2～4]。幾乎所有的Ⅰ型糖尿病患者和60%以上的 Ⅱ型糖尿病患者預(yù)計(jì)在未來(lái)20年內(nèi)會(huì)發(fā)生DR^[5]。預(yù)計(jì)在未來(lái)15年內(nèi)，這些糖尿病患者將占失明人數(shù)的2%和視力下降人數(shù)的10%^[6]。

青光眼是一種慢性、漸進(jìn)性視覺(jué)損傷的眼科疾病，其主要病理特征為視網(wǎng)膜神經(jīng)節(jié)細(xì)胞（retinal ganglion cells，RGC）的凋亡和軸突的喪失^[7]，從而導(dǎo)致視力逐漸下降甚至失明，嚴(yán)重威脅患者的健康。據(jù)統(tǒng)計(jì)，全球人群中青光眼的患病率為 3.54%，約有6 426萬(wàn)人；預(yù)計(jì)2040年將增加74%到11 182萬(wàn)人，約有60%的青光眼患者分布在亞洲^[8]。

白內(nèi)障是由于晶狀體代謝紊亂而導(dǎo)致晶狀體蛋白質(zhì)變性發(fā)生渾濁的眼科疾病，并且患病的時(shí)間越長(zhǎng)，患者的視力越低，同時(shí)也是導(dǎo)致失明的嚴(yán)重眼疾之一。據(jù)統(tǒng)計(jì)，世界上視力受損的人數(shù)約為1.91億，其中3 240萬(wàn)人失明，18.4%的視力損害病例和33.4%的失明病例是由白內(nèi)障引起^[9]。預(yù)計(jì)由于白內(nèi)障導(dǎo)致視力喪失的人數(shù)可能在2025年達(dá)到4 000萬(wàn)^[10]。

年齡相關(guān)性黃斑變性（ARMD）是一種不可逆的和年齡增長(zhǎng)相關(guān)的多因素復(fù)合作用的眼底疾病，且ARMD具體的患病因素尚不明確，臨床治療受到阻礙。雖然DR和GLC更為普遍，但ARMD在60歲以上人群中發(fā)病率有所上升，據(jù)報(bào)道，僅ARMD導(dǎo)致了全球8.7%的失明，主要是在發(fā)達(dá)國(guó)家。因此盡早發(fā)現(xiàn)并治療ARMD對(duì)延緩疾病的進(jìn)展具有重要意義。

眼底圖像需要使用專(zhuān)業(yè)的設(shè)備來(lái)采集，然后通過(guò)專(zhuān)業(yè)的眼科醫(yī)生來(lái)進(jìn)行診斷，通常需要幾天時(shí)間才能完成診斷，相當(dāng)耗費(fèi)人力和時(shí)間，甚至可能會(huì)延誤病情。隨著深度學(xué)習(xí)的發(fā)展，計(jì)算機(jī)技術(shù)已經(jīng)融入到各個(gè)學(xué)科之中，許多研究人員致力于研究檢測(cè)眼底疾病的智能化方法。一張眼底圖像可能患有多種疾病，包括本文中的四類(lèi)，研究一種能夠分類(lèi)出這些疾病的深度學(xué)習(xí)系統(tǒng)，有助于統(tǒng)一醫(yī)學(xué)診斷結(jié)果，幫助醫(yī)生進(jìn)行初步篩選，減少診斷耗費(fèi)的時(shí)間和工作量。

為了實(shí)現(xiàn)計(jì)算機(jī)輔助診斷眼底圖像病理特征，許多研究人員使用不同的方法進(jìn)行眼病檢測(cè)。例如文獻(xiàn)[11]使用注意力非同源雙線性卷積神經(jīng)網(wǎng)絡(luò)和補(bǔ)體交叉熵實(shí)現(xiàn)了糖尿病視網(wǎng)膜分級(jí)，在Kaggle公開(kāi)數(shù)據(jù)集EyePCAS預(yù)測(cè)精度達(dá)到82.3%。雙線性網(wǎng)絡(luò)采用ResNet50和DenseNet網(wǎng)絡(luò)同時(shí)提取圖像特征信息，但其計(jì)算過(guò)于復(fù)雜，過(guò)程繁瑣。文獻(xiàn)[12]實(shí)現(xiàn)基于多特征分析和DBN分類(lèi)的青光眼早期診斷，通過(guò)機(jī)器學(xué)習(xí)算法和DWT（離散小波變換）對(duì)疾病進(jìn)行分類(lèi)，該方法為青光眼識(shí)別提供了95%以上的準(zhǔn)確率，在青光眼單獨(dú)識(shí)別方面做到了較高的準(zhǔn)確度，但其分類(lèi)類(lèi)別只有青光眼一類(lèi)，沒(méi)有做到多分類(lèi)。

多分類(lèi)識(shí)別方面，文獻(xiàn)[13]提出了一種多分類(lèi)深層神經(jīng)網(wǎng)絡(luò)，使用ResNet網(wǎng)絡(luò)作為骨干網(wǎng)絡(luò)用于分類(lèi)青光眼、糖尿病視網(wǎng)膜病變和年齡相關(guān)性黃斑變性，分類(lèi)峰值準(zhǔn)確率和平均準(zhǔn)確率分別為91.16%和85.79%，但其網(wǎng)絡(luò)參數(shù)量大計(jì)算復(fù)雜且分類(lèi)類(lèi)別較少。文獻(xiàn)[14]提出了一種基于遷移學(xué)習(xí)的眼疾圖像分類(lèi)方法，微調(diào)EfficientNet-B0和EfficientNet-B7模型用于提取眼底圖像特征，最后融合特征使用DNN分類(lèi)器實(shí)現(xiàn)分類(lèi)，在其內(nèi)部數(shù)據(jù)集上實(shí)現(xiàn)了95.74%的平均準(zhǔn)確率，EfficientNet雖然參數(shù)量不大，但是需要的算力不低，且其探究的也只是二分類(lèi)。文獻(xiàn)[15]提出了基于SLO圖像的交叉注意多分支神經(jīng)網(wǎng)絡(luò)眼底疾病分類(lèi)，使用超寬視野掃描激光檢眼鏡（SLO）圖像完成不同的眼底疾病分類(lèi)任務(wù)。該網(wǎng)絡(luò)以ResNet-34作為骨干網(wǎng)絡(luò)提取特征信息，Coats、RP、DR和正常SLO最后實(shí)現(xiàn)了95.47%的準(zhǔn)確率，但該網(wǎng)絡(luò)實(shí)現(xiàn)過(guò)于復(fù)雜，使用多分支網(wǎng)絡(luò)和交叉注意力模塊，參數(shù)量很大并且網(wǎng)絡(luò)顯得有些冗余。

通過(guò)對(duì)國(guó)內(nèi)外眼底圖像分類(lèi)方法的調(diào)研發(fā)現(xiàn)，關(guān)于視網(wǎng)膜圖像分類(lèi)大多解決的是二元分類(lèi)問(wèn)題，有無(wú)患病或者是疾病分類(lèi)的類(lèi)別較少，或是對(duì)某種病嚴(yán)重程度進(jìn)行分級(jí)，對(duì)專(zhuān)業(yè)眼科醫(yī)生的初步篩查疾病起到的幫助很小，這些模型對(duì)具體的眼疾識(shí)別能力較差，同時(shí)存在參數(shù)量較大等問(wèn)題，無(wú)法保證在檢測(cè)多種眼疾上的良好性能。針對(duì)以上問(wèn)題，本文旨在構(gòu)建一種輕量化的多分類(lèi)眼疾識(shí)別模型，用于DR、GLC、CAT、ARMD四種眼底疾病的自動(dòng)分類(lèi)，降低模型的參數(shù)量，減少模型的推理時(shí)間，幫助專(zhuān)業(yè)眼科醫(yī)生進(jìn)行初步篩查。

1 融入多尺度雙線性注意力的多分類(lèi)網(wǎng)絡(luò)

本文提出了一種基于PP-LCNet-x2.5^[16]的MELCNet網(wǎng)絡(luò)模型，其網(wǎng)絡(luò)架構(gòu)如圖1所示。為了提取到多尺度信息，受文獻(xiàn)[17]的啟發(fā)，本文融入了并行多尺度inception模塊和ECA-Net通道注意力。從圖1中可以看出，MELCNet主要由以下幾部分組成：上部分為輸入層特征提取（包括兩個(gè)卷積和激活函數(shù)）、右邊為多尺度inception塊（包括不同的卷積核組合和激活函數(shù)）、下邊為深度可分離卷積（深度卷積和點(diǎn)卷積）、SE注意力模塊（嵌入深度可分離卷積）和h-swish激活函數(shù)。其中輸入層特征提取用于增加圖像輸入信息，可提取到更多有用的分類(lèi)基礎(chǔ)信息，在以下章節(jié)中將著重介紹改進(jìn)的SE模塊、并行多尺度特征融合、深度可分離卷積和h-swish激活函數(shù)。

基于以上架構(gòu)，本文主要做了如下改進(jìn)工作：

a）加大預(yù)處理圖片輸入大小為448×448，加入一層特征提取卷積層，使網(wǎng)絡(luò)可提取到更多有用的分類(lèi)基礎(chǔ)信息，兩個(gè)卷積層之后都分別使用h-swish激活函數(shù)，保證神經(jīng)元適應(yīng)復(fù)雜的線性問(wèn)題。

b）先融入并行inception結(jié)構(gòu)來(lái)提取多尺度融合特征，再進(jìn)入深度可分離卷積模塊，使模型能關(guān)注到不同結(jié)構(gòu)的疾病特征，獲取到更多不同尺度的分類(lèi)信息。

c）提出一種雙線性SE注意力模塊融入深度可分離卷積最后兩層，該注意力模塊根據(jù)提取到的圖像信息進(jìn)行加權(quán)操作，使模型更關(guān)注對(duì)分類(lèi)有用的關(guān)鍵病患信息，最后經(jīng)過(guò)全局平均池化后輸出分類(lèi)結(jié)果。

PP-LCNet-x2.5的參數(shù)量為7.7 M，其浮點(diǎn)數(shù)計(jì)算量為893 M，相關(guān)推理時(shí)間和精度均優(yōu)于同類(lèi)的輕量化網(wǎng)絡(luò)，參數(shù)量對(duì)比將在2.5節(jié)中詳細(xì)闡述。改進(jìn)后的MELCNet網(wǎng)絡(luò)參數(shù)量為7.7 M，浮點(diǎn)計(jì)算量為1.18 G，可見(jiàn)只有少量的參數(shù)和浮點(diǎn)計(jì)算的增加。其網(wǎng)絡(luò)詳細(xì)結(jié)構(gòu)如表1所示，SE表示該深度可分離卷積塊中是否存在注意力塊。由表1可知，輸入圖片分別經(jīng)過(guò)兩層卷積和激活函數(shù)后再經(jīng)過(guò)多尺度特征提取，之后進(jìn)入深度可分離卷積，深度可分離卷積的最后兩層嵌入雙線性SE注意力模塊，然后經(jīng)過(guò)全局平均池化，最后經(jīng)過(guò)1×1的卷積層代替全連接層輸出分類(lèi)結(jié)果。

1.1 雙線性SE模塊

在基礎(chǔ)SENet^[18]的通道注意力模塊中，在給定輸入特征下，SE塊首先為每個(gè)通道獨(dú)立采用全局平均池化，然后使用兩個(gè)非線性的全連接（FC）層以及sigmoid函數(shù)來(lái)生成通道權(quán)重。FC層旨在捕獲非線性跨通道交互，其中涉及降維來(lái)控制模型的復(fù)雜性。雖然其方式得到了廣泛的應(yīng)用，但經(jīng)過(guò)高效通道注意力（ECA-Net）^[19]模塊的研究發(fā)現(xiàn)，降維捕獲到的所有通道之間的依賴(lài)是低效且不必要的。ECA通道注意力避免了降維，有效捕獲了跨通道信息交互。

1.2 并行多尺度特征融合

多尺度特征提取（inception）在卷積神經(jīng)網(wǎng)絡(luò)中可以提高網(wǎng)絡(luò)的精度^[20]。大量使用并行多尺度結(jié)構(gòu)在獲得更多特征的同時(shí)會(huì)增加參數(shù)量并提高計(jì)算成本。為了節(jié)約計(jì)算成本，使網(wǎng)絡(luò)在增加精度的同時(shí)只帶來(lái)少量的參數(shù)增加。本文僅在輸入特征提取層之后使用一個(gè)inception結(jié)構(gòu)。經(jīng)過(guò)測(cè)試，一個(gè)inception結(jié)構(gòu)所包含的參數(shù)量可忽略不記。多尺度網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。該并行多尺度結(jié)構(gòu)沿用自GoogleNet^[21]的inception，該結(jié)構(gòu)體系的一個(gè)優(yōu)點(diǎn)是允許顯著增加每個(gè)階段的單元數(shù)量，而不會(huì)導(dǎo)致計(jì)算復(fù)雜失控膨脹，并且它符合視覺(jué)信息應(yīng)該在不同尺度上處理然后聚合的特征，便于下一階段可以同時(shí)從不同的尺度上提取特征，有助于病灶細(xì)節(jié)的辨識(shí)。

1.3 深度可分離卷積

深度可分離卷積最早提出于2017年MobileNet^[22]，是一種分解卷積的形式，將一個(gè)標(biāo)準(zhǔn)卷積分解為一個(gè)深度卷積和一個(gè)1×1的逐點(diǎn)卷積的形式。這種分解顯著減少了計(jì)算量和模型大小。

如圖4所示普通卷積輸入為DF×DF×M，記為特征圖F，產(chǎn)生的輸出為DF×DF×N，記為特征圖G，其中DF為輸入圖像的高寬，M為輸入通道數(shù)，DG為特征映射的高寬，N是輸出通道數(shù)。假設(shè)普通卷積的步距和padding設(shè)置為1，那么其輸出特征圖計(jì)算如下：

普通卷積的計(jì)算量為

深度可分離卷積如圖5所示，其由深度卷積和點(diǎn)卷積兩層組成。深度卷積負(fù)責(zé)濾波作用，逐點(diǎn)卷積負(fù)責(zé)轉(zhuǎn)換通道。輸出特征圖計(jì)算如下：

其中：K^是深度卷積，卷積核為（DK，DK，1，M）。將mth個(gè)卷積核應(yīng)用在F中第mth個(gè)通道上，產(chǎn)生G^上第mth個(gè)通道輸出。

代入數(shù)據(jù)計(jì)算得到深度可分離卷積比普通卷積減少了8、9倍的計(jì)算量，經(jīng)過(guò)證實(shí)，其僅損失極小的準(zhǔn)確度。

1.4 h-swish激活函數(shù)

由于深度學(xué)習(xí)模型中其他的層都是線性擬合函數(shù)，即使用很深的網(wǎng)絡(luò)去擬合，還是無(wú)法避免線性特性，無(wú)法進(jìn)行非線性建模，但假如使用非線性激活函數(shù)單元，當(dāng)線性函數(shù)的輸出層經(jīng)過(guò)非線性激活單元時(shí)，其輸出呈現(xiàn)一種非線性的變化，經(jīng)過(guò)這樣的多層擬合，就可以完成對(duì)輸入的非線性建模操作，同時(shí)起到特征組合的作用。所以理想的激活函數(shù)應(yīng)該具有平滑的特征，而且對(duì)于負(fù)值有較好的處理。

sigmoid激活函數(shù)：

是一個(gè)飽和激活函數(shù)，即在輸入值較大或較小的時(shí)候?qū)斎胫挡辉倜舾小．?dāng)網(wǎng)絡(luò)層數(shù)增多時(shí)容易發(fā)生梯度消失。

ReLU激活函數(shù)：

它比sigmoid在防止梯度消失方面更有優(yōu)勢(shì)，但是其缺點(diǎn)是一個(gè)很大的梯度流過(guò)ReLU神經(jīng)元更新梯度后，神經(jīng)元對(duì)大部分?jǐn)?shù)據(jù)不再具有激活作用，導(dǎo)致梯度為零，造成神經(jīng)元的死亡。

ReLU6激活函數(shù)：

當(dāng)xgt;6時(shí)，其倒數(shù)也為0。限制其最大輸出為6，使其在移動(dòng)設(shè)備的低精度時(shí)也有很好的數(shù)值分辨率。

swish激活函數(shù)：

其中：β為一個(gè)常數(shù)或一個(gè)可訓(xùn)練的參數(shù)。其特點(diǎn)是無(wú)上界有下界、平滑、非單調(diào)。在模型上效果優(yōu)于ReLU^[23]，但它比ReLU計(jì)算更為復(fù)雜。

h-swish激活函數(shù)：

h-swish激活函數(shù)是為了近似swish激活函數(shù)和適應(yīng)輕量級(jí)網(wǎng)絡(luò)提出的，文獻(xiàn)[24]驗(yàn)證了swish函數(shù)只有在更深的網(wǎng)絡(luò)層中使用才能體現(xiàn)優(yōu)勢(shì)，證明了在量化模式下，h-swish函數(shù)消除了由于近似sigmoid的不同實(shí)現(xiàn)而導(dǎo)致的潛在精度損失。本文在提出的網(wǎng)絡(luò)中均使用h-swish激活函數(shù)，同時(shí)替換了inception中的激活函數(shù)。

2 實(shí)驗(yàn)及分析

2.1 數(shù)據(jù)集介紹

2.1.1 組合數(shù)據(jù)集

本文使用目前公開(kāi)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，常見(jiàn)的眼疾有很多種類(lèi)型，本文僅研究以下四種眼疾，即糖尿病視網(wǎng)膜病變、青光眼、白內(nèi)障和年齡相關(guān)性黃斑變性，數(shù)據(jù)集均由專(zhuān)家確診標(biāo)記。本研究共從三個(gè)數(shù)據(jù)庫(kù)獲取總計(jì)1 813張視網(wǎng)膜眼底圖像，NR：300、CAT：100、GLC：612、DR：632、 ARMD：169，如圖6所示，每幅圖片均由眼科專(zhuān)家進(jìn)行了注釋。

數(shù)據(jù)集1使用Kaggle的競(jìng)賽數(shù)據(jù)集cataract dataset，包含600張眼底圖片，其中正常眼底圖像300張、青光眼101張、白內(nèi)障100張、其他視網(wǎng)膜疾病100張。由于其他視網(wǎng)膜疾病的含有類(lèi)別較多，且標(biāo)簽需要專(zhuān)業(yè)的眼科醫(yī)生來(lái)診斷，所以本文沒(méi)有使用該類(lèi)別，只選擇另外三種類(lèi)別的501張圖片。

數(shù)據(jù)集2使用Kaggle的競(jìng)賽數(shù)據(jù)集glaucoma dataset，包含1 022張眼底圖像，其中青光眼511張，非青光眼511張，文件存儲(chǔ)為.jpg和.tif形式。注釋形式為文件夾為其對(duì)應(yīng)類(lèi)別，大小為10.63 MB，最后選擇了511張青光眼圖像，每張圖像均有注釋。

數(shù)據(jù)集3使用視網(wǎng)膜眼底多疾病數(shù)據(jù)集（RFMiD），由三種不同的眼底攝像機(jī)捕獲的2009—2020年期間進(jìn)行的數(shù)千次檢查中提取的總計(jì)3 200張眼底圖像組成，并通過(guò)兩位資深視網(wǎng)膜專(zhuān)家的一致意見(jiàn)注釋了45種不同類(lèi)別的眼疾。數(shù)據(jù)集被分成三個(gè)子集，即訓(xùn)練60%（1920幅圖像）、評(píng)估20%（640幅圖像）和測(cè)試20%（640幅圖像）^[25]。標(biāo)簽在各文件夾下的.CSV文件中，本文選取其中的訓(xùn)練、驗(yàn)證、測(cè)試集中的DR 632張圖片和ARMD 169張圖片。

最終組合的眼底圖像數(shù)據(jù)集正常眼底圖像、白內(nèi)障、青光眼、糖尿病視網(wǎng)膜病變、年齡相關(guān)性黃斑變性這五個(gè)類(lèi)別眼底圖像詳細(xì)情況如表2所示。

2.1.2 公開(kāi)數(shù)據(jù)集

完整公開(kāi)數(shù)據(jù)集使用Kaggle競(jìng)賽數(shù)據(jù)集cataract dataset，該公開(kāi)數(shù)據(jù)集共有601張圖片，分為正常、白內(nèi)障、青光眼和其他視網(wǎng)膜病四類(lèi)，用來(lái)測(cè)試模型的泛化性和魯棒性。數(shù)據(jù)集詳情如表3所示。

2.2 數(shù)據(jù)預(yù)處理

本文獲取到的組合數(shù)據(jù)集圖像總計(jì)1 813張視網(wǎng)膜眼底圖像，包括300張NR圖像、100張CAT圖像、612張GLC圖像、632張DR圖像、169張ARMD圖像。按照4：1的比例隨機(jī)分為訓(xùn)練集和測(cè)試集，得到了1 452幅訓(xùn)練圖像和361幅測(cè)試圖像。公開(kāi)數(shù)據(jù)集總計(jì)601張圖像，包括300張NR圖像、100張CAT圖像、101張GLC圖像、100張Retina圖像。兩個(gè)數(shù)據(jù)集訓(xùn)練和測(cè)試集劃分如表4所示。由于原始圖像大小分布不等，并遠(yuǎn)大于深度神經(jīng)網(wǎng)絡(luò)的輸入，所以本文將原始圖像的大小調(diào)整為448×448作為網(wǎng)絡(luò)模型的輸入。另外，本文通過(guò)隨機(jī)改變訓(xùn)練圖像的亮度、對(duì)比度和色調(diào)來(lái)進(jìn)行色彩增強(qiáng)。同時(shí)通過(guò)隨機(jī)水平和垂直翻轉(zhuǎn)進(jìn)行數(shù)據(jù)增強(qiáng)，豐富了訓(xùn)練圖像的多樣性。

2.3 實(shí)驗(yàn)環(huán)境和評(píng)估標(biāo)準(zhǔn)

本文基于PyTorch 1.7深度學(xué)習(xí)框架進(jìn)行了所有的實(shí)驗(yàn)，實(shí)現(xiàn)了所改進(jìn)的網(wǎng)絡(luò)。所有程序在Ubuntu16.04 LTS 64-bit 系統(tǒng)上運(yùn)行以及使用Python 3.7進(jìn)行編程，CPU為Intel Core^TM i7-7800X CPU @ 3.50 GHz，GPU雙卡NVIDIA GTX 1080Ti。

本文評(píng)估標(biāo)準(zhǔn)采用醫(yī)學(xué)圖像分類(lèi)中常用的評(píng)價(jià)指標(biāo)，即分類(lèi)準(zhǔn)確度、精度、靈敏度、F1度量和曲線下面積（area under curve，AUC）評(píng)價(jià)分類(lèi)器性能。將多分類(lèi)拆分為多個(gè)二分類(lèi)進(jìn)行評(píng)價(jià)。類(lèi)似于二分類(lèi)，例如屬于GLC的樣本被正確分為GLC的記為T(mén)P（true positive），不屬于GLC的樣本被錯(cuò)誤分為GLC的記為FP（1 positive），屬于GLC的樣本被錯(cuò)誤分到了其他類(lèi)，記為FN（1 negative），不屬于GLC的樣本被正確分類(lèi)到了GLC的其他類(lèi)，記為T(mén)N（true negative）。準(zhǔn)確度、靈敏度、F1度量的計(jì)算公式如下，F(xiàn)1度量可以綜合評(píng)估精確度和靈敏度，受試者工作特性曲線（receiver operating characteristic curve，ROC）曲線可顯示靈敏度和特異度的變化。

2.4 超參數(shù)設(shè)置

本文實(shí)驗(yàn)中，用shuffle batch方法隨機(jī)打亂訓(xùn)練集，測(cè)試集用于驗(yàn)證模型各項(xiàng)性能所以保持不變，訓(xùn)練階段使用針對(duì)多類(lèi)別的交叉熵函數(shù)作為損失函數(shù)，公式如下：

其中：M為類(lèi)別的數(shù)量；yic為符號(hào)函數(shù)（0或1），如果樣本i的真實(shí)類(lèi)別等于c取1，否則取0，pic為觀測(cè)樣本i屬于類(lèi)別c的預(yù)測(cè)概率。使用Adam優(yōu)化器對(duì)模型進(jìn)行優(yōu)化，其優(yōu)點(diǎn)有計(jì)算高效、內(nèi)存需求少、超參數(shù)通常無(wú)須調(diào)整或僅僅需要微調(diào)、能自動(dòng)調(diào)整學(xué)習(xí)率。本實(shí)驗(yàn)中初始學(xué)習(xí)率設(shè)置為0.000 5，總共訓(xùn)練200個(gè)epoch，batch size設(shè)置為32，模型保存條件為上一次的測(cè)試集準(zhǔn)確率低于本次則保存權(quán)重，反之則不，類(lèi)別數(shù)根據(jù)內(nèi)部與公開(kāi)數(shù)據(jù)集分別設(shè)置為5和4。

為了探究?jī)?yōu)化器的變化對(duì)網(wǎng)絡(luò)模型的影響，本文實(shí)現(xiàn)了動(dòng)態(tài)調(diào)整學(xué)習(xí)率和非動(dòng)態(tài)調(diào)整學(xué)習(xí)率在本文模型中的影響，本文比較Adam優(yōu)化器（動(dòng)態(tài)調(diào)整學(xué)習(xí)率）和SGD隨機(jī)梯度下降（非動(dòng)態(tài)調(diào)整學(xué)習(xí)率）兩種優(yōu)化器來(lái)探究其對(duì)準(zhǔn)確率的影響，其結(jié)果如表5所示。根據(jù)結(jié)果可知，Adam優(yōu)化器在本文模型中無(wú)論公開(kāi)還是內(nèi)部數(shù)據(jù)集均效果最優(yōu)，同時(shí)SGD在公開(kāi)數(shù)據(jù)集上表現(xiàn)不理想。

隨機(jī)丟棄率dropout對(duì)眼底圖像識(shí)別的影響如表6所示。隨機(jī)丟棄率是抑制模型訓(xùn)練過(guò)程中出現(xiàn)過(guò)擬合的參數(shù)項(xiàng)，代表對(duì)神經(jīng)元隨機(jī)丟棄的概率。根據(jù)表6結(jié)果可知，隨機(jī)丟棄率為0.2時(shí)效果最優(yōu)，過(guò)高或者過(guò)低的隨機(jī)丟棄率都可能導(dǎo)致過(guò)擬合發(fā)生。

2.5 對(duì)比實(shí)驗(yàn)

本節(jié)實(shí)驗(yàn)在兩個(gè)數(shù)據(jù)集上對(duì)比了本文提出的MELCNet和復(fù)現(xiàn)出來(lái)的多個(gè)常見(jiàn)輕量級(jí)網(wǎng)絡(luò)，如MobileNetV3^[24]、EfficientNet（b0）^[26]、EfficientNetV2^[27]、ShuffleNet^[28]以及非輕量級(jí)網(wǎng)絡(luò)ResNet-50^[29]、文獻(xiàn)[15]網(wǎng)絡(luò)、2021 NeurIPS會(huì)議的CoAtNet^[30]的眼底疾病分類(lèi)性能。各對(duì)比網(wǎng)絡(luò)模型的參數(shù)量和浮點(diǎn)數(shù)計(jì)算量如表7所示，性能對(duì)比如表8所示。

由表7和8可知，本文的網(wǎng)絡(luò)模型參數(shù)量相對(duì)于ResNet-50和CoAtNet減少了約2、3倍，參數(shù)量低于文獻(xiàn)[15]網(wǎng)絡(luò)約3倍，浮點(diǎn)數(shù)計(jì)算量低于其7倍，介于其他輕量化網(wǎng)絡(luò)之間；結(jié)合表8的對(duì)比實(shí)驗(yàn)結(jié)果內(nèi)部組合數(shù)據(jù)集部分可知，在同樣的實(shí)驗(yàn)平臺(tái)上，與非輕量級(jí)模型相比，本文模型取得了對(duì)比的7個(gè)模型中最高的分類(lèi)準(zhǔn)確率98.61%，對(duì)比網(wǎng)絡(luò)中取得最高準(zhǔn)確率的模型為ResNet-50，其分類(lèi)準(zhǔn)確率97.50%，本文模型相較ResNet-50高出1.11%，相較CoAtNet高出5.82%，相較文獻(xiàn)[15]網(wǎng)絡(luò)高出3.05%。與輕量級(jí)模型相比，本文相較EfficientNetV2參數(shù)量減少了13 M左右，浮點(diǎn)數(shù)計(jì)算量減少了約50%，精度提升了2.49%；對(duì)比ShuffleNet參數(shù)量?jī)H增加了6 M，浮點(diǎn)數(shù)增加1 G，但是精度提升了2.49%。與MobileNet V3、EfficientNet（b0）相比參數(shù)量增加了約3 M，浮點(diǎn)數(shù)計(jì)算量增加了約0.8 G，但精度分別提升了3.32%、6.37%。

由對(duì)比實(shí)驗(yàn)表8的公開(kāi)數(shù)據(jù)集部分結(jié)果可知，本文方法在準(zhǔn)確度、靈敏度和F1度量上表現(xiàn)最優(yōu)，其中ResNet-50和CoAtNet網(wǎng)絡(luò)的分類(lèi)效果較差，EfficientNet（b0）也表現(xiàn)不佳。文獻(xiàn)[15]網(wǎng)絡(luò)在對(duì)比網(wǎng)絡(luò)中獲得最高的準(zhǔn)確度為85%，而本文方法為87.5%，相比其有2.5%的提升。

由兩個(gè)數(shù)據(jù)集對(duì)比實(shí)驗(yàn)結(jié)果可知，本文模型在兩個(gè)數(shù)據(jù)集測(cè)試集上的性能不僅優(yōu)于其他輕量級(jí)網(wǎng)絡(luò)，甚至優(yōu)于非輕量級(jí)網(wǎng)絡(luò)ResNet-50、同類(lèi)相關(guān)眼底疾病分類(lèi)網(wǎng)絡(luò)^[15]和最新的卷積加視覺(jué)Transformer結(jié)合的CoAtNet。該結(jié)果證明了本文所提出的方法不僅在組合的內(nèi)部數(shù)據(jù)集上具有較強(qiáng)競(jìng)爭(zhēng)優(yōu)勢(shì)，同時(shí)在完全公開(kāi)數(shù)據(jù)集上也表現(xiàn)出色，具有很好的模型泛化力，更適用于眼底疾病多分類(lèi)任務(wù)。

圖7和8給出了本文方法和各對(duì)比網(wǎng)絡(luò)在兩個(gè)數(shù)據(jù)集測(cè)試集的各類(lèi)疾病分類(lèi)ROC曲線。從圖8中可以看出，相對(duì)于其他七種網(wǎng)絡(luò)（包括輕量級(jí)與非輕量級(jí)網(wǎng)絡(luò)），本文提出的MELCNet網(wǎng)絡(luò)在預(yù)測(cè)的四種眼疾上都實(shí)現(xiàn)了最優(yōu)ROC曲線和總體最大的AUC值。由圖7 ROC曲線結(jié)果可知，本文提出的方法在青光眼分類(lèi)上取得了最好的效果，在白內(nèi)障上低于文獻(xiàn)[15]網(wǎng)絡(luò)約1%，其他類(lèi)別的疾病分類(lèi)中AUC值只低于MobileNetV3（約2%）。同時(shí)也獲得了整體分類(lèi)最高AUC值，進(jìn)一步證明了本文方法具有很好的模型泛化力，并與對(duì)比網(wǎng)絡(luò)相比具有競(jìng)爭(zhēng)力的優(yōu)勢(shì)。

2.6 消融實(shí)驗(yàn)

為了驗(yàn)證所設(shè)計(jì)的模塊對(duì)提高分類(lèi)性能的有效性，對(duì)本文設(shè)計(jì)的網(wǎng)絡(luò)分別融入多尺度特征融合、雙線性注意力SE模塊以及加大圖片輸入尺度的特征提取，最后在兩個(gè)數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。用于對(duì)比的網(wǎng)絡(luò)結(jié)構(gòu)包括PP-LCNet主干網(wǎng)絡(luò)、加入多尺度特征融合的網(wǎng)絡(luò)、加入雙線性SE注意力模塊的網(wǎng)絡(luò)、加入輸入層特征提取的網(wǎng)絡(luò)、最終融合了這三個(gè)模塊的MELCNet網(wǎng)絡(luò)。消融實(shí)驗(yàn)結(jié)果如表9所示。

從表9可以看出，分別融入多尺度特征提取和雙線性SE注意力以及輸入層特征提取的網(wǎng)絡(luò)在內(nèi)部組合數(shù)據(jù)集測(cè)試集的分類(lèi)準(zhǔn)確率優(yōu)于PP-LCNet主干網(wǎng)絡(luò)8.58%、10.52%、9.69%，全部融合的MELCNet優(yōu)于PP-LCNet 12.74%，在公開(kāi)數(shù)據(jù)集上對(duì)比主干網(wǎng)絡(luò)分別提高了8.34%、2.5%、17.5%、18.34%。由實(shí)驗(yàn)結(jié)果可知，本文所提出的改進(jìn)模塊融合不僅在內(nèi)部組合數(shù)據(jù)集上有效，在完全公開(kāi)的數(shù)據(jù)集上也表現(xiàn)優(yōu)異。

可見(jiàn)得益于多尺度可以提取到不同結(jié)構(gòu)的疾病特征，同時(shí)雙線性注意力可以關(guān)注到關(guān)鍵患病部位，并且輸入層加大圖片輸入尺度的特征提取可以獲取更加有效的全局圖像信息，整體網(wǎng)絡(luò)有助于提高眼底圖像的分類(lèi)性能。通過(guò)該消融實(shí)驗(yàn)結(jié)果可以證明本文方法有利于眼底疾病圖像多分類(lèi)。

更進(jìn)一步，根據(jù)圖9對(duì)比可知，圖（a）和（c）為PP-LCNet在兩個(gè)數(shù)據(jù)集測(cè)試集的混淆矩陣，圖（b）（d）為本文模型MELCNet在兩個(gè)數(shù)據(jù)集測(cè)試集上的混淆矩陣，根據(jù)左右混淆矩陣對(duì)比可知，本文提出的模型在對(duì)角線上的值在兩個(gè)數(shù)據(jù)集上對(duì)角線上的值均高于原始PP-LCNet，進(jìn)一步證實(shí)本文提出的方法對(duì)于提高分類(lèi)性能的有效性，同樣也表明了本文方法具有很強(qiáng)的模型泛化力和魯棒性。

2.7 模型可視化解釋

深度學(xué)習(xí)的模型在圖像分類(lèi)任務(wù)中取得了優(yōu)異的成績(jī)，但模型的可解釋性較差。特別是在醫(yī)學(xué)圖像處理中，對(duì)模型進(jìn)行可視化研究也是非常重要的，可以幫助醫(yī)生找到病變的位置，作出可靠的診斷。本文使用加權(quán)梯度類(lèi)激活熱力圖（gradient-weight class activation mapping，Grad-CAM）^[31]方法對(duì)提出的各模塊進(jìn)行可視化解釋?zhuān)?yàn)證所提取的特征能夠有效區(qū)分異常眼底特征。Grad-CAM可視化結(jié)果如圖10所示。圖中最左邊為原始圖片，從第二列起依次為PP-LCNet主干網(wǎng)絡(luò)、融入多尺度特征提取、融入SE雙線性注意力、融入輸入層特征提取、最終的MELCNet網(wǎng)絡(luò)對(duì)異常眼底的關(guān)注點(diǎn)。通過(guò)熱力圖可以清晰地看到，本文提出的各部分方法對(duì)于在異常眼底圖像中的關(guān)注點(diǎn)，通過(guò)并行多尺度可以提取到不同結(jié)構(gòu)的圖片病變特征，雙線性注意力可以關(guān)注到患病關(guān)鍵位置，加大尺寸的輸入層特征提取可獲得圖像更加全局的信息。

3 結(jié)束語(yǔ)

本文提出一種基于PP-LCNet模型改進(jìn)的多尺度特征融合和雙線性SE注意力的MELCNet網(wǎng)絡(luò)，利用RGB眼底圖像并組合多個(gè)公開(kāi)權(quán)威數(shù)據(jù)集完成對(duì)所選四種疾病和正常眼底圖像的分類(lèi)任務(wù)。該框架主要包含并行多尺度特征融合、雙線性SE注意力、輸入層特征提取、深度可分離卷積以及使用適于移動(dòng)設(shè)備的h-swish激活函數(shù)。重要工作是設(shè)計(jì)了一個(gè)雙線性SE注意力模塊，以雙路并行方式可關(guān)注更多對(duì)分類(lèi)有效的圖像區(qū)域。實(shí)驗(yàn)結(jié)果表明，本文所提出的各模塊可有效地提高眼底疾病的分類(lèi)性能，整體改進(jìn)網(wǎng)絡(luò)在四種眼底疾病和正常眼底圖像分類(lèi)上取得了很好的分類(lèi)性能，同時(shí)滿足進(jìn)一步輕量化部署的要求，有助于眼疾檢測(cè)智能化、快捷化、方便化，為彌補(bǔ)鄉(xiāng)村偏遠(yuǎn)地區(qū)醫(yī)療資源不均衡提供了一種新的思路與方法。最后采用Grad-CAM方法對(duì)模型進(jìn)行了可視化解釋?zhuān)瑸槟Ｐ屯评硖峁┛梢?jiàn)的預(yù)測(cè)依據(jù)，在后續(xù)研究工作中將部署模型到移動(dòng)端，搭建面向移動(dòng)設(shè)備的眼底圖像檢測(cè)系統(tǒng)，同時(shí)，由于眼底疾病識(shí)別領(lǐng)域的眼底圖像可獲得的公開(kāi)數(shù)據(jù)集較為稀缺，考慮結(jié)合醫(yī)療機(jī)構(gòu)的病例制作數(shù)據(jù)集，并利用其他更多的可用數(shù)據(jù)集對(duì)該模型進(jìn)行多次驗(yàn)證，以提高模型的魯棒性。

參考文獻(xiàn)：

［1］Nayak J，Bhat P S，Acharya U R，et al.Automated identification of diabetic retinopathy stages using digital fundus images[J].Journal of Medical Systems，2008，32（2）：107-115.

[2]Reza A W，Eswaran C.A decision support system for automatic screening of non-proliferative diabetic retinopathy[J].Journal of Medical Systems，2011，35（1）：17-24.

[3]Verma L，Prakash G，Tewari H K.Diabetic retinopathy：time for action.No complacency please！[J].Bulletin of the World Health Organization，2002，80（5）：article No.419.

[4]Wild S H，Roglic G，Green A，et al.Global prevalence of diabetes：estimates for the year 2000 and projections for 2030：response to Rathman and Giani[J].Diabetes Care，2004，27（10）：2569-2570.

[5]Klein R，Klein B E，Moss S E.The Wisconsin epidemiological study of diabetic retinopathy：a review[J].Diabetes Metabolism Reviews，1989，5（7）：559-570.

[6]Klein R，Meuer S M，Moss S E，et al.Retinal microaneurysm counts and 10-year progression of diabetic retinopathy[J].Archives of Ophthalmology，1995，113（11）：1386-1391.

[7]宋偉，張純.青光眼的神經(jīng)保護(hù)性治療[J].中華實(shí)驗(yàn)眼科雜志.2015，33（3）：279-283.（Song Wei，Zhang Chun.Neuroprotective treatment of glaucoma[J].Chinese Journal of Experimental Ophthalmology，2015，33（3）：279-283.）

[8]戴毅，孫興懷.從流行病學(xué)角度認(rèn)識(shí)青光眼的特點(diǎn)與危害[J].中國(guó)眼耳鼻喉科雜志.2016，16（3）：179-181.（Dai Yi，Sun Xinghuai.Current understanding of the characteristics and damage in glaucoma：an epidemiological perspective[J].Chinese Journal of Opathal-mology and Otorhinolaryngology，2016，16（3）：179-181.）

[9]Moncef K，Rim K，Rupert B，et al.Number of people blind or visually impaired by cataract worldwide and in world regions，1990 to 2010[J].Investigative Ophthalmology amp; Visual Science，2015，56（11）：6762-6769.

[10]Müllerbreitenkamp U，Ohrloff C，Hockwin O.Aspects of physiology，pathology and epidemiology of cataract[J].Der Ophthalmologe：Zeitschrift Der Deutschen Ophthalmologischen Gesellschaft，1992，89（4）：257-267.

[11]Liu Pingping，Yang Xiaokang，Jin Baixin，et al.Diabetic retinal grading using attention-based bilinear convolutional neural network and complement cross entropy[J].Entropy，2021，23（7）：article No.816.

[12]Ajesh F，Ravi R，Rajakumar G.Early diagnosis of glaucoma using multi-feature analysis and DBN based classification[J].Journal of Ambient Intelligence and Humanized Computing，2021，12（3）：4027-4036.

[13]Chea N，Nam Y.Classification of fundus images based on deep lear-ning for detecting eye diseases[J].Computers，Materials amp; Continua，2021，67（1）：411-426.

[14]陳筱，朱向冰，吳昌凡，等.基于遷移學(xué)習(xí)與特征融合的眼底圖像分類(lèi)[J].光學(xué)精密工程，2021，29（2）：388-399.（Chen Xiao，Zhu Xiangbing，Wu Changfan，et al.Research on fundus image classification based on transfer learning and feature fusion[J].Optics and Precision Engineering，2021，29（2）：388-399.）

[15]Xie Hai，Zeng Xianlu，Lei Haijun，et al.Cross-attention multi-branch network for fundus diseases classification using SLO images[J].Me-dical Image Analysis，2021，71：102031.

[16]Cheng Cui，Gao Tingquan，Wei Shengyu，et al.PP-LCNet：a lightweight CPU convolutional neural network[EB/OL].（2021）[2021-12-20].https：//arxiv.org/pdf/2109.15099.pdf.

[17]毛志榮，都云程，肖詩(shī)斌，等.基于ECA-Net與多尺度結(jié)合的細(xì)粒度圖像分類(lèi)方法[J].計(jì)算機(jī)應(yīng)用研究，2021，38（11）：3484-3488.（Mao Zhirong，Du Yuncheng，Xiao Shibin，et al.Fine-grained image classification method based on ECA-Net and multi-scale[J].Application Research of Computers，2021，38（11）：3484-3488.）

[18]Hu Jie，Li Shen，Albanie S，et al.Squeeze-and-excitation networks[J].IEEE Trans on Pattern Analysis and Machine Intelligence，2020，42（8）：2011-2023.

[19]Wang Qilong，Wu Banggu，Zhu Pengfei，et al.ECA-Net：efficient channel attention for deep convolutional neural networks[C]//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2020.

[20]Luo Wenjie，Li Yujia，Urtasun R.Understanding the effective receptive field in deep convolutional neural networks[EB/OL].（2017）[2021-12-24].https：//arxiv.org/pdf/1701.04128.pdf.

[21]Szegedy C，Liu Wei，Jia Yangqing，et al.Going deeper with convolutions[C]//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2015：1-9.

[22]Howard A G，Zhu Menglong，Cheng Bo，et al.MobileNets：efficient convolutional neural networks for mobile vision applications[EB/OL].（2017-04-17）.https：//arxiv.org/abs/1704.04861v1.

[23]Ramachandran P，Zoph B，Le Q V.Searching for activation functions[EB/OL].（2017）[2021-12-24].https：//arxiv.org/pdf/1710.05941.pdf.

[24]Howard A，Sandler M，Chu G，et al.Searching for MobileNetV3[C]//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2019：1314-1324.

[25]Pachade S，Porwal P，Thulkar D，et al.Retinal fundus multi-disease image dataset（RFMiD）：a dataset for multi-disease detection research[J].Data，2021，6（2）：article No.14.

[26]Tan Mingxing，Le Q V.EfficientNet：rethinking model scaling for convolutional neural networks[C]//Proc of International Conference on Machine Learning.2019：6105-6114.

[27]Tan Mingxing，Le Q V.EfficientNetV2：smaller models and faster training[EB/OL].（2021）[2021-12-24].https：//arxiv.org/pdf/2104.00298.pdf.

[28]Ma Ningning，Zhang Xiangyu，Zheng Haitao，et al.ShuffleNetV2：practical guidelines for efficient CNN architecture design[C]//Proc of European Conference on Computer Vision.Berlin：Springer，2018：122-138.

[29]He Kaiming，Zhang Xiangyu，Ren Shaoqing，et al.Deep residual lear-ning for image recognition[C]//Proc of IEEE Conference on Compu-ter Vision and Pattern Recognition.Washington DC：IEEE Computer Society，2016：770-778.

[30]Dai Zihang，Liu Hanxiao，Le Q V，et al.CoAtNet：marrying convolution and attention for all data sizes[C]//Proc of Conference on Neural Information Processing Systems.2021.

[31]Selvaraju R R，Cogswell M，Das A，et al.Grad-CAM：visual explanations from deep networks via gradient-based localization[C]//Proc of IEEE International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2017：618-626.