基于改進MobileNet v3-Small模型的草莓病害識別方法

王晶 崔艷榮

doi：10.15889/j.issn.1002-1302.2024.10.031

摘要：為了對草莓病害進行及時的診斷與治療而提升草莓產量，將深度學習與農業生產結合以快速高效地進行病害檢測。傳統神經網絡進行病害識別時間較長，參數量較大，難以遷移到移動端設備上，基于此提出一種改進MobileNet v3-Small模型的識別方法。首先收集了7類常見草莓病害圖像樣本（如角斑病、葉斑病等），通過旋轉、鏡像等多種數據增強方式對圖像進行處理以增加圖片數量，提高模型泛化能力。接著以MobileNet v3-Small模型為基礎，基于原始Inception_A提出部分卷積權值共享的多尺度卷積結構，以更高效地提取草莓病害不同尺度特征。隨后，在網絡深層引入了ULSAM輕量級子注意力機制，形成草莓病害更高層次的抽象表示。同時，將深度可分離卷積中的第2個PW卷積替換為CondConv卷積形成PDC結構，克服了PW卷積只擁有局部感受野的缺陷，同時也降低了模型參數量。試驗結果表明，改進后的MobileNet v3-Small模型準確率達到98.62%，較原模型94.91%的準確率提高了3.71百分點，并且參數量減少了0.04 M，遠優于同級輕量化模型，且以遠低于ResNet18的參數量取得更好的特征提取效果。綜上所述，本研究所提出的改進后的MobileNet v3_Small模型能更好地在真實場景下進行草莓病害識別，為草莓生產貢獻了一份力量，助力智慧農業發展。

關鍵詞：草莓病害；圖像分類；MobileNet v3-Small；Inception_A；ULSAM輕量級子注意力機制；CondConv

中圖分類號：S126；TP391.41? 文獻標志碼：A

文章編號：1002-1302（2024）10-0225-09

收稿日期：2023-11-22

基金項目：國家自然科學基金面上項目（編號：62077018）。

作者簡介：王? 晶（2000—），女，湖北鄂州人，碩士研究生，從事機器學習與人工智能研究。E-mail：410885413@qq.com。

通信作者：崔艷榮，博士，教授，從事網絡安全、信息處理研究。E-mail：cyanr@yangtzeu.edu.cn。

我國是世界上最大的草莓生產國，同時也是第一大草莓消費國，草莓種植面積居全球第1位［1］。然而，草莓在種植過程中容易受到各種病害的影響，造成草莓的質量和產量降低，故病害防治是防止草莓降產的重要途徑。

現有的草莓病害防治方法主要依賴于人工識別，通過研究人員的經驗對病害進行檢測，進而采取有效措施。但這種檢測方法存在較大的弊端，會耗費大量人力、物力資源且效率低下。隨著人工智能技術的迅速發展，將計算機技術應用在農作物病害識別領域已經成為了研究熱點。學者們通過使用支持向量機（SVM）、K近鄰算法（KNN）、BP神經網絡（BNN）等方法提高了對農作物病害識別的準確率與識別速率［2］。Liu等將主成分分析法（PCA）與支持向量機（SVM）相結合，在4類玉米葉片病害數據集上識別準確率最高能達到95.78%［3］。Chaudhary等針對多類花生病害分類問題，提出了一種改進的隨機森林分類器方法，分類準確率達到了97.80%［4］。張開興等利用圖像處理技術和BP神經網絡識別玉米葉部病害，平均識別率達到了93.4%［5］。雖然這些方法相比于人工檢測有了較大的改善，但實現往往需要經過復雜的圖像預處理過程，且容易受到環境因素的影響，導致模型不能進行很好的訓練，模型泛化性較低［6］。

近年來，隨著人工智能技術的迅速發展，基于深度學習的農作物病害識別方法得到了越來越多國內外研究學者們的關注和青睞［7］。相比于傳統機器學習方法，它能夠自動提取病害特征，可以避免繁雜的圖像預處理過程。姚建斌等使用VGG16網絡通過遷移學習方式訓練，最終在小麥病蟲害數據集上識別準確率達到95%［8］。劉敏等利用深度可分離卷積對VGG16網絡進行改進，與Swin Transformer網絡相結合，提出了一種多尺度特征融合網絡，實現了蘋果葉片病害檢測93.98%的準確率［9］。陳偉文等采用數據增強與隨機失活部分神經元的方法對AlexNet網絡進行改進，在Plant Village數據庫中選取10類番茄病害，識別準確率達到95.8%［10］。熊夢園等在ResNet50模型基礎上添加CBAM注意力機制與FPN特征金字塔網絡，對玉米葉片病害的識別準確率達到97.5%［11］。黃鋁文等將金字塔卷積與深度超參數化卷積相結合，提出一種深度超參數化金字塔卷積殘差網絡，對7類草莓病害的識別準確率達到97.867%［12］。Yu等提出一種基于殘差網絡的MSO-ResNet蘋果葉部病害識別模型，對5種葉部病害的平均識別精度達到了95.7%［13］。Ma等使用遷移學習方法訓練一種深度卷積神經網絡（DCNN），對6類草莓病害識別準確率達到93.16%［14］。

雖然基于深度學習方法的農作物病害識別解決了人工檢測和傳統機器學習方法的不足，能達到較高的識別準確率和識別速度，但現有的針對草莓病害識別的深度學習方法也存在著一些不足之處：基于深度學習的方法大部分都采用的是傳統的卷積神經網絡識別草莓病害，傳統神經網絡雖然識別準確率高，但模型參數量較大，實用性差，難以在移動端上部署；現有的草莓病害圖像數據較少，導致大模型沒有充足的數據訓練；并且由于草莓病害具有多尺度的特點，現有的草莓病害識別模型仍然有提升空間。

針對目前研究中存在的問題，本研究在MobileNet v3模型基礎上進行改進，改進后的模型能夠準確識別草莓葉片及果實病害，并且改進后的輕量化網絡容易部署在移動端，及時準確地檢測草莓病害，以期為農業生產與發展提供智能化的解決方案。

1? 數據集來源及預處理

1.1? 數據集來源

本次試驗所用數據來自Afzaal公開提供的草莓病害圖像［15］。該數據集是在真實的農田與自然光照條件下多個溫室中采集到的圖像，以確保環境因素的多樣性。相比在實驗室中采集的圖像，此數據集的背景更加復雜，包括背景改變、復雜的現場條件、不同的光照設置等，這些變化可以使得模型具有更高的容量、更強的魯棒性和可推廣性，且草莓病害經過了領域專家的驗證，可靠性更強。選取該數據集中草莓葉片上的角斑病、葉斑病、白粉病、草莓花朵枯萎病以及草莓果實上的白粉病、灰霉病、炭疽病等7種草莓常見病害類別圖像共2 500張。部分草莓病害示例見圖1。

1.2? 數據預處理

圖像增強對克服數據樣本，尤其是針對數據集的局限性十分重要。通過圖像增強技術能夠擴大現有小樣本數據集的規模，有助于提高模型的性能和泛化能力，增強模型的魯棒性，使模型更好地學習到數據的特征和變化模式，以提高模型在實際應用中的表現。草莓病害原始數據集樣本過少，且各類別樣本數量極度不平衡，容易導致模型在訓練時出現過擬合現象。為了提高模型的泛化能力，防止模型訓練時過擬合，本研究對原始草莓病害數據集通過鏡像翻轉、高低對比度、高低亮度等多種常見數據增強方法進行擴增。經過增強后的部分數據見圖2。擴增后的草莓病害共有22 500張圖像，將擴增之后的數據集按照6 ∶2 ∶2劃分為訓練集、驗證集和測試集，擴增后數據集見表1。

2? 草莓病害識別模型構建

2.1? MobileNet v3-Small模型

MobileNet是一系列輕量級的卷積神經網絡模型，主要用于在移動端和嵌入式設備上進行實時圖像識別和分類任務。MobileNet系列模型比起傳統卷積神經網絡的優點是參數量少、計算量較低、識別速度快，能夠更好地在移動設備上實現高效的推理。MobileNet是輕量化網絡的開端，為后續輕量化網絡發展奠定了基礎。MobileNet共分為3個系列，MobileNet v3［16］是在MobileNet v1［17］和MobileNet v2［18］基礎上的進一步改進。

相比于傳統卷積神經網絡，MobileNet v3主要有以下幾點貢獻：（1）使用深度可分離卷積代替普通卷積，它由2個部分組成：深度卷積（depthwise，簡稱DW）和逐點卷積（pointwise，簡稱PW），深度卷積輸入的每個通道分別對應1個卷積核，即每個輸入通道都有自己的1組卷積核，用于提取特征；逐點卷積使用1×1的卷積核對深度卷積的輸出進行卷積，用于改變特征圖的深度以實現特征融合和維度變換。深度可分離卷積大大減少了模型的參數數量和計算量，使得模型比標準卷積網絡更加小巧，內存占用率更低。（2）在bneck中引入了SE注意力機制，通過顯式的建模特征通道之間的依賴關系來提高網絡的表示能力，核心思想是對卷積層特征通道進行動態性的加權，強化特征圖中有用的特征并抑制不重要的特征。（3）對激活函數進行了更新，將bneck中的swish激活函數換成h-swish，sigmoid激活函數換成h-sigmoid，提高了模型的非線性能力，更適合在移動設備上高效運算。（4）使用網絡架構搜索NAS技術找到最優的網絡層配置，以提高模型效率和性能。MobileNet v3模型的網絡單元結構見圖3。

根據參數量和模型大小的不同，MobileNet v3分為Small和Large版本，為了更適合嵌入移動端設備，本研究選用模型參數量和網絡層數更少的Small版本，網絡結構見表2，草莓病害識別流程見圖4。

2.2? 多尺度特征提取模塊

Inception是由Google在GoogleNet中提出的一種神經網絡架構單元，是GoogleNet最核心的模塊［19］。原始的Inception模塊結構見圖5。Inception模塊的主要思想是讓網絡自適應地選擇不同尺寸的卷積核，能在同一卷積層內捕獲不同尺寸信息，增加網絡的深度和寬度，從而增強模型對草莓病害圖像的多尺度特征提取能力。它是一種復合結構，在同一層內并行地應用不同尺寸的卷積核和池化操作。Inception模塊共包含4個并行組件：3×3卷積用于捕獲中等尺度的空間相關性；5×5卷積用于捕捉更大范圍內的空間相關性；3×3最大池化用于提供另一種形式的空間抽象。最終，通過concat操作將卷積與池化之后得到的所有特征圖形成模塊地最終輸出，能夠捕捉到不同尺度的特征，但不同尺寸的卷積核和池化層同時也增加了網絡的復雜性。

Inception v4是Google對Inception v1至v3系列的改進［20］。Inception_A模塊與原始的Inception模塊相比在降低了計算量的同時也增強了特征捕獲能力。如圖6所示，Inception_A模塊借鑒了ResNet的設計，通過添加殘差連接來促進更深的網絡訓練，有助于解決深層網絡中梯度消失和爆炸問題［21］。Inception_A模塊將Inception模塊中的5×5卷積分解為2個連續的3×3卷積，在卷積之前使用1×1卷積降維的同時也能捕捉特征圖通道之間的局部相關性，在減少參數量和計算量的同時保持了相同的感受野，能夠有效處理草莓病害的多尺度問題。

2.3? ULSAM注意力機制

注意力機制模仿人類視覺系統，能在復雜場景中找到顯著區域，并根據信息的重要程度分配有限的信息處理資源［22］。在深度學習領域，注意力機制被廣泛運用在圖像檢測與識別領域。然而， 在處理大型輸入或模型時，現有的注意力機制如SE［23］、ECA［24］、 CBAM［25］等通常會增加網絡的參數數量，

增加模型的復雜性而導致模型更難訓練和優化，同時也需要更精細的調參和更長的訓練時間。因此，本研究引入了一種ULSAM超輕量級子空間注意力機制，在不顯著增加模型參數的同時提高模型識別精度［26］。與傳統的注意力機制為所有通道生成單一的注意力圖不同，ULSAM為每個特征圖子空間單獨推斷注意力圖，通過學習對應特征圖的每個子空間注意力圖來減少特征圖中的空間冗余與通道冗余，從而促進模型的多尺度與多頻率特征學習，使得模型更好地把草莓病害特征與復雜背景區分開來，對于細粒度圖像分類任務十分有效，ULSAM結構見圖7。

具體的實現步驟如下：若輸入的特征圖為F∈Rm×h×w，其中m為特征圖的通道數，h與w分別為特征圖的空間維度，ULSAM將F分成g個互斥的組，分別是［F1，F2，…，F，…，Fg］，其中每個組有G個特征圖，定義F為中間一組特征圖， 每個子空間中的注意力圖A是由F推斷得出的注意力圖，A通過學習收集跨通道信息來捕捉特征之間的非線性依賴關系。經過ULSAM處理之后的結果如下：

A=softmax〔PW1{maxpool3×3，1［DW1×1（F）］}〕；（1）

F⌒（AF）F；（2）

F⌒=concat（［F⌒1，F⌒2，…，F⌒，…，F⌒g］）。（3）

式中，表示逐點相乘；表示逐點相加；F⌒表示將各特征圖相連接之后的最終輸出。

2.4? 模塊

CondConv（conditional convolution）是一種條件卷積模塊，相比于傳統卷積能更好地提升模型尺寸和容量，提取草莓病害特征［27］。在傳統的卷積操作中，所有位置都共享相同的卷積核權重，故無論輸入數據的具體特征如何，在不同位置上學習到的特征表示都是相同的。CondConv通過引入條件參數，使得卷積核的權重可以根據輸入數據的條件進行自適應調整，即每個卷積核都有一個對應的條件參數向量，通過條件參數向量與輸入數據進行運算，生成動態的卷積核權重，這樣模型就可以在不同位置和不同條件下學習到病害的不同特征表示。

CondConv結構采用更細粒度的集成方式（圖8）。CondConv引入了1個條件參數生成器，用于根據輸入條件動態生成卷積核的權重，針對不同條件輸入生成卷積核的權重，再將這些權重進行加權減少卷積次數，從而得到特定條件的特征表示。

具體步驟如下：將CondConv中的卷積核參數化為n個專家的線性組合，（α1W1+…+αnWn）×x可將卷積過程公式化為

Output（x）=σ［（α1W1+…+αnWn）×x］。（4）

式中，x為輸入；σ為激活函數；α1，…，αn是x通過路由函數得到的權重標量。其中路由函數定義為

r（x）=Sigmoid［GlobalAveragePool（x）R］。（5）

其中，R為x映射到n個權重標量的權重矩陣，根據輸入的不同得到相應的路由權重向量， 通過增加專家的數量可以擴大CondConv的容量。

2.5? 改進的MobileNet v3-Small模型

為了提高MobileNet v3-Small模型對草莓病害的多尺度特征提取能力以及模型泛化性，本研究在MobileNet v3-Small模型基礎上進行了改進。

針對草莓病害圖像具有多尺度特征導致病癥難以準確識別問題，在原有模型基礎上引入了Inception_A模塊，并且對Inception_A模塊進行改進：本研究將Inception_A模塊第4個分支中的2個3×3卷積修改為1個3×3卷積，且其輸入來自于第3個分支的輸出，使得第4個分支與第3個分支共享同一個卷積，實現權重共享，同時在特征拼接完成后添加1×1卷積使得輸出通道數與下一層的輸入一致。由于局部特征具有平移不變性，相同的特征可以共享相同的權重，通過共享卷積層，能使模型在一定程度上避免重復學習類似的特征，在減少模型參數的同時也能提高泛化能力，改進后的Inception_A結構見圖9。將改進后的Inception_A模塊添加到模型主干網絡第3個bneck后，第3個bneck的輸出特征圖尺寸為28×28×24，包含了更多的局部細節信息，如病害邊緣、紋理等，經過改進后的Inception_A模塊能更好地提取到草莓病害的不同尺度特征。

此外，由于MobileNet v3模型bneck中的SE注意力機制只關注到了通道間的信息，本研究在模型主干網絡的第8個和第9個bneck之間、最后1個bneck后引入ULSAM注意力機制。在網絡深層引入ULSAM注意力機制， 使模型整合低層次的特征，

形成更高層次的抽象表示。

為了提升MobileNet v3-Small模型容量的同時也不增加模型的復雜度，本研究在深度可分離卷積中引入了條件卷積模塊，改進后的深度可分離條件卷積模塊相比傳統卷積利用動態的方式更好地覆蓋病害樣本之間的關系，克服了常規卷積只擁有局部感受野的缺陷。本研究將深度可分離卷積倒殘差結構中的第2個PW卷積替換為CondConv卷積形成PDC（PW-DW-CondConv）結構，改進后的深度可分離條件卷積模塊見圖10。改進后的MobileNet v3-Small結構見圖11。

3? 結果與分析

3.1? 試驗環境和參數設置

本研究使用的Python版本為3.6， 深度學習框

架為Pytorch1.10.2，CPU型號為12th Gen_Intel CoreTM i5-12500H，GPU型號為NVIDIA GeForce RTX 3050，操作系統為Windows11。

本試驗采用SGD優化器訓練所有模型，訓練輪數設置為100輪，批次大小為128，初始學習率設置為0.01，動量值設置為0.7，采用余弦退火學習率更新策略。

3.2? 評價指標

本研究采用Top-1準確率（Accuracy）、平均精確率（Precision）、平均召回率（Recall）、平均F1得分（F1）、模型參數量用于評估改進后的模型性能，以這些指標為基準，列出模型混淆矩陣，展示分類模型在不同類別上的預測結果。TP表示模型將正樣本預測為正樣本的數量，FP表示模型錯誤地將負樣本預測為正樣本的數量，TN表示模型將負樣本預測為負樣本的數量，FN表示模型錯誤地將正樣本預測為負樣本的數量。其中Top-1準確率表示模型正確預測的樣本比例，計算公式為Accuracy=TP+FNTP+TN+FP+FN；精確率表示預測為正例的樣本中被正確預測為正例的比例，計算公式為Precision=TPTP+FP，平均精確率是每個類別上精確率的平均值；召回率表示實際為正例的樣本中被正確預測為正例的比例，計算公式為Recall=TPTP+FN，平均召回率是每個類別上召回率的平均值；F1得分用于平衡精確率和召回率之間的權衡關系，計算公式為F1=2×precision×recallprecision+recall，平均F1得分是每個類別上F1得分的平均值。

3.3? 試驗結果

3.3.1? 基于改進MobileNet v3-Small的草莓病害識別

本研究模型是在MobileNet v3-Small的基礎上改進得到的，由圖12和圖13可知，在訓練輪數均為100輪的條件下，本研究改進后的模型在驗證集的準確率更高，可達到98.29%，相比于改進之前的95.06%提高了3.23百分點，訓練損失值由原來的0.005 8下降到0.000 9。由此可知，改進后模型的訓練曲線更加平穩，損失值下降更快。

3.3.2? 不同模型對識別效果的影響

為更好地驗證本研究模型的識別效果，本研究對比了包括傳統卷積神經網絡和輕量化網絡在內的各網絡模型，使得對比結果更具說服力。對比的模型有：MobileNet v3-Small模型、SqueezeNet1_1模型、ShuffleNet v2模型、ResNet18模型、AlexNet模型，對比結果見表3。

改進后的MobileNet v3-Small模型在Top-1準確率、平均精確率、平均召回率、平均F1得分4個評價指標上都達到了最優，Top-1準確率為98.62%，

平均精確率為98.16%，平均召回率為96.84%，平均F1得分為97.45%；與此同時參數量從1.53 M下降至1.49 M，各模型驗證集準確率見圖14。

3.3.3? 消融試驗

本研究針對草莓病害識別，在MobileNet v3-Small模型基礎上進行了3個方面的創新。為了驗證這3個創新點對模型整體性能的影響，在控制變量的前提條件下進行消融試驗，重新訓練模型并導入最優權重，消融試驗結果見表4，改進后模型的混淆矩陣見圖15。

從試驗結果可以看出，與原模型相比，在分別添加改進后Inception_A、ULSAM、CondConv替換PW后模型性能有所上升，當其中2個創新點一起作用時模型效果變得更好，但當3個創新點結合在一起作用時，模型的識別效果才能達到最好。

4? 結論

針對真實種植場景下草莓病害圖像背景復雜的情況，本研究提出了一種改進的MobileNet v3-Small輕量化模型，首先將改進后的多特征提取模塊Inception_A添加到MobileNet v3-Small主干網絡的第3個bneck后，能夠較好地提取草莓病害不同尺度的特征；其次，在網絡深層引入了ULSAM輕量級子注意力機制，能夠形成草莓病害更高層次的抽象表示；最后，本研究將深度可分離卷積中的第2個PW卷積替換為CondConv卷積形成PDC結構，克服了PW卷積只擁有局部感受野的缺陷，與此同時也降低了模型參數量。試驗結果表明，改進后的MobileNet v3-Small模型能更好地識別草莓各類病害，與原模型相比，Top-1準確率提高了3.71百分點，平均精確率提高了5.96百分點，平均召回率提高了6.43百分點，平均F1得分提高了6.23百分點，同時參數量減少了0.04 M。雖然改進后模型相比原模型總體性能得到了提升，但仍有一些需要提升的地方，如進一步優化模型減少參數量，改進主干網絡結構提升準確率等，以期更便捷高效地實現草莓病害檢測。

參考文獻：

［1］劉? 暢，王? 曉，李憲松，等. 我國草莓生產態勢及國內外比較分析［J］. 中國果樹，2023（7）：136-140.

［2］麻劍鈞，劉曉慈，金龍新，等. 基于機器視覺的農作物病害識別研究進展［J］. 湖南農業科學，2023（9）：97-100.

［3］Liu Z X，Du Z X，Peng Y，et al. Study on corn disease identification based on PCA and SVM［C］//2020 IEEE 4th Information Technology，Networking，Electronic and Automation Control Conference （ITNEC）.Chongqing：IEEE，2020：661-664.

［4］Chaudhary A，Kolhe S，Kamal R. An improved random forest classifier for multi-class classification［J］. Information Processing in Agriculture，2016，3（4）：215-222.

［5］張開興，呂高龍，賈? 浩，等. 基于圖像處理和BP神經網絡的玉米葉部病害識別［J］. 中國農機化學報，2019，40（8）：122-126.

［6］蘇仕芳，喬? 焰，饒? 元. 基于遷移學習的葡萄葉片病害識別及移動端應用［J］. 農業工程學報，2021，37（10）：127-134.

［7］何雨霜，王? 琢，王湘平，等. 深度學習在農作物病害圖像識別中的研究進展［J］. 中國農機化學報，2023，44（2）：148-155.

［8］姚建斌，張英娜，劉建華.基于卷積神經網絡和遷移學習的小麥病蟲害識別［J］. 華北水利水電大學學報（自然科學版），2022，43（2）：102-108.

［9］劉? 敏，周? 麗. 基于多尺度特征融合網絡的蘋果病害葉片檢測［J］. 中國農機化學報，2023，44（8）：184-190.

［10］陳偉文，鄺祝芳，王忠偉. 基于卷積神經網絡的種苗病害識別方法［J］. 中南林業科技大學學報，2022，42（7）：35-43.

［11］熊夢園，詹? 煒，桂連友，等. 基于ResNet模型的玉米葉片病害檢測與識別［J］. 江蘇農業科學，2023，51（8）：164-170.

［12］黃鋁文，鄭? 梁，黃? 煜，等. 基于多尺度卷積與通道域增強的草莓病害識別方法［J］. 江蘇農業科學，2023，51（10）：202-210.

［13］Yu H L，Cheng X H，Chen C C，et al. Apple leaf disease recognition method with improved residual network［J］. Multimedia Tools and Applications，2022，81（6）：7759-7782.

［14］Ma L，Guo X L，Zhao S K，et al. Algorithm of strawberry disease recognition based on deep convolutional neural network［J］. Complexity，2021，2021：6683255.

［15］Afzaal U，Bhattarai B，Pandeya Y R，et al. An instance segmentation model for strawberry diseases based on mask R-CNN［J］. Sensors，2021，21（19）：6565.

［16］Howard A，Sandler M，Chen B，et al. Searching for MobileNet v3［C］//2019 IEEE/CVF International Conference on Computer Vision （ICCV）.Seoul：IEEE，2019：1314-1324.

［17］Howard A G，Zhu M L，Chen B，et al. MobileNets：efficient convolutional neural networks for mobile vision applications［EB/OL］. （2017-04-17）［2023-09-10］.http：//arxiv.org/abs/1704.04861.pdf.

［18］Sandler M，Howard A，Zhu M L，et al. MobileNet v2：inverted residuals and linear bottlenecks［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City：IEEE，2018：4510-4520.

［19］Szegedy C，Liu W，Jia Y Q，et al. Going deeper with convolutions［C］//2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Boston：IEEE，2015：1-9.

［20］Szegedy C，Ioffe S，Vanhoucke V，et al. Inception-v4，inception-ResNet and the impact of residual connections on learning［C］. Proceedings of the? Thirty-First AAAI Conference on Artificial Intelligence.San Francisco：ACM，2017：4278-4284.

［21］He K M，Zhang X Y，Ren S Q，et al. Deep residual learning for image recognition［C］//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Las Vegas：IEEE，2016：770-778.

［22］皇甫曉瑛，錢惠敏，黃? 敏. 結合注意力機制的深度神經網絡綜述［J］. 計算機與現代化，2023（2）：40-49，57.

［23］Hu J，Shen L，Sun G. Squeeze-and-excitation networks［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City：IEEE，2018：7132-7141.

［24］Wang Q L，Wu B G，Zhu P F，et al. ECA-net：efficient channel attention for deep convolutional neural networks［C］//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.Seattle：IEEE，2020：11531-11539.

［25］Woo S，Park J，Lee J Y，et al. CBAM：convolutional block attention module［C］//European Conference on Computer Vision.Cham：Springer，2018：3-19.

［26］Saini R，Jha N K，Das B，et al. ULSAM：ultra-lightweight subspace attention module for compact convolutional neural networks［C］//2020 IEEE Winter Conference on Applications of Computer Vision （WACV）.Snowmass：IEEE，2020：1616-1625.

［27］Yang B，Bender G，Le Q V，et al. CondConv：conditionally parameterized convolutions for efficient inference［EB/OL］. （2019-04-10）［2023-09-11］. http：//arxiv.org/abs/1904.04971.pdf.