卷積協同注意力模型下的作物幼苗與雜草識別

摘要：在農作物的雜草防治中，部分雜草與作物幼苗的形態相似且顏色相近，導致雜草不易被快速準確識別。針對田間作物幼苗與雜草識別精度不高的問題，提出了一種卷積協同注意力模型（CCA-ViT）。該模型以視覺Transformer模型為基礎，采用跨尺度金字塔架構，加強圖像淺層信息與深層語義的交互。為提高相似作物與雜草的特征判別能力，在特征提取網絡中構建了卷積協同注意力機制，優先關注葉片的紋理和邊緣細小特征，獲取局部信息注意力權重后協同全局特征進行建模。并在全局建模前引入可移動位置編碼捕獲感受野的同時降低模型的復雜度。將該模型用于識別小麥、玉米等6種作物幼苗與雀麥、豬殃殃等6種雜草上，識別準確率比同類規模的視覺Transformer模型提高了1.91百分點，達到了97.81%。同時該模型用于田間小麥和玉米幼苗的實際預測準確率也能達到80%以上。體現出該模型可用于復雜背景下具有紋理細小特征的作物幼苗與雜草的識別，能夠對形態相似、顏色相近的作物幼苗與雜草進行有效區分。

關鍵詞：作物幼苗與雜草識別；跨尺度金字塔架構；卷積協同注意力機制；可移動位置編碼；Transformer模型

中圖分類號：S126；TP391.41" 文獻標志碼：A

文章編號：1002-1302（2024）13-0188-09

在農作物生長過程中，田間雜草會與作物幼苗爭奪養分，影響作物進行光合作用［1］。同時，由于雜草繁殖速度快，若不及時發現并處理，會使幼苗出現生長緩慢和病蟲害等問題，進而導致農作物的質量降低和產量減少。目前，解決上述問題的常用方法是使用化學農藥進行人工除草［2］。但因雜草的種類繁多且與部分農作物幼苗形態相似，單靠肉眼無法快速精確地識別，只能大面積噴灑化學農藥，但這樣更會危害周圍的生態環境和影響人體健康［3-4］。因此，自動化識別雜草并對其精準噴施作業成為研究的熱點。

隨著計算機技術的快速發展，許多學者將深度學習應用在識別作物和雜草上［5-8］。王麗君等基于支持向量機（SVM）原理，提取葉片圖像的顏色、形狀和紋理特征對作物種類進行識別［9］。劉彩玲于2016年構建了交織PCANet卷積神經網絡模型［10］，使用主成分分析法對網絡各層權值進行初始化后通過減小圖像分片向量構成的矩陣重構誤差來訓練權值，并在網絡低層對特征進行組合后稀疏連接至高層以提取圖像的整體性特征來對雜草進行了識別。李彧等使用全卷積神經網絡（FCN）對玉米田間雜草進行識別分割［11］。但受卷積神經網絡（convolutional neural network，CNN）提取較小感受野的限制，這些方法的識別準確率還有較大的提升空間。為了緩解上述卷積帶來的局限性，2020年Google團隊嘗試將Transformer應用到計算機視覺領域，提出了Vision Transformer（ViT）［12］。它不使用傳統的CNN，而是使用自注意力機制（self-attention）來實現特征提取。由于自注意力機制較卷積網絡來說可以獲得更大范圍的感受野，ViT在大型目標圖像上的表現超過了當時性能最佳的卷積神經網絡，許多研究開始著重對ViT進行改進使其更適用于各種應用［13-16］。魯浪使用基于視覺Transformer的遷移學習方法對柑橘進行分類［17］，提高了分類的準確率。徐勵興利用具有注意力機制的Transformer編碼器關注時序間數據特征的關系程度對玉米作物進行有效識別［18］。

上述研究表明，相較于傳統的卷積神經網絡而言，視覺Transformer模型在農作物的識別研究上取得了更好的研究進展，但依然沒有解決對形態相似、顏色相近的田間作物識別效果不佳的問題。針對上述問題，本研究提出了一種卷積協同注意力模型CCA-ViT。該模型首先采用跨尺度金字塔架構，對輸入圖像信息進行動態迭代，捕捉圖片像素位置信息的同時減少序列長度。針對部分作物幼苗葉片與雜草葉片形狀相似但紋理細節不同的特點，本研究在特征提取網絡中構造了卷積協同注意力機制（ConvCo-attention），優先關注輸入信息中難以被注意到的局部和邊緣紋理細小特征，再將局部信息整合后進行全局特征建模，用以捕獲圖片整體信息。這樣可以在減少模型復雜度的同時，對作物幼苗葉片形態紋理和雜草進行更精確的識別和區分。本研究使用該模型對12種作物幼苗與雜草進行識別，驗證該模型的有效性。

1 材料與方法

1.1 數據來源

本研究所用的作物幼苗與雜草的數據集來源于Kaggle平臺上的Plant Seedlings Classification開源競賽數據庫，該數據庫包含多種農作物幼苗與雜草的數據集。本研究從中選取了小麥、玉米、淡甘菊、薺菜、天竺葵、甜菜這6種作物幼苗和黑色沿階草、野芥、豬殃殃、繁縷、藜、雀麥這6種雜草共5 515張圖片進行訓練并測試模型，樣本信息如圖1所示。根據訓練要求，將圖片大小統一調整為224像素×224像素后，按照訓練集與驗證集4 ∶1 的比例將數據集隨機劃分，其中，訓練集用于模型的訓練，驗證集用于對模型的性能評估。劃分后的訓練集有 4 417 張，驗證集有1 098張。

1.2 傳統的視覺Transformer模型

視覺Transformer模型（ViT）是一種基于Transformer架構的計算機視覺模型，它使用自注意力機制來實現特征提取。圖2所示為ViT模型的簡要結構。對于一幅RGB圖像，ViT首先將該圖像矩陣劃分成一組大小相同的塊，對每個圖像塊應用線性投影，將圖像塊的像素值轉換為一個可學習的向量表示。然后將這些向量和一組位置編碼一同輸入到由多個Transformer模塊堆疊組成的Transformer編碼器中，每個模塊包括一個多頭自注意力機制（multi-head self-attention）和一個前饋神經網絡（feed forward network，FFN）。這些模塊同時對小塊向量進行特征提取和組合，如式（1）所示，并生成一個代表整個圖像的特征向量。最后，該特征向量被輸入到一個全連接層中，通過softmax函數將其映射到不同的類別上。

Atention（Q，K，V）=softmaxQKTdkV。（1）

式中：Q、K、V分別表示Query、Key、Value。V表示輸入特征的向量，Q和K是計算權重的特征向量。對當前的Query和所有的Key計算相似度，將這個相似度值通過Softmax層得到一組權重，根據這組權重與對應Value的乘積求和得到Attention下的Value值。dk是防止內積過大導致梯度不穩定的縮放系數。

ViT模型的特征提取過程依賴于自注意力機制，這種機制能夠學習到輸入序列中各個位置之間的依賴關系，從而能夠在不考慮輸入序列順序的情況下進行特征提取。這種方法使得模型能夠對全局特征進行建模。但這同樣也帶來了計算量大和缺乏局部表示能力的問題［19］。這一限制使視覺Transformer模型難以在細小特征識別方面發揮潛力，在作物精準識別領域上，盡管Transformer的識別準確率有所提升，但仍難以區分部分形態相似顏色相近的作物幼苗與雜草。

1.3 卷積協同注意力模型（CCA-ViT）

針對視覺Transformer模型存在的問題，本研究提出的CCA-ViT模型整體結構如圖3所示，將ViT的柱狀結構改為跨尺度金字塔架構。在每一層中都先對圖像Token塊進行空間下采樣，然后輸入到特征提取網絡中進行特征提取，提取到的特征信息被重塑為二維映射后再作為下一層的輸入。特征提取網絡采用卷積協同注意力機制，通過多頭卷積對圖像局部信息產生注意力權重后［20］，協同改進的自注意力機制進行全局特征建模，這樣在進行全局信息提取之前，就能將注意力集中在圖像的局部和邊緣細節上。最后，在金字塔頂端的分類Token輸出上使用MLP（全連接層）來預測類別。下面將分別介紹跨尺度金字塔架構、卷積協同注意力機制和可移動位置編碼的內容。

1.3.1 跨尺度金字塔架構

由圖4可知，ViT為了滿足序列輸入將圖像分割為固定大小的圖像塊，使得其后續只能輸出單一尺度的特征圖，無法注意到不同尺度范圍的特征信息。為彌補這一不足，本研究采用了跨尺度金字塔架構將輸入圖像淺層淺語義特征與深層強語義特征建模，通過3個不同尺度的卷積操作來逐層降低特征圖的尺寸，靈活捕捉像素之間的位置關系。具體操作如下：

給定上一層xi-1∈RHi-1×Wi-1×Ci-1的二維圖像（或二維重塑的輸出Token）作為第i層的輸入，經過二維卷積運算后新Token映射xi∈RHi×Wi×Ci的高度和寬度如式（2）所示。

Hi=Hi-1+2p-ks+1」，Wi=Wi-1+2p-ks+1」。（2）

再將xi平鋪為HiWi×Ci大小，并通過層歸一化操作輸入到第i層的特征提取網絡中。第1層采用7×7的卷積核減少特征圖尺寸，使得第一次經過特征提取網絡后重塑為token的數量減少。第2層和第3層都采用3×3大小的卷積核，對上一層輸出的圖像信息進一步提煉細節特征。跨尺度金字塔架構不僅可以使模型捕獲位置信息，還可以逐步減少序列長度和增加特征維度，實現空間下采樣和豐富的表達能力。

1.3.2 卷積協同注意力機制

識別特征對于分類識別任務至關重要，尤其在對作物幼苗與雜草進行識別時，部分幼苗與雜草的葉片形狀和顏色極其相近，使得分類網絡對目標特征難以提取與區分。盡管自注意力機制能夠捕獲長距離依賴關系，但其往往會忽略局部信息中的重要細節，尤其是當這些信息與全局背景相矛盾時。這種局限性阻礙了根據葉片的細節紋理特征來正確識別作物和雜草。針對這一問題，本研究提出一種卷積協同注意力機制，將卷積局部處理的良好性能加入到特征提取中［21］，有效解決了精細紋理特征的識別需求。

圖5為卷積協同注意力機制中使用多頭卷積獲取局部注意力權重的過程。多頭卷積由分組卷積和逐點卷積組成，通過多頭卷積將輸入特征信息在通道維度上劃分為多頭形式從多個并行表示子空間捕獲信息，在不同位置共同關注來自不同表征子空間的信息，以實現有效的局部表征學習。采用高效的BatchNorm （BN）和ReLU激活函數，進一步加快推理速度。具體公式如下所示。

MHConv（z）=Concat［Conv1（z1），Conv2（z2），…，Convh（zh）］WO。（3）

式中：h表示將輸入特征信息劃分為h個并行表示子空間；WO表示促進頭部之間信息交互的可訓練參數；Conv表示多頭卷積的單頭形式，定義如下。

Conv（z）=W·（Tm，Tn）。（4）

式中：Tm和Tn是輸入特征z中的相鄰Token。將可訓練參數W與輸入token T{m，n}進行內積運算，通過迭代優化可訓練參數W來學習局部接受域中不同Token之間的親和性。

研究表明，Transformer在計算機視覺領域顯示出巨大的潛力，原因不僅是其具有基于自注意力的Token mixer模塊，同時還歸功于MetaFormer的范式結構［22］。圖6所示為范式結構的相關應用，PoolFormer根據MetaFormer所提出的通用架構，使用簡單的pool（池化）操作代替了自注意力，達到了較好的效果。因此，本研究將多頭卷積應用到通用的范式架構中，多頭卷積學習到細節表征后通過MLP模塊中的全連接層來對特征向量進行變換和映射，使得不同維度的信息能夠相互作用和融合，進而協同自注意力對葉片特征進行識別。

1.3.3 可移動位置編碼

為了更好地服務于實際環境中的作物幼苗，避免局部特征產生的豐富細節注意力在線性投影過程中被壓縮或混合，降低模型對局部信息的感知能力。本研究使用深度可分離卷積（depthwise separable convolution）代替ViT的線性投影來捕獲感受野及其附近相鄰空間的位置信息［23］，同時作為可移動位置編碼將輸入信息送入Transformer模塊對全局信息進行建模，圖7為可移動位置編碼的結構。ViT的線性投影依賴于圖像塊的像素值和大小，當分辨率較高或者圖像塊較大時，線性投影所轉換后的低維特征向量的參數量就會顯著增加，使訓練和推理過程更加耗時，同時轉換后的向量需要額外加入一個位置編碼獲取位置信息，所以需要既能捕獲位置信息又不顯著增加參數量的結構來代替。深度可分離卷積可分為逐通道卷積（depthwise convolution）和逐點卷積（pointwise convolution）2個步驟，逐通道卷積僅在通道維度上進行卷積操作，用以捕捉通道間的特征關系，而逐點卷積則在每個通道上應用逐點乘積操作，可以保持特征圖的空間分辨率，提取局部特征。這種組合有效擴大了感受野，增強模型對圖像中不同尺度和空間位置的特征感知能力，幫助模型更好地捕捉圖像中的細節和上下文信息，同時大幅減少了模型的參數量。

2 結果與分析

2.1 評價指標

本研究選取了圖像識別中常用的評估指標對模型進行評估，包括識別準確率（Top1-Acc）、參數量、每秒幀數（frames per second，FPS）以及浮點運算數（floating-point operations per second，FLOPs）。同時使用混淆矩陣和熱力圖深入了解模型的表現效果。

識別準確率是指分類正確的樣本數量與總樣本數量的比例，其計算公式表示為

Acciracy=TP+FNTP+TN+FP+FN。（5）

式中：TP（true positives）預測為正樣本，實際為正樣本的數量；

FP（1 positives）預測為正樣本，實際為負樣本的數量；

FN（1 negatives）預測為負樣本，實際為正樣本的數量；

TN（true negatives）預測為負樣本，實際為負樣本的數量。

每秒幀數（FPS）為評估模型的識別速度指標，表示模型在識別中每秒可以處理的圖片數量，FPS越大，模型的識別速度就越快，其計算公式表示為

FPS=1T。（6）

式中：T是指對單張圖像進行識別所花費的平均時間。

參數量是指模型中需要學習的參數總數，參數量越大，所需計算量越大。浮點運算數是指模型執行的浮點運算的總數，用于衡量模型的計算復雜度，浮點運算數越多，計算成本越高。

2.2 試驗環境與配置

本試驗使用Pytorch 1.11.0框架，Win 10操作系統，Python 3.7 版本，處理器為 4.0 GHz 的 Intel Core i5-12400F，GPU 為 NVIDIA GeForce RTX 3060。在試驗過程中，根據顯卡性能和訓練效果，將批量大小（batch size）設置為8，使用批量歸一化（Batch Normalization，BN）來加快模型的收斂速度。參數優化器采用AdamW［24］，初始學習率設置為0.02，迭代次數（epoch）設置為300次。此次試驗于2023年6月6日在武漢輕工大學數學與計算機學院東八402實驗室完成。

2.3 試驗結果與分析

為驗證本研究提出的CCA-ViT模型對于相似作物幼苗與雜草的識別效果，使用“1.1”節中的數據集進行消融試驗和對比試驗，并使用評估指標來驗證模型的有效性。

2.3.1 損失分析

損失值是衡量模型預測值與實際值之間的差距或錯誤程度的指標，損失值越低代表差距越小，識別效果越好。圖8為本研究模型訓練集和驗證集的損失變化曲線。可以看出，在25個迭代之前訓練集和驗證集的損失驟降，后續迭代開始逐漸趨于平穩，在200個迭代之后，訓練集損失值穩定在0.25左右，驗證集損失值穩定在0.3左右，說明模型訓練結果較為理想。

2.3.2 消融試驗

表1展示了CCA-ViT采用卷積協同注意力機制對目標特征提取的性能效果。當使用普通自注意力機制進行特征提取時，模型的參數量為20.0 M，準確率為96.57%，改進為卷積協同注意力機制后，模型的參數量增加了1.5 M，而準確率提升了1.24百分點。這驗證了卷積協同注意力機制對模型局部信息提取的有效性，可以在不增加過多參數量的同時，提升模型分類的準確度。

表2展示了CCA-ViT分別使用原始線性投影與位置編碼以及使用本研究提出的可移動位置編碼的不同性能比較。相較于改進前的ViT，使用可移動位置編碼后，參數量上升了0.1 M，FLOPs下降了0.11 G，準確率提升了1.0百分點。這是因為ViT使用一個可訓練的線性層將圖像塊的像素值轉換為可學習的向量表示，再與位置編碼一同送入Transformer Block中。這種做法沒有增加參數量，卻因為輸入圖像塊的大小影響到轉換后的序列長度，從而增加了計算成本。而可移動位置編碼擁有卷積獲取局部感受野的空間信息能力和參數量較小的優點，使得CCA-ViT在略微增加參數量的基礎上提升了識別準確率。

2.3.3 不同模型之間的性能比較

本研究將 CCA-ViT 與目前性能較好、參數量相近的卷積神經網絡和Transformer模型進行對比試驗。由表3可知，在卷積神經網絡模型中，雖然MobileNet的參數量和計算量是所有對比模型中最小的［25］，但對于識別相似程度較高的作物幼苗與雜草，其準確率僅為86.10%和86.48%，遠遠低于其他模型。而ResNet-50和ConvNeXt-T的準確率分別比 CCA-ViT 模型低1.53百分點和1.45百分點［26］，參數量也分別多3.5 M和7.5 M。

對于Transformer模型和卷積與Transformer結合的模型，在參數量相近的情況下，CCA-ViT的準確率分別比Swin-T、CvT-13和MobileViTv2-2.0高出2.56、1.31、1.1百分點。本研究還與ViT的2種變體進行了對比試驗，ViT-L在參數量大且計算復雜度高的同時，對于小目標作物幼苗與雜草的識別準確度比較低，ViT-B在 ViT-L 的基礎上減少了參數量和FLOPs，識別準確率相較于ViT-L增加了3.46百分點，但相較 CCA-ViT 還是下降了1.91百分點。這是因為ViT過于依賴數據本身，需要在數據量龐大的數據集上進行訓練，同時還需要對數據進行數據增強才能增加識別精度。圖9直觀地可視化了除MobileNet和ViT之外的其他試驗結果。上述對比結果表明，CCA-ViT針對Transformer模型對目標局部紋理細小特征識別不佳的問題在識別相似程度較高的小目標作物幼苗與雜草上是有效的。

2.3.4 可視化評估模型

熱力圖是一種通過對色塊著色來統計數據的圖表，用來顯示輸入圖像中哪個部分對圖像最終的分類判斷起到了作用。圖10顯示了CCA-ViT模型針對12種作物幼苗與雜草的可視化熱力圖，可以看出，模型較為準確地關注到了每一類目標的形態特征，甚至對形狀纖細不易被發現的雀麥和黑色沿階草也能較為完整地提取到特征信息。

此外，圖11提供了CCA-ViT模型的混淆矩陣圖，顯示了模型針對每一類目標的識別準確度和錯分率，可以看出，對于雀麥和黑色沿階草的錯分率較其他10種目標稍高。這是由于雀麥和黑色沿階草過于相似，以至于識別難度較大。以上試驗結果表明，CCA-ViT在作物幼苗與雜草識別中表現較好，能夠通過提取紋理細小特征來有效識別形態相似顏色相近的作物與雜草，進而提升模型的識別性能。

2.4 模型實際效果預測

為驗證本研究提出的CCA-ViT模型對實際田間作物幼苗的預測效果，分別于2022年11月8日和2023年4月7日從田間拍攝光照和霜降下的小麥幼苗各70張、光照和黑暗下的玉米幼苗各65張共270張作為測試圖片。 圖12為采集的部分效果圖，其中黑暗下玉米幼苗識別準確率為65.18%，效果不佳的原因可能是照片為夜晚拍攝，光線較暗導致紋理特征和邊緣信息采集較不清晰。霜降下的小麥幼苗被錯誤識別成了黑色沿階草，可能是由于霜降覆蓋在葉片表面導致小麥幼苗葉片輪廓和表面紋理特征模糊，從而被識別成了形狀相似的黑色沿階草。相反，光照下小麥和玉米的測試準確率較高，分別為96.6%和80.7%。 由上述可知，CCA-ViT可以被用于識別真實田間環境的作物幼苗與雜草。

3 結論

本研究提出了一種CCA-ViT模型用于實際田間的作物幼苗與雜草識別，該模型針對部分作物與雜草形態相似顏色相近而導致識別難度大的問題，不僅可以跨尺度捕捉作物圖像的位置信息，還能夠重點關注局部和邊緣紋理細小特征，有效提升了對實際田間作物與雜草的識別準確率。

為了提高相似作物與雜草的特征判別能力，本研究模型采用了跨尺度金字塔架構，有效地捕獲像素位置信息。在特征提取網絡中構建了卷積協同注意力機制，加強了局部細小特征的關注度。同時，將原有位置編碼改為可移動的位置編碼，大幅降低了模型的參數量。模型在識別12種作物幼苗與雜草的準確率上較同類規模的視覺Transformer模型提高了1.91百分點。

本研究還將模型用于實際田間小麥和玉米幼苗的識別預測，小麥和玉米幼苗的識別準確率分別為96.6%和80.7%，表明該模型擁有著較強的魯棒性和泛化性，能夠對形態相似、顏色相近的作物幼苗與雜草進行有效區分。在接下來的研究中，如何提高惡劣環境下作物幼苗與雜草的識別精度是需要挑戰的難點。

參考文獻：

［1］孫 俊，何小飛，譚文軍，等. 空洞卷積結合全局池化的卷積神經網絡識別作物幼苗與雜草［J］. 農業工程學報，2018，34（11）：159-165.

［2］謝志堅，李海藍，徐昌旭，等. 兩種除草劑的土壤生態效應及其對后茬作物生長的影響［J］. 土壤學報，2014，51（4）：880-887.

［3］齊 月，李俊生，閆 冰，等. 化學除草劑對農田生態系統野生植物多樣性的影響［J］. 生物多樣性，2016，24（2）：228-236.

［4］李志臣. 基于機器視覺的雜草對準噴藥控制系統研究［D］. 南京：南京農業大學，2007.

［5］李東升，胡文澤，蘭玉彬，等. 深度學習在雜草識別領域的研究現狀與展望［J］. 中國農機化學報，2022，43（9）：137-144.

［6］王 璨，武新慧，張燕青，等. 基于雙注意力語義分割網絡的田間苗期玉米識別與分割［J］. 農業工程學報，2021，37（9）：211-221.

［7］樊湘鵬，周建平，許 燕，等. 基于優化Faster R-CNN的棉花苗期雜草識別與定位［J］. 農業機械學報，2021，52（5）：26-34.

［8］許 燕，溫德圣，周建平，等. 基于Faster R-CNN的新疆棉花幼苗與雜草識別方法［J］. 排灌機械工程學報，2021，39（6）：602-607.

［9］王麗君，淮永建，彭月橙. 基于葉片圖像多特征融合的觀葉植物種類識別［J］. 北京林業大學學報，2015，37（1）：55-61.

［10］劉彩玲. 基于交織PCANet的雜草種子識別方法研究［D］. 楊凌：西北農林科技大學，2016.

［11］李 彧，余心杰，郭俊先. 基于全卷積神經網絡方法的玉米田間雜草識別［J］. 江蘇農業科學，2022，50（6）：93-100.

［12］Dosovitskiy A，Beyer L，Kolesnikov A，et al. An image is worth 16×16 words：transformers for image recognition at scale［EB/OL］. （2020-11-29）［2022-06-23］. http：//arxiv.org/abs/2010.11929.

［13］Touvron H，Cord M，Douze M，et al. Training data-efficient image transformers amp; distillation through attention［C］//International conference on machine learning. PMLR，2021：10347-10357.

［14］Liu Z，Lin Y T，Cao Y，et al. Swin Transformer：hierarchical Vision Transformer using Shifted Windows［C］//2021 IEEE/CVF International Conference on Computer Vision （ICCV）. Montreal，QC，Canada.IEEE，2021：9992-10002.

［15］Yuan L，Chen Y P，Wang T，et al. Tokens-to-token ViT：training vision transformers from scratch on ImageNet［C］//2021 IEEE/CVF International Conference on Computer Vision （ICCV）. Montreal，QC，Canada.IEEE，2021：538-547.

［16］Wang W H，Xie E Z，Li X，et al. Pyramid vision transformer：a versatile backbone for dense prediction without convolutions［C］//2021 IEEE/CVF International Conference on Computer Vision （ICCV）. Montreal，QC，Canada.IEEE，2021：548-558.

［17］魯 浪. 基于視覺Transformer的柑橘分類檢測系統［D］. 重慶：重慶三峽學院，2023.

［18］徐勵興. 基于深度學習的內蒙古沿黃平原區玉米作物識別方法研究［D］. 呼和浩特：內蒙古農業大學，2022.

［19］Li K C，Wang Y L，Zhang J H，et al. UniFormer：unifying convolution and self-attention for visual recognition［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence，2023，45（10）：12581-12600.

［20］Li J S，Xia X，Li W，et al. Next-ViT：next generation vision transformer for efficient deployment in realistic industrial scenarios［EB/OL］. （2022-07-01）［2023-9-1］. http：//arxiv.org/abs/2207.05501.

［21］He K M，Zhang X Y，Ren S Q，et al. Deep residual learning for image recognition［C］//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Las Vegas，NV，USA.IEEE，2016：770-778.

［22］Yu W，Luo M，Zhou P，et al. Metaformer is actually what you need for vision［C］//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2022：10819-10829.

［23］Chollet F X，editor X. Deep learning with depthwise separable convolutions［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 1251-1258.

［24］Loshchilov I，Hutter F. Decoupled weight decay regularization［EB/OL］. （2017-11-14）［2023-10-09］. http：//arxiv.org/abs/1711.05101.

［25］Howard A G，Zhu M L，Chen B，et al. MobileNets：efficient convolutional neural networks for mobile vision applications［EB/OL］. （2017-04-17）［2023-10-09］. https：//arxiv.org/abs/1704.04861v1.

［26］Liu Z，Mao H Z，Wu C Y，et al. A ConvNet for the 2020s［C］//2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.New Orleans，LA，USA.IEEE，2022：11966-11976.