基于注意力與小平方核的ConvNeXt農業雜草識別方法

摘要：針對復雜自然環境下雜草識別準確率不高、泛化和擬合能力較差等問題，提出基于注意力與小平核的ConvNeXt雜草圖像識別方法。首先，在ConvNeXt模塊中加入GRN正則化策略，有效減少識別過程的過擬合風險，提高模型的泛化能力；其次，提出在所有Block中把7×7的深度可分離卷積分解為有4個平行分支的小平方核，提升對雜草圖像的特征提取能力；最后，在ConvNeXt結合上述方法下，引入SENet通道注意力模塊，進一步提高模型在通道方向的特征融合，強化雜草特征，構建出雜草識別模型。為驗證模型的識別性能，使用公開的9類雜草圖像樣本進行對比試驗，結果表明，與主流模型相比，模型在準確率、精確率、召回率、F1分數上均表現優異，分別達到96.172%、95.556%、96.478%、96.014%；消融試驗結果表明，與基準模型ConvNeXt相比，GRN、小平方核分別提高8.639%、5.691%，SENet在前二者基礎上提高了5.174百分點；可視化分析證明，引入的通道注意力能更好關注到雜草特征。該模型可提高雜草識別準確率和對真實環境的泛化能力，為精準防控雜草提供有效的解決方法。

關鍵詞：雜草識別；ConvNeXt；GRN正則化策略；小平方核；通道注意力

中圖分類號：S126；TP391.41" 文獻標志碼：A

文章編號：1002-1302（2024）14-0207-07

收稿日期：2023-08-17

基金項目：國家自然科學基金（編號：U1936123）。

作者簡介：楊德龍（1999—），男，河南信陽人，碩士研究生，主要從事深度學習、圖像識別研究。E-mail：delongyang@mail.shiep.edu.cn。

通信作者：李 婧，博士，副教授，主要從事深度學習、區塊鏈技術研究。E-mail：lijing@shiep.edu.cn。

世界人口快速增長，預計2050年將達到90億人，對糧食的需求量將大幅增加；發展精準農業對解決糧食增長至關重要［1］，有效防控雜草是其中關鍵措施之一。雜草通過爭奪資源、釋放化學物質而干擾作物生長，雜草的自動檢測和識別在雜草防控中具有重要作用［2］，其精準識別能有效防控雜草。

卷積神經網絡在圖像識別領域已取得不錯的成果，并被研究者引入雜草識別領域。趙輝等提出以農作物田間雜草為研究對象，以DenseNet-121網絡為基礎，在每個卷積層后引入通道注意力機制，強化雜草特征并抑制背景特征，然后加入dropout正則化，并且和VGG16、ResNet-50、未改進的DenseNet-121模型進行對比試驗［3］。疏雅麗等提出基于Resnet-50的網絡模型，改變殘差塊下采樣的位置，引入注意力機制，結合遷移學習，使雜草識別準確率達到96.31%［4］。曲福恒等為了提高作物雜草圖像識別的準確率，在Resnet-50網絡模型中提出在Retinex算法上加入顏色恢復函數，將殘差網絡中的激活函數換位Leaky ReLU，并引入CBAM注意力機制模塊，識別準確率達到95.3%，高于一些主流算法［5］。Olsen等提出的DeepWeeds數據集，為雜草物種貢獻了第1個大型、公共、多類圖像數據集，并用Inception-v3、ResNet50介紹該數據集分類性能的基線［6］。綜上所述，卷積神經網絡可以極好地解決圖像識別問題，在識別準確率上有較高的提升，但仍存在以下問題：（1）雜草分類的主要挑戰是雜草和作物可能具有非常相似的顏色或紋理，現有的深度學習分類模型難以準確提取特征，導致結果泛化能力不強；（2）因雜草圖像多樣且圖像像素占比高，在特征提取過程中，卷積神經網絡會提取大量無效的背景信息，導致過擬合。

針對上述問題，本研究提出改進的ConvNeXt農業雜草識別模型GSI_ConvNeXt［7］，通過加入GRN正則化策略［8］，提高模型的泛化能力，降低過擬合風險。將ConvNeXt Block中的深度可分離卷積分解為4個平行分支的小平方核，提高特征提取能力。同時加入SENet通道注意力機制［9］，進一步加強圖像特征之間的融合，從而實現對不同雜草的高效準確識別。

1 農業雜草識別模型

1.1 模型構建

針對雜草圖像識別準確率較低以及泛化能力弱等問題，在原有ConvNeXt網絡的基礎上，增加GRN正則化策略和通道注意力機制SEnet，并把7×7深度可分離卷積分解為小平方核，從而構建農業雜草識別網絡模型。具體來說，在ConvNeXt模塊中添加GRN正則化策略和SENet注意力模塊（圖1），同時把ConvNeXt網絡的Layer Scale的功能直接封裝到GRN里面，這樣在減少代碼冗余的同時，也不會降低網絡的精度。然后將每個模塊中第一部分 DWConv卷積分解成4個平行分支，分別為 DWConv、 DWConv、 DWConv、Identity。最后經過添加dropout、激活函數、全局平均池化等操作，可以精準實現雜草特征的提取。所構建的GSI_ConvNeXt網絡模型以不同種類的雜草圖像為研究對象，進行一系列試驗驗證，雜草分類準確度和泛化能力對比基準模型和現有主流的網絡相比都有一定的提升，證明本模型對雜草識別的有效性。

1.2 ConvNeXt模型

GSI_ConvNeXt是在基準模型ConvNeXt基礎上進行改進的。ConvNeXt網絡是由Facebook團隊于2022年提出的一種純卷積神經網絡架構模型，ConvNeXt的整體結構是基于ResNet結構進行設計的。如圖2所示，ConvNeXt模型輸入圖像的高、寬、深為H×W×C。首先通過1個普通卷積和層標準化，之后通過1次核心結構ConvNeXt模塊，再經過多次下采樣和ConvNeXt模塊（這一步是整個網絡的核心），最后對輸出的特征圖經過全局池化、層標準化以及全連接層輸出最終的結果。表1所展示的是ConvNeXt-Tiny各部分詳細參數。

1.3 全局響應歸一化

GSI_ConvNeXt加入響應歸一化層GRN，其目的是提高模型通道的對比度和選擇性，防止過擬合，提高模型的泛化能力。全局響應歸一化（global response normalization，GRN）是一種神經網絡的有效正則化方法，旨在緩解深度卷積神經網絡中的過擬合問題。它會對同一特征圖中的所有位置和通道同時進行歸一化，而不是針對單個位置或者通道進行歸一化處理。這種全局歸一化方法可以保證在輸入數據的范圍發生較大變化時，神經網絡的表現仍然穩定，應用在卷積神經網絡中時，可以大大減少過擬合現象的發生。

輸入時給定1個輸入特征X∈RH×W×C，在GRN中會經過3個步驟：

全局特征聚合，使用一個全局函數G（·）將一個空間特征圖Xi聚合成一個向量gx：

G（X）：=X∈RH×W×C→gx∈RC。（1）

公式（1）可以看作是一個簡單的池化層。其中，

G（X）=gx{‖X1‖，‖X2‖，…，‖XC‖}∈RC，是聚合第i個通道統計信息的標量。

特征歸一化，將一個響應歸一化函數N（·） 應用于聚合值。具體來說，使用一個標準的除法歸一化操作：

N（‖Xi‖）：‖Xi‖∈R→‖Xi‖∑j=1，2，3，…，C‖Xj‖∈R。（2）

式中：‖Xi‖表示第i通道的L2范數。

特征校準，使用計算得到的特征歸一化分數來校準原始輸入響應：

Xi=Xi×N［G（X）i］∈RH×W。（3）

1.4 IncepitonNeXt模塊

IncepitonNeXt是把基準模型ConvNeXt所有的 深度可分離卷積分解為有4個平行分支的小平方核［10］，分解后的卷積核可以更好地提取雜草圖像特征。在一些著名的神經網絡如AlexNet［11］、Inceptionv1［12］中，已經使用11×11、7×7的大卷積核，雖然可以明顯提高一些圖像的識別準確率，但是在一些數據集上的效果反而不好。為了改變這個缺陷，VGG提出大量的3×3卷積堆疊［13］，Inceptionv3將k×k卷積分解為1×k、k×1的序列疊加［14］。本研究使用的基準模型ConvNeXt默認采用7×7的卷積核。對于大卷積核而言，如MixConv將卷積核分成從3×3到k×k的幾個組，又受到ShuffleNet v2的啟發［15］，發現對部分通道進行處理時，單個深度可分卷積層已經足夠，因此本研究引入IncepitonNeXt模塊代替7×7的卷積核，將大的kh×kw卷積核分解為1×kw、kh×1 的卷積核。具體來說，IncepitonNeXt模塊會有以下3個步驟：

首先，將輸入的X沿著通道維度分為4組，即

Xhw，XW，Xh，Xid=Split（X）

=X：，：g，X：g，：2g，X：2，：3g，X：3g：。（4）

式中：g是卷積分支的通道數。可以設置比率rg來確定分支通道數，其中g=rgC 。

接下來，將分裂輸入饋送到不同的并行分支中：

Xhw′=DWConvg→gks×ksg（Xhw）；

Xw′=DWConvg→g1×kbg（Xw）；

Xh′=DWConvg→gkb×1g（Xh）；

Xid′=Xid。（5）

式中：ks表示小方形卷積核大小，默認設置為3；kb代表帶卷積核大小，默認設置為11。

最后，從每個分支把得到的各個輸出Concat起來：

X′=Concat（Xhw′，Xw′，Xh′，Xid′）。（6）

上述過程如圖3所示。

1.5 通道注意力

SENet是經典使用通道注意力機制的網絡，是2017屆ImageNet分類比賽的冠軍，它提出一種通道方向的注意力機制。通過在網絡模型中插入SE模塊，可以允許網絡執行特征再校準機制，從而學習使用全局信息有選擇地強調有信息量的特征，抑制不太有用的特征。簡單來說，就是評估各個特征通道的重要程度，再對不同的特征通道進行增強或者抑制。SE模塊主要是壓縮（squeeze）、激勵（excitation）這2個核心部分，其核心（SENet）結構如圖4所示。

SENet總體可以分為壓縮操作、激勵操作、Scale操作3個部分。

（1）壓縮操作。作用于1組通道數據，將它們進行壓縮，生成每個通道的全局特征表示。這樣，全局特征就可以表示為整個網絡提供通道響應的全局信息。

z=Fksq=1H×W∑Hi=1∑Wj=1vk（i，j） k=1，2，3，…，C。（7）

式中：z是指輸入特征執行壓縮操作后的結果；vk（i，j）為經過一系列卷積之后的特征層；C為v的通道數。

（2）激勵操作。對每個通道進行計算，以得到該通道的權重，用這個權重進行調制，使得網絡可以自適應地對不同通道信息進行加權，以提高網絡對于不同通道特征的敏感度。

s=Fex（z，W）=σ［g（z，W）］=σ［W2δ（W1z）］。（8）

式中：σ表示Sigmoid函數；δ表示ReLU激活函數；W1∈RCγ×C、W2∈RC×Cγ是2個全連接層的參數，γ用于減少全連接層的維度。

（3）Scale操作。Scale操作是在激勵操作的基礎上使用1個標量運算，對每個通道的特征進行縮放，以達到對不同通道特征值范圍的動態平衡。

X=Fscale=sk×vk。（9）

式中：Fscale表示標量sk和特征層vk的逐通道乘法。

1.6 數據來源

本研究所采用的數據是公開數據集DeepWeeds，該數據集是針對雜草自動識別和分類任務而建立的，包含17 509幅具有較高復雜度農業區域圖像，主要是原產于澳大利亞的9種不同雜草物種與鄰近植物群，包括中國蘋果、蛇麻草、香蒲、刺槐、暹羅草、苦參、橡膠藤、百日草、陰性草共9類農業雜草圖像，這些圖像類別大多都有相似的顏色、形狀、大小，其中極個別的雜草非常相似，使得準確識別難度加大。該數據集中每個圖像大小均為256×256，這可能會增加模型的計算量。圖5展示了該數據集的部分雜草樣本。

1.7 數據預處理

在深度學習圖像識別中，當數據集的數量較大并且各類別分配均勻的情況下，卷積神經網絡才能發揮出較好的特征提取能力。在DeepWeeds雜草數據集中，陰性草類的圖像有9 106幅，其余8類雜草每類樣本數量大約為1 000幅；對比其他8類樣本圖像數量，需要減少陰性草的比例，使其達到正常圖像識別范疇的類別比例。本研究采取隨機去除70%的陰性草樣本的做法，最終總樣本數量達到11 103幅圖像。然后將樣本隨機劃分為3個數據集，三者劃分的比例大約為訓練集 ∶驗證集 ∶測試集=3.74 ∶1 ∶1，訓練集為7 232幅，驗證集1 938幅，測試集1 933幅。DeepWeeds數據集圖像識別難度可歸結為顏色相同、光照反光、角度偏移、遮擋物遮擋，并且類別間差異較小。因此在試驗開始之前，要先對數據集預處理，例如本研究將圖像大小設置為224×224，進行中心裁剪、隨機水平翻轉、標準化等預處理。

2 試驗方法

2.1 試驗環境

本試驗于2023年5月在上海電力大學計算機科學與技術學院使用Autodl上的服務器運行，所有試驗均是在同一個服務器上開發。試驗使用Ubuntu 20.04，CPU型號為12 vCPU IntelXeon Platinum 8255C CPU @ 2.50 GHz，GPU型號為RTX 2080 Ti（顯存為11 GB），深度學習框架為PyTorch 1.11.0，Cuda版本為11.3。網絡試驗參數設置如下：優化器采用AdamW［16］，學習率調整使用余弦退火策略，在模型訓練初期使用Warm up預熱學習率的方式［17］，加速模型的收斂速度。模型的迭代次數為100，批次大小為16，初始學習率為0.000 5，采用權重衰減的方法抑制過擬合［18］，衰減系數設為0.02。損失函數采用交叉熵損失函數CrossEntropyLoss［19］。

2.2 評估指標

本研究選取準確率（accuracy，A）、召回率（recall，R）、精確率（precision，P）、F1分數（F1 scores）作為判斷模型好壞的評價方法。

準確率指分類正確樣本數與總樣本數的比例，其計算公式為：

A=TP+TNTP+TN+FP+FN。（10）

精確率指預測為正的樣本中是真正的正樣本的比例。其計算公式為：

P=TPTP+FP。（11）

召回率指樣本中的正例被預測正確的比例。其計算公式為：

R=TPTP+FN。（12）

F1分數指精準率和召回率的調和平均數。其計算公式為：

F1=2×P×RP+R。（13）

式中：TP（真陽性）表示將正例預測為正例的數量；FP（假陽性）表示將負例預測為正例的數量；FN（假陰性）表示將負例預測為負例的數量；TN（真陰性）表示將正例預測為負例的數量。一般而言，準確率、精確率、召回率、F1分數的值越高，模型的分類性能越好。

3 試驗結果分析

3.1 模型性能分析

本研究利用驗證集準確率、測試集準確率來評估GSI_ConvNeXt網絡分類模型的訓練效果。其中，驗證集是用于調整模型的超參數和進行模型選擇，驗證集的準確率高說明超參數的選擇比較優；而測試集用于評估真實世界數據的準確率和泛化能力，對模型進行客觀的、獨立的評估，最能說明模型的性能。

為了驗證本研究模型的有效性，在一定條件（數據集與處理方法相同）下迭代100次，在驗證集上分別與3種典型圖像識別網絡進行準確率和Loss曲線的對比，其結果如圖6所示。圖6-A為不同模型準確率對比，而圖6-B則為驗證集的損失值在不同模型中的對比。由圖6-A可知，本研究模型準確率最高，達到96.172%；ResNet50達到95.200%；而ShuffleNet v2、MoblieNet v2［20］接近90%。由圖6-B可知，本研究模型驗證集的Loss曲線比其他3個模型更加平滑，說明模型擬合得更好。因此，相比主流的經典模型，本研究構建的模型在驗證集上訓練得最好。

對于多分類而言，驗證集的準確率不能完全說明該模型在真實數據中擬合得好，還需要看測試集的準確率，也就是看該模型對真實數據的泛化能力。本研究模型采用準確率、精確率、召回率、F1分數來說明模型的性能。由表2可知，本研究模型在準確率、精確率、召回率、F1分數上的數值均為最高，識別準確率比Resnet50高約1.3百分點；本研究模型在測試集的準確率僅僅比驗證集的準確率低0.528百分點，說明本研究模型對數據的擬合能力好。

3.2 混淆矩陣

混淆矩陣在多分類任務中是最常見且最有效的評價指標，可以直觀地看到類別的誤識別情況。采用驗證集訓練好的權重對測試集的1 933幅圖像進行分類結果測試，9類雜草的混淆矩陣結果如圖7所示（顏色的深淺代表每個類別識別正確圖像數量）。由圖7可以看出，大部分雜草類別預測錯誤的圖像數量都比較少，其中，中國蘋果、蛇草這2個類別誤識別數量較多。中國蘋果有9幅圖像誤識別為陰性草，有6幅圖像誤識別為蛇草；蛇草有10幅圖像誤識別為中國蘋果。這是因為這2個類別圖像特征較為相似，造成這2類互識別錯誤相較于其他較多。

3.3 消融試驗

為了驗證本研究所提出的優化方法對基準模型性能的提高能力，在相同試驗條件下，使用ConvNeXt模型對測試集采用不同優化方法進行測試，其結果如表3所示。在基準模型上，添加GRN正則化策略方法，可以在準確率、精確率、召回率、F1分數這4項指標上都有大約8百分點左右的性能提升；而把7×7的深度可分卷積更改為4個平行分支的小平方核IncepitonNeXt，其結果在4個指標下也有5百分點的性能提升；在只加入SENet注意力機制的準確率也大概提升了0.5百分點。本研究所提出的GSI_ConvNeXt模型，取得了約13百分點的性能提升。從試驗結果上看，基準模型ConvNeXt準確率較低，其原因首先可能是Deepweeds數據集的特征與ConvNeXt模型所能捕捉的特征不匹配，模型可能無法準確地對其特征進行識別；把深度可分卷積更改為IncepitonNeXt，可更好地捕捉DeepWeeds數據集的特征。其次，單獨使用ConvNeXt模型很容易導致結果嚴重過擬合，需要加入GRN正則化策略，可以明顯提升模型精度。單獨加注意力機制效果提升甚微，但是在加入GRN正則化策略和IncepitonNeXt的基礎上再加入SEnet，經過不斷優化超參數，可以在前二者基礎上再提升5百分點的精度，使本研究模型在測試集上達到96.172%的識別準確率，結果明顯高于基準模型。因此，本研究所提出的改進ConvNeXt模型的方法對農業雜草的識別是有效的。

3.4 雜草圖像特征圖可視化

卷積神經網絡的特征可視化可以有效判別分類模型的效果。本研究利用Grad-CAM可視化雜草圖像的特征圖［21］，主要是將本研究所提出的網絡模型的最后一層特征層利用Grad-CAM進行可視化輸出，觀察雜草圖像中的有效區域，可以直觀看出模型能否正確提取雜草特征。如圖8所示，從上到下使用3種雜草圖像分別是中國蘋果、苦參、暹羅草。熱力圖展示的是基準模型和本研究模型之間特征圖的對比（圖中顏色越深，代表模型對于所在區域關注度越高，對識別結果的影響越大），可以明顯看出本研究提出的雜草識別模型正確關注到了圖像中的雜草特征，說明本研究添加的注意力機制可以有效增加模型對圖像特征提取能力。進一步看出，熱力圖主要以雜草的葉子及其顏色為感興趣區域，也從側面說明本研究模型對于雜草特征的提取效果較好。

4 結論

為了精準防控雜草，本研究提出GSI_ConvNeXt模型，在基準ConvNext基礎上，利用9類雜草圖像，加入GRN正則化策略和通道注意力模塊，把深度可分卷積分解成4個平行分支的小平方核，構建雜草識別模型，實現對農業雜草分類的高效準確識別，并得出以下結論：

（1）在ConvNeXt模塊中加入GRN正則化方法，降低模型過擬合；針對不同雜草圖像自身特點，加入通道注意力機制、更改深度可分卷積，提高礦物圖像特征融合的能力。

（2）與一些主流網絡模型相比，GSI_ConvNeXt對9類雜草圖像識別中訓練過程收斂更快，準確率、精度、召回率、F1分數4項數值均最佳。消融試驗進一步證明了模型的有效性。

（3）利用Grad-CAM方法，通過與基準模型的圖像特征圖的可視化結果進行對比，進一步證明本研究模型在雜草識別領域的有效性。

本研究成果對于農業雜草識別領域具有一定的借鑒意義。如何進一步提高雜草識別的準確率和泛化能力，以及如何將模型應用到實際場景中，仍然是重要的研究方向。

參考文獻：

［1］Tauber M，Gollan B，Schmittner C，et al. Passive precision farming reshapes the agricultural sector［J］. Computer，2023，56（1）：120-124.

［2］李東升，胡文澤，蘭玉彬，等. 深度學習在雜草識別領域的研究現狀與展望［J］. 中國農機化學報，2022，43（9）：137-144.

［3］趙 輝，曹宇航，岳有軍，等. 基于改進DenseNet的田間雜草識別［J］. 農業工程學報，2021，37（18）：136-142.

［4］疏雅麗，張國偉，王 博，等. 基于深層連接注意力機制的田間雜草識別方法［J］. 計算機工程與應用，2022，58（6）：271-277.

［5］曲福恒，李婉婷，楊 勇，等. 基于圖像增強和注意力機制的作物雜草識別［J］. 計算機工程與設計，2023，44（3）：815-821.

［6］Olsen A，Konovalov D A，Philippa B，et al. DeepWeeds：a multiclass weed species image dataset for deep learning［J］. Scientific Reports，2019，9：2058.

［7］Liu Z，Mao H Z，Wu C Y，et al. A ConvNet for the 2020s［C］//2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New Orleans：IEEE，2022：11966-11976.

［8］Woo S，Debnath S，Hu R H，et al. ConvNeXt v2：co-designing and scaling ConvNets with masked autoencoders［C］//2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Vancouver：IEEE，2023：16133-16142.

［9］Hu J，Shen L，Sun G. Squeeze-and-excitation networks［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City：IEEE，2018：7132-7141.

［10］Yu W H，Zhou P，Yan S C，et al. InceptionNeXt：when inception meets ConvNeXt［EB/OL］. ［2022-11-12］. http：//arxiv.org/abs/2303.16900.

［11］Alom M Z，Taha T M，Yakopcic C，et al. The history began from AlexNet：a comprehensive survey on deep learning approaches［EB/OL］. ［2022-11-12］. http：//arxiv.org/abs/1803.01164.

［12］Szegedy C，Vanhoucke V，Ioffe S，et al. Rethinking the inception architecture for computer vision［C］//2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas：IEEE，2016：2818-2826.

［13］Yu W，Yang K，Bai Y，et al. Visualizing and comparing AlexNet and VGG using deconvolutional layers［C］//Proceedings of the 33

rd International Conference on Machine Learning，2016.

［14］Xia X L，Xu C，Nan B. Inception-v3 for flower classification［C］//2017 2nd International Conference on Image，Vision and Computing. Chengdu：IEEE，2017：783-787.

［15］Ma N N，Zhang X Y，Zheng H T，et al. ShuffleNet v2：practical guidelines for efficient CNN architecture design［C］//Computer Vision -ECCV 2018 of Munich：ACM，2018：122-138.

［16］Loshchilov I，Hutter F. Decoupled weight decay regularization［EB/OL］. ［2022-11-12］. http：//arxiv.org/abs/1711.05101.

［17］You Y，Gitman I，Ginsburg B. Large batch training of convolutional networks［EB/OL］. ［2022-11-12］. http：//arxiv.org/abs/1708.03888.

［18］李文舉，蘇 攀，崔 柳. 基于隨機擾動的過擬合抑制算法［J］. 計算機仿真，2022，39（5）：134-138.

［19］Ho Y，Wookey S.The real-world-weight cross-entropy loss function：modeling the costs of mislabeling［J］. IEEE Access，2020，8：4806-4813.

［20］王改華，翟乾宇，曹清程，等. 基于MoblieNet v2的圖像語義分割網絡［J］. 陜西科技大學學報，2022，40（1）：174-181.

［21］朱炳宇，劉 朕，張景祥.融合Grad-CAM和卷積神經網絡的COVID-19檢測算法［J］. 計算機科學與探索，2022，16（9）：2108-2120.