融合強化注意力機制的農田雜草識別方法

惠巧娟 馬偉 邊超

摘要：針對農作物與雜草交叉生長，導致雜草等目標難以識別的問題，提出一種融合強化注意力機制的農田雜草識別方法。首先，利用主干網絡進行特征提取，并在此基礎上提出一種強化注意力模塊，從水平和垂直等兩個維度細粒度進行位置特征編碼，通過計算原始主干網絡提取的特征與位置編碼之間的偏移量，強化目標物體的定位與識別；然后，在單層注意力機制的基礎上，引入上下文關系鏈條，進一步強化模型的泛化性能，最后，結合遷移學習的訓練方式緩解小樣本數據集極易造成過擬合的問題。通過測試單一目標物體和交叉生長的多目標物體在晴天、雨天和陰天等多場景環境下的識別性能，結果表明，本文方法分別可以實現單一目標物體和交叉生長的多目標物體92.84%和90.01%的平均識別準確率。

關鍵詞：農田雜草；注意力機制；強化注意力；位置特征編碼；遷移學習

中圖分類號：S451： TP391

文獻標識碼：A

文章編號：2095-5553 （2023） 04-0195-07

Abstract： Aiming at the problem that it is difficult to recognize weeds and other targets due to the cross growth between crops and weeds， an agricultural weeds recognition method based on enhanced attention mechanism is proposed. Firstly， the backbone network is used to extract the deep feature of the input images， and on this basis， an enhanced attention module is proposed， which is used to encode the position feature from the horizontal and vertical dimensions， and then strengthening the position and recognition of the target object by calculating the offset between the feature extracted from the original backbone network and the position encode. Then， the single-layer based on attention mechanism， the context chain is introduced to further strengthen the generalization performance of the model. Finally， the training method combined with the transfer learning can alleviate the problem of the over fitting caused by small sample data sets. By testing the recognition performance of the single target object and cross growing multi-target objects in multi scene environments such as sunny， rainy and cloudy days， the results show that the proposed method can achieve the average recognition accuracy of 92.84% and 90.01% for the single target object and cross growing multi-target objects respectively.

Keywords： agricultural weeds; attention mechanism; strengthen attention; position feature encode; transfer learning

0 引言

根除雜草是農業生產過程中重要的業務之一，田間雜草作為病蟲害的棲息地，具有極強的生命力，通過不受控制的生長與農作物競爭生長空間和營養成分等資源，給農作物的產量和質量造成嚴重的影響。據統計，雜草造成糧食產量損失高達年均總產量的10%，約8億人一年的口糧［1］。雜草根除主要包括機械除草和化學除草等兩大類，機械除草成本高，且容易造成農作物的損傷；化學除草雖可以大面積根除，但極易造成環境和水資源等的污染。因此，如何利用綠色手段高效的根除農田雜草，對于保證農作物產量和質量具有重要的意義。

近年來，隨著深度學習在眾多領域的廣泛應用，利用深度學習技術［2-5］來提高農業生產產量和質量成為農業領域的熱點研究課題之一。其中，在傳統機器學習方法中，基于Yolov3、Faster R-CNN和SSD等算法根除雜草的應用最為廣泛［6-8］，如樊湘鵬等［9］提出了一種基于Faster R-CNN的棉花地雜草識別與定位算法，通過優化傳統Faster R-CNN并結合VGG和ResNet等作為主干網絡，進行棉花天地間的雜草識別與定位。劉莫塵等［10］提出了一種融合MSRCR和YOLOv4-tiny的田間玉米雜草檢測算法，通過利用MSRCR算法進行圖像特征的預處理，并利用YOLOv4進行目標框的聚類與通道剪紙。李開敬等［11］針對雜草種類多導致檢測識別率低等原因，提出了一種基于Faster R-CNN和數據增強的草識別算法，通過采用ResNet作為主干網絡分別對不同天氣下的多種雜草進行定位。然而，該類方法主要借助VGG和ResNet等深度卷積進行特征提??；然后，根據目標物體的位置置信度確定最佳位置，從而進行類別判斷。但利用深度學習算法識別雜草存在如下問題：（1）雜草類別豐富，不同物種外表極易相似，這使得雜草識別難度增加；（2）隨著環境等因素的影響，雜草變異較快，新物種難以判斷，并且無任何專家知識，再次增大了識別的挑戰；（3）在場景復雜的農田中，多物種交叉生長，利用傳統機器學習算法難以準確定位。

針對上述問題，以經典的ResNet-50網絡為特征提取器對輸入圖片進行深度特征提取，并引入一種強化注意力模塊，從水平和垂直等兩個維度細粒度的進行位置特征編碼，充分考慮像素之間的上下文時序關系；其次，通過計算原始主干網絡提取的特征與位置編碼之間的偏移量，強化目標物體的關注度，提高模型對于交叉多物種的辨別能力；受殘差網絡的啟發，在單層注意力機制的基礎上，引入上下文關系鏈條，進一步提高模型的性能；最后，結合遷移學習的訓練方式緩解小樣本數據集極易造成過擬合的問題。

1 數據采集與預處理

本文訓練樣本數據主要來源于文獻［12］公開的雜草數據集和自建雜草數據集等兩種。其中，自建數據集主要采集于寧夏銀川當地農田，主要包括晴天、雨天和陰天等不同天氣不同時間段（早上5：00、中午12：00、下午18：00和晚上21：00）下實地拍攝的8月份旱田農作物中的多類雜草，總共拍攝10 861張雜草圖片，詳細數據如表1所示。采集的圖像多為農作物與雜草交叉生長圖片，均為未做任何處理的原始圖像，部分圖像如圖1所示。采集設備采用可旋轉固定支架的佳能EOS 60D單反數碼相機，圖像分辨率為5 184像素×3 456像素，格式為JPEG。

為防止樣本有限導致深度神經網絡過擬合的問題，本文采用數據增廣技術進行樣本幾何變換，分別采用隨機旋轉、放縮、部分裁剪、對比度增強和亮度變換等方式進行圖像樣本擴充。經過雜草圖像樣本擴充后，樣本由22 300擴充至37 840張，并按照7∶3劃分為訓練集和驗證集。圖像像素統一調整為224像素×224像素。部分雜草數據示例如圖1所示。

2 模型構建

針對現有雜草識別算法無法充分利用特征位置信息精確定位雜草，導致交叉的多物種識別不理想。因此，本文提出了一種融合強化注意力機制的小樣本農田雜草識別方法。該方法以ResNet-50為主干網絡，并在解碼階段的上采樣中引入強化注意力模塊，充分捕捉目標物體的位置信息，增強交叉多物種的定位與識別能力。

圖2給出了本文的模型結構，其中編碼階段利用主干網絡進行下采樣，提取目標物體的編碼特征；解碼階段進行上采樣操作，并在上采樣操作中引入強化注意力模塊，強化目標定位的準確性。

2.1 ResNet-50

農田雜草由于不受任何限制，交叉生長，且同一目標雜草因其外界光照、角度等原因呈現不同的姿態。因此，相比于一般物體的檢測難度更大，此時低維淺層次的特征不足以精確識別多目標雜草。

近年來，圖像語義分割、目標檢測和圖像分類等任務采用ResNet-50和ResNet-101等作為主干網絡進行特征編碼［13-15］。因此，本文綜合考慮試驗環境和識別性能，采用ResNet-50作為主干網絡進行特征編碼。結構如圖3所示。

3.3 結果分析

3.3.1 引入遷移學習的有效性驗證

為驗證遷移學習對多目標小樣本數據的訓練效果，在相同的數據集和試驗環境下進行多組試驗，詳細數據如表2所示。其中，未采用遷移學習的訓練方式為不加載預訓練模型，利用隨機生成的網絡參數進行模型初始化；凍結部分卷積層的訓練方式為僅訓練ResNet-50最后一初始化個卷積塊和全連接層，其余層采用預訓練網絡參數進行；凍結全部卷積層的訓練方式為僅訓練全連接層；所有層參與訓練的方式為加載全部的預訓練參數作為模型的初始化。

由表2和圖6可以看出，采用預訓練參數作為模型的初始化具有更高的識別性能，驗證了本文設計的初衷，即利用遷移學習的訓練策略，可以有效解決模型對于訓練樣本不足，導致無法提取充足特征的問題。此外，雖然加載預訓練模型后，再次訓練模型的所有層會導致時間開銷有所增加，但增加不多，仍然可以滿足實際應用中對于實時性的需求，并且、本文主要以識別準確率為主要評價指標。

3.3.2 多場景下目標物體的定位與識別

圖7和圖8分別給出了本文模型對部分晴天、雨天和陰天等不同天氣不同時間段（早上5：00、中午12：00、下午18：00和晚上21：00）單一目標物體和多交叉目標物體的識別性能。具體數據如表3所示。

從表3可知，在晴天光照較好的條件下識別效果最佳，其中單一目標物體識別平均準確率為96.74%，交叉多目標物體識別平均準確率為93.55%；在光照暗淡的陰天環境下識別性能最差，但單一目標物體仍然可以達到平均90.47%的識別準確率，多目標物體可以達到平均87.14%的識別準確率。因此，為提高模型在實際應用中的效果，可以通過增加在極端環境條件下的樣本數量?？梢暬Ч鐖D7和圖8所示。

圖8給出了更具挑戰性的定位與識別任務，當雜草與農作物交叉生長，使得雜草識別任務更加困難，但也更符合實際應用。雖本文模型對多目標物體交叉生長任務的識別精度有所下降，但仍然可以在晴天、雨天和陰天實現92.21%、90.69%和87.14%的平均識別準確率。再次驗證了本文模型的泛化性能，更符合實際應用的需求。

3.3.3 同類相關工作對比

為進一步驗證本文模型的識別性能，在相同的試驗環境下分別構造文獻［1］、文獻［8］、文獻［18］、文獻［19］、文獻［20］和本文模型，并利用多目標交叉物體樣本數據進行對比試驗，不同模型識別結果如表4所示。

由表4可知，對于交叉生長的多目標物體，本文模型可以實現晴天、雨天和陰天分別為92.21%、90.69%和87.14%的平均識別準確率，與當前主流模型相比，在雨天環境下分別提高了0.74%、2.94%、1.13%、3.01%和2.41%；在陰天環境下分別提高了1.40%、1.63%、0.14%、2.16%和3.26%；雖在晴天環境下相比文獻［8］有所下降，但綜合優勢顯然；此外，在檢測時間開銷方面，本文模型雖比文獻［18］有所增加，但增加不大，且在識別準確率方面具有更大的優勢。究其原因是本文在單層注意力機制的基礎上，引入上下文注意力鏈條，構造了深度注意力機制，強化了模型對相鄰特征間關系的捕獲，提升了模型對目標物體的關注度。

3.4 消融試驗

為驗證本文模型不同組件的性能，在相同的數據集和主干網絡上進行消融試驗，詳細結果如表5所示。

由表5可以看出，位置編碼和上下文關系鏈條在模型性能提升方面具有重要的角色。雖然單一位置編碼可以緩解傳統方法定位不精確的問題，但結合水平和垂直等兩個維度的位置編碼信息可以有效提高模型對于目標物體的定位與識別精度；此外，引入的上下文關系鏈條可以促進相鄰注意力塊之間的信息共享，充分考慮到上下文語義信息，進一步提高模型對目標物體的關注度。

4 結論

本文提出了一種新的農田雜草識別方法，從水平和垂直兩個維度進行特征編碼，并通過計算原始特征與位置編碼之間的偏移量，強化目標物體的定位；其次，利用上下文關系鏈條來改進單層注意力機制，并在此基礎上借助遷移學習的訓練方式，緩解小樣本數據集極易過擬合的問題。通過在單一目標場景和多目標場景數據集上分別實現了92.84%和90.01%的平均識別準確率，表明本文模型具有較好的識別能力，驗證了模型的設計初衷，具有一定的先進性。

1）? 利用水平和垂直兩個維度的特征能夠緩解模型對于局部和全局信息利用不充分的問題，有效提高了模型對于新物種的定位與識別能力。

2）? 利用上下文注意力鏈條改進單層注意力機制，使得特征信息在相鄰注意力塊之間可以自由流動，充分考慮到上下文語義信息，進一步提高模型對目標物體的關注度。

在未來的工作中，主要通過提高深度特征的表達能力，并強化模型對于密集型物體的關注，進一步提升模型的泛化性能。

參 考 文 獻

［1］ 袁洪波， 趙努東， 程曼. 基于圖像處理的田間雜草識別研究進展與展望［J］. 農業機械學報， 2020， 51（S2）： 323-334.

Yuan Hongbo， Zhao Nudong， Cheng Man. Review of weeds recognition based on image processing ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2020， 51（S2）： 323-334.

［2］ 蔡愛平. SAR遙感圖像中農田區域識別與檢測方法研究［J］. 中國農機化學報， 2020， 41（9）： 138-142.

Cai Aiping. Research on identification and detection methods of farmland areas in SAR remote sensing images ［J］. Journal of Chinese Agricultural Mechanization， 2020， 41（9）： 138-142.

［3］ 王茂勵， 王浩， 董振振. 基于物聯網技術的數字農田信息監測系統研究［J］.中國農機化學報， 2019， 40（9）： 158-163， 180.

Wang Maoli， Wang Hao， Dong Zhenzhen. Research on digital farmland information monitoring system based on Internet of Things technology ［J］. Journal of Chinese Agricultural Mechanization， 2019， 40（9）： 158-163， 180.

［4］ Fu L， Lü X， Wu Q， et al. Field weed recognition based on an improved VGG with inception module ［J］. International Journal of Agricultural and Environmental Information Systems （IJAEIS）， 2020， 11（2）： 1-13.

［5］ 蒲秀夫， 寧芊， 雷印杰. 基于二值化卷積神經網絡的農業病蟲害識別［J］. 中國農機化學報， 2020， 41（2）： 177-182.

Pu Xiufu， Ning Qian， Lei Yinjie. Identification of agricultural plant diseases based on binarized convolutional neural network ［J］. Journal of Chinese Agricultural Mechanization， 2020， 41（2）： 177-182.

［6］ 張學軍， 黃爽， 靳偉. 基于改進Faster R-CNN的農田殘膜識別方法［J］. 湖南大學學報（自然科學版）， 2021， 48（8）： 161-168.

Zhang Xuejun， Huang Shuang， Jin Wei. Identification method of agricultural film residue based on improved Faster R-CNN ［J］. Journal of Hunan University （Natural Sciences）， 2021， 48（8）： 161-168.

［7］ Elghany S A， Ramadan M， Alruwaili M， et al. Diagnosis of various skin cancer lesions based on fine-tuned ResNet50 deep network ［J］. Computers Materials and Continua， 2021， 68（1）： 117-135.

［8］ 鄧向武， 馬旭， 齊龍. 基于卷積神經網絡與遷移學習的稻田苗期雜草識別［J］. 農機化研究， 2021， 43（10）： 167-171.

［9］ 樊湘鵬， 周建平， 許燕. 基于優化Faster R-CNN的棉花苗期雜草識別與定位［J］. 農業機械學報， 2021， 52（5）： 26-34.

Fan Xiangpeng， Zhou Jianping， Xu Yan. Identification and localization of weeds based on optimized Faster R-CNN in cotton seedling stage ［J］. Transactions of the Chinese Society for Agricultural Machinery， 2021， 52（5）： 26-34.

［10］ 劉莫塵， 高甜甜， 馬宗旭， 等. 融合MSRCR算法和YOLOv4-tiny的田間環境玉米雜草目標檢測模型［J/OL］. 農業機械學報： 1-15［2022-10-10］. http：//kns.cnki.net/kcms/detail/11.1964.S.20220118.1730.002.html

［11］ 李開敬， 許燕， 周建平. 基于Faster R-CNN和數據增強的棉田苗期雜草識別方法［J］. 新疆大學學報（自然科學版）， 2021， 38（4）： 450-456.

Li Kaijing， Xu Yan， Zhou Jianping. Cotton field seedling weed identification method based on Faster R-CNN and data enhancement ［J］. Journal of Xinjiang University （Natural Sciences）， 2021， 38（4）： 450-456.

［12］ Jiang H， Zhang C， Qiao Y， et al. CNN feature based graph convolutional network for weed and crop recognition in smart farming ［J］. Computers and Electronics in Agriculture， 2020， 174： 105450.

［13］ 劉宇軒， 孟凡滿， 李宏亮. 一種結合全局和局部相似性的小樣本分割方法［J］. 北京航空航天大學學報， 2021， 47（3）： 665-674.

Liu Yuxuan， Meng Fanman， Li Hongliang. A few shot segmentation method combining global and local similarity ［J］. Journal of Beijing University of Aeronautics and Astronautics， 2021， 47（3）： 665-674.

［14］ Zang H， Xu R， Cheng L， et al. Residential load forecasting based on LSTM fusing self-attention mechanism with pooling ［J］. Energy， 2021， 229： 120682.

［15］ 陸雅諾， 陳炳才. 基于注意力機制的小樣本啤酒花病蟲害識別［J］. 中國農機化學報， 2021， 42（3）： 189-196.

Lu Yanuo， Chen Bingcai. Indentation of hops pests and diseases in small samples based on attention mechanisms ［J］. Journal of Chinese Agricultural Mechanization， 2021，42（3）： 189-196.

［16］ Dong R， Xu D， Zhao J， et al. Sig-NMS-based Faster R-CNN combining transfer learning for small target detection in VHR optical remote sensing imagery ［J］. IEEE Transactions on Geoscience and Remote Sensing， 2019， 57（11）： 8534-8545.

［17］ Farooq A， Hu J， Jia X. Analysis of spectral bands and spatial resolutions for weed classification via deep convolutional neural network ［J］. IEEE Geoscience and Remote Sensing Letters， 2018， 16（2）： 183-187.

［18］ 孫俊， 何小飛， 譚文軍. 空洞卷積結合全局池化的卷積神經網絡識別作物幼苗與雜草［J］. 農業工程學報， 2018， 34（11）： 159-165.

Sun Jun， He Xiaofei， Tan Wenjun. Recognition of crop seedling and weed recognition based on dilated convolution and global pooling in CNN ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2018， 34（11）： 159-165.

［19］ 溫德圣， 許燕， 周建平. 自然光照影響下基于深度卷積神經網絡和顏色遷移的雜草識別方法［J］. 中國科技論文， 2020， 15（3）： 287-292.

Wen Desheng， Xu Yan， Zhou Jianping. Weed identification method based on deep convolutional neural network and color migration under the influence of natural illumination ［J］. China Sciencepaper， 2020， 15（3）： 287-292.

［20］ Fang F， Li L， Zhu H， et al. Combining Faster R-CNN and model-driven clustering for elongated object detection ［J］. IEEE Transactions on Image Processing， 2019， 29： 2052-2065.