基于雙線性卷積神經網絡的雜草細粒度識別

王玉　杜勇　洪鵬

摘 要： 針對復雜田間環境下雜草形態相似對深度學習模型識別效果的影響，本文以玉米及其主要伴生雜草作為研究對象，提出一種基于雙線性卷積神經網絡的細粒度雜草識別方法，用于提升作物與雜草識別的準確率。首先，研究對比了常見通用圖像分類模型在雜草識別上的表現，選用識別效果較好的VGGNet-19和ResNet-50作為雙線性網絡的主干結構，以獲取更有效的雜草特征，并采用遷移學習的方式訓練網絡。實驗結果表明，該方法在數據集上的識別準確率高達98.5%，高于單一網絡模型的識別效果且能夠準確地區分具有高相似度的田間雜草，為智能田間除草作業提供高精度的信息支持。

關鍵詞： 深度學習; 雜草識別; 雙線性卷積神經網絡; 細粒度圖像識別

文章編號： 2095-2163（2021）07-0036-07中圖分類號：TP391.41 文獻標志碼： A

Fine-grained visual recognition for weed? based on bilinear convolutional neural network

WANG Yu1， 2， DU Yong3， 4， HONG Peng5

（1 School of Tourism and Cuisine， Harbin University of Commerce， Harbin 150028， China;

2 School of Tourism and Hotel Management， Dongbei University of Finance & Economics， Dalian Liaoning? 116023， China;

3 School of Electrical and Information Engineering， Northeast Agricultural University， Harbin 150030， China;

4 College of Intelligence and Computing， Tianjin University， Tianjin 300072， China;

5 School of Electronics and Information Engineering， Lanzhou Jiaotong University， Lanzhou 730070， China）

【Abstract】To address the impact of weed morphological similarity on the recognition effect of deep learning models in complex field environments， this paper proposes a fine-grained weed recognition method based on bilinear convolutional neural networks for improving the accuracy of crop and weed recognition， taking corn and its major associated weeds as the research object. Firstly， the study compares the performance of commonly used general image classification models on weed recognition， selects VGGNet-19 and ResNet-50， which have better recognition effect， as the backbone structure of the bilinear network to obtain more effective weed features， and uses migration learning to train the network. The experimental results show that the recognition accuracy of the method on the dataset is as high as 98.5%， which is higher than the recognition effect of a single network model. And the method can accurately distinguish field weeds with high similarity， which can provide high-precision information support for intelligent field weeding operations.

【Key words】deep learning; weed recognition; bilinear convolutional neural network; fine-grain image recognition

0 引 言

一直以來，在農業生產中雜草的威脅不可小覷。田間雜草會在作物生產階段與其競爭空間、光照、水分和營養物質，如不及時控制，將對早期生長階段的植物造成嚴重損害，并導致作物產量減少與質量下降。化學除草是現階段農田雜草防治中最主要的方式。相較于人力除草、機械除草、生物除草等除草方式，化學除草具有快速、高效、經濟的優點，是廣大農戶使用最為普遍的除草方式[1]。但傳統的化學除草往往采用大面積噴灑除草劑的方式進行作業，由于投放時不能對雜草精準施藥，大量除草劑噴向非靶標作物與無雜草區域會帶來明顯的除草劑浪費與潛在的生態環境污染，因此，在保證除草效果的同時，減少除草劑施用量成為了化學除草的關鍵任務[2]。

智能田間除草機器人能夠根據田間雜草分布信息自動調節噴灑速度與區域[3]，可以切實減少除草劑的使用量，并有效地避免化學殘留問題，提升農產品質量安全，是化學除草裝備技術發展的必然趨勢。其中，雜草識別是進行智能田間除草作業的首要前提，只有及時、準確地獲取到田間雜草分布信息，才能針對性噴灑除草藥劑，進而避免盲目使用除草劑所導致的化學殘留與生態環境污染。傳統的雜草分類方法主要是通過專家或農民依靠經驗并結合已知的雜草圖鑒進行判別，但受限于田間雜草種類繁多、數量巨大、表觀多樣等特性，人工識別往往耗時、費力且效率低下，并且對靶變量噴灑需要快速、大面積作業，所以傳統方法無法應用于對靶變量噴灑之中[4]。為此，借助于計算機視覺技術的自動化雜草識別方法被廣泛地使用[5]。

在以往的雜草識別研究中，雜草的鑒別主要基于手工設計的特征，如顏色、形狀、紋理等，人們將這些特征與支持向量機、神經網絡等機器學習分類器結合的方法在雜草識別上取得了很好的效果。Bakhshipour等人[6]通過提取雜草的小波紋理特征進行雜草檢測，并使用主成分分析技術從52個提取的紋理特征中選擇14個放入神經網絡中識別，結果表明，即使存在大量的遮擋和葉子重疊，小波紋理特征也能夠有效區分出農作物中的雜草。龍滿生等人[7]研究了使用長寬比、圓度、第一不變矩3個形狀特征識別玉米苗期雜草的可行性，實驗結果表明，基于BP網絡與形狀特征結合的雜草識別算法對玉米幼苗與雜草有很好的識別效果。此外，多數研究人員致力于通過引入新的特征組合來提高某些類型雜草的識別準確性。何東健等人[8]針對單一特征識別雜草的準確率與穩定性的不足，提出了一種DS理論與支持向量機結合的多特征融合雜草識別方法，通過雜草葉片形狀、紋理及分形維數3類特征的融合，識別率顯著提升。鄧向武等人[9]以水稻苗期6類主要雜草為研究對象，使用了雜草顏色、形狀和紋理共101維特征作為深度置信網絡的輸入對雜草進行識別，試驗結果表明基于多特征融合的深度置信網絡模型的識別精度高達91.13%，且耗時可滿足實時檢測的速度要求。雖然基于人工特征和機器學習的雜草識別方法有較高的識別準確率，但相應結果多是在少量測試集圖像上取得，缺乏在實際環境中的驗證，且人工特征對雜草種類的表達能力有限，識別模型往往無法處理真實環境下所出現的遮擋、殘損、背景變化的影響，使得該類算法難以實際應用于田間除草作業之中。

近年來，深度學習在農業領域受到了廣泛的關注，在雜草識別、植物病害識別、水果計數、害蟲識別等方面均有良好的表現，尤其是農作物雜草分類方面取得了很大的成功[10]。Dyrmann等人[11]通過卷積神經網絡對處于早期生長階段的22種雜草和農作物植株進行了識別，最終在10 413張圖像的測試集上實現了86.2%的分類精度。Ferreira等人[12]使用CaffeNet對數據集中4 500張的大豆及其主要伴生雜草圖片進行了識別，結果表明使用了卷積神經網絡的雜草識別準確率可達98%以上，與支持向量機和隨機森林等方法相比識別精度顯著提高。王璨等人[13]以卷積神經網絡從圖像的高斯金字塔中提取到的多尺度分層特征作為識別依據實現了精確、穩定和高效的玉米與雜草識別。對經典卷積網絡進行改進也被證明能夠有效提升深度學習模型在雜草識別上的性能。姜紅花等人[14]利用哈希碼便于存儲和快速檢索的特點，對卷積神經網絡提取到高維的特征數據進行了壓縮，試驗結果表明，田間雜草識別準確率可達98.6%，同時，該方法還具有很好的通用性，在其他雜草數據集上的準確率也已經達到了95.8%。孫俊等人[15]結合空洞卷積與全局池化對AlexNet模型進行了改進，在大幅減少模型參數的同時保證了較高的雜草識別準確率。此外，作為深度學習中一種有效的訓練技巧[16]，遷移學習被廣泛用于植物識別問題之中。Mostafa等人[17]使用GoogLeNet、AlexNet和VGGNet三個流行的卷積神經網絡模型來識別圖片中的植物種類，并通過遷移學習的方式訓練模型，在LifeCLEF 2015植物分類任務的驗證集上準確度達到80%，優于當年比賽第一名的識別效果。Abdalla等人[18]利用卷積神經網絡分割油菜田間雜草與作物，并提出了基于VGG16模型的3種遷移學習方式，證明了遷移學習對雜草分割效果有明顯的提升。上述研究工作都在雜草識別上取得了較高的識別精度，證明了深度學習可以顯著地改善雜草識別的性能，但相關工作均停留在將各個經典卷積網絡及其變種直接應用于雜草分類，并未考慮雜草圖像分類是一種細粒度分類，未能關注用于區分不同種類雜草的細節特征。

自然場景下雜草具有相似的外觀和特征，加之采集中存在姿態、視角、光照、遮擋、背景干擾等影響，會出現不同雜草物種類別間表型具有高度相似性、同一雜草物種下的表型差異度較大的現象，對雜草的精準分類帶來了很大的難度[19]。為此，本文提出了基于雙線性卷積神經網絡的玉米田間雜草細粒度識別方法，以期待更好地區別高相似度的田間雜草，提升雜草識別準確率與穩定性，并采用了遷移學習、數據增強、數據均衡等訓練技巧來加速模型訓練，提升模型泛化性能，最后，通過卷積神經網絡可視化的方法來進一步證明雙線性網絡能夠更好地學習到用于區分不同種類雜草的細節特征。

1 材料與方法

1.1 雜草數據集生成

本文選取玉米及其主要伴生雜草作為研究對象進行識別。圖像采集工作于2021年5～7月于東北農業大學東門實驗田進行，采集方式為手持移動手機拍攝，原始圖片大小為3264×1860，圖片格式JPG。在玉米處于幼苗期間共進行了4次采集，采集到數據包括幼苗期玉米植株及反枝莧、馬唐、馬齒莧、藜、苘麻、刺兒菜和茵陳蒿7種該地區的常見伴生雜草，每次采集均在不同時間段，其中3次為晴天采集，1次為陰天采集，涵蓋了除草作業時可能的環境條件。并且原始圖像是在不同光照條件下，從多角度采集，能夠反映真實狀況下雜草生長位置與形態。最后，人為地將采集到的原始圖片進行裁剪分割并分類，得到該地塊玉米植株及7類雜草、共1 200張原始雜草圖片數據，數據集中部分圖片如圖1所示。

除實地拍攝外，本文從DeepWeeds[20]、Plant Seedlings Classification[21]等公共雜草數據集中選取了一定量相同種類的雜草圖像用于本文雜草數據集的擴充，擴充后數據集中的圖片數量增加到2 000張。按照8∶2的比例將原始圖像數據集劃分為訓練集與驗證集，并利用雙線性插值算法將劃分后圖片尺寸統一修改為277×227像素，以保證深度卷積網絡模型能夠快速地訓練。

1.2 數據增強與類別均衡

基于深度學習的圖像識別方法往往需要在數據分布廣泛、數據量足夠大的數據集上才能取得好的識別效果，而在雜草圖像采集過程往往耗時、費力，構建足夠大的數據非常困難。為此，本文將數據增強技術用于玉米植株及其伴生雜草數據集的構建。數據增強可以豐富圖像訓練集，大幅提升雜草數據集的表達能力，并且數據增強后深度卷積網絡能夠學習到更多有效的雜草圖像特征，進而防止模型過擬合，使模型具有更好的識別性能[22]。在對訓練集進行數據增強時，考慮到類別不均衡問題可能給雜草識別性能帶來影響[23]，在保證數據增強后訓練集中各類圖像數量均勻的前提下，采用加噪聲、隨機旋轉、旋轉、平移、擴大等方式對8類數據進行了不同程度的擴充。數據集中各類圖片的最終數量見表1。

1.3 雙線性卷積神經網絡

雙線性卷積神經網絡模型由Lin等人[24]于2015年提出，該模型通過2個不同的特征提取網絡A和B對輸入圖像提取深度卷積特征，并通過外積操作建立特征不同通道特征間的相關性，經池化求和后得到輸入圖像雙線性特征表達，并送入分類層進行預測。

BCNN模型是由一個四元組構成：B=fA，fB，P，C ，其中fA和fB分別為卷積神經網絡A和B的特征提取函數，P是池化函數，C是分類器。特征提取函數可以看成一個函數映射，將輸入圖像I與位置區域L映射為一個c×D維的特征。輸入圖像在某一位置l處的雙線性特征可通過如下公式表示。

之后利用池化函數P把所有位置的雙線性特征進行累加，匯聚成一個雙線性特征，并用這個特征對輸入圖像進行描述。數學公式可寫為：

其中，映射（I）通過元素級的有符號平方根操作（y←sign（x）x）與二范數歸一化操作（z←y/‖y‖2），得到最終特征表達。最后，分類器C對提取到的特征進行分類，分類器可為SVM或邏輯回歸。

BCNN的訓練是一個端到端的過程。模型的前半部分是基本的卷積神經網絡模型，因此只要求得后半部分的梯度值，即可完成對整個模型的訓練。對于每個位置l，特征提取函數fA和fB的輸出分別為f1與f2，那么在l處的雙線性特征為x=f T1 f2。用dl/dx表示損失函數在x處的梯度值，通過鏈式法則可得損失函數對網絡A和B輸出的梯度值。具體公式為：

1.4 通用圖像分類網絡對比

在大規模數據集上通用圖像分類模型的準確率越來越高，甚至已經超過了人類識別的準確率，本文為比對通用圖像分類模型在雜草識別上的性能，使用了AlexNet、VGGNet-16、VGGNet-19、GoogleNet、Inception-v3、ResNet-18、ResNet-50、ResNet-101、DenseNet-201在玉米及其主要伴生雜草數據集上進行實驗。實驗結果見表2。

由表1、表2可以看出：VGGNet-19和ResNet-50這2個模型在雜草識別上效果最好，有很好的遷移性;同時，在雜草識別中網絡結構越深，識別準確率越高，但當網絡層數達到一定時，繼續增加層數，識別耗時大幅增加的同時雜草識別準確率僅有很小的提升。

2 細粒度雜草識別算法設計

在雙線性卷積神經網絡中，外積計算操作能夠以平移不變的方式，對特征提取網絡局部區域中成對的特征交互進行建模，得到的圖像特征的高階統計信息，以突出細粒度圖像中子類間的差異，進而更好地進行細粒度圖像分類。本文根據以上特性，在網絡結構上分別選用了VGGNet-19和ResNet-50作為基礎網絡結構，這2種網絡模型已經在上文中被證明對玉米植株及其主要伴生雜草有較好的識別性能，能夠有效地提取到雜草特征信息。在數據預處理上，對采集的玉米植株及主要伴生雜草原始數據集進行圖像增強與類別均衡操作來擴充圖片數據量，這樣可以讓網絡能夠學習到更多有用的雜草特征信息，并防止背景等不相關信息被學習，減小過擬合現象。在訓練技巧上，采用遷移學習技術提升模型泛化性。首先使用在大規模圖像數據集ImageNet上獲取VGGNet-19和ResNet-50的預訓練模型，然后在玉米植株及其主要伴生雜草數據集上微調參數，使網絡的權重參數適應到雜草的識別任務中，最后用在雜草數據集上訓練好的VGGNet-19和ResNet-50模型對雙線性卷積神經網絡進行參數初始化。由于預訓練模型中有大量訓練好的用于檢測雜草特征的權重，使用遷移學習可以帶來以下好處：訓練需要的數據量減少，網絡收斂速度更快，模型識別準確率更高。算法的整體流程如圖2所示。

3 實驗結果與分析

3.1 實驗環境

實驗在Windows10操作系統下進行，采用的深度學習框架為 Pytorch，訓練時所使用的硬件配置見表3。

3.2 實驗參數設置

實驗采用隨機梯度下降的方法對雙線性網絡進行優化，Batch size大小設置為32以加快訓練速度。在訓練網絡時采用遷移學習的方法以在ImageNet上訓練好的預訓練模型初始化雙線性網絡的權重，通過微調的方式迭代網絡。實驗設置中網絡一共迭代100次，當驗證集上損失保持穩定，且連續4輪迭代不下降時，網絡自動停止訓練。訓練時使用學習率衰減的方式控制參數的更新速度，使網絡能夠更加穩定地收斂。

3.3 實驗結果對比與分析

為了驗證遷移學習對雜草分類性能的影響，本文使用雙線性卷積神經網絡進行實驗。實驗結果見表4。

從表4中看出，使用遷移學習以后，在雙線性網絡模型上的分類準確率從97.5%提升到了98.5%，上升了1個百分點，同時訓練耗時也有大幅地下降。表明遷移學習能夠幫助深度卷積網絡學習到更多有用的特征，并能加快深度卷積網絡在訓練時的收斂的速度。

然后，對VGGNet-19、ResNet-50、DenseNet-201網絡模型的分類效果和使用高階信息的雙線性網絡模型的分類效果進行了對比，見表5。

從表5中可以看出，加入高階信息的網絡模型比不加高階信息的網絡模型分類準確率高出2個百分點左右，表明高階信息的加入對于田間雜草分類準確率的提升是至關重要的。

雜草圖片的識別效果如圖3所示。4張圖片中的雜草類別被正確識別，其中不同類間概率差異大，具有很好的區分度，且對存在少量遮擋、殘缺、模糊的雜草同樣有很好的識別效果。表明本文提出雙線性雜草識別網絡能有效地處理復雜背景下的雜草識別問題。

最后，使用與玉米植株相似的馬唐圖片對使用高階信息的雙線性網絡和ResNet-50網絡進行了測試，識別結果如圖4所示。圖4（a）是ResNet-50的識別結果，網絡給出的馬唐和玉米植株置信度相似，但玉米植株的置信度略高于馬唐，圖片最終被錯誤分類。圖4（b）是BCNN的識別結果，圖片被正確分類為苘麻，且置信度差異明顯。因此，使用高階信息的雙線性卷積神經網絡能夠有效地學習到區分不同種類雜草的細粒度特征，在自然場景下區分高相似度的田間雜草上有著更好的性能。

3.4 雜草識別網絡可視化

為了更好地顯示雙線性網絡對雜草細節特征的提取能力，本文比對了雜草圖片馬唐在ResNet-50與BCNN上的熱力圖效果，如圖5、圖6所示。

從圖5、圖6可以看出，ResNet-50與BCNN都關注到了圖片中的雜草區域，在馬唐的葉片上有較高的響應值。但ResNet-50除雜草葉片外還學習到了許多背景信息，這可能導致雜草的錯誤分類。而BCNN對背景的響應值很低，并且還學習到了ResNet-50未能關注的葉片與莖稈部位，這對區分馬唐與其他類別雜草有顯著的幫助。通過熱力圖的對比，進一步驗證了使用高階信息的BCNN能夠更有效地學習到區分不同種類雜草的細粒度特征。

4 結束語

本文提出的基于雙線性卷積網絡的細粒度分類方法在玉米及其主要伴生雜草數據集上分類準確率高達98.5%，要明顯好于通用圖像分類網絡，表明使用高階信息的細粒度圖像識別方法在復雜場景下雜草識別上有較好的適用性，能準確地區分出表型比較相似的雜草。考慮到除草作業中對識別的實時性要求較高，本研究將在雙線性卷積網絡結構設計上嘗試對特征提取網絡獲取的高階特征進行降維，使用輕量化的特征提取網絡等方式來提升模型的識別速度，更好地滿足實際應用需求。

從前文圖中可以看出，ResNet-50與BCNN都關注到了圖片中的雜草區域，在馬唐的葉片上有較高的響應值。但ResNet-50除雜草葉片外還學習到了許多背景信息，這可能導致雜草的錯誤分類。而BCNN對背景的響應值很低，并且還學習到了ResNet-50未能關注的葉片與莖稈部位，這對區分馬唐與其他類別雜草有顯著的幫助。通過熱力圖的對比，進一步驗證了使用高階信息的BCNN能夠更有效地學習到區分不同種類雜草的細粒度特征。

參考文獻

[1]劉文，徐麗明，邢潔潔，等. 作物株間機械除草技術的研究現狀[J]. 農機化研究，2017，39（1）：243-250.

[2] BECKIE H J. Herbicide-resistant weeds： management tactics and practices[J]. Weed technology， 2006， 20（3）： 793-814.

[3]張小龍，謝正春，張念生，等. 豌豆苗期田間雜草識別與變量噴灑控制系統[J]. 農業機械學報，2012，43（11）：220-225，73.

[4]ESPOSITO M， CRIMALDI M， CIRILLO V， et al. Drone and sensor technology for sustainable weed management： a review[J]. Chemical and Biological Technologies in Agriculture， 2021， 8（1）： 1-11.

[5]AITKENHEAD M J， DALGETTY I A， MULLINS C E， et al. Weed and crop discrimination using image analysis and artificial intelligence methods[J]. Computers and Electronics in Agriculture， 2003， 39（3）： 157-171.

[6]BAKHSHIPOUR A， JAFARI A， NASSIRI S M， et al. Weed segmentation using texture features extracted from wavelet sub-images[J]. Biosystems Engineering， 2017， 157： 1-12.

[7]龍滿生，何東健. 玉米苗期雜草的計算機識別技術研究[J]. 農業工程學報，2007（7）：139-144.

[8]何東健，喬永亮，李攀，等. 基于SVM-DS多特征融合的雜草識別[J]. 農業機械學報，2013，44（2）：182-187.

[9]鄧向武，齊龍，馬旭，等. 基于多特征融合和深度置信網絡的稻田苗期雜草識別[J]. 農業工程學報，2018，34（14）：165-172.

[10]KAMILARIS A， PRENAFETA-BOLD[KG-*2]U[DD（-*2]′[DD）]. Deep learning in agriculture： A survey[J]. Computers and Electronics in Agriculture， 2018， 147： 70-90.

[11]DYRMANN M， KARSTOFT H， MIDTIBY H S. Plant species classification using deep convolutional neural network[J]. Biosystems Engineering， 2016， 151： 72-80.

[12]FERREIRA A D S，FREITAS D M F， DA SILVA G G， et al.Weed detection in soybean crops using ConvNets[J]. Computers and Electronics in Agriculture， 2017， 143： 314-324.

[13]王璨，武新慧，李志偉. 基于卷積神經網絡提取多尺度分層特征識別玉米雜草[J]. 農業工程學報，2018，34（5）：144-151.

[14]姜紅花，王鵬飛，張昭，等. 基于卷積網絡和哈希碼的玉米田間雜草快速識別方法[J]. 農業機械學報，2018，49（11）：30-38.

[15]孫俊，何小飛，譚文軍，等. 空洞卷積結合全局池化的卷積神經網絡識別作物幼苗與雜草[J]. 農業工程學報，2018，34（11）：159-165.

[16]PAN S J， YANG Q. A survey on transfer learning[J]. IEEE Transactions on knowledge and data engineering， 2009， 22（10）： 1345-1359.

[17]MOSTAFA G M， YANIKOGLU B， APTOULA E. Plant identification using deep neural networks via optimization of transfer learning parameters[J]. Neurocomputing， 2017， 235： 228-235.

[18]ABDALLA A， CEN H， WAN L， et al. Fine-tuning convolutional neural network with transfer learning for semantic segmentation of ground-level oilseed rape images in a field with high weed pressure[J]. Computers and Electronics in Agriculture， 2019， 167： 105091.

[19]AHMAD A， SARASWAT D， AGGARWAL V， et al. Performance of deep learning models for classifying and detecting common weeds in corn and soybean production systems[J]. Computers and Electronics in Agriculture， 2021， 184： 106081.

[20]OLSEN A， KONOVALOV D A， PHILIPPA B， et al. DeepWeeds： A multiclass weed species image dataset for deep learning[J]. Scientific Reports， 2019， 9（1）： 1-12.

[21]GISELSSON T M， JRGENSEN R N， JENSEN P K， et al. A public image database for benchmark of plant seedling classification algorithms[J]. arXiv preprint arXiv：1711.05458， 2017.

[22]WANG A， ZHANG W， WEI X. A review on weed detection using ground-based machine vision and image processing techniques[J]. Computers and Electronics in Agriculture， 2019， 158： 226-240.

[23]BUDA M， MAKI A， MAZUROWSKI M A. A systematic study of the class imbalance problem in convolutional neural networks[J]. Neural Networks， 2018， 106： 249-259.

[24]LIN T Y， ROYCHOWDHURY A， MAJI S. Bilinear cnn models for fine-grained visual recognition[C]// Proceedings of the IEEE International Conference on Computer Vision. Santiago， Chile： IEEE， 2015：1449-1457.

基金項目： 黑龍江省自然科學基金聯合引導項目（LH2020C001）。

作者簡介： 王 玉（1979-），女，碩士，副教授，主要研究方向：統計學習、旅游管理、機器視覺等; 杜 勇（1978-），男，博士，副教授，主要研究方向：模式識別、粗糙集、生物計算等; 洪 鵬（1995-），男，碩士，主要研究方向：物理系統的形式化建模、醫學圖像分割、智能合約形式化驗證。

收稿日期： 2021-04-16