基于深度學習的草坪雜草識別與除草劑噴施區域檢測方法

金小俊， 孫艷霞， 陳 勇*， 于佳琳

(1. 南京林業大學機械電子工程學院， 江蘇 南京 210037； 2. 南京交通職業技術學院軌道交通學院， 江蘇 南京 211188；3. 得克薩斯農工大學土壤與作物科學系， 得克薩斯州 學院站 77843)

草坪綠化是城市文明程度的重要標志之一[1]。草坪常見于公園綠化、體育場、高爾夫球場等場所。草坪對于美化環境、凈化空氣、保持水土等作用顯著[2]。由于雜草的侵襲，草坪退化嚴重，造成養護困難[3]。雜草防控是草坪養護的重要內容，基于除草劑的化學除草是草坪雜草防控的常用方式[4-5]。我國化學農藥用量居世界第一[6]。其中，農作物的農藥利用率僅為36.6%，遠低于歐美發達國家[7]。提高農藥利用率已成為我國農業生產中亟需解決的重要問題[8]。近年來，我國除草劑的施藥量占農藥總用量的48%左右，除草劑的減施是降低農藥使用的重中之重[6,8]。自然環境下，草坪雜草呈不規則生長，分布隨機。除草劑通常以地毯式方式噴施[9]，造成除草劑利用率低下。實現除草劑的精準噴施是降低除草劑用量，減少環境污染的關鍵。要想實現精準噴施，首先需要實現對雜草的識別，并進而確定除草劑的噴施區域[10-11]。

傳統雜草識別方法通常利用植物本身的一些特征，包括顏色、形狀、紋理以及多光譜等[12-14]。但這些特征需要人工提取，且算法設計復雜，存在著穩健性不足，識別速度低等缺陷[13,15-16]。隨著深度學習，特別是深度卷積神經網絡的發展，越來越多的研究開始借助于深度學習技術[17-21]。王璨等[22]利用改進的雙注意力語義分割神經網絡模型，基于玉米像素分割結果，生成雜草分割圖。試驗表明，深度學習模型的平均交并比、平均像素識別準確率分別可達94.16%和95.68%。樊湘鵬等[23]通過改進Faster R-CNN模型的錨尺度,并選取最優特征提取網絡，可實現對自然條件下新疆棉田棉花幼苗期的7種雜草的有效識別與定位，平均識別精確率為94.21%。Osorio等[24]分別采用YOLO-v3模型和Mask R-CNN模型對生菜田中的雜草進行識別，結果顯示兩者的F1指數均為94%。草坪雜草識別方面，Yu等[25-28]研究發現，在休眠期的狗牙根草坪中，VGGNet模型和DetectNet模型均能精準識別各類單子葉和雙子葉雜草。而在多年生黑麥草坪中，VGGNet模型對于不同密度的蒲公英草識別率最高，而GoogleNet模型雖然召回率較高，但精度值遠低于VGGNet模型。

草坪雜草隨機分布，且草坪草與雜草生長交錯、重疊，增加了識別難度。文獻檢索顯示，對于草坪雜草識別，國內外研究較少，尚處于探索階段[27-29]。而針對草坪雜草的除草劑精準噴施，國內外均尚未開展相關研究。本研究擬提出一種可用于除草劑精準噴施的草坪雜草識別與噴施區域檢測方法，以期解決草坪雜草精準噴施這一關乎除草劑利用率的關鍵問題。同時，為相似作物的雜草識別與除草劑噴施區域檢測提供技術參考。

1 材料與方法

1.1 圖像采集

本研究選取具有代表性的草坪草種狗牙根[Cynodondactylon(L.) Pers.]，并在其伴生雜草中分別選取禾本科毛花雀稗(PaspalumdilatatumPoir.)、豆科白三葉(TrifoliumrepensL.)以及莎草科莎草(CyperusrotundusL.)為試驗對象。毛花雀稗和白三葉圖像于2018年10月采集自美國佐治亞大學格里芬校區(University of Georgia Griffin Campus)內的草坪。莎草圖像于2021年5月采集自江蘇省南京市江寧區某綠化草坪。采集設備為索尼數碼相機(型號為DSC-HX1)。圖像分辨率為1920 × 1080像素。為保證深度學習訓練樣本的多樣性，圖像采集在不同時間，以及晴天、陰天不同光線狀態下進行。狗牙根草坪伴生雜草如圖1所示。

圖1 狗牙根草坪伴生雜草原圖Fig.1 Original images of weeds in bermudagrass lawn

1.2 樣本數據集與試驗方法

對于采集到的草坪圖像，每張按照5行8列切分成40張格子圖片，如圖2所示。切分后每張格子圖片的分辨率為240 × 216像素。人工查看格子圖片并分類，包含毛花雀稗、白三葉和莎草的格子歸為正樣本，反之歸為負樣本(狗牙根草坪)。如此分別得到毛花雀稗樣本、白三葉樣本、莎草樣本各2 500張，以及狗牙根樣本7 500張。樣本按照8∶2的比例隨機分為訓練集和驗證集。

圖2 格子切分示例圖Fig.2 Grid image illustration

測試集選取包含毛花雀稗、白三葉和莎草的完整原圖各10張，每張原圖同樣按照5行8列切分格子圖。30張原圖共計獲得格子圖片1 200張。分類后毛花雀稗為218張、白三葉為295張、莎草為242張，不含雜草的狗牙根草坪圖為445張。試驗樣本數據集的建立如表1所示。

表1 深度學習樣本數據Table 1 Deep learning dataset

1.3 深度學習框架

為探究不同深度學習模型對雜草識別的效果，本研究擬選取不同卷積神經網絡模型進行評價分析。試驗深度學習平臺為PyTorch框架[30]。PyTorch是由Facebook公司開源的神經網絡框架，其具有強大的GPU加速張量計算能力，并包含深度神經網絡的自動求導系統，是目前主流的深度學習平臺之一[31]。本研究中所用模型均在PyTorch框架下編程實現，以使不同模型的對比處于標準、公平的環境之下。深度學習訓練和運行的硬件系統為臺式計算機，搭載Inter(R) core(TM) i9-9900K CPU @3.60GHZ處理器，圖形處理單元為NVIDIA GeForce RTX 2080Ti，運行內存為64 GB，操作系統為Ubuntu 20.04。

1.4 雜草識別與噴施區域檢測方法

1.4.1雜草識別模型 本研究分別選取VGGNet模型[32]、GoogLeNet模型[33]和ShuffleNet模型[34]對草坪圖像中的雜草進行識別并分類。VGGNet是由牛津大學視覺幾何組(Visual Geometry Group)和Google公司共同提出的卷積神經網絡模型，其證明了使用很小的卷積(3×3)并通過增加網絡深度可以有效提升模型的識別精度。GoogLeNet是由Google公司推出的基于Inception模塊的深度神經網絡模型。該模型使用Inception結構增加網絡寬度，通過提取高維特征以減少參數數量、提高模型的分類性能。ShuffleNet是曠視科技設計的高效卷積神經網絡模型，其通過優化的網絡結構實現更輕量級的模型。該模型的特點在于擁有更加均衡的識別性能，利用有限的計算資源獲取最佳精度。智能除草裝備依賴高性能的實時雜草識別[35]。本研究將從識別率和識別速度兩方面對上述模型進行綜合對比，并根據評價結果選取最優模型進行雜草及噴施區域識別研究。表2為不同模型的默認超參設置。

表2 不同模型默認超參設置Table 2 Default hyperparameters of each model

1.4.2評價指標 本研究采用精度(precision)、召回率(recall)以及F1值作為驗證集評價指標。在本研究場景中，精度表示樣本中模型正確分類的雜草目標與預測為雜草目標的比值。召回率表示樣本中所有雜草目標被正確預測的比例。精度和召回率的定義如下：

(1)

(2)

式中：tp為被正確劃分為正樣本的數量、fp為被錯誤劃分為正樣本的數量、fn為被錯誤劃分為負樣本的數量。

F1值是深度學習中常用的模型綜合評價指標，其結合了精度與召回率。計算方式為取精度與召回率的調和平均數：

(3)

對于測試集，本研究使用總體準確率(overall accuracy)和平均準確率(average accuracy)作為評價指標。總體準確率是模型在測試集上預測正確的(包括真正類和真負類)數量與總體數量之間的比值，其計算公式為：

(4)

平均準確率是取每一類(class)總體準確率的平均值，體現模型對所有類別目標的綜合分類能力，其定義如下所示：

(5)

式中：Nc為分類任務中類別的數量。

1.4.3除草劑噴施區域檢測 本研究擬通過劃分格子圖片，利用深度學習識別各格子中是否包含雜草，進而實現雜草定位。如圖3所示，首先將原圖按照5行8列均勻切分成40張格子圖片。5行8列的選擇依據為：本研究中采集的原始圖像分辨率為1920 × 1080像素。切分后每個格子的大小為240 × 216像素，該尺寸與一般卷積神經網絡模型的輸入尺寸(224 × 224像素)相近[36]。對應的物理尺寸與除草劑施藥器單個噴頭的噴施范圍相近(噴頭孔徑3.2 mm，攝像頭高度0.65 m，圖像區域分辨率240 × 240像素，噴施物理直徑12 cm)。對于切分的格子圖片，分別送入深度學習模型進行雜草識別。具體為利用訓練完成的神經網絡模型對輸入的格子圖片進行推理，并輸出分類標簽。若標簽為毛花雀稗、白三葉或莎草，則標記圖像中該格子的所在區域為噴施區域。如此，統計出圖像中所有包含雜草的格子區域，即為需要噴施除草劑的區域，施藥器噴頭移動到相應區域并完成除草劑噴施。

圖3 雜草識別與除草劑噴施區域檢測流程示意圖Fig.3 Flow chart of weed recognition and site-specific spraying

2 結果與分析

2.1 雜草識別

深度學習模型識別雜草的驗證集評價數據如表3所示。從表中可知，VGGNet模型對于白三葉和狗牙根的精度最高，均達到了1.0。精度越高表明模型對目標的誤識別率越低。GoogLeNet模型和ShuffleNet模型對莎草和白三葉的識別率同樣高達1.0。召回率方面，VGGNet模型識別出了所有莎草目標，而GoogLeNet模型和ShuffleNet則對狗牙根召回率達到了1.0。VGGNet模型識別毛花雀稗的召回率最高，為0.99，表明其有1%的漏檢。ShuffleNet模型能夠識別出99%的白三葉目標，在所有模型中召回率最優。進一步觀察F1值，所有模型都高于0.97，表明本研究所選模型對于雜草都有較好的識別效果。其中，VGGNet模型對于白三葉、莎草和狗牙根的F1值都高達0.99，表明VGGNet模型對這三種目標均保持了精度和召回率的最佳平衡。GoogleNet模型對于莎草和狗牙根同樣具有較高的識別性能。ShuffleNet模型則對白三葉和狗牙根能更好的兼顧精度和召回率。

表3 不同神經網絡模型驗證集評價數據Table 3 Evaluation matrix of CNN models in validation dataset

將訓練模型應用于測試集數據，得到表4所示的評價數據。由表4可知，VGGNet模型對于所有種類目標的總體準確率均高于0.99，且其平均準確率高達99.50%，相較于GoogLeNet模型和ShuffleNet模型，識別效果最優。GoogLeNet模型對于不同雜草的識別總體準確率均超過0.98，平均準確率為98.75%。ShuffleNet模型雖然對正樣本(毛花雀稗、白三葉和莎草)總體準確率較高，但對于負樣本狗牙根的準確率僅有0.96，且該模型平均準確率低于VGGNet模型和GoogLeNet模型。綜合總體準確率和平均準確率，VGGNet模型和GoogLeNet模型對于不同類型目標的識別均衡性更高，總體識別效果更優。

表4 不同神經網絡模型測試集評價數據Table 4 Evaluation matrix of CNN models in testing dataset

表4同樣列出了VGGNet模型、GoogLeNet模型和ShuffleNet模型的識別速度。該速度值取測試集中1200張格子圖片的平均值，并以40張格子圖片為單位(每張原圖切分后為40張格子圖片)，計算整圖的識別速度。觀察可知，ShuffleNet模型識別速度最快，幾乎是GoogLeNet模型的兩倍。VGGNet模型性能最低，只有8.9 fps的幀率，無法滿足實際應用的需要。此結果也證明雖然VGGNet模型通過增加網絡深度提高了識別率，但同時也消耗了更多的計算資源[37]。GoogLeNet模型識別速度為36.9 fps，表示其每秒鐘可以處理36.9張圖片。通常圖像處理速度高于30 fps即可認為是實時處理[38]，因而ShuffleNet模型和GoogLeNet模型均具備實時雜草識別的能力。綜合識別率和檢測速度，GoogLeNet模型為本研究中所選模型中的最優模型，其擁有最為均衡的識別率和識別速度。

2.2 除草劑噴施區域

圖4所示為本研究中所選最優模型GoogLeNet的雜草識別及噴施區域標記效果圖。分別為圖4a包含毛花雀稗的圖像、圖4b包含白三葉的圖像、圖4c包含莎草的圖像以及圖4 d同時包含毛花雀稗和白三葉的圖像。從效果圖可看出，GoogLeNet模型對于不同雜草類型均能正確識別，展示了其良好的穩健性。其中，圖中的淡紅色格子表示包含毛花雀稗的區域，淡黃色格子和淡藍色格子則分別為標記的白三葉和莎草位置區域。在草坪除草應用中，除草機器人根據標記的噴施區域格子坐標，控制施藥器噴頭移動至相應位置，完成除草劑的精準噴施。

圖4 草坪雜草識別與精準噴施效果圖Fig.4 Weed detection and site-specific spraying in bermudagrass

3 討論

當一張圖像中同時包含多種雜草時，切分格子可以將不同雜草劃分至不同區域，從而在一定程度上提升雜草識別率。但需要指出的是，單個格子中仍然可能存在多種雜草，該場景下神經網絡模型只會給出一個預測標簽值。若應用場景為不區分雜草種類的除草劑噴施，則僅需判定有無雜草，而無需確定具體雜草種類。反之，若為區分雜草種類的噴施，由于不同除草劑通常情況下不能混合使用，一次僅能噴施一種除草劑，因此，格子中存在多種雜草也只需識別出一種，通過多次作業完成所有雜草的噴施。

為降低除草劑用量、減少環境污染，研發能夠實現除草劑精準噴施的智能除草裝備勢在必行。要想實現精準噴施，首先需要實現對雜草及噴施區域的精準識別。傳統雜草識別方法通常僅在圖像中找出雜草像素，并未與施藥器的噴施系統相結合。如何進行選擇性的精準噴施？如何關聯雜草區域和施藥器噴頭的噴施范圍？本研究通過將圖像劃分格子區域，每一個格子作為一個噴施單元，通過識別格子中是否包含雜草，從而確定除草劑噴施區域。該方法可直接應用于除草機器人的視覺系統。

4 結論

VGGNet模型、GoogLeNet模型和ShuffleNet模型均能有效識別草坪雜草目標。其中GoogLeNet擁有最為均衡的識別率和識別速度，為本研究試驗的最優模型。試驗表明，本研究提出的草坪雜草識別與除草劑噴施區域檢測方法具有高度的可行性和較優的應用效果，可用于基于除草劑精準噴施的草坪雜草防控。本研究以草坪雜草為試驗對象，但本研究所提出的雜草識別與除草劑噴施區域檢測方法亦可應用于其他作物，如玉米(ZeamaysL.)、棉花(Gossypiumspp.)、水稻(OryzasativaL.)和小麥(TriticumaestivumL.)等。本研究后續將針對不同作物展開普適性研究，同時對神經網絡模型進行改進和優化，以進一步提升識別率與性能。