基于卷積神經網絡的玉米根莖精確識別與定位研究

楊 洋 張亞蘭 苗 偉 張 鐵 陳黎卿 黃莉莉

(1.安徽農業大學工學院， 合肥 230036； 2.安徽省智能農機裝備工程實驗室， 合肥 230036； 3.中國農業機械化科學研究院， 北京 100083)

0 引言

我國玉米中后期病蟲害防治現今仍以人工噴灑農藥為主，對施藥人員身體健康危害較大，實現自動噴霧作業，推進玉米中后期田間機械化管理是研究的方向。農業機械路徑的自動獲取是實現自動噴灑農藥的關鍵，路徑的獲取方式從早期的預埋電纜導航發展到北斗導航、機器視覺導航和激光導航[1]，其中視覺導航具有成本低和信息采集豐富的特點，已成為廣大學者研究的熱點。刁智華等[2]以早期玉米圖像為研究對象，采用過綠特征算法識別作物中心線，實現玉米的精準施藥。宋宇等[3]以玉米中后期圖像為研究對象，提出大田環境下快速、精確提取玉米根莖導航基準線方法，為農業AGV在中后期玉米大田中的自主行走提供了導航方法。還有學者采用機器視覺的方法獲取果園、秧苗和棉花等的作業導航線[4-5]。

相比常規方法，近年興起的卷積神經網絡(CNN)方法直接由數據本身特征自我學習，對圖像具有極強的數據表征能力，具有適應性好、抗干擾能力強的特點，已在醫學[6]、軍事[7-8]、人臉識別[9-10]和行為識別[11-12]等領域廣泛應用，獲得了較好的效果。在農業領域，學者們也開展了CNN在病蟲害檢測和作物分類識別方面的研究。對于作物病害檢測研究，劉德營等[13]提出卷積神經網絡模型的白背飛虱識別，孫俊等[14]采用改進卷積神經網絡識別植物葉片病害，譚文學等[15]設計了深度學習神經網絡實時預警果蔬病害。對于作物分類識別研究，傅隆生等[16]基于卷積神經網絡開展獼猴桃圖像識別，高震宇等[17]基于卷積神經網絡設計了鮮茶葉智能分選系統。

通過對國內外文獻的分析可以看出，已有大量學者將CNN應用于農作物分類和病蟲害檢測，但是對于作物根莖精確識別以及路徑規劃方面，尚缺乏研究。本文針對農業中玉米行間環境目標檢測圖像的特點，提出一種以Faster R-CNN為基礎，在VGG-16網絡上進行遷移學習的目標檢測方法。

1 履帶自走式熱霧機機器視覺系統

1.1 履帶自走式熱霧機設計

針對玉米作物中后期的病蟲害防治，設計了履帶自走式熱霧機，主要由履帶驅動系統、熱霧機、電子控制元器件、整機機架等部分組成，如圖1所示，集成了圖像采集、噴霧作業和田間自走功能。

圖1 履帶自走式熱霧機Fig.1 Crawler self-propelled hot fogging machine1.熱霧機 2.控制器 3.機架 4.履帶張緊輪 5.鋰電池 6.拖輪 7.網橋 8.高清相機 9.驅動系統

履帶熱霧機自走底盤控制系統采用基于STM32控制核心的電動驅動器，利用雙電動機差速控制轉向，根據機器視覺規劃出的路徑，基于滑模軌跡跟蹤控制算法[18]實現路徑跟蹤。

1.2 圖像采集系統設計

如圖1所示，圖像采集設備采用CMOS機器視覺攝像頭，圖像分辨率為1 024像素×768像素，攝像頭安裝在履帶自走式底盤前方，并利用相機成像原理對相機進行標定。履帶自走式底盤設計了減振系統，有效降低圖像采集平臺振動加速度，提高了圖像質量。

履帶自走式底盤行走速度設定為1 m/s，視頻/圖像信號和控制指令通過Alvarion網橋搭建數據鏈路進行傳輸，玉米行間有效傳輸距離大于500 m。圖像傳輸和指令返回時間小于20 ms，圖像處理平均時間180 ms，該采集系統能夠實現動采集動處理功能。圖像處理硬件采用Thinkpad P50移動工作站，Inter Core i7處理器，主頻2.6 GHz，內存容量32 GB，Nvidia Quadro M2000M型顯卡，顯存4 GB。

1.3 玉米根莖精確識別與路徑跟蹤流程

本文旨在通過圖像信息識別出玉米田間行駛路徑，實現履帶自走熱霧機的對行行走。首先需要對圖像進行預處理，去除噪聲并增強圖像中的有用信息，提取出單株玉米根莖的特征圖像并導入遷移網絡進行訓練，獲得玉米根莖目標檢測器。然后基于履帶自走熱霧機圖像采集模塊采集圖像，并對所采集的圖像提取感興趣區域(ROI)，利用已訓練好的目標檢測器精確識別玉米根莖位置，最后采用最小二乘法識別路徑，履帶熱霧機底盤根據已識別出的路徑，采用雙電動機差速控制方式實現熱霧機自主對行行走，具體流程如圖2所示。

圖2 玉米田間路徑識別流程圖Fig.2 Path recognition flowchart of maize field

2 基于卷積神經網絡的玉米根莖精確識別模型構建

2.1 基于Faster R-CNN的目標檢測方法

隨著計算機視覺原理的發展應用，針對圖像的目標檢測成為近年來計算機視覺領域的研究熱點。傳統目標檢測通過滑動窗口進行區域選擇，容易造成窗口冗余，而手工設計的特征對于多樣性變化缺乏很好的魯棒性，對于復雜場景下的目標檢測效果不好。

2012年，卷積神經網絡(CNN)在圖像識別基礎上取得了先進的性能，引起科學界的廣泛關注。2014年，UIJLINGS等[19]提出區域卷積神經網絡(R-CNN)，利用selective search算法在圖像中提取候選區域并輸入到卷積神經網絡(CNN)，提取卷積特征，通過SVM分類器對候選區域提取的特征進行分類，最后對SVM分類建議區域做邊界框回歸。

但是，由于該方法對每一個候選區域均做了一次卷積，存在大量的重復運算，隨后又提出了Fast R-CNN檢測方法[20]，該方法將建議區域的特征提取轉移到最后一層的卷積特征圖上進行，并在之后加了一個針對目標區域的池化層，此外利用Softmax Loss和Smoorh L1 Loss對分類和邊界回歸聯合訓練，有效提高了目標檢測的精度和效率。

針對建議區域提取低效的問題，文獻[21]在Fast R-CNN的基礎上，提出了Faster R-CNN檢測方法，引入了區域建議網絡(RPN)，檢測網絡共享圖像卷積特征。至此，目標檢測的基本步驟被統一到一個深度網絡框架內，不存在重復運算，運算速度得到了顯著的提升。

2.1.1區域建議網絡

圖像識別中的目標檢測算法是比較復雜的問題，需要網格結構具有一定的復雜度，如果從零開始建立網絡則難以確定合適準確的網絡，需在預訓練好的模型上進行遷移學習[22]，本文基于VGG-16深度網絡[23]開展遷移學習，采用Faster R-CNN算法進行訓練，卷積核設置為3×3，最小檢測對象為32×32。如圖3所示，整體結構由兩部分組成，一個是區域建議網絡(RPN)生成檢測框信息，另一個是使用Faster R-CNN檢測建議框并識別目標。

圖3 基于VGG-16的Faster R-CNN網絡框架Fig.3 Faster R-CNN network framework based on VGG-16

輸入的圖像經過由卷積層、池化層、以及Relu激活函數層組成的特征提取網絡后生成特征圖層并輸入到區域建議網絡，區域建議網絡也是一種全卷積網絡，與Faster R-CNN目標檢測網絡共享計算，旨在有效地預測各種尺度和高寬比的區域建議。以一個任意大小的圖像作為輸入，輸出一組矩形的對象提議，每個對象提供一個對象評分。

為了生成區域提議，使用一個小網絡在由特征提取網絡得到的特征圖層上滑動掃描。這個網絡將輸入特征圖層的3×3卷積核作為輸入，然后映射到一個低維度的特征上。為了解決目標的多尺度問題，需要引入不同尺度、不同長寬比的基準窗。卷積核中心點對應原圖上的位置稱之為錨(anchor)的中心點，通過設置8、16、32共3種倍數以及1∶2、1∶1、2∶1共3種長寬比，即可得到9種尺度的錨，這樣在遍歷特征圖層的過程中，會生成上萬個錨作為初始檢測框。

通過圖3可以看到，區域建議網絡實際分為2條線，上面一條通過分類層(cls)判斷這些初始檢測框是目標還是背景，下面一條通過回歸層(reg)預測檢測框的中心坐標(x,y)、寬度w和高度h，進而獲得精確的建議區域。而最后的Proposal層則負責綜合考量分類和回歸的問題，同時剔除過小以及超出邊界的區域。

2.1.2損失函數

為了訓練區域建議網絡，需要為每個錨分配一個二進制類標簽用于判斷建議區域是目標還是背景。針對建議區域與期望區域重疊部分的占比I，一般設定I大于0.7的區域為目標，分配正標簽；I小于0.3的區域為背景，分配負標簽。對于I在0.3和0.7之間的a錨，以及跨越圖像邊界的錨則需要舍棄。重疊部分占比I定義為

(1)

式中A——建議區域面積

B——期望區域面積

一個建議區域可以包含多個錨，因此一個建議區域可以包含多個正標簽。其中，I閾值的設定對于訓練結果也會造成很大的影響，這個參數的最佳值通過下文的評價指標得到。

將Faster R-CNN中的多任務丟失后的目標函數最小化，圖像的損失函數定義為

(2)

式中i——一個錨的索引

Ncls、Nreg——分類層數和回歸層數

pi——目標錨的預測概率

ti——預測邊界框的4個參數化坐標參數

Lcls——目標與背景兩個類的對數損失

Lreg——目標與背景的回歸損失

λ——權重

分類層(cls)和回歸層(reg)的輸出分別由pi和ti組成，這兩項由Ncls和Nreg歸一化，并由平衡參數λ加權(默認λ=0，因為平均精確率在很寬范圍內對λ不敏感)。因此分類層和回歸層項的權重大致相等，對于邊界框回歸，采用文獻[24]中的4個坐標參數，分別為

(3)

式中x、y、w、h——預測區域框橫坐標、縱坐標、寬度、高度

xa、ya、wa、ha——建議區域框橫坐標、縱坐標、寬度、高度

x*、y*、w*、h*——期望區域框橫坐標、縱坐標、寬度、高度

tx、ty、tw、th——建議區域框橫坐標、縱坐標、寬度、高度的損失量

2.2 玉米根莖精確識別模型

針對玉米作物行間環境，建立專門的目標訓練數據集，基于Faster R-CNN目標檢測方法對數據集進行訓練和測試，所有的測試評估均在核心配置為E5-2620 CPU 與NVIDIA Quadro K5000 GPU的圖形工作站上進行。整個目標檢測網絡在 Matlab 2017a 上構建完成。

2.2.1訓練樣本庫建立

基于圖像采集系統采集玉米作物行間圖像，針對玉米根莖目標構建專用目標樣本庫。如圖4所示，共采集了1 000幅相似圖像，可以看出，圖像中包含多株玉米作物、雜草，以及存在玉米莖葉干擾遮擋的現象，雖然綠色特征較為明顯，但是根莖攜帶部分泥土特征，并且不同光照條件下綠色特征也不同，采用傳統的圖像處理方法難以準確地區分，體現了玉米作物行間環境的復雜性。排除掉較遠較小的根莖，每幅樣本圖像約可以提取10個單株根莖樣本。

圖4 田間玉米圖像Fig.4 Corn picture in field

為了縮短訓練時間，對每幅圖像提取只包含單株玉米根莖的樣本圖像，并將樣本圖像的尺寸統一化，本文首先基于高斯核構建圖像的DOG金字塔模型。高斯核是被證明的唯一可以產生多尺度空間的核[25]，通過對同一幅輸入圖像進行不同尺度的高斯卷積，可以使圖像平滑，高斯金字塔表達式為

(4)

(5)

式中N——高斯金字塔層數

x、y——圖像像素點橫坐標、縱坐標

Gk(x，y)——第k層圖像

Rk、Ck——第k層圖像的行數和列數

w(i,j)——二維可分離的5×5窗口函數

i、j——卷積層圖像的行數和列數

通過式(4)完成下采樣及平滑處理。

在高斯金字塔的基礎上，利用高斯差分對圖像進行上采樣，即可構成圖像的DOG金字塔模型。根據此模型將單株玉米根莖圖像分辨率統一縮減至同一尺度，將裁剪得出的圖像組成目標訓練數據集，采用Matlab中的Training Image Labeler工具箱對樣本圖像具有根莖特征的目標進行標定，如圖5所示。

圖5 玉米根莖人工標定圖Fig.5 Corn root artificial calibration diagrams

2.2.2單株玉米根莖識別

將數據集按照9∶1分為訓練集和測試集兩部分，對單株玉米根莖進行訓練，圖像輸入層對輸入的圖像提取建議目標區域，會存在大量的重復和冗余的部分，這些多余的部分會拖慢檢測效率，因此將最大建議區域設置為2 000像素，初始學習速率為1×10-5。設定完成后對網絡進行訓練，步驟如下：

(1)單獨訓練RPN網絡，得到建議區域。

(2)將步驟(1)得到的建議區域作為輸入，單獨訓練Faster R-CNN檢測網絡，此時兩個網絡仍是分開訓練，還沒有共享卷積層。

(3)利用Faster R-CNN檢測網絡訓練RPN，此時固定網絡公共的卷積層，只微調RPN獨有的參數。

(4)固定網絡公共的卷積層，利用RPN網絡微調Faster R-CNN檢測網絡，只更新Faster R-CNN獨有的參數。

通過以上步驟創建了一個用于檢測的統一網絡，訓練完成后對測試集進行目標檢測。

為了評估目標檢測器的訓練效果，還需確定相應的評價指標。召回率和精確率是最常用的兩個評估標準，召回率為目標圖像被成功檢測出來的比例，而精確率是檢測到目標的圖像中真正包含目標的比例。理想狀態下兩者都越高越好，但召回率和精確率具有負相關性，一般情況下難以保證兩者均達到較好的數值，所以需要針對情況綜合考慮，在玉米作物行間環境中要實現路徑識別的功能，最重要的是能成功檢測出目標區域，可以容許存在一定的檢測誤差，但是如果出現沒檢測到的根莖目標時，就會對后期的路徑識別帶來較大的影響，所以召回率的作用更為重要。圖6為對測試集進行目標檢測后目標檢測器的召回率和精確率的關系曲線，可以看出，當召回率大于0.6時，檢測的精確率會有較大幅度的下降，平均精確率為0.62。

圖6 召回率與精確率耦合關系Fig.6 Relationship of recall rate and precision coupling

圖7為對單株玉米根莖識別的部分測試結果，從圖中可以看出，訓練的目標檢測器對目標根莖識別的效果比較理想，回歸檢測得出的目標框可以很好地包含根莖的特征，即使存在光照、陰影以及部分根莖被玉米莖葉遮擋的現象，通過訓練模型也可以準確地識別。

圖7 單株玉米根莖識別圖Fig.7 Precise identification diagrams of single corn plant roots

2.2.3玉米行間環境下的玉米根莖識別

在以單株玉米根莖為目標訓練得出的深度學習網絡模型的基礎上，本節對玉米行間環境下的多株玉米根莖進行檢測。從圖4可以看出，路徑兩側的玉米根莖作為識別的主體部分，但玉米葉片部分的圖像意義不大，會對結果造成干擾，所以在識別前對玉米作物行間圖像進行預處理，提取感興趣區域(ROI)，不僅能消除干擾，還能夠提高檢測器的運算速度，增加識別效率。

通過對玉米行間圖像進行對比分析，定義感興趣區域為圖像下半部的以路徑為主體的多邊形對稱區域，如圖8a所示，利用設定的感興趣區域對圖像進行掩模處理，得到的圖像如圖8b所示。

圖8 感興趣區域提取結果Fig.8 Region of interest extraction result

對預處理后的圖像進行路徑檢測，如圖9所示，在感興趣區域中，不僅特征明顯的目標根莖能夠被準確地識別，即使有的根莖被莖葉遮擋，依然能被檢測器識別，并且達到了較理想的檢測精度。不過仔細觀察圖中路徑盡頭能夠發現，存在部分極小的目標根莖沒有被檢測到的現象，這是因為目標根莖所占區域過小時，由于特征缺失導致檢測器誤判，所以在訓練過程中通過對回歸邊界框設定最小尺寸來最大限度地規避這種可能。

圖9 整幅圖像玉米根莖精確識別結果Fig.9 Accurate recognition results of corn roots

圖11 理想環境下卷積神經網絡與傳統方法對比Fig.11 Comparison of Faster R-CNN with traditional methods in an ideal environment

3 試驗與結果分析

試驗地點為安徽省宿州市埇橋區灰古鎮安徽農業大學皖北實驗站，玉米植株行距60 cm，玉米田農藝行距為80 cm，圖像采集平臺為履帶自走式熱霧機，試驗現場如圖10所示。

圖10 田間試驗現場Fig.10 Test scene in filed

采用本文提出的方法對玉米根莖進行識別與定位，兩種不同場景下的識別結果如圖11a和圖12a所示，根據檢測器識別出的目標根莖，提取出回歸邊界框內的定點，構成路徑的基準點。對獲取的基準點采用三次樣條插值的方法來獲得兩側的根莖行線，之后對兩側根莖行線沿圖像行方向提取的中點采用最小二乘法進行擬合，最終得到行駛路徑，如圖11、12中虛線所示。

為了說明本文所提出方法的優越性，采用傳統圖像處理方法對相同圖像進行處理，并與本文方法進行對比。傳統圖像處理的詳細過程在此不再贅述，其大致方法[3]如下：由于玉米秸稈圖像包含典型的超綠特征，采用2G-R-B算法提取顏色特征因子，對采集的圖像進行Otsu自適應二值分割，以及膨脹、腐蝕、去除小面積等形態學操作，將玉米作物從土壤背景中提取出來。對于分割后的二值圖像，沿列方向進行垂直投影變換，可以獲得玉米根莖的下部輪廓，通過對圖像進行分析可以得出，根莖部位的投影值表現了局部極大的特征，所以對輪廓求極大值即可得到根莖的特征點。但得出的一系列點還包含許多無關以及重復的特征，會對路徑的識別造成干擾。根據相機“近大遠小”的成像原理，可以對這一系列定位點進行二次判斷，從路徑盡頭的點沿行方向向兩邊搜索，距離鏡頭近但投影值較小的點被判斷為偽特征點，需要舍去，基于該方法得到的結果如圖11b、12b所示。

圖12 非理想環境下卷積神經網絡與傳統方法對比Fig.12 Comparison of Faster R-CNN and traditional methods in non-ideal environments

圖11a、11b為理想狀態下的兩種方法識別結果，圖11c中藍線和紅線分別為采用傳統圖像處理和深度學習方法得出的根莖行線以及行駛路徑線，深度學習能夠精確識別玉米根莖，而傳統圖像處理方法雖然能獲得兩側的根莖行線，但由于部分根莖缺乏典型的綠色特征，無法準確地識別根莖位置，從圖11b能夠得到，傳統方法對于單個根莖難以做到準確定位，有的根莖被識別出多個特征點，而且在兩株玉米秸稈之間的雜草也容易被誤識別成根莖的特征點，圖11c表明兩種方法得出的行駛路徑線具有差別，傳統方法無法準確實現玉米根莖精確定位。

圖12為視線被玉米莖葉遮擋下的兩種方法結果對比。由于深度學習的方法是通過識別目標根莖來獲得行駛路徑，從圖12a可以看出，在此場景下根莖以及路徑信息依舊被清晰地識別出來，而傳統圖像處理的方法只是根據顏色特征分割玉米和土壤獲取玉米根莖位置，難以精準識別每一個根莖，從圖12b可以看出，有的根莖沒有被識別，而且由于玉米莖葉的遮擋，導致了錯誤識別，最終規劃出錯誤的路徑。從圖12c可以看出，兩種方法得到的路徑具有明顯區別，傳統方法得到的路徑無法滿足熱霧機行間對行行走。

表1為兩種方法檢測結果的統計，本文方法相對于傳統圖像處理方法的精確率有了很大提高，雖然檢測速度稍微慢了一些，但是不影響導航的準確性。

表1 統計結果Tab.1 Statistical results

由于本文選取的訓練樣本為玉米抽雄期根莖照片，基于卷積神經網絡訓練的識別模型無法適用于玉米其他生育時期根莖的精確識別，圖13為采用本文訓練的模型識別玉米拔節期玉米根莖的失敗案例。因此在后續研究中需訓練不同時期的玉米根莖識別模型，以提高識別模型的適用性。

圖13 根莖識別失敗案例Fig.13 Rhizome identification failure case

4 結束語

針對履帶自走式熱霧機玉米行間對行自主行走的需求，研究了玉米根莖精確識別與定位方法，在預訓練網絡模型VGG-16的基礎上進行遷移學習，建立了玉米根莖檢測網絡，模擬人眼識別的功能自動從復雜田間環境中準確識別和定位玉米根莖。利用履帶自走式底盤作為圖像采集平臺，獲取玉米作物田間圖像，采用模型DOG金字塔算法提取圖像中的目標根莖，構成樣本訓練數據庫。試驗結果表明，本文提出玉米的根莖識別與定位方法與傳統的圖像處理方法相比，具有更好的定位精度，能夠實現對玉米作物田間路徑的準確識別，實現履帶自走式熱霧機玉米行間對行行走。