玉米除草機器人視覺導航系統設計與試驗

賴漢榮，張亞偉，張 賓，尹彥鑫，劉宇航，董雨航

玉米除草機器人視覺導航系統設計與試驗

賴漢榮1，張亞偉1※，張 賓1，尹彥鑫2,3，劉宇航1，董雨航1

（1.中國農業大學工學院，北京 100086； 2. 北京市農林科學院智能裝備技術研究中心，北京 100097；3. 智能農業動力裝備全國重點實驗室，北京 100097）

玉米苗帶準確檢測與精準跟蹤是玉米除草機器人實現自主作業的重要基礎。針對玉米除草機器人苗帶檢測，該研究提出了基于感興趣區域更新的玉米苗帶實時識別及導航線提取方法，首先利用單目相機采集機器人前向玉米苗帶，將苗帶圖像進行歸一化和超綠處理，采用改進自適應響應閾值SUSAN（small univalue segment assimilating nucleus）角點法以及冗余離群特征點剔除法獲得玉米苗特征點，以改進的順序聚類算法對視頻幀進行玉米苗帶聚類處理，再利用最小二乘法擬合出各玉米苗帶，最后基于機器人航向偏差和其相對玉米苗帶的橫向偏差實時調整感興趣區域和更新導航線；同時，針對除草機器人苗帶行線跟蹤，提出以運動學為模型的PID（proportion integration differentiation）轉向角決策方法，建立了導航跟蹤控制模型；并在Visual Studio平臺下，利用OpenCV庫開發了導航控制系統。試驗結果表明，玉米除草機器人導航線提取準確率為96.8%，每幀圖像平均處理時間為87.39 ms，具有較好的實時性和抗干擾性；在模擬環境下，玉米苗帶直線和曲線跟蹤平均誤差≤1.42 cm，標準誤差≤0.41 cm；在農田環境下，不同速度導航跟蹤平均誤差≤1.51 cm，標準誤差≤0.44 cm。研究結果可為玉米除草機器人田間自主作業提供關鍵技術支撐。

機器人；機器視覺；玉米除草；苗帶識別；導航跟蹤

0 引 言

玉米除草機器人能夠降低勞動成本，提高生產效率，且不會帶來化學污染，在農業綠色生產中可發揮重要作用。除草機器人玉米苗帶準確識別和精準跟蹤控制是玉米除草機器人實現自主作業的關鍵支撐技術[1-3]，是當前的研究熱點。

機器視覺因具有成本低、適用性廣、使用方便等特點而成為除草機器人識別玉米苗帶和雜草的主要技術方案[4]。如澳大利亞昆士蘭科技大學研制的AgBot II智能除草機器人[5]、法國研制的Dino機器人[6]、瑞士ecoRobotix公司研制的AVO除草機器人[7]和丹麥奧爾胡斯大學農業研究所研制的HortiBot除草機器人[8]均通過機器視覺準確識別出作物和雜草，進而實現導航控制和除草作業。為提高機器視覺檢測精度及效率，近年來國內外學者開展了大量研究，提出了很多有效方法。ZHAI等[9]采用基于雙目視覺的空間分布檢測提取作物行特征的方法識別作物行，檢測精度為92.78%，但立體匹配難度和計算量較大，圖像平均處理時間為634 ms；VIDOVI?等[10-11]提出了一種模板匹配和全局最優化的作物行檢測方法，根據對281幅不同大田作物圖像的處理結果，該算法行線識別準確率為73.7%；張博立等[12]基于動態網格和分區域聚類的玉米苗帶識別，處理一幅圖像平均耗時320 ms；刁智華等[13]采用隨機霍夫變換的玉米導航線提取，處理時間為290 ms；宋宇等[14]采用玉米垂直投影生成根莖輪廓特點并用峰值點檢測算法生成候補定位點的方法，圖像處理平均耗時200 ms。以上研究發現基于視覺的苗帶識別受算法耗時、田間環境等因素的影響，存在苗線擬合效果波動大，田間適應性較差，運行速度較慢等問題，算法的準確性、魯棒性、適應性和實時性仍有較大的提升空間。

除草機器人在田埂、坑洼和土地松軟等農田環境下的穩定行走和靈活轉向也是目前的研究熱點。BALL等[15]采用機器視覺檢測，利用代價圖和向量追蹤技術實現農業機器人的田間路徑跟蹤，實現路徑跟蹤誤差為0.0891 m；SAMWEL等[16]基于視覺的中軸變換識別導航線，采用滑移轉向控制與模糊邏輯控制結合的方式對農業機器人進行控制，實現了跟蹤誤差為14.6 mm；RADCLIFFE等[17]以視覺系統的多光譜信息作為引導，采用比例積分控制農業機器人自主導航，實現導航誤差為2.13 cm；張雁等[18]提出利用模糊邏輯推理自適應調整PD控制器參數的最優控制方法，實現水稻播種機導航控制穩定，跟蹤平均絕對偏差小于0.04 m；賀靜等[19]以視覺和激光融合方式識別水稻行，并設計了預瞄追蹤PID控制器進行插秧機導航控制，實現了導航系統快速響應和穩定控制轉向，達到試驗標準差為27.51 mm，以上研究發現，在導航跟蹤控制方面仍存在參數整定復雜和計算量較大等問題，控制算法整定和計算量有待提升。

本文提出了一種基于感興趣區域更新的玉米苗帶實時提取算法，采用改進自適應響應閾值SUSAN（small univalue segment assimilating nucleus）角點法以及冗余離群特征點剔除法快速獲得玉米苗特征點，以改進順序聚類，完成各玉米苗帶聚類與擬合，然后進行感興趣區域和苗帶導航線更新。最后提出以運動學為模型的PID（proportion integration differentiation）轉向角決策方法，建立導航跟蹤控制模型，并設計了玉米除草機器人導航控制系統，展開試驗以驗證導航系統的跟蹤精度。

1 除草機器人視覺導航系統整體方案

1.1 除草機器人平臺結構

本文除草機器人視覺導航系統主要包括阿克曼線控底盤、工業相機和導航控制終端等（圖1），其中阿克曼線控底盤采用前輪轉向、后輪驅動，線控底盤尺寸為1 200 mm×765 mm×490 mm，搭載煜禾森機器人鋰電池（48V/20AH磷酸鐵鋰），可保證6h的續航作業能力，并能對外供電滿足其他設備的用電需求。工業相機選用林柏視公司生產的Rmoncam G200相機，焦距為2.8mm，分辨率為1920像素×1080像素；工業相機安裝在阿克曼線控底盤前端，高度為1m，俯視角為45°用于玉米苗帶識別。導航控制終端作為除草機器人的上位機，用于苗帶信息處理、控制策略生成和信息呈現等。控制箱包含STM32單片機、繼電器和電機控制器等，具有8通道分別用于控制步進電機、除草刀具和直線拉桿傳感器等。此外，除草機器人的除草執行機構由除草刀具、滾珠絲杠和電動推桿等組成，用于機械式除草，間距和入土深度可調節。

1.除草執行機構 2.控制箱 3.阿克曼線控底盤 4.導航控制終端 5.工業相機

1.2 工作原理

玉米除草機器人視覺導航系統的工作原理如下：工業相機采集圖像經過USB傳輸至工控機，工控機經過圖像處理獲得玉米苗帶的橫向偏差和航向偏差，并通過USB-RS23轉接方式與STM32通信；STM32進行處理獲得小車轉角，通過CAN與轉向控制器通信，控制阿克曼線控底盤，并利用角度/速度傳感器獲得阿克曼線控底盤的轉角和速度，反饋至STM32，完成閉環控制，以此完成除草機器人的路徑跟蹤。同時，STM32通過串口通信對除草執行機構進行控制。

2 苗帶識別與導航線提取方法

2.1 苗帶樣本采集

玉米苗帶圖像采集于北京市昌平區小湯山鎮國家精準農業研究示范基地，采集場景包含少量雜草、雜草叢生、強光照（晴天）、中光照（多云）和弱光照（陰雨天）等不同干擾因素影響下的玉米苗帶圖像，其中玉米苗處于3～4葉期，株距30cm、行距60cm，平均株高17 cm。

2.2 圖像預處理

在采集的樣本中，玉米苗和雜草為綠色，土壤為灰褐色，且存在雜草、冠層交疊等情況。在大田環境下，為實現不同光照強度下作物與背景的準確分割以及玉米株與株之間的清晰區分，先對RGB彩色圖像的顏色分量進行歸一化處理，以減少光照強度對玉米苗提取特征的影響，計算式為

式中、、表示紅、綠、藍3個顏色分量值；、、為歸一化后的各顏色分量值。

將RGB彩色圖像進行歸一化處理后，對綠色分量進行增強，進而將玉米苗與土壤背景、株與株間背景區分，計算式為

式中(,)為歸一化ExG處理后的第行列像素點的灰度值。

為清晰分割出作物與背景，利用苗帶和雜草所占綠色面積區域大小差距較大的特點，對最大類間方差法獲得的閾值進行優化[20]。對閾值T的權重重新分配，將灰度值大于T的像素點記為綠色區域，累計綠色區域得到綠色區域面積S，設整個圖像像素區域面積為，則綠色區域所占的比例為=S/。優化后的綠色最優閾值T的計算式為

利用優化后的綠色最優閾值對苗帶進行提取，結果如圖2所示。由圖2可知，超綠算法不受自然光變換影響，在“強、中、弱”不同光照強度下都能準確的將苗帶從背景中提取出來。但是在弱光照、少量雜草和雜草叢生場景下，綠色最優閾值分割效果明顯優于固定閾值分割，玉米苗帶分割更加清晰，作物行間間隙更加明顯，為此，綠色最優閾值優于固定閾值分割，能有效分割出苗帶和背景。

圖2 二值化圖像

2.3 苗帶識別及導航線確定

2.3.1 改進自適應響應閾值SUSAN角點法

圖像預處理后，由于玉米苗本身葉子為尖狀且重疊在一起，為避免傳統SUSAN角點法提取特征點集中在苗帶的尖點和重疊處，導致的特征點信息片面，提出改進自適應響應閾值SUSAN角點法，使提取到的特征點能全面準確的反映各玉米苗帶的信息，以利于后續作物行聚類[21-23]。

提取算法步驟如下：

1）選用37像素的圓形模板，通過圓形模板在圖像上滑動，在模板所覆蓋區域內像素與中心點處像素值做差比較，計算灰度差值，當灰度差異小于某一閾值，則判定該點與模板處于核值相似區，灰度差值為

式中（0,0）表示圓形模板中心位置；（,）表示模板非中心的位置；(,)表示位置(,)處的像素值；是灰度值相似度閾值。

2）圓形模板在待檢測的圖像上從上到下，從左到右滑動，計算檢測模板的核心和模板內各點灰度值，當遍歷比較完模板圓內所有像素值，對(,;0,0)處的核值相似區面積進行統計。

式中(0,0)為模板核在(0,0)處的核值相似區的面積總和，當(0,0)的值小于某個特定閾值，則初步認定為可能的角點，當其滿足角點響應函數，則判定其為角點。角點響應函數為

式中為響應閾值，其決定角點提取的敏感程度。為使其能針對不同圖像做出自適應取值，定義自適應響應閾值為

式中為比例系數，根據圖像數據集分析，可得圖像中為5個苗帶時，提取到苗帶特征點分布最為均勻，為此取=5。

2.3.2 冗余離群特征點剔除法

為減少聚類計算量，提高導航線提取實時性，采用冗余離群特征點剔除法，剔除玉米苗帶存在的冗余點和離群點[24]。本文采用3×3的檢測窗口，設檢測窗口中心點與其周圍的8鄰域點的灰度像素值的差值為，最優閾值為，如果滿足≤，則判定該點與中心點相似。在3×3的檢測模板中與中心點的相似點的數目計算式為

由檢測窗口中心點周圍的8鄰域點確定(,)的取值范圍為[0,8]，當=0時說明該中心點與其周圍的8領域點都不相似，則該中心點是一個離群點，應當舍去；當=7或者8時說明在該中心點與其周圍的8領域點有7個或者8個相似，則該中心點是內部點，屬于冗余特征點應當舍去；當=[1,6]時，該中心點與其周圍的8領域點有個相似點，則該中心點不是離群點和內部點，需要對該中心點周圍的8領域點進行選擇，保留強特征點，去除同類型冗余特征點。以=3為例，該中心點周圍8領域點分布的3種情況如圖3所示。

注：黑色點為檢測窗口的中心點；黑色點周圍的8個點為8鄰域點；灰色點為與中心點相似的點。

1）情況1：3個相似點互不相鄰，表明3個點類型不同，不需要進行冗余特征點去除，則3個點全部保留；

2）情況2：3個相似點中有2個點相鄰，表明相鄰這2個點類型相同，需要進行冗余特征點去除，去除2個點中的任意1個點；

3）情況3：3個相似點連在一起，表明3個點類型相同，需要進行冗余特征點去除，僅保留3個點中的任意1個點。

對于={4，5，6}情況進行同樣的冗余特征點去除。

由圖4可看出使用冗余離群特征點剔除法后，有效去除了冗余點和離群點，并準確保留了玉米苗信息，減少了后續聚類的計算量，提高了實時性。

圖4 冗余離群特征點剔除前后對比

2.3.3 改進順序聚類

根據苗帶在玉米植株區域特征點較為密集，在非玉米植株區域特征點稀疏或者沒有特征點，可采用順序聚類提取玉米苗帶[25-26]。本文在順序聚類中融入區域分層聚類，先采取區域分層預聚類，然后對各個區域進行順序聚類，以分層聚類與順序聚類結合的方式，提高了聚類算法的速度，改進的順序聚類流程如圖5所示。

圖5 改進順序聚類流程圖

改進順序聚類流程具體實現步驟為：

1）區域分層預聚類

初始化區域大小，將整個圖像進行區域塊分割，對每一個區域內的特征點進行分層聚類，獲得每個區域聚類數。具體可以分為如表1所示的4種類型。

2）順序聚類

把已經聚類好的類C，進行順序排列，并尋找與類C距離最近的且已經歸類的類C，計算兩類之間的距離(C,C)，如果(C,C)小于預設的不相似性測度閾值，則將類C歸入類C合并成一類，否則生成C類新類；直至遍歷所有類或滿足終止條件[24]，則完成聚類。

2.3.4 起始感興趣區域確定及更新

對聚類后的玉米苗帶特征點進行最小二乘法直線擬合，獲得玉米苗帶的信息并進行分析和比較。以玉米苗帶相對除草機器人位置的橫向偏差和航向偏差絕對值最小的苗帶作為當前除草機器人的導航線，并以該導航線所屬類的特征點確定起始感興趣區域的定位點[27]，其確定步驟如下：

1）根據聚類后的簇數，對每一類進玉米苗帶擬合，從左到右對擬合出的玉米苗帶進行編號1、2、…、，其中為圖像中玉米苗帶總數，根據相機的視野范圍內所能呈現最佳玉米苗帶數為標準取為5。攝像頭經過相機標定與坐標系轉換后，通過式（9）計算出圖像中玉米苗帶與除草機器人之間的橫向偏差和航向偏差，并分析比較玉米苗帶的橫線偏差和航向偏差，得到絕對值最小橫向偏差和航向偏差的玉米苗帶，即為除草機器人要進行導航的導航線。

表1 區域分層預聚類處理方式

注：聚類方向為虛框矩形塊往實框矩形塊移動。

Note: the direction of clustering is the virtual rectangular block moving to the real rectangular block.

式中d（mm）為第個玉米苗帶的橫向偏差，β（°）為第個玉米苗帶的航向偏差，B（mm）為世界坐標系下的第個玉米苗帶的截距，K為世界坐標系下的第個玉米苗帶的斜率。

2）獲得除草機器人導航線后，計算與其相鄰左右玉米苗帶在圖像的上下限位置點之間的像素距離2和2l，以左右兩邊距離大的中點作為起始感興趣區域的定位點，如圖6的到點。記導航線的上下頂點的像素坐標為（up,up）和（down,down），則有基于像素距離和l確定上下4個定位點的像素坐標分別為（X,up）、（X,up）、（X,down）和（X,down），其中4個定位點的橫坐標計算式為

注：聚類后不同玉米苗帶用不同顏色點表示；、、、為感興趣區域的4個定位點；l、l分別為圖像上、下限處玉米苗帶的像素距離。

Note: After clustering, different maize seedling belts are represented by different color dots;,,,are the 4 anchor points of the region of interest;l,lare the pixel distance of the corn seedling belt at the upper and lower limit of the image.

圖6 起始感興趣區域確定及更新示意圖

Fig.6 Initial region of interest determination and update diagram

以起始感興趣區域作為實時感興趣區域的起始區域，在進行實時導航時，只對實時感興趣區域內的玉米苗帶進行處理，極大的減少圖像處理時間和各種干擾，從而實現實時感興趣區域的導航線動態更新，具體步驟如下：

1）在實時感興趣區域內進行圖像處理和導航線擬合，并更新實時感興趣區域內導航線上下頂點的像素坐標為（X,Y）和（X,Y）。

2）按照式（10）計算實時感興趣區域的4個定位點坐標，并將其作為下一幀視頻的實時感興趣區域定位點，如圖6b所示，白色線為上一幀的感興趣區域，綠色線為更新后的感興趣區域。

3）由4個定位點確定出下一幀實時感興趣區域，重復步驟1）和2），更新實時導航線和實時感興趣定位點，從而實現實時感興趣區域的動態更新。

3 玉米苗帶跟蹤控制

3.1 導航跟蹤控制模型與控制流程

玉米除草機器人采用阿克曼線控底盤，其前輪轉向輪和后輪驅動輪結構簡單、易控制、行走靈活。在田埂、坑洼和土地松軟等農田環境下作業，為避免車輪打滑造成的壓苗和傷苗，采用PID導航跟蹤控制模型，以提高控制精度和響應速度。以阿克曼線控底盤整體為研究對象，建立二輪車運動學模型[28]，如圖7所示。

為滿足系統的快速響應和轉向的穩定控制，在二輪車運動學模型的基礎上，采用PID算法決策前輪轉向角。基于橫向偏差和航向偏差設計期望轉向角二元線性控制規律[29]如式（11）：

式中1為橫向偏差系數；2為航向偏差系數。

為計算1和2，由小車導航平面坐標系得運動學微分方程為

注：表示全局坐標系；表示車身坐標系，軸方向沿車輛中軸方向向前，軸為車輛方向朝左，其車輛中心在質心位置；為玉米除草機器人的作業速度，m·s-1；為航向偏差，mm；為期望車輪轉角，rad；為玉米除草機器人當前橫向偏差，mm；為阿克曼線控底盤軸距，mm。

Note:Ois global coordinate system;ois the body coordinate system, the direction ofaxis is forward along the central axis of the vehicle, and the direction ofaxis is to the left of the vehicle, whose vehicle center is at the center of mass;is the operation speed of the corn weeding robot, m·s-1;is course deviation, mm;is the expected wheel angle, rad;is the current lateral deviation of the corn weeding robot, mm;is the wheelbase of ackerman wire chassis, mm.

圖7 二輪車運動學模型

Fig.7 Model of two wheels kinematics

將式（12）代入式（11）利用極點配置思想，將該系統的極點放置在一個理想的位置獲得最佳的系統響應為

則可得到橫向偏差系數1=2/，航向偏差系數2=/2。

在導航跟蹤控制模型中，定義橫向偏差和航向偏差的正負號如下：橫向偏差在車身坐標系軸的正半軸定義成負值，負半軸定義成正值；根據時鐘運行方向，航向偏差為逆時定義成正值，為順時定義成負值。

前輪轉角由橫向偏差、航向偏差和速度決定，橫向偏差、航向偏差可由苗帶識別得到，速度可通過小車反饋系統得到，因此根據輸入預定導航線，獲得小車此時的橫向偏差和航向偏差，并與視覺導航系統獲得的位置和角度進行比較，并發送給玉米苗帶跟蹤控制器，進而獲得除草機器人速度和轉角，并控制除草機器人完成導航，其導航跟蹤控制流程框圖如圖8所示。

圖8 控制流程圖

3.2 導航系統軟件開發

利用Visual Studio開發環境，基于OpenCV圖像處理庫開發了玉米除草機器人視覺導航系統軟件。該軟件主要實現玉米導航線實時檢測、獲取導航線偏差和偏距與STM32控制端的同步交互和手動控制除草機器人導航和除草等功能，系統工作流程圖如圖9所示。

如圖10所示，軟件界面包括機器人視覺信息實時顯示、小車導航信息顯示、導航手動調試、刀具手動控制和通訊配置等功能。導航系統工作時，在導航實時顯示區的左側實時顯示監控畫面，右側顯示導航線識別畫面；信息交互區可進行與下位機實時通信，并顯示串口號、波特率和下位機發送的信息；小車偏差顯示區可實時展示導航線的橫向偏差量和航向偏差量；手動導航區可實現手動控制除草機器人進行導航和位置調整；刀具控制區通過點擊按鈕可實現刀具的啟停、升降和左右刀具刀具移動等功能。

圖9 系統工作流程圖

圖10 導航系統軟件界面圖

4 試驗與結果分析

4.1 試驗場景及指標

除草機器人直線和曲線跟蹤模擬試驗在中國農業大學校內進行，試驗時間2022年6月10日，玉米苗平均株高為16cm，模擬試驗場景分別如圖11a和11b所示。其中直線跟蹤模擬試驗人工擺放玉米苗行距60cm，株距30 cm，長度為5m；曲線跟蹤模擬試驗人工擺放玉米苗株距30cm，曲線最大彎曲處與曲線的起點和終點連線的垂直距離為150cm，玉米苗曲線長度為8m。田間路徑跟蹤試驗在北京市昌平區小湯山鎮國家精準農業研究示范基地進行，試驗時間2022年10月4日試驗場景如圖11c所示，此時玉米平均株高為16cm，行距60 cm，株距30 cm。

圖11 試驗場景

在試驗前人工手持RTK-DGPS每隔30cm獲得一個玉米苗位置點作為預定跟蹤路徑點，并在除草機器人進行導航跟蹤時開啟GPS采集導航跟蹤數據作為實際跟蹤路徑點，將預定跟蹤路徑點與實際跟蹤路徑點進行比較，分析除草機器人的跟蹤誤差。跟蹤誤差計算方法為：查找實際跟蹤路徑中與預定跟蹤路徑點距離最近的點，計算兩點的歐式距離，即為跟蹤誤差。

4.2 導航線提取

為驗證實時導航線提取算法的準確性，從采集的玉米苗帶數據集中隨機選取多段的視頻作為測試，測試視頻中包含不同光照和不同雜草程度等多種環境。

圖12為不同光照強度和不同雜草程度等提取效果，以人工標記的導航線作為評價標準，并定義算法提取的導航線與人工標記的導航線之間的夾角為航向偏差，用作評價實時導航線提取的準確性。當二者之間的偏差角絕對值小于4°，則導航線提取正確[30]。對測試視頻幀的航向偏差和處理時間進行統計如圖13所示。

注：深色線為人工標記的導航線；淺色線為本算法提取的導航線。

圖13 導航線提取結果

由圖13可知，航向偏差基本都在?4°到4°范圍之間，其導航線提取正確率為96.8%，航向偏差最大幅度為6.41°，平均絕對航向偏差為1.49°，標準差為1.27°；每幀圖像處理時間在78到98 ms之間，平均處理時間為87.39 ms。表明實時導航線提取算法的精度和準確度較高，且每幀圖像導航線提取時間耗時短，而個別跳動較大的導航線可能是由于相機的抖動，導致所采集的圖像視野范圍發生偏移，本文通過多幀融合判別剔除了跳動大的導航線。

4.3 導航線跟蹤試驗

4.3.1 直線跟蹤模擬試驗

除草機器人隨機選取5個玉米苗帶進行直線跟蹤試驗，設置車速為0.3m/s，試驗開始時開啟GPS采集數據，導航結束時導出試驗數據，并計算跟蹤誤差。5個玉米苗帶跟蹤誤差匯總如表2所示，導航系統平均跟蹤誤差為0.71 cm，標準誤差為0.28 cm。結果表明：玉米除草機器人導航控制系統能準確控制除草機器人直線路徑跟蹤。

表2 5次路徑跟蹤試驗統計

4.3.2 曲線跟蹤模擬試驗

為驗證玉米除草機器人導航控制系統的性能，以0.3 m/s的車速進行曲線跟蹤模擬試驗，試驗后計算跟蹤誤差，并分析得除草機器人實際導航路徑與預定跟蹤路徑的軌跡對比圖和跟蹤誤差結果如圖14。

注：x為當前小車離導航起始位置的橫向距離；y為當前小車離導航起始位置的縱向距離。

結果表明，基于運動學模型的苗帶跟蹤控制器能實現玉米苗曲線路徑跟蹤，導航的平均跟蹤誤差為14.2 mm，標準跟蹤誤差為4.1 mm，最小跟蹤誤差為6.0 mm，最大跟蹤誤差31.0 mm。最大跟蹤誤差產生的原因可能是由于在曲線最高點，從左轉變到右轉轉角曲率較大產生的。

4.3.3 田間導航跟蹤試驗

為準確驗證玉米除草機器人導航控制系統實際田間導航跟蹤效果，分別以0.1、0.3和0.5 m/s的速度進行田間跟蹤試驗，并每隔20 cm獲得一個玉米苗位置點作為預定跟蹤路徑點，并分別導出不同速度的試驗數據，分析得航向偏差和跟蹤誤差。

圖15 不同速度跟蹤誤差

在0.1、0.3和0.5m/s的速度下，導航線提取的平均絕對航向誤差分別為1.20°、1.31°和1.58°，提取誤差隨著速度提高而增大，但其值都在正確誤差帶范圍內，滿足導航要求。根據預定跟蹤路徑和實際跟蹤路徑數據進行誤差分析。如圖15所示，在0.1m/s速度下除草機器人跟蹤誤差在3.0～15.0mm之間，平均跟蹤誤差為8.9 mm，標準誤差為3.5 mm；在0.3m/s速度下除草機器人跟蹤誤差在5.0～17.0mm之間，平均跟蹤誤差為11.2 mm，標準誤差為3.5mm；在0.5m/s速度下跟蹤誤差在7.0～23.0 mm之間，平均跟蹤誤差為15.1mm，標準誤差為4.4 mm。結果表明在3種速度下的平均跟蹤誤差≤15.1 mm，標準誤差不大于4.4mm。在上述三種速度分析中，可知在0.3m/s速度下，平均跟蹤誤差在11.2mm，標準差與0.1m/s速度一樣，但誤差都比0.5m/s速度小，為此確定0.3m/s速度為除草機器人最佳跟蹤速度。綜上試驗分析玉米除草機器人導航控制系統在田間試驗中能準確控制除草機器人跟蹤玉米苗行行走。

5 結 論

1）本文提出了基于感興趣區域更新的玉米苗帶實時提取方法，以改進自適應響應閾值SUSAN角點法提取玉米苗特征點后，采用進行冗余離群特征點剔除，減少計算量和提高導航線提取的實時性。以改進順序聚類完成玉米苗帶聚類，確定導航線然后進行實時感興趣更新。導航線提取試驗表明，導航線提取正確率為96.8%，每幀圖像平均處理時間為87.39ms，說明該算法能有效快速地獲取玉米苗的特征信息，準確地檢測出玉米苗帶，能為除草機器人提供連續穩定的導航線。

2）在導航線提取算法基礎上，本文設計了基于二輪車運動學模型的PID算法決策前輪轉向角，建立了導航跟蹤控制模型，并設計了玉米除草機器人導航控制系統。導航線跟蹤試驗表明，在模擬環境下，玉米苗帶直線和曲線跟蹤平均誤差≤1.42cm，標準誤差≤0.41cm；在農田環境下，不同速度導航跟蹤平均誤差≤1.51cm，標準誤差≤0.44cm。說明該導航跟蹤控制可以滿足模擬環境和田間環境下不同路徑和速度的導航跟蹤需求，實現準確跟蹤且適應性強。

玉米除草機器人導航控制系統實現了除草機器人苗帶提取和導航跟蹤控制，為后續除草機器人的研究提供了技術支持。下一步將開展導航控制系統在不同農田條件下穩定性和適應性的研究，進一步提高導航控制的適應性。

[1] SB A, SAG B. An overview of autonomous crop row navigation strategies for unmanned ground vehicles- ScienceDirect[J]. Engineering in Agriculture, Environment and Food, 2019, 12(1): 24-31.

[2] GARCíA-SANTILLáN I D, GUERRERO J M, MONTALVO M, et al. Curved and straight crop row detection by accumulation of green pixels from images in maize fields[J]. Precision Agriculture, 2018, 19: 18-41.

[3] GARCíA-SANTILLáN I D, MONTALVO M, GUERRERO J M, et al. Automatic detection of curved and straight crop rows from images in maize fields[J]. Biosystems Engineering, 2017, 156: 61-79.

[4] 李霞，蘇筠皓，岳振超，等. 基于中值點Hough變換玉米行檢測的導航線提取方法[J]. 農業工程學報，2022，38(5)：167-174.

LI Xia, SU Junhao, YUE Zhenchao, et al．Extracting navigation line to detect the maize seedling line using median-point Hough transform[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(5): 167-174. (in Chinese with English abstract)

[5] BAWDEN O, KULK J, RUSSELL R, et al. Robot for weed species plant-specific management[J]. Journal of Field Robotics, 2017, 34(6): 1179-1199.

[6] 蘭天，李端玲，張忠海，等. 智能農業除草機器人研究現狀與趨勢分析[J]. 計算機測量與控制，2021，29(5)：1-7.

LAN Tian, LI Ruiling, ZHANG Zhonghai, et al. Analysis on research status and trend of intelligent agricultural weeding robot[J]. Computer Measurement & Control, 2021, 29(5): 1-7. (in Chinese with English abstract)

[7] 傅雷揚，李紹穩，張樂，等. 田間除草機器人研究進展綜述[J]. 機器人，2021，43(6)：751-768.

FU Leiyang, LI Shaowen, ZHANG Le, et al. Research progress on field weeding robots: A review[J]. Robot, 2021, 43(6): 751-768. (in Chinese with English abstract)

[8] BAKKER T. An Autonomous Robot for Weed Control: Design, Navigation and Control[D]. Wageningen, Netherlands: Wageningen University, 2009.

[9] ZHAI Z Q, ZHU Z X, DU Y F, et al. Multi-crop-row detection algorithm based on binocular vision[J]. Biosystems Engineering, 2016, 150: 89-103.

[10] VIDOVI? I, CUPEC R, HOCENSKI ?. Crop row detection by global energy minimization[J]. Pattern Recognition, 2016, 55: 68-86.

[11] VIDOVI? I, SCITOVSKI R. Center-based clustering for line detection and application to crop rows detection[J]. Computers and Electronics in Agriculture, 2014, 109: 212-220.

[12] 張博立，吳蒙然，溫興，等. 基于動態網格和分區域聚類的玉米苗帶識別算法研究[J]. 中國農機化學報，2020，41(7)：191-196.

ZHANG Boli, WU Mengran, WEN Xing, et al. Research on corn seeding belts recognition algorithm based on dynamic grid and sub-region clustering[J]. Journal of Chinese Agricultural Mechanization, 2020, 41(7): 191-196. (in Chinese with English abstract)

[13] 刁智華，趙明珍，宋寅卯，等. 基于機器視覺的玉米精準施藥系統作物行識別算法及系統實現[J]. 農業工程學報，2015，31(7)：47-52.

DIAO Zhihua, ZHAO Mingzhen, SONG Yinmao, et al. Crop line recognition algorithm and realization in precision pesticide system based on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(7): 47-52. (in Chinese with English abstract)

[14] 宋宇，劉永博，劉路，等. 基于機器視覺的玉米根莖導航基準線提取方法[J]. 農業機械學報，2017，48(2)：38-44.

SONG Yu, LIU Yongbo, LIU Lu, et al. Extraction method of navigation baseline of corn roots based on machine vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(2): 38-44. (in Chinese with English abstract)

[15] BALL D, UPCROFT B, WYETH G, et al. Vision‐based obstacle detection and navigation for an agricultural robot[J]. Journal of Field Robotics, 2016, 33(8): 1107-1130.

[16] SAMWEL O, CEDRIC O, JUN Z, et al. Medial axis-based machine-vision system for orchard robot navigation[J]. Computers and Electronics in Agriculture, 2021(1): 185.

[17] RADCLIFFE J, COX J, BULANON D M. Machine vision for orchard navigation[J]. Computers in Industry, 2018, 98: 165-171.

[18] 張雁，李彥明，劉翔鵬，等. 水稻直播機自動駕駛模糊自適應控制方法[J]. 農業機械學報, 2018，49(10)：30-37.

ZHANG Yan, LI Yanming, LIU Xiaopeng, et al. Fuzzy adaptive control method for autonomous rice seeder[J]. Transactions of the Chinese Society for Agricultural Machinery, 2018, 49(10): 30-37. (in Chinese with English abstract)

[19] 賀靜，何杰，羅錫文，等. 基于多傳感器融合的水稻行識別與跟蹤導航研究[J]. 農業機械學報，2022，53(3)：18-26，137.

HE Jing, HE Jie, LUO Xiwen, et al. Rice row recognition and navigation control based on multi-sensor Fusion[J]. Transactions of the Chinese Society for Agricultural Machinery, 2022, 53(3): 18-26, 137. (in Chinese with English abstract)

[20] 王僑，孟志軍，付衛強，等. 基于機器視覺的玉米苗期多條作物行線檢測算法[J].農業機械學報，2021，52(4)：208-220.

WANG Qiao, MENG Zhijun, FU Weiqiang, et al. Detection algorithm of multiple crop row lines based on machine vision in maize seedling stage[J]. Transactions of the Chinese Society for Agricultural Machinery, 2021, 52(4): 208-220. (in Chinese with English abstract)

[21] 張勤，陳少杰，李彬. 基于SUSAN角點的秧苗列中心線提取方法[J]. 農業工程學報，2015，31(20)：165-171.

ZHANG Qin, CHEN Shaojie, LI Bin. Extraction method for centerlines of rice seedlings based on SUSAN corner[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(20): 165-171. (in Chinese with English abstract)

[22] 宮金良，孫科，張彥斐，等. 基于梯度下降和角點檢測的玉米根莖定位導航線提取方法[J]. 農業工程學報，2022，38(13)：177-183.

GONG Jinliang, SUN Ke, ZHANG Yanfei, et al. Extracting navigation line for rhizome location using gradient descent and corner detection[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(13): 177-183. (in Chinese with English abstract)

[23] 鄭昊，林玉娥. 一種改進的SUSAN角點檢測算法[J]. 電腦知識與技術，2020，16(22)：40-42.

ZHENG Hao, LIN Yu’e. An improved SUSAN corner point detection algorithm[J]. Computer Knowledge and Technology, 2020, 16(22): 40-42. (in Chinese with English abstract)

[24] 姜國權，楊小亞，王志衡，等. 基于圖像特征點粒子群聚類算法的麥田作物行檢測[J]. 農業工程學報，2017，33(11)：165-170.

JIANG Guoquan, YANG Xiaoya, WANG Zhiheng, et al. Crop rows detection based on image characteristic point and particle swarm optimization-clustering algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(11): 165-170. (in Chinese with English abstract)

[25] 廖娟，汪鷂，尹俊楠，等. 基于分區域特征點聚類的秧苗行中心線提取[J]. 農業機械學報，2019，50(11)：34-41.

LIAO Juan, WANG Yao, YIN Junnan, et al. Detection of seedling row centerlines based on sub-regional feature points clustering[J]. Transactions of the Chinese Society for Agricultural Machinery, 2019, 50(11): 34-41. (in Chinese with English abstract)

[26] 陳少杰. 基于圖像理解的水田除草機器人視覺導航系統研究[D]. 廣州：華南理工大學，2016.

CHEN Shaojie. Research on Vision Navigation System of Paddy Field Weeding Robot Based on Image Understanding[D]. Guangzhou: South China University of Technology, 2016. (in Chinese with English abstract)

[27] 楊洋，張博立，查家翼，等. 玉米行間導航線實時提取[J]. 農業工程學報，2020，36(12)：162-171.

YANG Yang, ZHANG Boli, ZHA Jiayi, et al. Real-time extraction of navigation line between corn rows[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(12): 162-171. (in Chinese with English abstract)

[28] 吳才聰，吳思賢，文龍，等. 拖拉機自動導航變曲度路徑跟蹤控制方法研究[J]. 農業工程學報，2022，38(21)：1-7.

WU Caicong, WU Sixian, WEN Long, et al. Variable curvature path tracking control for the automatic navigation of tractors[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(21): 1-7. (in Chinese with English abstract)

[29] 王輝，王桂民，羅錫文，等. 基于預瞄追蹤模型的農機導航路徑跟蹤控制方法[J]. 農業工程學報，2019，35(4)：11-19.

WANG Hui, WANG Guiming, LUO Xiwen, et al. Path tracking control method of agricultural machine navigation based on aiming pursuit model[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(4): 11-19. (in Chinese with English abstract)

[30] 翟志強，熊坤，王亮，等. 采用雙目視覺和自適應Kalman濾波的作物行識別與跟蹤[J]. 農業工程學報，2022，38(8)：143-151.

ZHAI Zhiqiang, XIONG Kun, WANG Liang, et al. Crop row detection and tracking based on binocular vision and adaptive Kalman filter[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(8): 143-151. (in Chinese with English abstract)

Design and experiment of the visual navigation system for a maize weeding robot

LAI Hanrong1, ZHANG Yawei1※, ZHANG Bin1, YIN Yanxin2,3, LIU Yuhang1, DONG Yuhang1

(1.,,100083,; 2.,100097,; 3.,100097,)

Maize weeding robots play a significant role in the green production of modern agriculture. A high production efficiency can also be gained to reduce the labor costs, particularly with no chemical pollution. The autonomous operation of maize weeding robot can depend mainly on the accurate detection and tracking of maize seedling belt. In this study, an updated real-time recognition was proposed to extract the navigation line between the maize seedling belts using Region of Interest (ROI), in order to facilitate the seedling belt detection of maize weeding robot. A monocular camera was used to capture the maize seedling belt in front of the robot. Images preprocessing was firstly implemented to effectively segment the seedling zone and background using optimal threshold selection, according to the large gap between the green area of seedlings and weeds. Secondly, the feature points of seedling belt were accurately extracted using an improved adaptive response threshold Small univalue segment assimilating nucleus (SUSAN) corner method. The redundant outliers of feature points were then removed to reduce the amount of clustering calculation for the better real-time performance. Thirdly, the regional hierarchical clustering was incorporated into the sequential cluster, in order to improve the speed of clustering. The maize seedlings were also performed on the regional sequential clustering with clustering process. Moreover, the least square method (LSM) was used to fit each maize seedling belt. Finally, the ROI was adjusted to update the navigation line in real time, according to the heading deviation of the robot and the lateral deviation relative to the maize seedling belt. Meanwhile, the kinematics model was utilized to optimize the steering angle under the PID controller. The optimal steering angle was obtained to avoid the pressure and damage from the wheel skid using the seedling belt row tracking of the weeding robot. The navigation control system was developed using OpenCV library on the Visual Studio platform. A real-time detection of maize navigation line was realized for the synchronous interaction between the navigation line deviation under the STM32 control terminal, and the manual control of weeding robot navigation. A continuous video was randomly captured from the collected maize seedling belt data set as a test, in order to verify the accuracy of the real-time navigation line extraction. Results show the accuracy rate of navigation line extraction was 96.8% with the average processing time of 87.39 ms, indicating the excellent real-time and anti-interference. The average tracking error of maize seedlings with the straight lines and curves was less than or equal to 1.42cm, while the standard tracking error was less than or equal to 0.41cm in the simulated environment. In the farmland, the average tracking error of navigation at different speeds was less than or equal to 1.51cm, and the standard error was less than or equal to 0.44cm, indicating the accurate operating of the weeding robots in the maize seedling belt rows. In summary, the seedling belt extraction and navigation tracking control of weeding robot was precisely realized by the navigation control system of maize weeding robot. The fast and accurate identification of seedling band can be suitable for the strong adaptability and stability of navigation tracking control system, fully meeting the navigation requirements of maize weeding robot operation. The finding can provide the technical support for the subsequent research of weeding robots.

robot; machine vision; maize weeding; seedling belt recognition; navigation tracking

2022-10-31

2022-12-19

國家重點研發計劃課題（2019YFB1312305）；煙臺市校地融合發展項目（2021XDRHXMPT29）

賴漢榮，研究方向為農業機器人視覺導航。Email：larky919@163.com

張亞偉，博士，講師，研究方向為農機裝備智能控制技術。Email：zywcau@cau.edu.cn

10.11975/j.issn.1002-6819.202210247

TP273

A

1002-6819(2023)-01-0018-10

賴漢榮，張亞偉，張賓，等. 玉米除草機器人視覺導航系統設計與試驗[J]. 農業工程學報，2023，39(1)：18-27. doi：10.11975/j.issn.1002-6819.202210247 http://www.tcsae.org

LAI Hanrong, ZHANG Yawei, ZHANG Bin, et al. Design and experiment of the visual navigation system for a maize weeding robot[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2023, 39(1): 18-27. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.202210247 http://www.tcsae.org