質心跟蹤視頻棉花行數動態計數方法

梁習卉子，陳兵旗，李民贊，魏超杰，楊艷秋，王 進，馮 杰

?

質心跟蹤視頻棉花行數動態計數方法

梁習卉子1,3，陳兵旗1※，李民贊2，魏超杰1，楊艷秋1，王 進1，馮 杰1

（1. 中國農業大學工學院，北京 100083；2. 中國農業大學現代精細農業系統集成研究教育部重點實驗室，北京 100083；3. 石河子大學機械電氣工程學院，石河子 832003）

為了實現無人植保車在棉田全覆蓋視覺導航，該文提出了一種基于視頻的棉花行動態計數方法，將棉花行數作為植保車直線植保作業行駛到田端后，判斷2個直線作業區間隔距離的依據，以適應實際作業環境中不同的棉花種植行距。通過2--將彩色圖像轉化為灰度圖像，強調了棉花行信息；通過在坐標系中設置固定位置和大小的關注區域，在減小計算量的同時，有效避免了田端缺苗、棉花行不規則等現象對檢測結果造成的影響；通過對關注區域內各列灰度累計曲線的波峰篩選，適應3個生長期的棉花行的定位，識別正確率高于85%；通過設置浮動窗口并求其灰度質心為跟蹤目標，提高了不同生長期和不同農田環境下的目標識別和跟蹤適應性；通過對質心構建目標窗口，并計算前后幀目標窗口在圖像坐標系中所在位置的重疊率，將后一幀目標窗口遍歷前一幀圖像中的目標窗口，關聯重疊率>0.1的目標窗口，實現了視頻圖像中多個棉花行的跟蹤。結果表明：該算法對于不同生長期的棉花行有較好的跟蹤效果，對田端缺苗、雜草等農田環境有較好的魯棒性。每幀圖像的平均處理時間為150 ms，能夠滿足實時處理要求。

機器視覺；棉花；識別；棉田噴藥；側向移動；苗列行計數

0 引 言

植保施藥是棉花生產過程中的重要環節[1-2]，目前新疆棉花的主要施藥方式為拖拉機懸掛式施藥[3-4]。雖然這種施藥方式節省勞動力且效率高，但是農藥氣霧對駕駛室環境造成了污染。植保機械的無人化是解決施藥人員健康問題的有效途徑。

無人機施藥可以有效避免農藥對人體造成的傷害，但是在新疆的大面積棉田環境下，由于其帶藥量有限，且進行往復等間距的飛行定位難度大，未能在新疆進行大面積推廣[5-6]。GNSS的無人導航拖拉機在大面積棉田作業中實現了鋪膜播種[7-8]和棉花收獲[9]的自動導航，由于植保作業路徑需要根據現場復雜的作物生長環境進行判斷，目前未用于棉花的植保作業。

視覺導航車帶藥量大，其路徑由農田中作物生長狀態確定，不存在壓苗現象[10-11]，所以基于視覺導航的無人植保車在新疆大田環境中有很大的研究空間。

國內外很多學者在視覺導航方面做了很多研究，大部分集中在直線導航方面[12-17]，有關無人車在田端如何進入下一個直線作業區的視覺導航研究很少。

本文設定一種視覺導航的植保無人車，其前后各安裝一個攝像頭，分別用于不同行駛方向的導航、田端檢測定位與橫移距離檢測。當植保無人車沿直線作業行駛到田端后停車，將4個行走輪旋轉90°橫移，同時對經過的棉花行數進行實時圖像檢測，當達到設定行數時停車，4個行走輪再同向旋轉90°，進行下一個作業區的直線行駛作業。如此往復完成棉田全覆蓋視覺導航。

由于新疆有不同的棉花種植方式[18]，且植保噴桿的型號不一[19]，植保車橫移的距離可根據實際直線作業時噴桿所覆蓋的棉花行數確定。

國內外也有一些研究人員研究同時檢測多行作物，但是這些研究都集中在靜態圖像[21-23]，并未對視頻序列中的作物行進行動態的檢測研究。

本文利用相機在田端以垂直于棉花種植行的方向橫移所拍攝的棉花行序列圖像為研究對象，動態識別視頻中的棉花行數。將圖像灰度化并設定感興趣區域ROI（region of interest），分析ROI內像素的垂直累計分布規律，通過累計像素的波峰確定棉花行。對棉花行所在區域設定浮動窗口，并求其灰度質心作為目標特征點，再對質心構建目標窗口將其與所在棉花行對應，實現對視頻中多個目標的實時跟蹤計數。

1 材料與方法

1.1 硬件及圖像采集

由于植保車還在研制當中，所以試驗視頻為2017年5月至7月在新疆石河子農科院試驗田手工采集，圖像采集設備為奧尼Q718型USB數碼攝像機。苗期棉花圖像為5月下旬采集，視頻共826幀。蕾期棉花圖像為6月采集，視頻共517幀。花鈴期棉花于7月上旬采集，視頻共612幀。相機擬安裝方位如圖1所示，為植保車在田端橫移時相機與棉花之間的最近距離，且0<<100cm，相機離地面高度H=120 cm，相機光軸與鉛垂線夾角=（65°±5°），越大棉花行在圖像中的收斂效果越明顯。裝置沿田端橫移速度約為0.5 m/s。采集的彩色視頻圖像幀率為30幀/s，每幀圖像大小為640×480像素。圖像處理所用的計算機配置主頻為2.2 GHz，內存8 GB，開發軟件為Microsoft Visual C++ 2010，以北京現代富博科技有限公司的二維運動圖像測量分析系統（motion image analysis system, MIAS）為平臺進行程序開發。

1.2 棉花行的檢測

由于視頻中所要跟蹤的棉花行的綠色分量突出，可以通過以下步驟確定其所在位置：計算強調綠色分量的灰度圖像[10-11]，構建感興趣區域ROI，通過計算ROI區域內的像素值的垂直累計值，分析棉花行所在位置。

1.2.1 圖像的預處理

1）計算強調綠色分量的灰度圖像

對圖像做如下定義：設定圖像的左上角為坐標原點，向右為橫軸正方向，向下為縱軸正方向。為圖像寬度，為圖像高度。彩色圖像中有紅（）、綠（）、藍（）三個分量。由于植保期間的棉花植株的分量值最高，為弱化其他分量，強調圖像當中的分量，對于單幀圖像的分量信息，通過2--的模型[11,16]將棉花植株很好地從背景中提取出來。分量強化后的灰度圖像記為G。

2）計算ROI區域灰度垂直累計直方圖

為了減少計算量、提高處理速度，避免田端缺苗現象和由透視原理造成的灰度累計值干擾，對G將感興趣區域ROI其左上角坐標為0（0，-100），寬為，高為H=/5的區域（圖2中間的大矩形框），后續目標的尋找和跟蹤只在灰度圖G的ROI區域內進行。圖2上方的曲線對應下方圖像中ROI區域內的高度方向所有像素的灰度累計值。

1.2.2 尋找目標質心

對ROI區域內的棉花行進行定位。由于棉花植株的綠色分量高于行間的土壤或薄膜，所以在灰度圖G中，棉花行所在的位置灰度垂直累計曲線上表現為波峰。先初選波峰位置，然后在波峰所對應的ROI區域內設置浮動窗口，求浮動窗口內的灰度質心作為目標的特征點。

注：W為ROI區域的寬度，Hm為ROI區域的高度，H為圖像高度，Lp2為左側第二列浮動窗口的左邊框所在寬度方向的位置，Rp2為左側第二列浮動窗口的右邊框所在寬度方向的位置，Mg為ROI區域內的灰度的平均值。

1）波峰的初選

先初選波峰，并設置數組F用于存放預選波峰的數據。統計在ROI區域內灰度垂直累計值，找出ROI區域內灰度值的平均值M（式（1））。將灰度垂直累計值高于M的列記為1、否則記為0存入F。將F中連續為1的寬度坐標設為初選波峰位置。

式中F表示在圖像()處像素點的灰度值。

2）目標波峰的確認

初選的波峰無法與復雜的農田環境中棉花行進行匹配，需要進一步的篩選以確認符合要求的波峰。

順序掃描數組F，記錄其連續為1的區間個數（波峰數）。對于每一組連續為1的區間，從圖像橫坐標左側開始統計，將第一個為1的列記為L(=1,2...,)，將最后一個為1的列記為R。設定波峰寬度閾值為W（式（2））。當滿足|R－L|>W時，認為第個波峰滿足寬度要求。

在F中的每一組連續為1的區間所對應的灰度垂直累計值曲線中尋找每個波峰的最大值V(=1,2...,)。當滿足0.85V>g時，判斷該波峰的相對尖銳度滿足要求。

將每個寬度和峰相對尖銳度都滿足要求的波峰設定為目標（棉花行）波峰。如圖2所示，對每個目標波峰在圖像G中設置浮動窗口（圖2中的小方框），其寬為L=R?L，高度同ROI區域為H。第個窗口的質心[24]Q(x,y)可以由式（3）獲得，存儲于設置的數組中。

2 目標跟蹤

2.1 目標窗口的構建

為了在序列圖像中進行目標棉花行的跟蹤，如圖3所示，以每個質心Q(x,y)為中心，構建64×64像素的矩形區域A(=1,2,3...)作為目標窗口。

圖3 目標窗口示意圖

2.2 目標窗口的確定

當一幀圖像中的兩個浮動窗口質心之間的距離小于其中任意一個目標窗口矩形框的寬時，會出現多個質心對應一個目標的現象，需要將一個棉花行對應的多個目標窗口融合還原成一個目標，通過判斷每兩個相鄰的目標窗口的重疊率確定唯一目標，如圖4。設連續的兩個目標窗口分別為A和A+1，二者重疊區域為A′，二者重疊率為R。

用式（4）計算兩個目標窗口的重疊率。當R≥0.1時，認為滿足重疊率要求的兩目標窗口是由于棉花植株的枝葉太松散，被識別成2個質心造成的，需要將兩個目標窗口合為一個目標窗口。

式中的A、A+1以及0分別為連續2個窗口的左窗口面積、右窗口面積以及這2個窗口重疊區域的面積。

圖4 合并重疊目標質心定位示意圖

Fig.4 Centroid location diagrammatic sketch for merging overlapped targets

設A的質心為Q(x,y)，A+1的質心為Q+1(x+1,y+1)，合并后的新目標窗口A'質心為Q′(′,y′)。式（5）確定了質心Q′的坐標，構造64×64矩形框，以Q′為中心作為新目標窗口A′。

同一幀的相鄰目標窗口依次進行重疊率的計算和判斷，將合并后的目標窗口數據儲存到數組中作為最終每一幀所識別到的目標窗口，并將合并之前的目標窗口數據清除。

2.3 目標的關聯

一幀圖像中的每一行棉花都有唯一的目標窗口與其對應，設目標鏈表存放每個目標窗口的左上角坐標、窗口寬度及高度。設計數器id記錄目標窗口的個數用于輸出窗口數值，設計數器nt記錄該目標窗口與上一幀圖像中沒有關聯目標的累計幀數，設參數b用于標記當前幀的目標窗口與上一幀目標窗口是否關聯上。

2.3.1 目標的跟蹤

在第一幀圖像中獲取目標窗口的位置和數量，從第二幀開始，將每一個目標窗口遍歷上一幀的目標窗口進行二者重疊率的計算，計算方法同式（4）。每一幀對所有目標窗口的鏈表進行數據更新。將重疊率滿足要求的前后兩幀目標關聯上，完成目標的跟蹤。

由于連續兩幀圖像中的同一個目標窗口重疊率大于不同目標之間的重疊率，為了提高跟蹤的可靠性，避免出現錯誤匹配，從第二幀開始，將該幀圖像中的每一個目標窗口遍歷上一幀目標窗口的重復率，尋找與當前幀此目標窗口有最大重疊率max的上一幀圖像的目標窗口，當滿足max>0.1時，此最大重疊率所對應的前后兩幀的目標窗口為同一個目標，實現此目標的跟蹤，并將計數器id中目標窗口個數輸出為目標序號。

2.3.2 目標的更新與排序

隨著相機在田端垂直于棉花行移動，圖像中不斷有新目標（棉花行）進入圖像，以及舊目標在圖像中消失。對于新進入視野（圖像）的目標，需要更新鏈表中的數據，對于圖像中消失的目標需要存儲其目標序號，以實現棉花行數總數目的更新。

1）目標的更新

計算前后幀目標窗口的重疊率，判斷當前幀該目標窗口是否與上一幀有關聯窗口。若已關聯則設當前幀的目標窗口參數V為假，反之亦然。

若當前幀的目標窗口參數V為真，該目標窗口沒有上一幀相關聯目標窗口，將該目標窗口的nt加1，此目標屬于新進入視野（圖像）中的目標。

對于一個目標，當nt≥11時（圖像寬為640像素，目標窗口的大小為64×64），表明該目標所對應的棉花行（目標）在視頻中已經消失。

2）目標的排序

設參數D用于植保車行駛方向的判斷，朝左為真，朝右為假。當相機面對棉花行向左移動時，將排序數字從右向左依次增大，反之亦然。

第一幀圖像中的所有目標窗口，將id的值依次輸出。非第一幀圖像中，將已關聯上的目標窗口的id值進行更新，輸出其行數。將沒有關聯上的目標窗口的id值加1，輸出更新后的id值作為行數。

3 試驗結果與分析

由于植保無人車尚未做好，視頻按照所設計的攝像頭安裝位置和速度由手工借助自行車和拍攝桿拍攝采集，所有視頻共1 955幀，包含3個生長期。采集時間為11：00?12：00，選擇不同的棉花行種植方向拍攝，涵蓋了不同的光照條件，并且在尋找了不同的農田環境以測試視頻的處理效果在復雜的農田作業環境下的適應性。

3.1 目標識別

3.1.1 不同生長階段的識別

圖5為不同生長階段（苗期、蕾期和花鈴期）的棉花行計數處理過程和結果。

注：從左向右分別為原圖、灰度圖的ROI區域、ROI區域內灰度垂直累計值曲線、浮動窗口及其質心、對質心構建的目標窗口、棉花行數檢測結果。

視頻中的棉花行均從右向左移動，目標窗口的排序為依照視頻內圖像移動反方向依次增大。由于苗期（圖5a）的棉花植株很小，行間的土壤和薄膜非常明顯，ROI區域內的灰度垂直累計值雖然小，但在高度方向的累計曲線中間的2個波峰很明顯。所確定的浮動窗口及其灰度質心，中間2個浮動窗口很寬，對應像素累計曲線中間2個較寬的波峰，兩側很窄的浮動窗口對應兩側的很窄的波峰。

從蕾期（圖5b）棉花原圖中可以看出，由于棉花的長勢不均，左數第四行棉花長勢很弱，所以在ROI區域內的像素累計值曲線中的左數第四個波峰很窄，其余的波峰都很寬，但所有波峰都滿足篩選條件，左數第四個浮動窗口非常窄，其寬度與左數第四個波峰寬度相同，其余的浮動窗口都很寬。

從花鈴期（圖5c）棉花原圖中可以看出花鈴期的棉花植株較大，由于枝葉沉重，行間棉花的枝葉交錯造成行間空隙不明顯，并且棉花的葉片朝向不同，枝葉松散并且有零星花朵。所以圖中的波形變化幅度小，波動頻率高，且左數第三行棉花對應了2個波峰。這2個波峰都滿足篩選條件，左數第三行棉花對應了2個浮動窗口，即左數第3、4個浮動窗口。依據圖中每個浮動窗口內的灰度質心點構建的目標窗口，可以看出，左數的第3、4個目標窗口實際對應的是同一行棉花，即左數第三行棉花，由于這兩個目標窗口有重疊，依據在2.2的步驟，2個窗口被合并成為一個目標窗口出現在檢測結果中。

本文對3個生長期的棉花視頻圖像進行行數檢測（表1），隨著棉花植株的生長，葉片向周圍逐漸伸展變得松散，行內棉花葉片的空隙變大，并且行間的空隙逐漸減小，使得行間空隙不清晰，但識別正確率均高于85%。

表1 不同生長期棉花數行算法的性能評估

所以隨著棉花的長大，檢測效果變差。不同生長時期的棉花植株大小形狀不同，并且隨著植株的成長存在長勢不均的現象，同一行棉花植株從不同角度得到的輪廓和紋理等特征隨著視頻圖像的移動而變化，為避免視角變換造成的影響，對每個浮動窗口求其灰度質心作為目標特征進行跟蹤，可以有效避免刮風、光照變化等自然環境對目標棉花行識別造成的影響。棉花植株從苗期生長到花鈴期，其棉花行的平均寬度從40個像素到100像素，測試結果為將目標窗口設定成64×64像素能夠很好地進行跟蹤，對于花鈴期生長松散的棉花植株，可以有效避免一行棉花被識別成2個目標的情況。同時將前后幀目標窗口通過重疊率進行關聯，可有效減少由于刮風造成的棉花植株晃動對視頻中棉花行跟蹤造成的影響。

3.1.2 不同光照條件下的識別

圖6為不同光照（順光、逆光、陽光直射和側光）條件下的棉花行檢測效果。從圖中可以看出，針對不同的光照條件，檢測效果不同，但是檢測結果均準確。由于新疆海拔高，陽光強烈，光照條件對視覺導航的影響較大，葉片反光形成的亮度不均勻也對目標的識別造成較大干擾。順光的情況，由于行間薄膜反光強烈，棉花植株在薄膜的映襯下顏色偏暗，但棉花植株的綠色分量所占比例依然高于行間薄膜或土壤，所以沒有影響到的目標窗口的檢測。逆光的情況，由于陽光從相機對面照射過來，圖像的上部分發白，ROI區域下方的棉花植株葉片綠色分量較上方要明顯，所以目標窗口在ROI區域靠下的位置。中午陽光直射的情況，陽光從上方直射時，葉片反光發白，但是不影響檢測效果。陽光從側面照射的情況，這種光照條件下綠色強調的灰度圖中，棉花植株最明顯。

圖6 不同光照條件下的棉花行檢測效果

3.1.3 不同農田環境下的識別

圖7為不同的農田自然環境下的棉花行檢測效果，分別為在農田中有雜物（水管）、少數疏于管理的棉田行間有枯草（新疆有一種菟絲子草漲勢兇猛，被砍斷后由于新疆日照嚴重，被曬干呈現黃色）、田端棉花倒伏和田端缺苗。從圖中可以看出，針對這幾種農田常見的環境，檢測結果準確可靠。田間有雜物時，由于處理時強調綠色分量，黑色水管以行間枯草在強調綠色的灰度化中過程中被忽略，不會影響到后續的檢測。

圖7 不同農田自然環境下的棉花行檢測效果

田端棉花長勢不均時，由于棉花行是平行種植，根據透視原理，棉花行在圖像中是向上收斂的。將ROI區域選取在縱軸的中間部分既可以避免圖像上方的棉花行傾斜度對垂直累計直方圖的波峰提取造成的干擾，給拍攝角度提供了一定的靈活度，從圖中看出，ROI區域的設置有效地避免圖像下方因田端棉花倒伏或缺苗而對目標識別造成的影響。

3.2 目標跟蹤

對當前幀的每個目標窗口遍歷上一幀所有目標窗口，尋找最大重疊率且滿足閾值的目標窗口，將二者進行關聯實現目標的跟蹤。

通過尋找前后幀最大重疊率目標可以有效避免白噪聲的干擾，對于棉花行這種剛性、勻速移動無遮擋目標，在灰度變化及幾何畸變不大的情況下有較高的跟蹤精度。

由于視頻中的目標與背景同時移動，隨著植保車的橫移，不斷有已識別的目標消失和新的目標進入，通過b判斷目標窗口是否已關聯上，來判斷是否有目標的更新，能夠快速地確定是否有新目標的進入。用目標窗口關聯不上的幀數超過圖像坐標系中可以覆蓋的最大目標窗口個數（10個），判斷目標在圖像中的消失，試驗數據表明，每幀圖像的平均處理時間為150 ms。

4 結 論

本文針對新疆特殊的棉花種植模式，提出一種在視頻圖像中對棉花行數實現動態計數的方法，作為植保車在棉花地田端橫移距離的依據。

1）采用2的方式將彩色圖像進行灰度化，對灰度圖設定ROI區域，可以有效減少透視效果和田端缺苗的影響。再針對ROI區域內灰度垂直累計值曲線尋找波峰，根據波峰的寬度，設定浮動窗口確定目標位置，可以準確有效地對棉花行進行定位。

2）將浮動窗口的質心作為目標的特征點，由于灰度質心作為一個像素點無法進行跟蹤，對該質心構造64×64像素的目標窗口，可有效避免由于刮風造成的棉花植株晃動對目標識別造成的影響和花鈴期的棉花植株葉片松散造成的誤識別。通過判斷目標窗口重疊率的方法關聯前后幀目標，可以有效的對目標位置進行更新和排序。

通過試驗證明，該方法對于不同生長期的棉花行數有較好的計數效果，對目標（棉花行）的提取正確率在85%以上。對于棉花行的田端缺苗現象有較好的魯棒性，該算法為平行行種植的經濟作物的農田全覆蓋自動視覺導航提供參考。

[1] 姬長英，周俊. 農業機械導航技術發展分析[J]. 農業機械學報，2014，45(9)：44－54.

Ji Changying, Zhou Jun. Current situation of navigation technologies for agricultural machinery[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(9): 44－54. (in Chinese with English abstract)

[2] 王濤，郝磊，臧秀法. 我國植保機械技術發展探討[J]. 農業科技與裝備，2014(12)：51－52.

Wang Tao, Hao Lei, Zang Xiufa. Discussion on plant protection machinery technology development in China[J]. Agricultural Science & Technology and Equipment, 2014(12): 51－52. (in Chinese with English abstract)

[3] 劉剛，張曉輝，范國強，等. 棉花施藥機械的應用現狀及發展趨勢[J]. 農機化研究，2014，36(4)：225－228.

Liu Gang, Zhang Xiaohui, Fan Guoqiang, et al. Application status and development trend of cotton spraying machine[J]. Journal of Agricultural Mechanization Research, 2014, 36(4): 225－228. (in Chinese with English abstract)

[4] 胡靜濤，高雷，白曉平，等. 農業機械自動導航技術研究進展[J]. 農業工程學報，2015，31(10)：1－10.

Hu Jingtao, Gao Lei, Bai Xiaoping, et al. Review of research on automatic guidance of agricultural vehicles[J]. Transactions of the Chinese Society of Agricultural, 2015, 31(10): 1－10. (in Chinese with English abstract)

[5] 陳盛德，蘭玉彬，李繼宇，等. 植保無人機航空噴施作業有效噴幅的評定與試驗[J]. 農業工程學報，2017，33(7)：82－90.

Chen Shengde, Lan Yubin, Li Jiyu, et al. Evaluation and test of effective spraying width of aerial spraying on plant protection UAV[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(7): 82－90. (in Chinese with English abstract)

[6] 張宋超，薛新宇，秦維彩，等. N-3型農用無人直升機航空施藥飄移模擬與試驗[J]. 農業工程學報，2015，31(3)：87－93.

Zhang Songchao, Xue Xinyu, Qin Weicai, et al. Simulation and experimental verification of aerial spraying drift on N-3 unmanned spraying helicopter[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(3): 87－93. (in Chinese with English abstract)

[7] Sun H, Slaughter D C, Ruiz M P, et al. RTK GPS mapping of transplanted row crops[J]. Computers and Electronics in Agriculture, 2010, 71(1): 32－37.

[8] 方震. GPS棉花鋪膜播種機演示成功棉花鋪膜播種機演成功[J]. 農業機械，2013(13)：28.

[9] 李丹陽，李彬，李江全. 基于北斗導航、百度地圖的采棉機監控系統設計[J]. 江蘇農業科學，2015，43(9)：455－457.

[10] 胡煉，羅錫文，曾山，等. 基于機器視覺的株間機械除草裝置的作物識別與定位方法[J]. 農業工程學報，2013，29(10)：12－18.

Hu Lian, Luo Xiwen, Zeng Shan, et al. Plant recognition and localization for intra-row mechanical weeding device base on machine vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(10): 12－18. (in Chinese with English abstract)

[11] 孟慶寬，張漫，楊耿煌，等. 自然光照下基于粒子群算法的農業機械導航路徑識別[J]. 農業機械學報，2016，47(6)：11－20.

Meng Qingkuan, Zhang Man, Yang Genghuang, et al. Guidance line recognition of agricultural machinery based on particle swarm optimization under natural illumination[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(6): 11－20. (in Chinese with English abstract)

[12] 丁幼春，廖慶喜，黃海東，等. 聯合收獲機大曲率路徑視覺導航方法[J]. 農業機械學報，2011，42(S1)：122－127.

Ding Youchun, Liao Qingxi, Huang Haidong, et al. Large curvature path detection for combine harvester based on vision navigation[J]. Transactions of the Chinese Society for Agricultural Machinery, 2011, 42(Supp.1): 122－127. (in Chinese with English abstract)

[13] 魏爽，李世超，張漫，等. 基于GNSS的農機自動導航路徑搜索及轉向控制[J]. 農業工程學報，2017，33(增刊1)：70－77.

Wei Shuang, Li Shichao, Zhang Man, et al. Automatic navigation path search and turning control of agricultural machinery based on GNSS[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(Supp.1): 70－77. (in Chinese with English abstract)

[14] 孟慶寬，何潔，仇瑞承，等. 基于機器視覺的自然環境下作物行識別與導航線提取[J]. 光學學報，2014，34(7)：180－186.

Meng Qingkuan, He Jie, Qiu Ruicheng, et al. Crop recognition and navigation line detection in natural environment based on machine vision[J]. Acta Optica Sinica, 2014, 34(7): 180－186. (in Chinese with English abstract)

[15] Zhang Q, Qiu H C. A dynamic path search algorithm for tractor automatic navigation[J]. Transactions of the ASAE, 2004, 47(2): 639－646.

[16] 趙穎，陳兵旗，王書茂，等. 基于機器視覺的耕作機器人行走目標直線檢測[J]. 農業機械學報，2006，37(4)：83－86.

Zhao Ying, Chen Bingqi, Wang Shumao, et al. Fast detection of furrows based on machine vision on autonomous mobile robot[J]. Transactions of the Chinese Society for Agricultural Machinery, 2006, 37(4): 83－86. (in Chinese with English abstract)

[17] 江锽，肖愛平. 噴藥機器人在溫室中道路識別及邊界提取的研究[J]. 林業機械與木工設備，2014，42(10)：18－21.

Jiang Huang, Xiao Aiping. Study on spraying robot’s road recognition and boundary extraction in greenhouses[J]. Forestry Machinery & Woodworking Equipment, 2014, 42(10): 18－21. (in Chinese with English abstract)

[18] 寧松瑞，左強，石建初，等. 新疆典型膜下滴灌棉花種植模式的用水效率與效益[J]. 農業工程學報，2013，29(22)：90－99.

Ning Songrui, Zuo Qiang, Shi Jianchu, et al. Water use efficiency and benefit for typical planting modes of drip-irrigated cotton under film in Xinjiang[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2013, 29(22): 90－99. (in Chinese with English abstract)

[19] 陳晨，薛新宇，顧偉，等. 噴霧機噴桿結構形狀及截面尺寸優化與試驗[J]. 農業工程學報，2015，31(9)：50－56.

Chen Chen, Xue Xinyu, Gu Wei, et al. Experiment and structure shape and section size optimization of spray boom[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(9): 50－56. (in Chinese with English abstract)

[20] 蘇偉，蔣坤萍，閆安，等. 基于無人機遙感影像的育種玉米壟數統計監測[J]. 農業工程學報，2018，34(10)：92－98.

Su Wei, Jiang Kunping, Yan An, et al. Monitoring of planted lines for breeding corn using UAV remote sensing image[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(10): 92－98. (in Chinese with English abstract)

[21] Wang Q, Zhang Q, Rovira-Más, et al. Stereovision-based lateral offset measurement for vehicle navigation in cultivated stubble fields[J]. Biosystems Engineering, 2011, 109(4): 258－265.

[22] 呂麗平，張西芝，張玉宏. 基于中心線引導的主動視覺導航方法研究[J]. 電子測量與儀器學報，2018，32(3)：18－25.

Lü Liping, Zhang Xizhi, Zhang Yuhong. Research of active vision navigation based on centerline guidance[J]. Journal of Electronic Measurement and Instrumentation, 2018, 32(3): 18－25. (in Chinese with English abstract)

[23] 李林，魏新華，朱文靜，等. 寬幅施藥機械機器視覺輔助導航系統研究[J]. 農業機械學報，2015，46(9)：28－33.

Li Lin, Wei Xinhua, Zhu Wenjing, et al. Research on auxiliary navigation system for wide spraying mechanism based on machine vision[J]. Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(9): 28－33. (in Chinese with English abstract)

[24] 閆輝，許廷發，吳青青，等. 多特征融合匹配的多目標跟蹤[J]. 中國光學，2013，6(2)：163－170.

Yan Hui, Xu Tingfa, Wu Qingqing, et al. Multi-object tracking based on multi-feature joint matching[J]. Chinese Optics, 2013, 6(2): 163－170. (in Chinese with English abstract)

[25] 白如月，汪小旵，魯偉，等. 施藥機器人對行施藥系統的設計與試驗[J]. 華南農業大學學報，2018，39(5)：101－109.

Bai Ruyue, Wang Xiaochan, Lu Wei, et al. Design and experiment of row-following pesticide spraying system by robot[J]. Journal of South China Agricultural University, 2018, 39(5): 101－109. (in Chinese with English abstract)

[26] 孫巧. 基于加權重疊率的單目標視覺跟蹤評價指標[J]. 電子學報，2017，45(3)：753－761.

[27] 吳剛，譚彧，鄭永軍，等. 基于改進Hough變換的收獲機器人行走目標直線檢測[J]. 農業機械學報，2010，41(2)：176－179.

Wu Gang, Tan Yu, Zheng Yongjun, et al. Walking goal line detection based on improved Hough transform on harvesting robot[J]. Transactions of the Chinese Society for Agricultural Machinery, 2010, 41(2): 176－179. (in Chinese with English abstract)

[28] 彭順正，坎雜，李景彬. 矮化密植棗園收獲作業視覺導航路徑提取[J]. 農業工程學報，2017，33(9)：45－52.

Peng Shunzheng, Kan Za, Li Jingbin. Extraction of visual navigation directrix for harvesting operation in short-stalked and close-planting jujube orchard[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(9): 45－52. (in Chinese with English abstract)

[29] 劉士建，吳瀅躍. 具有記憶跟蹤功能的質心跟蹤算法[J]. 紅外技術，2012，34(11)：636－639.

Liu Shijian, Wu Yingyue. Centroid tracking algorithm with memory tracking feature[J]. Infrared Technology, 2012, 34(11): 636－639. (in Chinese with English abstract)

[30] 梁習卉子，陳兵旗，姜秋慧，等. 基于圖像處理的玉米收割機導航路線檢測方法[J]. 農業工程學報，2016，32(22)：43－49.

Liang Xihuizi, Chen Bingqi, Jiang Qiuhui, et al. Detection method of navigation route of corn harvester based on image processing[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(22): 43－49. (in Chinese with English abstract)

[31] 路紅，李宏勝，費樹岷，等. 融合塊顯著質心描述和多級關聯的多目標跟蹤[J]. 系統工程與電子技術，2015，37(9)：2182－2190.

Lu Hong, Li Hongsheng, Fei Shumin, et al. Block-level saliency centroid representation and multi-level association based multi-target tracking[J]. Systems Engineering and Electronics, 2015, 37(9): 2182－2190. (in Chinese with English abstract)

[32] 張勤，陳少杰，李彬. 基于SUSAN角點的秧苗列中心線提取方法[J]. 農業工程學報，2015，31(20)：165－171.

Zhang Qin, Chen Shaojie, Li Bin. Extraction method for centerlines of rice seedlings based on SUSAN corner[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(20): 165－171. (in Chinese with English abstract)

[33] Ji Ronghua, Qi Lijun. Crop-row detection algorithm based on random Hough transformation[J]. Mathematical and Computer Modelling, 2011, 54(3): 1016－1020.

[34] Jiang Guoquan, Wang Zhiheng, Liu Hongmin. Automatic detection of crop rows based on multi-ROIs[J]. Expert Systems with Applications, 2015, 42(5): 2429－2441.

Dynamic counting method of cotton rows in video based on centroid tracking

Liang Xihuizi1,3, Chen Bingqi1※, Li Minzan2, Wei Chaojie1, Yang Yanqiu1, Wang Jin1, Feng Jie1

(1.,,100083,; 2.,100083,; 3.,,832003,)

Pesticide spraying is one of the most important farm activities related to the protection of plants. The application of pesticides by unmanned aerial vehicles (UAV) can effectively avoid the harm caused by pesticides to human body, but the amount of pesticides is limited and it is difficult to locate the pesticides between flights. The unmanned navigation tractor with GNSS (global navigation satellite system) has realized the automatic navigation of planting and cotton harvesting in large area cotton field while could not work in cotton plant protection operation because the complex crop growth environment on site. Visual navigation vehicle can carry a large amount of pesticide, and its operation path is determined by the growth state of crops in the farmland avoiding crushing seedling. Therefore, it has great potential for the unmanned plant protection vehicle based on visual navigation in the field environment. Nowadays, sprayers mounted on tractors have being utilized in cotton protection in Xinjiang. The present studies for objects mainly focus on static images, and the dynamic detection of crop rows in video sequence is studied barely. Aiming at that, A plant protection unmanned vehicle was exploited, which can enhance and complement the intelligent agriculture. After the vehicle finish spraying in one cotton row, it will stop safely and accurately just at the edge of the proposed position. Subsequently, its 4 wheels will rotate 90° simultaneously, so as to ensure it can move in a vertical direction through the cotton rows; a camera on the opposite side can also be utilized to count the cotton rows and avoid repeated spraying. When the vehicle passes cotton rows preseted, its 4 wheels can simultaneously rotate 90°again along the same direction to prepare for the next spraying. Then a video-based dynamic count method for cotton rows is proposed to determine the interval distance of linear operation area in this paper. By tracking the centroids of cotton plant, the number of cotton rows could be counted in real time. Firstly, the color image from video became grayscale to emphasize information of cotton rows with prominent green component by calculation of 2--. Then, a region of interest (ROI) was set not only to reduce the calculation amount, but also to avoid the lacking of seedling in the end of cotton rows. Secondly, the vertical cumulative histogram of gray in ROI was solved and the histogram vs ROI width curve was obtained. The wave crests of the curve determined by two conditions were found, in which the width and the sharpness should be satisfied with threshold. Then a floating window was established to positioning the cotton row. Besides that, the grayscale centroids of each floating window were calculated, which represent the cotton rows where each one was located. Thirdly, a target window with the size of 65×65 was established for each centroid. With the growth of cotton, the branches and leaves intertwined in which situation, the gap between the 2 cotton rows became smaller, and the cotton leaves of one row were very loose. In this case, one cotton row might correspond to more than one target window. To avoiding the influences of the growth, the overlap rate was calculated between each 2 adjacent target windows. And the 2 target windows whose overlap rate meeting the condition (large than 0.1) should be merged together. It had been done until no overlapped rate meeting the conditions. Thus, each cotton row had been identified. For tracking, starting from the second frame, the overlap rate between each target window and other target windows from previous frame was judged, if it met the condition, the two target windows in the two successive frames were connected. Then the cotton row could be tracked. The test proved that the processing time of detecting cotton row was approximately 150 ms per frame, which satisfied the requirement of practical application for the cotton protection in the field.

machine vision; cotton; recognition; cotton field spray; lateral movement; counting row number

10.11975/j.issn.1002-6819.2019.02.023

TP391.41

A

1002-6819(2019)-02-0175-08

2018-09-14

2019-01-05

國家重點研發計劃項目（2017YFD0701000-2017YFD0701003）

梁習卉子，講師，在職博士生，主要從事圖像處理與機器視覺方面的研究。Email：liangxihuizi-lxhz@163. com

陳兵旗，教授，博士生導師，主要從事圖像處理與機器視覺方面的研究。Email：fbcbq@163.com

梁習卉子，陳兵旗，李民贊，魏超杰，楊艷秋，王 進，馮 杰. 質心跟蹤視頻棉花行數動態計數方法[J]. 農業工程學報，2019，35(2)：175－182. doi：10.11975/j.issn.1002-6819.2019.02.023 http://www.tcsae.org

Liang Xihuizi, Chen Bingqi, Li Minzan, Wei Chaojie, Yang Yanqiu, Wang Jin, Feng Jie. Dynamic counting method of cotton rows in video based on centroid tracking[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(2): 175－182. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2019.02.023 http://www.tcsae.org