基于機器視覺的采茶機割刀控制方法

王財盛，朱 威，徐召飛，胡安國

(1.浙江工業大學 信息工程學院，杭州 310023; 2.永康市威力園林機械有限公司，浙江 金華 321300)

基于機器視覺的采茶機割刀控制方法

王財盛1，朱 威1，徐召飛1，胡安國2

(1.浙江工業大學 信息工程學院，杭州 310023; 2.永康市威力園林機械有限公司，浙江 金華 321300)

針對現有乘坐式采茶機切割的茶葉質量偏低的問題，提出了一種基于機器視覺的采茶機割刀控制方法；首先對相機參數進行低復雜度的標定，然后采用動態閾值分割方法和顏色分類器，提取茶葉圖像中的嫩芽區域，并設計間接定位法定位弧形割刀位置；接著通過計算兩個指定區域的嫩芽面積及它們的和與差異，得到弧形割刀左右兩側的動作參數；最后將動作參數傳給下位機，控制割刀到達預期位置；該方法分別對單株茶樹和實地茶園進行了實驗，結果表明該方法能夠準確定位弧形割刀位置和識別嫩芽區域，實現割刀位置的自適應調整，具有較好的茶葉切割效果，切割得到的嫩芽比例可達70%以上。

采茶機；機器視覺；割刀控制；間接定位法；顏色分類器

0 引言

中國是茶葉的主要原產地，也是世界上茶葉種植、消費、出口最大的國家之一。茶葉的采摘屬于勞動密集型作業，隨著我國城市化、工業化進程的不斷深人，農業勞動力不斷向工業部門轉移，農村人口不斷向城鎮轉移，農村勞動力越來越緊張，這使得采茶工越來越難招。目前，我國茶葉采摘和用工的矛盾已經成為茶葉產業發展的瓶頸[1]。現代化的采茶機械在茶園廣泛應用，能有效地提高茶葉的生產效率，實現高質量的規模化生產，降低勞動強度和管理成本，是我國茶業高質規模化生產的必由之路。

目前各種農業收割機正在蓬勃發展[2-6]，包括薔薇收割機，白蘆筍收割機和各類水果收割機等。在茶葉采摘方面，市場上主流使用是手提或背負式采茶機。該類采茶機主要以小型汽油機為動力，配置集葉風機、送風管道、傳動機構、切割器機架和集葉袋等機構，其工作方式為非選擇性一刀割方式，雖然具備較高的采茶效率，但是攜帶勞動強度大，同時缺乏對茶葉嫩芽的選擇性，切割的茶葉質量參差不一，工人進行后續篩選耗費時間長，人力成本高。文獻[7]中提出的履帶乘坐式全自動采茶機，采用液壓驅動，地隙靈活可調，采用的雙動往復式圓弧刀片和雙風機集葉系統，切割平整，集葉效果好。該采茶機主要的特點是實現了茶機自走乘坐功能，減輕了采茶工人的勞動強度，但是其割刀工作方式仍為非選擇性切割，不能動態適應復雜的茶葉生長情況，存在嫩芽完整率和嫩芽率偏低的問題。文獻[8-9]中提出的圖像處理技術可以自動識別茶葉嫩芽，并運用定位采摘的方法可以保證茶葉嫩芽的完整性，但是定位采摘的效率較低，主要適用于名優茶而不適用于大宗茶，且其使用的嫩芽識別方法只考慮了茶葉嫩芽和老葉的顏色差異，而忽略了采茶環境中其他顏色的干擾，魯棒性仍待提高。

針對現有機械切割茶葉存在的質量較低的問題，可從茶樹修剪和茶葉切割兩個方面進行研究。在修剪工藝方面，通過修剪將茶樹培養成適合機采的樹形和切割面，同時定期清理茶樹兩邊過道，使得乘坐式采茶機能平穩工作；在切割技術方面，可實時調整割刀的高度和角度，使割刀弧面與茶樹切割面相吻合。本文對茶葉切割技術進行研究，針對現有乘坐式采茶機切割得到的茶葉質量偏低的問題，設計了一種基于機器視覺的采茶機割刀控制方法，實現割刀高度和角度的自適應調整，具有較好的茶葉切割效果。

1 乘坐式自動化采茶機原理

圖1所示為本文采用的乘坐式自動化采茶機結構圖，該采茶機主要由駕駛室、攝像頭、工控一體機、下位機、左伺服滑塊、右伺服滑塊、履帶和割刀等組成。為了適應南方的丘陵地形，該乘坐式自動化采茶機在機械上采用了獨特的全液壓驅動履帶行走機構，降低了采茶機的重心，增加了采茶機的爬坡能力，并有效減少了采茶機作業時產生的顛簸現象，使攝像頭采集得到的圖像更加清晰，從而提升割刀的控制精度。

圖2所示為乘坐式自動化采茶機的割刀控制系統框圖，工作流程如下：首先操作人員坐在駕駛室檢查采茶機各部分是否正常并開啟采茶機和工控一體機；接著，操作人員啟動采茶應用程序，并按下相機標定按鈕；相機標定成功后，操作人員按下采茶按鈕，相機會將實時采集得到的圖像通過USB接口傳給工控一體機，經嫩芽識別方法得到圖像中嫩芽區域的牙尖直線；然后，通過嫩芽牙尖直線和割刀的相對位置計算得到割刀控制參數；最后，工控一體機將割刀控制參數通過RS232傳給下位機，下位機通過驅動器1和驅動器2分別控制左、右伺服滑塊，使割刀達到期望位置。整個工作過程中，操作人員可以通過工控一體機的顯示器，看到采茶機的運行狀況和割刀的動作過程，如遇到特殊情況，操作人員可以及時手動控制采茶機割刀，保證整個采茶過程的安全性和可靠性。

圖2 采茶機控制系統框圖

2 嫩芽識別方法

為了保證采茶機切割茶葉的效果，首先需要通過視覺方法識別出嫩芽。本文設計的嫩芽識別方法使用色差圖像動態閾值化方法將茶葉嫩芽和老葉初步區分開，并設計了基于機器學習的顏色分類器進一步區分嫩芽和復雜背景顏色，提高嫩芽識別的穩定性。

色差圖像動態閾值化方法利用了茶葉嫩芽為嫩綠色，其綠色分量較大而藍色分量較小的特點，首先提取原始茶葉圖像的R、G和B分量圖像，接著采用綠色分量與藍色分量的差值圖像作為特征提取的基本模型，如式(1)所示，其中ImgG為原始采茶圖像的綠色分量圖像，ImgB為藍色分量圖像，Imgsub為綠色分量和藍色分量的差值圖像；然后使用Otsu法[10]處理該差值圖像，得到閾值TH，大于TH的區域即為初步得到的嫩芽區域。

(1)

圖3為色差圖像動態閾值化方法處理基本色譜圖像得到的結果圖，該色譜圖像包含紅橙黃綠藍靛紫共7種基本顏色，且每種顏色從左到右，由淺及深，其中黑色方框區域為色差圖像動態閾值化處理后初步得到的顏色區域。分析圖3可知，綠色中顏色較淺部分(綠色的左邊3個顏色區域)與顏色較深部分(綠色的右邊兩個顏色區域)被正確劃分，因此色差圖像動態閾值化方法能夠正確區分嫩綠色和深綠色，即茶葉嫩芽顏色和老葉顏色，但無法精確區分復雜背景顏色，如部分黃色區域(黃色的中間3個顏色區域)容易被誤劃分，需要進一步處理。

圖3 色差圖像動態閾值化結果圖

為了進一步區分復雜顏色背景和嫩芽顏色，本文對事先準備好的充足的顏色樣本進行大量的學習訓練，得到一個基于機器學習的顏色分類器，使用該顏色分類器進一步處理色差圖像動態閾值化方法得到的初步結果圖，識別得到嫩芽的精確區域，具體過程如下：

首先，為了減少樣本訓練難度，本文先將顏色進行了歸并，再基于色差圖像動態閾值化方法得到的初步結果圖中，黃色和綠色區分度較差，而紅色、橙色、藍色、靛色和紫色的區分度較佳的特征，本文將黃色歸為一類顏色，綠色歸為一類顏色，色系相近的紅色和橙色歸為一類顏色，藍色、靛色和紫色歸為一類顏色，共4類顏色；接著，提取各類顏色樣本的R、G和B分量，計算各分量的均值，并采用高斯混合模型[11]為訓練模型進行學習訓練，得到顏色分類器。然后，使用該顏色分類器對色差圖像動態閾值化方法初步得到的所有嫩芽區域進行分類，得到精確的嫩芽區域。圖4為使用顏色分類器處理圖3得到的結果，圖4中的各類顏色均被正確劃分，效果較佳。圖5(a)為茶葉原始圖，圖5(b)為經色差圖像動態閾值化和顏色分類器分類后得到的嫩芽區域圖，其中紅色部分為識別得到的嫩芽區域。由該圖可見，色差圖像動態閾值化和顏色分類器能精確區分嫩芽、老葉和復雜背景，得到精確的嫩芽區域，為下一步的割刀控制打下基礎。

圖4 顏色分類器處理結果圖

圖5 嫩芽識別前后比較

3 割刀控制方法

3.1 低復雜度相機參數標定法

由于本文是根據圖像上割刀與嫩芽區域相對位置計算割刀實際需要升降的高度，因此需要知道實際距離與圖像距離的關系。由于本文采用的是單個攝像頭，常用的相機標定方法無法獲得實際物體在成像平面的深度信息，本文所設計方法只要求知道計算割刀實際動作高度與圖像上割刀相應改變的高度的比例關系，其他深度信息并非本文側重點。基于上述分析，本文設計了一種低復雜度的標定方法，該方法是通過改變割刀整體高度，計算割刀動作前和動作后在圖像上的縱向坐標，從而得到割刀實際動作高度與圖像上割刀改變的高度的比例系數。由于割刀為弧形，在切割過程中常被茶葉遮擋，定位較為復雜，而圖1乘坐式自動化采茶機的割刀定位橫桿形狀筆直，在割刀上方，無茶葉遮擋，定位較為容易，且與割刀為固定連接，即兩者相對位置不變。因此，為提高定位精度，減少計算量，本文采用割刀定位橫桿代替弧形割刀進行標定。首先將割刀定位橫桿的顏色涂成紅色，而割刀的其它部位顏色涂成非紅色。具體標定過程如下：

1)割刀位置初始化，使割刀調整到水平狀態。

2)讀取割刀及其定位橫桿圖像，并提取R、G和B分量，利用式(2)計算超紅算子圖像SubR，若SubR小于0，則將其置0，其中ImgR、ImgG和ImgB分別表示圖像的R、G和B分量，m和n分別為G和B分量的比例系數，經實驗，m和n分別取值1和0.3效果較佳。

SubR=ImgR-m×ImgG-n×ImgB

(2)

3)使用Ostu動態閾值化方法對超紅算子圖像ImageR進行二值化處理，并對該二值圖進行腐蝕、膨脹和填充處理，去除噪點，得到割刀定位橫桿區域。

4)使用基于最大圓盤骨架提取算法[12]提取割刀定位橫桿區域的骨架。

5)使用最小二乘法處理割刀定位橫桿骨架，擬合得到割刀定位橫桿中心線。

6)計算割刀定位橫桿中心線中心位置的初始高度，記為HGbegin。

7)提升割刀整體高度20 mm，重復步驟2)～步驟6)，得到動作后割刀定位橫桿中心線中心位置的高度，記為HGend。

8)利用式(3)計算實際距離與圖上距離的比值Scale。

(3)

如圖6所示，圖(a)為割刀初始位置圖像，經步驟1)～步驟8)處理后，得到割刀定位橫桿的位置，其骨架線用粗直線標記，該粗直線在圖(a)中的高度HGbegin為279.8 pixel，圖(b)為割刀整體高度提高20 mm后的圖像，同理可得割刀定位橫桿在圖(b)中的高度HGend為302.7 pixel，計算可得實際距離與圖上距離的比值Scale為0.873 mm/pixel，計算復雜度低，精度高，速度快，標定方法較佳。

圖6 割刀標定圖

3.2 割刀定位

由于割刀是弧形的，在切割過程中常被茶葉遮擋，且割刀較細，顏色形狀等特征不明顯，因此，本文采用了一種間接定位法，即利用割刀定位橫桿的位置計算割刀所在位置。如圖7所示，以圖像左上角為原點，水平向右方向為x軸方向，豎直向下方向為y軸方向，建立直角坐標系，記割刀定位橫桿實際長度為lReal，割刀中心距離割刀的實際垂直距離為dReal，割刀實際半徑為rReal，且在節3.1的步驟5)中已得到割刀定位橫桿中心線，可計算得到其斜率和中心點坐標，由式(4)可得到割刀定位橫桿圖上長度lPic，割刀中心距離割刀的圖上垂直距離為dPic和割刀圖上半徑為rPic，由割刀定位橫桿的直線方程可以計算得到過其中心的垂線的直線方程，從而得到割刀的圓心坐標，并根據割刀的扇形角度及其圖上半徑，就能畫出割刀的擬合線。

(4)

如圖8所示，黑色直線為擬合得到的割刀定位橫桿，黑色弧線為割刀線，圖中，黑色弧線基本與割刀所在位置重合，本文采用的間接定位法能精確地定位到割刀位置，即使是在復雜環境下，仍能較好地識別割刀線，效果較佳，為割刀自動化控制打下基礎。

圖7 割刀結構圖 圖8 割刀定位效果圖

3.3 割刀控制流程

割刀控制流程如圖9所示，每幀圖像的具體步驟如下：

圖9 割刀控制流程圖

1)讀取割刀圖像，進行割刀定位，得到割刀定位橫桿及割刀之間的位置。

2)分別計算割刀定位橫桿及割刀之間左右區域S1和S2內的嫩芽面積，分別記為SBud1和SBud2。S1和S2的區域如圖10所示，其中，O1為割刀的中點，O2為圖像頂部的中點。

圖10 區域劃分圖

3)計算SBud1與SBud2的和，記為Sum，若ThMin<=Sum<=ThMax，則割刀不動作，并執行步驟(4)；若Sum>ThMax，則提高割刀整體高度10 mm，并結束操作；若Sum

4)由式(5)計算得到SBud1與SBud2的差異程度，記為DifBud，若-Ths<=DifBud<=Ths，則割刀不動作，并結束操作；若DifBud>Ths，則調低割刀右側高度10 mm，并結束操作；若DifBud<-Ths，則調低割刀左側高度10 mm，并結束操作。由于機械結構的限制，左右兩側割刀高度差最多可達300 mm，割刀角度最多可達10°。

(5)

4 實驗結果及分析

本文采茶機割刀控制方法的硬件運行平臺為集成低功耗處理器和觸摸顯示屏的工控一體機，該工控一體機的型號為1037 U，4 G內存，128 G固態硬盤，且支持8～36 V直流寬壓，能夠較好地適應采茶機上的電壓波動，顯示屏采用12寸電阻式觸摸屏，分辨率為1024x768。圖像采集模塊采用工業運動相機，分辨率為800x600，采用全局快門，能夠很好地捕捉動態物體，其鏡頭采用視角范圍較大的廣角鏡頭。軟件操作系統為Windows，開發平臺為QT5，基本算法庫為Halcon12，實驗中ThMin取10000，ThMax取15000，Ths取0.5。

圖11(a)為拍攝的單株茶樹圖像，環境光照較強，圖像較亮。由于有白色通風管遮擋，割刀定位橫桿被分割成大小相近的黑色方塊，且部分方塊有較嚴重的反光現象，本文采用的橫桿骨架識別方法具有較高的魯棒性，如圖11(b)所示，黑色直線即為識別得到的橫桿中心線，即使橫桿區域反光較為嚴重，橫桿中心線定位依然準確。圖11(b)中的黑色曲線為割刀所在位置，割刀曲線基本正確，可知本文采用的低復雜度相機參數標定法能夠準確定位割刀高度和角度，效果較佳，且計算量較小。圖11(c)為嫩芽識別圖，對比圖(a),圖(c)中黑色區域標記了識別得到的嫩芽區域，基本覆蓋了圖(a)中所有的嫩芽。圖11(d)中黃色部分為指定區域S1中的嫩芽區域，藍色部分為指定區域S2中的嫩芽區域，計算得到指定區域嫩芽面積SBud1和SBud2分別為6435和1708，兩者之和Sum為8143，Sum小于ThMin，則調低割刀整體高度，最終得到圖11(e)的結果，圖中指定區域嫩芽面積SBud1和SBud2分別為9308和3459，兩者之和Sum為12767，Sum大于ThMin且小于ThMax，兩者的差異程度DifBud為0.46，DifBud大于-Ths且小于Ths，此時嫩芽與割刀的相對位置較佳，實驗結果滿足采茶要求。

圖11 單株處理結果

圖12(a)為茶園實地拍攝的一幀圖像，與圖11(a)相比，環境光照較弱，圖像較暗。圖12(b)中的黑色直線為識別得到的割刀橫桿中心線，黑色弧線為由割刀橫桿中心線位置計算得到的割刀線，該弧線基本與實際割刀吻合。圖12(c)為嫩芽識別圖，雖然茶葉上方有采茶機遮擋，光線不佳，部分嫩芽顏色變暗，被誤識別為老葉，但是被誤識別的茶葉基本離割刀較遠，而離割刀較近的嫩芽光線較好，基本被正確識別，即指定區域的嫩芽能被較好地識別。圖12(d)為割刀動作前指定區域的嫩芽圖，其中左邊虛線框中白色部分為指定區域S1中的嫩芽區域，右邊虛線框中白色部分為指定區域S2中的嫩芽區域，計算得到指定區域嫩芽面積SBud1和SBud2分別為3413和2383，兩者之和Sum為5796，Sum小于ThMin，按割刀控制流程調整割刀高度，最終得到圖12(e)，圖12(f)為其指定區域嫩芽檢測結果。此時指定區域嫩芽面積SBud1和SBud2分別為5670和4988，兩者之和Sum為10658，Sum大于ThMin且小于ThMax，兩者的差異程度DifBud為0.064，DifBud大于-Ths且小于Ths。由圖可知，即使在光照較弱的情況下，最終得到的割刀位置仍然較佳。本文方法在茶園實地進行測試，其穩定性較好，切割得到的嫩芽比例超過70%。

圖12 茶園實地處理結果

5 結束語

在本文提出的基于機器視覺的采茶機割刀控制方法中，低復雜度相機參數標定法能有效解決單個相機無法獲取圖像深度信息的問題，間接定位法定位割刀能有效降低計算復雜度，并提高定位精度，動態閾值分割法和顏色分類器能準確地識別嫩芽區域。該方法主要解決現有乘坐式采茶機盲割造成的茶葉質量偏低和嫩芽率低下的問題，有效地提高采茶機的茶葉切割效果，是自動化采茶機的重要組成部分。

[1] 湯一平,王偉羊,朱 威,等.基于機器視覺的茶隴識別與采茶機導航方法[J].農業機械學報, 2016, 47(1): 45-50.

[2] Du X, Chen D, Zhang Q, et al. Dynamic responses of sweet cherry trees under vibratory excitations[J]. Biosystems Engineering, 2012, 111(3): 305-314.

[3] De-An Z, Jidong L, Wei J, et al. Design and control of an apple harvesting robot[J]. Biosystems engineering, 2011, 110(2): 112-122.

[4] Kohan A, Borghaee A, Yazdi M, et al. Robotic harvesting of rosa damascena using stereoscopic machine vision[J]. World Applied Sciences Journal, 2011, 12(2): 231-237.

[5] Dong F, Heinemann W, Kasper R. Development of a row guid ance system for an autonomous robot for white asparagus harvesting[J]. Computers and electronics in agriculture, 2011, 79(2): 216-225.

[6] Ji W, Zhao D, Cheng F, et al. Automatic recognition vision system guided for apple harvesting robot[J]. Computers & Electrical Engineering, 2012, 38(5): 1186-1195.

[7] 韓 余,肖宏儒,秦廣明,等. 我國茶園機械研究新動態[J]. 中國農機化學報, 2013,34(3):13-16.

[8] 韋佳佳,陳 勇,金小俊,等.自然環境下茶樹嫩梢識別方法研究[J].茶葉科學,2012,32(5): 377-381.

[9] 張 浩,陳 勇,汪 巍,等.基于主動計算機視覺的茶葉采摘定位技術[J].農業機械學報, 2014, 45(9): 61-65.

[10] Gonzalez R C，Woods R E.Digital Images Processing：3rd Edition[M]. Beijing: Publishing House of Electronic Industry, 2007.

[11] 李 航. 統計學習方法[M]. 北京：清華大學出版社, 2012.

[12] 刁智華, 吳貝貝, 魏玉泉, 等. 利用最大圓盤提取作物行骨架的改進算法[J]. 中國農機化學報, 2016, 37(7): 141-144.

CutterControlMethodofTea-pickingMachineBasedonMachineVision

WangCaisheng1,ZhuWei1,XuZhaofei1,HuAnguo2

(1.CollegeofInformationEngineering,ZhejiangUniversityofTechnology,Hangzhou310023,China;2.YongkangValidGardenMachineryCorporation,Jinhua321300,China)

To improve the low picking quality of traditional tea-picking machine, a cutter control method based on machine vision is proposed. First, a low complexity calibration method for camera parameters is designed. Second, the cutter is located by an indirect location method. Then, R、G and B components are obtained from the tea image, and a dynamic threshold and a color classification are used for recognizing the tea bud. In addition, tea bud areas of two designated areas are calculated, and the parameters of cutter action is acquired by the sum and differ of the two areas. Finally, the parameters are sent to the inferior machine and the inferior machine adjusts the cutter to the desired position. Experimental results show that the proposed method can locate the cutter and recognize the tea bud accurately, and achieve adjusting the cutter adaptively and the bud rate is more than 70%.

tea-picking machine; machine vision; cutter control; indirect location; color classification

2016-11-10；

2016-11-25。

“十二五”國家科技支撐計劃項目(2014BAD06B06);國家自然科學基金項目(61401398)。

王財盛(1991-)，男，碩士研究生，主要從事機器視覺算法方向的研究。

1671-4598(2017)04-0070-05DOI：10.16526/j.cnki.11-4762/tp

TP

A