采茶機械手嫩芽識別與定位方法研究

姜宏濤，何博俠，章亞非

(南京理工大學機械工程學院，江蘇 南京 210094)

0 引言

名優茶采摘具有很強的時效性，如國人比較推崇的“明前茶”，其采摘周期一般在半個月內。在短時間內要完成大量采摘工作，勞動強度非常大。目前，現有的機械采摘設備存在無法區分老葉與嫩芽、不能保證采摘完整性等缺點，而名優茶對茶葉采摘的完整性有著很高的要求。因此，需要對嫩芽的識別與定位技術進行研究。名優茶嫩芽采摘點的精準識別與定位是采茶機械手完成準確采摘的關鍵，該技術主要包括圖像預處理、顏色特征提取與嫩芽圖像分割、嫩芽識別與定位等。

在嫩芽圖像預處理方面，主要使用中值濾波法對RGB顏色分量逐個進行濾波后,再結合其結果來降低圖像噪聲，改善圖像質量[1-3]。由于常用的濾波方式會導致圖像變模糊，可采用基于偏微分方程原理的去噪模型消除嫩芽圖像中的噪聲[4]。為避免進行去噪時嫩芽圖像灰度值較大的部分被處理掉，可使用梯度增強法銳化其灰度圖像[5]，然后利用維納濾波消除嫩芽圖像中的噪聲。

在嫩芽圖像分割方面，針對單個色彩因子容易受到室外環境因素影響，目前主要的方法為Otsu法[6]；對于HSEG和JSEG的局限性，主要使用彩色紋理圖像的分割方法(JBSEG)，結合邊緣檢測算子的幅值來改進JSEG[7]，并且綜合研究輪廓邊界非連續性和圖像局部區域相似性。結果表明,JBSEG方法在避免過分割現象方面有更好的效果，同時在超綠特征2R-G-B分量基礎上能很好地分割出嫩芽圖像。

在嫩芽采摘點識別方面，深度學習的方法得到了應用[8]。如基于色調、飽和度等顏色特征，以及嫩芽平均寬度、面積大小、嫩芽圖像中軸長度和彎曲度系數等形狀特征作為圖像特征集，輸入經過優化后的卷積神經網絡模型，經過訓練使網絡模型能夠成功識別出嫩芽采摘點。孫肖肖等[9]在深度學習的基礎上提出了茶葉嫩芽圖像采摘點檢測算法，該方法改進了YOLO網絡架構，并采用大尺度和中尺度檢測方法。

在嫩芽采摘點三維定位方面，目前的方法主要為在對茶葉圖像“兩瓣一心”的形狀特征研究的基礎上，采用了逐行掃描法和圖像輪廓邊緣檢測法來定位嫩芽采摘點。

本文針對茶葉圖像特點，選擇合適的色彩因子進行提取，對分水嶺算法進行改進以避免其“過分割”現象的產生，并結合雙目測距原理獲取嫩芽采摘點三維坐標，提供給采茶機械手以完成定位。

1 茶葉圖像特征分析與提取

嫩芽分割的準確性直接關系到之后進行采摘點空間定位的精度。由于茶樹所處的生長環境復雜，使得嫩芽圖像分割受到了多種因素的限制：

a.光照強弱的影響。在不同光照下采集的嫩芽圖像各不相同，光照較強時嫩芽部分區域會因反光出現白斑，光照較弱時，嫩芽與老葉的區分度較低。

b.嫩芽生長姿態的影響。嫩芽可能會受到附近枝干的遮擋或者與其他嫩芽、老葉重疊，導致分割結果不完整。

RGB 顏色模型是在紅、綠、藍三原色模型基礎上設立的，是實際生活中最常使用的的面向硬件的顏色模型。模型中所有顏色是由紅、綠、藍三基色按一定比例混合而成的。而茶葉嫩芽與老葉的主要區別為綠色的深淺度上，可以從RGB模型中分離出G分量，但不確定具體的分割值；這時可以引入HSI顏色模型，該模型是由色調、飽和度和亮度三元素建立的模型，更加符合人眼觀察顏色的習慣，其中色調代表顏色屬性，其大小取決于光的波長；飽和度則表示純色稀釋程度，飽和度大小與顏色鮮艷程度成正比；亮度是用來度量顏色明亮程度的值。

下面對嫩芽與老葉分別進行顏色特征提取。通過計算可以得出各顏色分量特征灰度直方圖，相比R、B分量，G分量的嫩芽與老葉灰度值重合最少，可考慮采用G分量進行后續圖像分割。

由于RGB模型中，3個分量受亮度影響較大，故對3個分量進行組合及圖像灰度化處理。選取6組色彩分量進行提取，結果如圖1所示。

圖1 單通道嫩芽圖像

由圖1可知，G-B分量圖下的嫩芽輪廓最明顯，可以將其作為圖像分割的備選分量。在進行分割前，可分別求取嫩芽三通道灰度圖與G-B單通道分量圖的灰度三維立體圖，如圖2所示。由圖2可以看出，G-B分量圖中灰度值高的地方比較集中，較三通道灰度圖更容易分割。

圖2 嫩芽灰度三維立體圖

2 基于改進分水嶺算法的茶葉嫩芽圖像分割

2.1 傳統分水嶺算法

目前，圖像分割的方法有多種，如基于邊緣、閾值和圖論等分割方法。分水嶺算法是一種基于地形的概念，它將灰度圖看作是一個地形圖，像素的灰度值代表地勢高度，利用這種方式來研究圖像在空間上的灰度變化。其具體思想為：在局部灰度最小值區域開1個孔，則水會流出，上升至淹沒整個“地形”，為防止各個區域的水匯合，需要在交界點修建堤壩，該堤壩稱為“分水嶺”。分水嶺原理如圖3所示。由于分水嶺算法對圖像中的噪聲比較敏感，往往會產生過分割情況，因此應盡量減少圖像噪聲。

圖3 分水嶺原理

2.2 改進分水嶺算法

本文在傳統分水嶺算法的基礎上，引入BM3D去噪算法對原始圖像進行去噪處理，然后通過灰度拉伸法加大嫩芽G-B分量圖的對比度，最后采用分水嶺算法進行分割。

目前常用的圖像去噪方法中，濾波器的使用較多。而對于茶葉圖像，嫩芽與老葉的區別并不明顯，使用濾波器會模糊嫩芽與老葉的邊界，影響后續的分割。BM3D(block-matching and 3D filtering)算法是一種基于三維變換域的去噪算法，是目前圖像降噪性能最好的算法之一。Makinen等[10]在2019年對其進行了改進，使用了新的方差計算方法，用于改進收縮精度與塊匹配。本文將采用此方法進行嫩芽圖像去噪。BM3D算法主要有以下2個階段。

a.第1階段：基本估計。

(1)

τdis為距離閾值。

參考塊ZxR和匹配塊Zx1的間距d(ZxR,Zx1)定義為

(2)

T2D為二維變換操作；σ為噪聲標準差；λthr2D為二維閾值參數；γ為硬閾值操作，其定義為

(3)

②協同硬閾值濾波與聚合：對三維數組進行3D變換，通過硬閾值濾波減少噪聲，即

(4)

每個FSxR有1個對應的權值矩陣ωxR，其定義為

(5)

Nh為硬閾值處理后系數矩陣中的非零個數。非零系數越少，得到的權值就越大。

然后通過三維逆變換得到二維相似塊的估計值，對于重疊的相似塊進行重新估值，最后通過加權平均得到圖像基本估計。

b.第2階段：最終去噪(第1步作為輸入)。

①塊匹配：用塊匹配的方式在基本估計中得到相似塊位置，可以分別得到噪聲圖片和基礎估計生成的圖片產生的2個三維數組。

②協同維納濾波：用上一步中的三維數組作為真實信號的能量譜，并進行協同維納濾波，對濾波后的數據逆變換并返回到相似塊的原位置，得到估計值，最后對多個估計值的像素加權平均得到最終圖像。

塊匹配算法包括全局搜索與快速搜索塊匹配2種。全局搜索塊匹配需要搜索所有的塊，得到的結果較為準確但是運算量很大。快速搜索塊匹配算法只在搜索區域內進行搜索，速度較快但有時可能無法得到需要的全局最優解。考慮到實際采集的茶葉圖像噪聲并不是很多，為減少去噪算法的運行時間，本文采用BM3D算法第1步基本估計中得到的圖像作為最終圖像，并在塊匹配過程中采用快速搜索塊匹配算法。

利用峰值信噪比PSNR對去噪后的圖像質量進行評估。PSNR計算公式為

(6)

A為最大像素灰度值；g(i,j)為去噪圖像；f(i,j)為含噪圖像。

上述3種算法峰值信噪比如表1所示。

表1 不同去噪算法去噪效果對比

由表1可知，BM3D算法可以取得更好的去噪效果。

在完成圖像去噪后，針對G-B嫩芽分量圖使用灰度拉伸加大其對比度。圖像灰度拉伸是一種更改圖像對比度的方法，利用灰度映射，可以將原圖中某區間中的灰度值映射到另一灰度值，對圖像的灰度分布范圍進行拉伸或壓縮。拉伸前后G-B嫩芽分量對比情況如圖4所示，在對G-B嫩芽分量圖進行灰度拉伸后，嫩芽部分與背景圖像的區分度明顯提升，使得嫩芽能更好地從圖像中分割出來。

圖4 灰度拉伸前后G-B分量灰度圖

接下來使用分水嶺算法對拉伸后的圖像進行分割，最終得到分割圖像如圖5所示。由圖5可知，部分嫩芽由于受到遮擋，沒有很好地分割出來，未受遮擋嫩芽能夠基本完成分割。

圖5 分割結果

2.3 采摘點平面坐標求解

對于茶葉圖像采摘點平面坐標而言，通常可采用求解最小外接矩形的方法進行求解。最小外接矩形描述了物體在主軸方向上的長與寬，用來表示物體輪廓特征。本文通過MATLAB編寫程序求解嫩芽的最小外接矩形，對2.2節中得到的嫩芽分割后圖像中的每1個連通域求取最小外接矩形，標記每個最小外接矩形與嫩芽圖像接觸點Y方向上坐標值最大處，如圖6所示，則為采摘點平面坐標。

圖6 采摘點平面坐標求解

3 茶葉采摘點匹配

茶葉采摘點的三維坐標需要通過雙目測距來得到。需要經過立體匹配后，才能獲得正確的左右圖像的像點對應關系。

考慮到光線對茶葉圖像的影響，本文選擇基于特征的匹配算法，其中的SURF特征點對外界噪聲與光照抗干擾性較好，且運行速度較快，接下來采用SURF算法進行特征點提取。

為對采摘點進行正確匹配，可以利用RANSAC算法剔除誤匹配點對，并進一步利用極線約束，對左右圖像中行像素不一致的特征點剔除。圖7為RANSAC剔除誤匹配點效果，圖8為極線約束后的匹配結果。由圖7和圖8可以看出，經過極線約束后錯誤的匹配點對已被剔除，得到了較好的匹配效果。

圖7 RANSAC剔除誤匹配點結果

圖8 極線約束后的匹配結果

通過對左右相機中茶葉采摘點的匹配，結合2.3節的方法獲取其二維坐標后，可利用雙目測距原理計算出茶葉采摘點的三維坐標。通過多次改變相機與茶葉間距離，可以測出多組空間坐標值，如表2所示。

表2 茶葉三維空間定位結果

4 實驗

為了驗證茶葉識別與定位算法的有效性，使用自主設計的采茶機械手進行茶葉采摘點定位實驗。

實驗步驟如下：將茶樹盆景固定在桌面上，通過雙目相機采集圖像，經由嫩芽識別與定位算法處理后得到了采摘點的三維坐標，引導機械手運動到采摘點，氣缸動作，末端執行器閉合。

采茶機械手進行定位過程如圖9、圖10和圖11所示，分別為機械手初始狀態、機械手到達采摘點以及定位成功。

圖9 機械手初始狀態

圖10 機械手到達采摘點

圖11 定位成功

實驗中，采茶機械手完成1次定位后回到初始狀態。一共設置5組茶樹位置，每組間隔80 mm，與機械手基座的間距從350 mm增加至670 mm。針對不同的位置一共進行50次實驗，記錄采茶機械手的定位成功率。采摘數據經處理后如表3所示。

表3結果表明，隨著機械手基座與茶樹距離增加，定位誤差逐漸增大，在一定范圍內能夠基本滿足茶葉采摘要求。待機械手結構完善，可進一步提高采摘成功率。

表3 機械手模擬定位實驗數據

5 結束語

本文提出了一種基于改進分水嶺算法的嫩芽圖像分割方法，該方法為避免傳統分水嶺算法中的過分割現象，采用BM3D去噪算法對原始嫩芽圖像進行去噪處理，并在其基礎上進行灰度拉伸處理，進一步提升了嫩芽與背景圖像的區分度，并最終分割出了較完整的嫩芽圖像。完成了嫩芽采摘點的匹配，并結合雙目測距原理計算出嫩芽采摘點的三維坐標。實驗結果表明了嫩芽識別與定位方法的有效性。