基于機器視覺的天然橡膠樹割膠軌跡識別規劃研究*

孫澤瑾，邢潔潔，胡宏男，張喜瑞，董學虎，鄧怡國

(1. 海南大學機電工程學院，海口市，570228； 2. 仲愷農業工程學院機電工程學院，廣州市，510225；3. 海南省農業機械鑒定推廣站，海口市，570312； 4. 中國熱帶農業科學院農業機械研究所，廣東湛江，524091)

0 引言

天然橡膠是我國重要的戰略資源和工業原料，在交通、軍工領域尤為重要[1-2]。天然橡膠因具有良好的耐曲折、回彈性和絕緣等性能[3-4]，其制品廣泛用于交通、醫療、電子和建筑等多個不同行業，與我們的生活、工作等方面息息相關[5-6]。但目前，我國天然橡膠種植產業的生產管理機械化程度很低，尤其是割膠環節，仍嚴重依賴人工，割膠成本約占整個膠園管理成本的70%左右[7]。近年來，膠工日益緊缺[8]，嚴重影響了我國天然橡膠行業的健康發展。所以研發天然橡膠智能割膠機器人，進行自動化、智能化作業代替人工割膠是必然趨勢。智能割膠機器人的最大特征在于能夠模擬人工進行自主割膠，表現為：工作時能夠依據上次割膠作業留下的割膠軌跡，自動規劃出本次的割膠軌跡并精準控制割膠刀的移動，所以割膠軌跡識別規劃是割膠機器人視覺系統需要解決的關鍵問題。

近年來，由于計算機技術的快速發展，基于機器視覺的目標識別和分類技術得到廣泛應用。李慶忠等[9]采用改進梯度倒數的加權濾波法進行圖像降噪，再使用Sobel算子和非極大值抑制確定圖像的高低閾值并對圖像進行分塊，最后采用局部區域生長法檢測圖像邊緣，比較完整地保留了圖像的弱邊緣點；崔永杰等[10]采用誤分割像素評價方法確定nR-G顏色特征，利用OTSU算法對圖像進行閾值分割，再通過Canny算子和橢圓形Hought變換提取邊界信息，對自然環境下的獼猴桃進行識別，提取出獼猴桃的形心、長軸和短軸坐標等特征信息。但關于天然橡膠樹割膠軌跡識別規劃方面，目前未見相關研究。

本文以已開割的天然橡膠樹為研究對象，針對光照條件復雜多變、目標前景與背景特征相近等外界因素影響割膠軌跡識別規劃的難題，從圖像預處理、圖像分割、軌跡識別和軌跡擬合4個方面展開研究，提出了一種天然橡膠樹割膠軌跡識別規劃組合優化算法，以期為研發智能割膠機器人提供技術參考。

1 材料與方法

1.1 試驗材料與環境

實驗圖像采集于海南省國家天然橡膠林，拍攝對象為樹齡7年的成年橡膠樹。考慮到識別割膠軌跡時光照條件對拍攝圖像的影響，故分為3種情況進行圖像采集：晴天、陰天、雨天，共采集300張圖像。實驗硬件設備為APQ TAC-7010工控機，配置Intel Core i5處理器，16 G內存，256 G硬盤；Intel RealSense D455深度相機。相機置于智能割膠機器人末端執行器上方6 cm位置；采集距離為橡膠樹樹干前方18 cm，采集圖像為jpg格式，分辨率為320像素×240像素。

1.2 割膠軌跡特征定義

在智能割膠機器人進行割膠作業之前，需要膠工人工選定天然橡膠樹的割膠區域，并割出第一條割膠軌跡，用于割膠機器人識別并規劃下一條割膠軌跡。割膠區域由一條開割線和兩條水線構成；因天然橡膠樹的乳管與樹干中軸夾角為2°～7°[11]，所以一般采用“陽刀”形式，由割膠區域的右下方向左上方螺旋上升，形成第一條開割線。水線分為上水線和下水線，位于開割線兩端。水線起到引流的作用，將開割線上流出的原膠引流到下水線下方的收膠容器中。割膠軌跡由開割線、軌跡起點和軌跡終點組成。如圖1所示，軌跡起點為開割線與下水線的交點，軌跡終點為開割線與上水線的交點。

圖1 割膠軌跡特征圖Fig. 1 Tapping trajectory feature image

1.3 割膠軌跡識別規劃流程設計

與實驗環境相比，圖像在自然環境中采集及傳輸過程會包含噪聲等干擾性因素，導致圖像模糊失真、質量下降。為了從中提取到更加清晰完整的割膠軌跡，除了對圖像進行常規處理，還需對相關算法進行組合使用，對其相關的參數加以改進。

基于以上分析，本文針對天然橡膠樹割膠軌跡識別規劃提出如下組合優化算法：首先對原始圖像進行如下預處理。在自然環境下，通過相機采集的割膠區域為彩色數字圖像，其包含的信息量大，圖像處理的速度慢，故將彩色圖像轉換為灰度圖，方便進行特征提取。圖像的特征信息和噪聲都主要分布于圖像的高頻部分，因此在降噪的同時保留圖像細節特征是圖像處理的關鍵環節。對灰度圖像進行降噪處理，盡可能的消除其中因設備及環境產生的高斯噪聲、椒鹽噪聲等此類噪聲的影響，提升圖像識別處理的精確度。與此同時，圖像降噪常會因過度平滑操作造成圖像的邊緣特征模糊化，故需要對模糊化的圖像進行增強，使原來不清晰的局部邊緣特征更加明顯，抑制不需要的信息，增加圖像識別成功率。其次，利用OTSU算法對預處理后的圖像進行圖像分割，轉換成只包含0或255灰度值的二值圖像；通過觀察二值圖像，發現其中還包含影響圖像質量的部分孤立噪聲點，因此對所得圖像加以形態學圖像處理，進一步消除目標邊界外的孤立噪聲點區域。經過圖像預處理和圖像分割后，此時的圖像已經消除了細小的紋理，為割膠軌跡精確識別奠定了基礎。再次，天然橡膠樹割膠軌跡識別利用優化相關參數的Canny算子實現，獲取割膠軌跡的清晰邊緣。最后，因獲取的割膠軌跡為帶狀區域，不方便系統規劃新的割膠軌跡，故對其進行軌跡擬合，將帶狀區域擬合為一條完整的曲線，方便割膠裝置沿軌跡進行割膠作業。

基于以上思路，天然橡膠樹割膠軌跡識別規劃組合優化算法流程設計如圖2所示。

圖2 割膠軌跡識別規劃組合優化算法流程圖Fig. 2 Flowchart of combinatorial optimization algorithm for tapping trajectory recognition and planning

1.4 割膠軌跡識別規劃流程設計

天然橡膠樹割膠軌跡識別規劃組合優化算法主要分為以下4部分，包括圖像預處理、圖像分割、軌跡識別、軌跡擬合。

1.4.1 圖像預處理

圖像預處理的作用是優化圖像數據，抑制圖像中的干擾信息，增強所需信息，進而提升圖像處理的成功率。本文圖像預處理部分包括：圖像灰度化，圖像降噪，圖像增強。

在自然環境中，使用深度相機拍攝的原始圖像為彩色數字圖像。在RGB顏色空間模型中，每種顏色的灰度等級范圍都是0～255，所以彩色圖像的像素點顏色取值范圍約為1 600萬種。而使用灰度化處理將三維顏色空間轉換到二維空間中，可以明顯降低計算量，加快圖像處理速度。圖像灰度化處理方式有[12-13]：RGB通道分量法、平均值法、最大值法和加權平均法。

本文首先使用以上4種方法對原始圖像進行處理，結果如圖3所示。通過觀察和分析所得灰度圖像，發現通過加權平均法所得灰度圖像中割膠軌跡與背景差別較大，更有利于圖像分割和軌跡識別，因此本文采用加權平均法對采集的割膠軌跡圖像進行灰度化處理。

(a) R通道灰度圖

(b) G通道灰度圖

(c) B通道灰度圖

通過分析圖4(a)所示灰度變換后的顏色直方圖，其像素值主要分布在25～125之間，顏色對比并不明顯，圖像中存在背景噪聲是其主要原因。這些噪聲是由一些與割膠區域顏色特征相近的背景因素造成，如圖4(b)所示，其主要可分為兩類：一類是割膠軌跡邊緣外的少量離散噪聲，如樹葉、樹干和割膠區域等；另一類是樹干周圍環境影響。這會妨礙后續的邊緣特征提取，因此需對灰度圖像降噪。常用的圖像降噪算法包括高斯濾波、中值濾波和均值濾波等[14-16]，因圖像濾波后需要保持割膠輪廓邊緣的完整性，故本文采用高斯濾波對灰度圖形進行降噪，其中高斯濾波器模板采用5×5型，標準差取1.0，高斯公式如式(1)所示。

(1)

式中：σ——標準差；

(x,y)——圖像點的坐標；

(xc,yc)——模板中心坐標，即坐標系原點。

(a) 灰度直方圖

(b) 灰度處理

(c) 高斯背景濾波圖4 灰度變化Fig. 4 Gray scale change

以灰度圖像為例，經高斯濾波進行背景濾波結果如圖4c所示。分析可得，運用高斯濾波算法處理后已經消除了大部分圖像噪聲影響，并且割膠軌跡輪廓邊緣也保存完整，清晰可見。為進一步增加目標邊緣與其他邊界信息的對比，還需進行圖像增強。常見的圖像增強方法有Gamma變換、小波增強和直方圖均衡化等[17-18]。鑒于要增強圖像整體的邊緣細節信息，故采用Gamma變換進行圖像增強，基本形式如式(2)所示。

s=crγ

(2)

式中：r——灰度圖像輸入值；

s——經Gamma變換的灰度輸出值；

c——灰度縮放系數，通常為1；

γ——伽馬因子，控制變換的縮放程度。

1.4.2 圖像分割

圖像分割是按一定的標準，將數字圖像劃分成多個特定區域的數字圖像處理技術[19]。相比與RGB圖像，由于割膠軌跡圖相對簡單，二值化圖像更有利于區分背景和前景。圖像分割部分主要分為圖像分割、圖像形態學處理。

圖像閾值分割是一種常見的圖像分割方法，通過前景與背景之間的差異性，選擇合適的閾值，把圖像劃分為兩個不同灰度等級的區域，從而得到連通且封閉的目標邊界區域。最大類間方差法(OTSU算法)被認為是圖像分割中閾值選取的最佳算法，其基本原理：找到某個值把1個區間分割為2個小區間，并使2個小區間之間的方差最大，從而使2個小區間的區別最大。

割膠軌跡原始圖像在預處理和軌跡分割處理后，圖像中仍舊存在一些不屬于軌跡區域的噪聲點區域，因此對圖像進行圖像形態學處理。首先，使用腐蝕處理除去不屬于軌跡區域的噪聲點區域，但在去除噪聲點區域的同時也會腐蝕軌跡區域，再通過膨脹處理可恢復軌跡區域的原來面積。

如圖5所示，采用OTSU算法對軌跡進行分割得出二值化圖像(圖5(b))，經過腐蝕處理去除孤立噪點得到二值圖像(圖5(c))，最后通過膨脹處理恢復割膠軌跡圖(圖5(d))。

(a) 圖像增強

(b) 閾值分割二值圖像

(c) 腐蝕效果圖像

(d) 膨脹效果圖像圖5 圖像形態學處理Fig. 5 Image morphological processing

通過對圖像進行形態學處理，消除了大多數影響軌跡識別的噪聲區域，并且盡量保留了原來軌跡的面積。但有時候因為圖像采集時周圍環境的影響，以及在進行圖像形態學處理時卷積核的選擇不恰當，處理的效果并不理想，這需要在后續軌跡擬合之前通過去除非軌跡點算法去掉噪聲點。

1.4.3 軌跡識別

經過預處理和圖像分割后，此時的圖像已經消除了細小的紋理，可以清楚地看出天然橡膠樹的割膠軌跡區域。接著進行割膠軌跡識別操作，主要分為輪廓識別和邊緣檢測。輪廓是同一范圍內相似灰度值或像素值的像素點連成的連續區域，通常為曲線[20]。輪廓在形狀分析和物體的檢測和識別中很有用。故在進行邊緣檢測前，需要找到割膠軌跡的輪廓。

在割膠軌跡識別過程中，邊緣輪廓作為目標檢測最主要的特征之一，它的精確識別與定位起重要作用[21]。邊緣檢測的目的是識別并標識數字圖像中亮度變化最顯著的像素點，即灰度值變化范圍中導數為0的點。本實驗分別采用Canny算子、Laplace算子、Scharr算子和Sobel算子對割膠軌跡圖像進行邊緣檢測和對比分析。從圖6所示結果可以看出，4種算子都可以檢測出割膠軌跡輪廓的邊緣，但Canny算法提取的割膠軌跡輪廓更加清晰，邊緣線連續性最好。

(a) Canny算子

(b) Laplace算子

(c) Scharr算子

(d) Sobel算子圖6 邊緣檢測結果Fig. 6 Result of Edge detection

1.4.4 軌跡擬合

為了方便規劃割膠裝置的運行軌跡，需要把割膠軌跡輪廓處理成一條近似曲線，并且補全軌跡上不連續的區域。因前一次的割膠軌跡是規劃下一次割膠軌跡的主要參考依據，故可選用輪廓的下邊緣作為新割膠軌跡的模型。大多數情況下，經上述處理后檢測出的割膠軌跡并非是一條平滑且完整的曲線，還有可能存在軌跡以外的噪聲點，這會嚴重影響軌跡非連續區域的擬合和軌跡斜率的計算，導致割膠刀偏移軌道，無法達到自動割膠的理想效果，因此需要去除這些非軌跡點。以圖6(a)為例，經去除非軌跡點后，所得軌跡并非連續(如圖7(a)所示)，因此需要對軌跡進行擬合。在軌跡擬合時，選用圖像中割膠起點和終點位置為軌跡曲線的兩個端點，從起點開始計算相鄰10個像素點之間的區線方程，依次擬合出軌跡曲線中缺失的像素點，直至終點結束，最終形成一條平滑且完整的新割膠軌跡，如圖7(b)所示。

(a) 去除非軌跡點

(b) 軌跡擬合圖7 軌跡擬合結果Fig. 7 Result of trajectory fitting

2 結果與分析

本組合優化算法分別對晴天、陰天和雨天3種自然光照條件下采集的圖像進行識別，結果如圖8所示。圖8(a)為晴天天然橡膠樹割膠軌跡原始圖像，光照強度高、圖像對比度高；圖8(f)為陰天天然橡膠樹割膠軌跡原始圖像；圖8(k)為雨天天然橡膠樹割膠軌跡原始圖像，光照強度較低、圖像對比度較低。此算法在3種自然光照條件下均可實現天然橡膠樹割膠軌跡的識別規劃。

(a) 晴天原始圖像

(b) 晴天灰度圖像

(c) 晴天二值分割圖像

(d) 晴天割膠軌跡圖像

(e) 晴天軌跡擬合圖像

(f) 陰天原始圖像

(g) 陰天灰度圖像

(h) 陰天二值分割圖像

(i) 陰天割膠軌跡圖像

(j) 陰天軌跡擬合圖像

(k) 雨天原始圖像

(l) 雨天灰度圖像

(m) 雨天二值分割圖像

(n) 雨天割膠軌跡圖像

(o) 雨天軌跡擬合圖像圖8 不同自然光條件下割膠軌跡識別規劃結果Fig. 8 Results of tapping trajectory recognition under different natural light conditions

為了進一步驗證算法的有效性與穩定性，對海南國家天然橡膠林采集的180張圖像進行驗證。按照圖像中割膠軌跡區域的完整程度及軌跡區域與背景顏色對比分為3類：第1類是割膠軌跡區域獨立完整，且與背景顏色對比明顯；第2類是割膠軌跡區域獨立完整，但與背景顏色相近，對比不明顯；第3類是割膠軌跡部分區域被遮擋或拍攝不完整。

表1 割膠軌跡識別及規劃結果Tab. 1 Results of tapping trajectory recognition and planning

識別結果如表1所示，算法對180張圖像進行割膠軌跡識別規劃時，第1類圖像的識別規劃成功數量為59張，成功率為98.3%；第2類圖像的識別規劃成功數量為55張，成功率為91.7%；第3類圖像的識別規劃成功數量為47張，成功率為78.3%。造成識別規劃失敗的主要原因：(1)割膠軌跡區域與背景顏色相近，易將背景中與割膠區域顏色相近的部分判斷為割膠軌跡，出現誤識別。(2)割膠軌跡部分區域被遮擋，影響軌跡識別和擬合效果，導致軌跡識別規劃成功率降低。(3)由于光線過強，割膠軌跡區域局部形成反光，在圖像處理時反光區域易被當成噪聲點剔除，影響軌跡擬合精度。

3 結論

本文針對復雜環境下天然橡膠樹割膠軌跡難以識別規劃的問題，結合割膠作業的實際需要，從圖像預處理、圖像分割、軌跡識別和軌跡擬合4個方面展開研究，提出了一種基于機器視覺的天然橡膠樹割膠軌跡識別規劃組合優化算法，研究結論如下。

1) 首先通過對比不同灰度化處理方法，選用加權平均法處理原始圖像；然后采用高斯濾波降低圖像噪聲；接著利用OTSU算法對圖像進行閾值分割，利用形態學開運算消除了大多數影響軌跡識別的噪聲區域，并且保留了原來的割膠軌跡特征信息。再通過對比不同邊界提取算子，選用Canny算子提取割膠軌跡；最后采用軌跡擬合方法，實現了區域完整、區域部分遮擋、顏色對比不明顯等復雜環境下天然橡膠樹割膠軌跡的精確識別和精準規劃。

2) 所研究設計的算法包含了多種算法組合，每種算法都為了下一種算法提供了優化的數字圖像，避免了數據冗余，提升了處理速度。

3) 對180幅圖像進行識別驗證，試驗結果表明：圖像中割膠軌跡區域完整、且與背景顏色對比明顯時，識別規劃成功率為98.3%；圖像中割膠軌跡區域完整、但與背景顏色相近時，識別規劃成功率為91.7%；圖像中割膠軌跡區域不完整時，識別規劃成功率為78.3%。該算法在晴天、陰天和雨天3種不同自然光照條件下均能達到理想的識別規劃效果。