蘋果樹枝條的圖像處理及角點識別研究

王君玲 高玉芝 肖春英

摘要：隨著我國農業現代化的快速發展，對智能化果樹剪枝設備的需求也越來越迫切，而圖像處理及角點識別技術是基于機器視覺的果樹枝條識別系統的基礎和關鍵。以蘋果樹枝條為研究對象，運用數字圖像處理技術和MATLAB軟件對采集的冬春兩季的蘋果樹枝條圖像進行灰度和濾波處理、噪音消除、框架提取、圖像分割、骨架細化，最終得到枝條骨架，之后采用Harris算法對枝條的角點及芽點進行識別。研究結果可為進一步開發蘋果樹智能剪枝機器人系統奠定良好基礎。

關鍵詞：蘋果樹；剪枝；圖像處理；角點識別

中圖分類號：TP391.41;S126? ?文獻標識碼：A? ? 文章編號：1674-1161（2023）06-0043-04

果業不僅是我國的優勢產業，也是勞動密集型產業。當前制約果園現代化發展的瓶頸是果樹的修剪、授粉、疏花、疏果等環節，因為這些環節仍依靠人工作業。目前使用的電動、氣動剪枝裝置1臺機器最少需要1人勞作，導致人工剪枝效率低、成本高及勞動力不足等問題越來越凸顯，也使種植者對自動化剪枝的需求越來越迫切。因此，研究智能化果樹剪枝設備迫在眉睫。

圖像處理及角點識別技術是基于機器視覺的果樹枝條識別系統的基礎和關鍵。現有基于圖像的枝條識別技術研究主要圍繞果樹的輪廓特征提取。2012年國內開始基于三維激光掃描技術和點云技術重構樹木三維模型和樹木骨架線提取的研究[1-4]；2015年Noha等[5]基于骨架理論探討了處于休眠狀態樹木的三維重建方案，并對樹枝的修剪點進行了定位；穆易等[6]利用半閾值分割法和BP神經網絡邊緣算法完成了復雜背景下樹木主干圖像的識別，并利用 Visual C++和 Matlab 設計了樹干圖像的識別系統；黃彪等[7]通過對枇杷枝條特征圖像的分析，提出了一種枇杷枝條圖像識別和框架提取的方法，開啟了通過視覺識別系統構建果樹枝條識別系統的先河；2019年嚴亞飛[8]進行了智能枸杞采摘機器人枝條識別與定位研究；2021年薛慧芳[9]基于 Kinect 深度相機獲取了枸杞樹的彩色圖像和深度圖像，以此實現了枸杞樹剪枝點的二維圖像識別和三維空間定位；2022年姜淑鳳[10]基于TRU檢測圖像分割與點云處理的樹木缺陷特征重建的研究內容為枝條圖像處理提供了新方法。以上這些研究成果均為剪枝機器人研究奠定了基礎。試驗借鑒這些研究成果，以蘋果樹枝條為研究對象，進行冬季和春季蘋果樹枝條的圖像識別研究。

1 圖像采集與處理流程

試驗使用佳能850D 數碼相機進行春季和冬季蘋果樹枝條的圖像采集；采集地為河北省唐山市開平區的蘋果園；圖像類型為JPG格式，圖像分辨率設為720*480；聯想筆記本電腦使用WIN10系統，并用MATLAB進行圖像處理。圖像處理流程如圖1所示。

2 冬季蘋果樹枝條的圖像處理

2.1 圖像的預處理

通過對圖像進行高斯濾波和中值濾波等相關處理操作，可使圖像變得更加平滑，從而減少噪聲的影響；然后通過自適應二值化將圖像二值化，并進行開運算和閉運算，目的是去除噪點和填充對象的內部空洞；最后通過形態學處理去除小對象，來得到更加干凈、準確的圖像，從而為后續的圖像處理和分析提供基礎。

利用閾值法對灰度圖像創建二值圖像。在進行圖像閾值化處理時，不同的閾值選擇會導致處理結果的顯著差異，為此設置thresh=graythresh（1）：閾值計算自動設置所需要的最優化閾值。采用MATLAB常用的經典二值化算法—otsu算法，即用最大類間方差法自動單閾值分割。從原始圖像到預處理后的圖像分別如圖2～4所示，二值化圖像如圖5所示。從圖4可以看出，其圖像基本保留了枝條的關鍵特征，說明預處理方法基本正確。

2.2 骨架特征提取

由于果樹枝干上各段樹枝的傾斜角度不同，各個部位樹枝的粗細不同，導致芽點位置難以統一界定，所以需要進行樹枝的骨架化。骨架提取與圖像細化類似，都是指將二進制圖像中一部分像素去掉后，剩下的像素仍然能保持原來的形狀，并形成圖像的骨架。用骨架來表示線劃圖像能夠有效減少數據量，降低圖像的存儲難度和識別難度。此過程需要進行圖像分割和骨架細化。

圖像分割的主要目的是將圖像分成不同的區域，使每個區域都有各自的特性，并從中提取出感興趣的目標，這樣可以更好地理解和處理圖像。為達到這一目標，可使用的圖像分割算法眾多，如邊緣檢測、Hough變換和直線檢測等。邊緣檢測可以幫助識別和分割圖像中的對象，其在計算機視覺和圖像處理中具有廣泛的應用。在MATLAB中，有多種可供選擇的邊緣檢測算法，例如Sobel、Prewitt、Canny等，用戶可以根據實際需要來選擇適合的算法進行邊緣檢測。試驗運用Canny算法來進行邊緣檢測。

細化是將圖像的線條從多像素寬度減少到單位像素寬度的過程。MATLAB中常用的幾種細化算法包括Zhang-Suen算法、Guo-Hall算法、Hilditch算法、Rosenfeld算法等。試驗選用Hilditch算法進行骨架細化提取。Hilditch算法是一種基于膨脹和腐蝕的算法，其基本思想是通過多次迭代來消除圖像內部的像素，然后通過一系列規則來消除圖像邊緣處的像素，這種算法比較慢，但是比較準確。

對圖5的圖像進行小對象去除后（也稱去噪），提取的枝條框架如圖6所示。運用最小二乘法多項式曲線擬合法對其進行空洞填充再進行顏色翻轉、邊緣檢測和骨架細化，得到的冬季枝條邊緣檢測和骨架圖分別如圖7和圖8所示。

3 春季蘋果枝條的圖像處理

對春季落花后的蘋果樹采集圖像，運用和上面相同的處理流程和算法，得到的整個處理過程和最后結果分別如圖9～17所示。

4 蘋果樹枝條的角點識別

對于圖像而言，角點就是物體輪廓線的連接點。由于蘋果樹的剪枝需要根據角點間的位置關系來確定剪枝位置，因此在提取蘋果樹樹枝骨架之后，需要對骨架圖像上的角點位置進行檢測。試驗在骨架圖的基礎上采用Harris算法進行角點檢測，并將檢測到的結果還原到原始圖中，以此為后期角點間的位置計算和枝條直徑的計算打基礎。檢測結果圖像分別如圖18～21所示。

5 結論

對采集的冬季和春季蘋果樹枝條圖像進行了圖像灰度化、otsu二值化算法閾值分割、形態學處理，之后對圖像進行降噪優化、邊緣檢測法來提取枝條的邊緣和輪廓，并采用Hilditch算法進行骨架細化，最終得到枝條骨架。根據枝條的骨架特征對其進行枝條的角點檢測與標定，可為后期運用農業技術中的蘋果樹剪枝原則和技巧來制定可行的剪枝點定位算法提供切實可行的視覺識別基礎。

試驗采用的算法和技術均常規且實際可行，程序運行工作量小，便于識別系統的開發。但對于檢測角點的數量統計、角點間位置關系的確定、基于機器視覺的枝條直徑檢測還需進一步研究。

參考文獻

[1] 盧康寧，張懷清，劉閩，等.基于三維激光掃描技術的樹木建模研究[J].林業實用技術，2012（5）：56-59.

[2] 黃洪宇，陳崇成，鄒杰.基于地面激光雷達點云數據的單木三維建模綜述[J].林業科學，2013，49（4）：123-130.

[3] 吳升.蘋果樹冠層三維重建及可視化計算方法研究[D].北京：北京林業大學，2017.

[4] 郭彩玲，劉剛.基于顏色取樣的蘋果樹枝干點云數據提取方法[J].農業機械學報，2019，50（10）：189-196.

[5] ELFIKY N M ， AKBAR S A ， SUN J ，et al.Automation of dormant pruning in specialty crop production： An adaptive framework for automatic reconstruction and modeling of apple trees[C]//Computer Vision & Pattern Recognition Workshops.IEEE， 2015.

[6] 穆易.復雜背景下樹干圖像分割算法及其識別系統的研究[D].天津：天津理工大學，2015.

[7] 黃彪.枇杷剪枝機器人關鍵技術的研究[D].廣州：華南理工大學，2016.

[8] 嚴亞飛.智能枸杞采摘機器人枝條識別與定位[D].合肥：合肥工業大學，2021.

[9] 薛慧芳.基于Kinect的枸杞樹剪枝點識別與定位方法研究[D].銀川：北方民族大學，2021.

[10] 姜淑鳳.基于TRU檢測圖像分割與點云處理的樹木缺陷特征重建[D].哈爾濱：東北林業大學，2022.

Research on Image Processing and Corner Recognition of Apple Tree Branches

WANG Junling1，2， GAO Yuzhi1，2*， XIAO Chunying1，2

（1.Tangshan University， Tangshan Hebei 063000， China；2. Hebei Key Laboratory of Intelligent Equipment Digital Design and Process Simulation， Tangshan Hebei 063000， China）

Abstract：? With the rapid development of agricultural modernization in China， the demand for intelligent fruit tree pruning equipment is becoming more and more urgent， and image processing and corner recognition technology are the basis and key of the recognition system of fruit tree branches based on machine vision. Taking apple tree branches as the research object， digital image processing technology and MATLAB software were used to carry out gray level and filtering processing， noise elimination， frame extraction， image segmentation and skeleton thinning on the collected apple tree branches in winter and spring. Finally， the branch skeleton was obtained， and Harris algorithm was adopted to identify the corner points and bud points of the branches. The research results can lay a good foundation for the further development of apple tree intelligent pruning robot system.

Key words：? apple tree; pruning; image processing; corner recognition

收稿日期：2023-10-22

基金項目：唐山市科技局重點研發項目“果樹剪枝機器人關鍵技術研究”（22150203A）

作者簡介：王君玲（1971—），女，工學博士，教授，從事機械優化設計、圖像處理及應用方面的研究。

通信作者：高玉芝（1971—），女，工學博士，教授，從事機械優化設計、車輛工程方面的研究。