基于Kinect傳感器的蘋果樹冠層形態信息測量方法研究

汪逸飛

摘 要：在現代化果業中，建立一套完整、精準、自動化的果樹冠層形態信息感知系統，可以為現代標準化果園智能化管控提供科學的數據支持。為了能夠便捷、高效地獲取蘋果樹冠層形態結構以及果實生長信息，設計了一種基于Kinect傳感器的蘋果樹冠層形態信息測量方法，實現對蘋果樹冠層原始圖像信息的感知、三維點云的建立、以及形態參數的提取。研究結果表明：采用水平視角度測量蘋果樹冠層寬幅、高度信息相對誤差值最小，分別為2.91%和3.68%。本研究提出了蘋果樹冠層形態信息測量方法，并分析了平視、仰視、俯視三個角度的測量準確性，對促進我國現代標準化果園信息化與智能化管理具有重要的意義。

關鍵詞：Kinect傳感器；蘋果樹；冠層信息；三維測量

中圖分類號：S66 文獻標志碼：A 文章編號：2095-2945（2019）19-0012-03

Abstract： In the modern fruit industry， the establishment of a complete， accurate and automatic fruit tree canopy shape information perception system can provide scientific data support for modern standardized orchard intelligent management and control. In order to obtain the information of apple tree canopy morphology and fruit growth conveniently and efficiently， a method of apple tree canopy morphology information measurement based on Kinect sensor was designed. The perception of the original image information of apple tree canopy， the establishment of three-dimensional point clouds and the extraction of morphological parameters are realized. The results showed that the relative errors of apple tree canopy width and height measured fromahorizontal angle were 2.91% and 3.68%， respectively. In this study， the measurement method of apple tree canopy morphology information was put forward， and the measurement accuracy of heads-up， up-looking and overlooking was analyzed， which is of great significance to promote the information and intelligent management of modern standardized orchards in China.

Keywords： Kinect sensor； apple tree； canopy information； three-dimensional measurement

引言

隨著我國經濟的發展，建設標準化現代果園勢在必行，但勞動力短缺、優質果率低、機械化水平不足、肥水藥用量大污染重等因素嚴重制約了我國現代果業的發展，迫切需要發展智能化、精細化的生產管理技術與裝備。目前，制約我國蘋果產業發展的主要問題是單位面積產量低、出口量小、果實品質較差等，要想增強國內外蘋果市場的競爭能力，提高蘋果產業的經濟效益，關鍵途徑就是提升蘋果果實品質[1]。冠層作為果樹最先接觸光照與外界環境的部分，是果樹進行呼吸作用以及光合作用的主要場所。良好的果樹冠層結構可以使冠層內部通風良好，透光率較高，有效地促進二氧化碳與葉幕之間的交換，提高果實的產量與質量[2-3]。目前獲取果樹冠層形態信息主要使用基于立體視覺、基于激光、基于超聲波等獲取技術[4-8]，這些技術中對于特征參數的識別誤差偏高，為了提高果樹冠層特征參數的識別精度，本研究設計了一種基于Kinect傳感器的蘋果樹冠層信息提取方法。

1 材料與方法

1.1 設備與材料

本研究使用設備主要包括：XBOX ONE Kinect傳感器1個、思銳R2004便攜式三腳架1個、聯想筆記本電腦1臺（i5處理器、主頻2.4GHz、內存4G）。開發工具為Visual Studio2010、MATLAB，運行系統為Windows10。

試驗選取三種不同形態的果樹，從三個不同的拍攝角度（平視、仰視、俯視），以果樹的四個面（每旋轉90°作為一個面）作為圖像采集目標，使用Kinect傳感器采集果樹RGBD圖像信息，將RGBD圖像轉換為三維點云，建立果樹冠層形態（高度、寬幅）計算方法，統計與分析Kinect測量值與實際人工測量值間的絕對誤差和相對誤差，并分析誤差產生原因。

1.2 蘋果樹點云模型建立與預處理

Kinect傳感器能夠采集的圖像信息包括RGB原圖、深度圖、彩色深度圖以及紅外圖，本研究主要利用深度圖和彩色深度圖信息，圖像尺寸均為424像素×512像素，其中深度圖每個像素為實際深度值，單位為mm，彩色深度圖每個像素為顏色值，包括R、G、B三通道的顏色值。根據Kinect傳感器內部參數，將二維的深度圖轉換為三維點云[7]。根據彩色深度圖，同時記錄三維點云各點RGB顏色值，實現對果樹的三維點云模型建立。

如圖1所示，圖1（a）為蘋果樹三維點云圖像（深度圖），使用高斯濾波對背景中的噪點進行過濾，得到無背景、無噪點、原圖色的果樹三維點云模型，并采用包圍盒法選擇出果樹區域，如圖1（b）所示。

2 蘋果樹冠層高度與寬幅計算方法

本研究根據三維點云的最小接矩，統計果樹冠層高度與寬幅。在三維空間中的最小外接矩指能包含蘋果樹冠層部分所有點的最小長方體，采用圖像頂點凸集與旋轉法的結合算法，具體算法細節如下：

假設目標ROI圖像大小表示為[m，n]=size（f），其中f為圖像矩陣，m為該ROI圖像行數，n為ROI圖像列數，從ROI圖像的邊界開始，分別從左至右，從右至左，從上至下，從下至上掃描圖像，獲取圖像邊界，找尋f（x，y）=0的直線，并設上邊界的線性方程為x=x1，下邊界的線性方程為x=x2，左邊界的線性方程為y=y1，右邊界的線性方程為y=y2，按照邊界方程繪制出一個初始的外接矩形。再確定出該初始外接矩形的中心點坐標原點O，并以此原點建立互相垂直的兩條主軸為坐標軸，形成新的坐標系，中心點坐標為O（x0，y0），則x0=（x1+x2）/2，y0=（y1+y2）/2，主軸兩端的四個頂點坐標分別為（1，y0）、（c，y0）、（x0，1）、（x，k），然后對該初始接矩形進行旋轉，旋轉角度限制在兩主軸相交的銳角區域內，假設旋轉角度為？茲，則0°<？茲<90°，旋轉之后的四個頂角坐標分別為A'（xa，ya），B'（xb，yb），C'（xc，yc），D'（xd，yd），則旋轉后頂點坐標按照如下方式求得：

除了四個頂點以外其他點坐標，按照如下算法計算：

（1）首先計算軸上兩端點的x、y差值，分別記為dx=xb-xa，dy=yb-ya；

（2）再比較dx與dy的絕對值的大小，確定出步數s=max（|dx|，|dy|）；

（3）然后計算x與y移動的步伐，計算方法為？駐x=dx/s，？駐y=dy/s；

（4）再將點A作為起始點，計算主軸上的其他個點坐標，初始化變量值，x=xa，y=ya；

（5）其他點坐標的計算方法為：x=x+？駐x，y=y+？駐y。一般顯示設備的像素點坐標均為整數，故對計算得到的坐標值需要四舍五入取整，x'=round（x），y'=round（y），循環執行該計算步驟s次數之后退出循環，計算結束。

三維空間的蘋果樹冠層最小外接矩，可以將二維上最小外接矩形擴展至三維坐標系空間中，該長方體的輪廓值確定也就是對XYZ坐標閾值的確定，此處可以采用尋找X、Y、Z最大值、最小值的方法來確定。

3 試驗結果分析與討論

針對上述蘋果樹冠層特征信息的提取方法，選取如圖2所示的三種不同形態結構的蘋果樹樹形，取每90°一個面，共A、B、C、D四個面，平視、仰視、俯視三個角度，分別進行原始圖像的采集以及形態特征計算。

樹形①的四個面，從三個角度采集的圖像處理結果分別如表1所示。從表中可以看出，樹形①四個面從三個角度的冠層信息識別與采集效果良好，冠層的寬幅、高度識別誤差基本保持在5%以下，四組數據中平視角度的冠層寬幅結果誤差平均值為2.43%，冠層高度結果誤差平均值為2.84%，低于仰視、俯視角度采集圖像的處理誤差。

樹形②為瘦高型，冠層寬幅不同角度的識別誤差平均值分別為3.54%、3.63%、6.73%，冠層高度不同角度的識別誤差平均值分別為4.7%、6.22%、6.25%，可見俯視角度對冠層寬幅、高度的識別結果誤差最大，平視最小。

樹形③主干下方的枝葉較少，主要集中在上方類似橢圓形的冠層中，冠層寬幅不同角度的識別誤差平均值分別為2.78%、5.02%、5.72%，冠層高度不同角度的識別誤差平均值分別為3.50%、5.62%、7.17%，可見平視角度對冠層寬幅、高度的識別結果誤差最小，俯視最大。

綜上可得，采用本方法提取的冠層形態結構結果誤差較小，基本保持在5%以內。而且，通過對結果的分析還可得，平視角度采集的冠層寬幅、高度結果誤差最小，分別為2.91%和3.68%。

4 結束語

本研究對基于Kinect傳感器的蘋果樹冠層信息提取方法的進行了研究，用Kinect傳感器對目標果樹實現原始圖像信息采集，獲得目標對象的二維坐標以及深度信息，并利用三維空間坐標轉換公式在MATLAB中得到無背景、無噪點、原圖色的單株果樹三維點云模型。同時，設計了對應的冠層信息提取方法，并進行相關的提取試驗，試驗結果表明：該方法可以較為準確的實現蘋果樹冠層信息的提取，且采用平視角度提取的冠層寬幅、高度信息相對誤差值最小，分別為2.91%和3.68%；該試驗獲取信息迅速，處理結果精準，運算性能高效，達到了預期目標，為我國現代化果業的信息感知，數據獲取，智能管控提供了相對科學的實踐依據。

參考文獻：

[1]李慧峰，呂德國，秦思軍，等.我國蘋果產業及其可持續發展對策[J].沈陽農業大學學報：社會科學版，2005，7（2）：77-78.

[2]陳海嘯，陸聲鏈.果樹冠層形態特征測量與分析研究進展[J].中國農業科技導報，2016，18（6）：97-102.

[3]馬曉丹.蘋果樹冠層光照分布計算方法研究[D].北京：中國農業大學，2015，5.

[4]張東波.植物三維信息檢測及視覺伺服控制技術研究[D].北京：中國農業大學，2015，5.

[5]王萬章，洪添勝，陸永超，等.基于超聲波傳感器和的果樹冠徑檢測[J].農業工程學報，2006，22（8）：158-161.

[6]張霖，趙祚喜，俞龍，等.超聲波果樹冠層測量定位算法與試驗[J].農業工程學報，2010，26（9）：192-197.

[7]周致富.基于Kinect傳感器的三維點云模型重建研究[D].武漢：武漢科技大學，2015.5.

[8]王劍，周國民.利用激光掃描儀獲取楦物三維模型的方法[J].湖北農業科學，2008，47（1）：104-106.