基于顏色取樣的蘋果樹枝干點云數據提取方法

郭彩玲 劉 剛

(1.中國農業大學現代精細農業系統集成研究教育部重點實驗室， 北京 100083； 2.唐山學院機電工程系， 唐山 063000； 3.中國農業大學農業農村部農業信息獲取技術重點實驗室， 北京 100083)

0 引言

隨著果園收獲自動化研究的發展，振動收獲被認為是效率最高的收獲方式，其原理[1-2]是在不傷害樹體的基礎上通過一定形式的機構振動果樹樹干，使果樹枝干以一定頻率和振幅振動，果實受到振動加速運動，當慣性力大于果樹與枝干的結合力時，果實脫落。該收獲方式在核桃[3-4]、櫻桃[5]、橄欖[6]、蘋果[7-8]、杏[9]、冬棗[10]等果品收獲中均有應用。

為了研究不同樹枝在受迫振動下的運動和動態特征，建立了樹干-主枝[11]、主干-側枝[12]、樹干-枝條、樹葉-嫩枝[13]等有限元模型，并建立了采收與頻率、振幅變化的數學模型。因受實驗條件的限制，樹木冠層較高區域、不同樹木冠層枝干的振動實驗大多采用數學模型方式模擬，該模擬方式不能真實反映枝干空間信息。三維掃描儀為獲取真實的樹木冠層內枝干空間分布提供了技術基礎[14-16]，采用三維掃描儀獲取蘋果樹冠層點云數據，進行蘋果樹枝干三維重建，即可對枝干進行較為準確的動力學分析。

目前，根據蘋果樹冠層點云數據提取枝干信息主要有兩種方法：提取枝干骨架[17-19]和采用圓擬合法或者管道模型進行枝干建模[20-21]。這兩種方法均存在冠層葉片干擾問題，研究人員嘗試樹木結構重建前采用半監督的SVM[22]方法、基于空間索引的歐幾里德簇[23]對樹木點云進行枝葉分離，刪除大量葉片點云數據；利用Geomagic Studio軟件并采用逐層剔除樹葉法[24]將樹木點云分層，人工刪除葉片部分點云數據；采用K-means聚類[25]方法將樹干與地面點云分離；采用直方圖統計分析方法[26]，通過經驗閾值，以有效區分枝干和其他點；深度球截線法[27]實現了近景室內環境下提取深度圖像中果實之外的點云數據，可實現枝干和葉片的提取。上述方法雖然可以實現樹木點云數據枝葉分離，刪除部分葉片點云數據，但是大多數的葉片點云還是需要人工處理。

為了能快速獲取收獲期蘋果樹冠層內枝干點云信息，本文以蘋果樹冠層為研究對象，提出基于點云顏色取樣的蘋果樹枝干重建方法，為振動收獲枝干識別和建立枝干動力學模型提供基礎，也為樹冠風中載荷[28]研究提供可行性方法。

1 材料與方法

1.1 儀器與材料

在中國農業大學蘋果樹采摘機器人實驗基地果園(北京市昌平區南口鎮辛力莊村)，開展蘋果樹冠層彩色三維點云數據采集工作。該實驗果園采用常規管理方式進行春季修剪，行間生草，灌水條件良好，蘋果樹高2.5～3.5 m，株距2.5 m，行距5 m，行方向為東西方向。本文數據采集對象為隨機選擇的果園自然生長狀態下樹齡7 a的自由紡錘形宮藤富士蘋果樹。實驗中不考慮掃描環境中溫濕度、大氣壓等參數的影響。

本文實驗采用美國Trimble公司TX8型地面三維激光掃描儀(圖1)進行蘋果樹冠層三維點云數據采集。掃描儀最大掃描范圍為340 m，測量速度為106點/s，視場角為317°×360°，精度為0.5°，采用脈沖激光測距，測量精度小于0.5°，100 m測距時，誤差小于等于2 mm。

全景攝像機鏡頭為EOS 5D Mark Ⅲ搭載EF 8～15 mm f/4L USM魚眼鏡頭，實驗現場如圖1所示。

圖1 數據采集實驗現場Fig.1 Data acquisition experiment site

1.2 彩色點云數據獲取方法

為了采集收獲期的蘋果樹冠層三維點云數據進行冠層枝干三維重建，本文對彩色三維點云數據獲取展開研究。掃描儀內置彩色攝像機獲取彩色點云數據時受自然環境下光線變化影響較大，且每站掃描結束后采集圖像方式造成的圖像不連續性，導致彩色點云數據顏色失真[29-30]且難以克服。

本文在采集彩色圖像時，假設紋理空間是連續的。實驗前，調整掃描儀激光發射中心O1與攝像機鏡頭中心O2在同一位置。掃描儀支架放置到掃描儀掃描位置后，兩臺全景攝像機同時拍攝全景圖像。為了保證彩色圖像拼接成全景時無縫，兩幅彩色圖像重合面積盡量不小于畫面面積的1/4，以減少廣角邊緣的變形對畫面的影響，因此，每拍攝一幅彩色圖像，攝像機旋轉90°。每個掃描站獲取的4幅彩色圖像通過Kolor Autopano Giga 4.0拼接成全景圖像，圖2為第1站獲取的4幅彩色圖像拼接而成的全景圖。

圖2 第1站全景圖像Fig.2 Panoramic picture of the first station

在Trimble掃描儀自帶軟件Realworks中實現點云數據與全景圖像配準、點云數據配準、去噪等預處理，實現冠層點云數據具備彩色信息。

于2018年4、5、9月中連續3 d的下午獲取彩色點云數據，風速小于1.6 m/s時采集的數據作為預處理前的點云數據，圖3為2018年9月獲取的收獲期蘋果樹冠層一個側枝的彩色點云數據。

圖3 彩色點云數據Fig.3 Color point cloud data

2 蘋果樹枝干點云數據提取方法

以蘋果樹冠層彩色點云數據為研究對象，在RGB彩色空間，采用線剖圖分析法[31-32]分析全景彩色圖像線剖面R、G、B分布規律，并提取全景圖中枝干彩色圖像，通過求取R-G、R-B擬合直線斜率尋找自適應分割閾值，通過分割點云顏色數據進而分割枝干點云坐標數據?；陬伾拥奶O果樹枝干點云數據提取流程如圖4所示。

圖4 基于顏色取樣的蘋果樹枝干點云提取流程圖Fig.4 Flowchart of apple tree branches point cloud extraction method based on color sampling

2.1 成熟期蘋果樹冠層彩色點云顏色線剖圖分析

彩色點云中的顏色信息來源于全景彩色圖像對應位置的彩色信息，包含有全景彩色圖像中枝干、果實和葉片的顏色信息，天空地面等顏色信息不能投射到蘋果樹冠層點云數據上。因此，分析彩色點云中冠層R、G、B顏色信息時，可以用全景彩色圖像枝干、果實和葉片的彩色信息代替。

圖5為順光拍攝時，全景圖像中蘋果樹冠層部分原始彩色圖像，圖5a中黃色線段分別表示全景彩色圖像中上、中、下剖面Ⅰ、Ⅱ、Ⅲ，圖5b、5c、5d分別是各個剖面的R、G、B彩色分量曲線圖。圖中可見，蘋果圖像的R分量大于G和B分量，葉片部分G分量大于R和B分量，枝干部分的R分量大于其他分量。

圖6為逆光拍攝時，全景圖像中蘋果樹冠層的部分原始彩色圖像。圖中可見，蘋果圖像的R分量大于G和B分量，葉片部分G分量大于R和B分量，枝干部分的R分量和G分量在圖中上半部分和下半部分的表現不同。彩色圖像上半部分R分量大于其他分量，中下部G分量大于其他分量。

圖6 逆光圖像線剖圖Fig.6 Result of line profile map in backlighting

2.2 基于色差法的枝干點云分割

按照彩色點云貼圖原理，圖5和圖6是不同站點獲取的全景彩色圖像，在貼圖時都會出現在冠層點云中。圖5和圖6數據分析表明，無論順光或逆光拍攝的全景彩色點云數據，枝干部分的R、G、B變化幅度相近，葉片部分R分量最大，果實部分G分量最大，且總體上來說，順光圖像顏色分量值大于逆光圖像相應的數值。

圖7 R、G、B顏色分量相關關系Fig.7 Correlation of color R, G and B components

提取枝干順光和逆光圖像中各顏色分量值進行統計分析。由于冠層中綠色分量是最多的，藍色分量相對較少，圖7為R、G、B顏色分量相關關系，圖中紅色擬合線為GCOLOR-RCOLOR擬合直線，藍色線為GCOLOR-BCOLOR擬合直線。RCOLOR、GCOLOR、BCOLOR分別表示紅、綠和藍顏色分量的像素值，由圖中可以看出，枝干各顏色分量像素值之間呈強相關關系，決定系數R2分別為0.983 7和0.924 4。

分別以B、R系數為修正值改進2G-R-B色差算法，采用決定系數較高的G-R擬合直線斜率作為改進差分算法系數，即以動態閾值2G-1.1184B-0.8816R對彩色點云進行閾值分割，為了提取冠層枝干點云數據，提取彩色點云數據的R、G、B顏色信息，按照自動閾值將顏色信息分割，并對相應的點云坐標信息進行分割，最后合成為彩色點云數據，運行結果如圖8所示。

圖8 枝干點云提取結果比較Fig.8 Comparisons of branches point cloud extraction results

由圖8可知，相對于人工提取枝干效果，圖8c、8d可以提取直徑較小的側枝③，且在遮擋比較嚴重的側枝②和④也可以提取出部分點，圖8c中對于枝葉分離效果并不明顯，產生的枝干之外的干擾點數量多于本文算法。

3 結果與分析

3.1 蘋果樹枝干提取可視化效果

采用上述算法，在Windows 7(專業版)平臺下，利用Matlab開發果樹冠層枝干點云提取程序。計算機環境：處理器Intel(R) Xeon(R) CPU E5-2603 V4 @1.70 GHz(2個處理器)，內存64 GB。以蘋果樹不同生長時期的帶葉樹木為例進行算法驗證，提取效果如圖9所示，可見枝干點云數據相對于樹點云數據，枝干部分易于分辨。

3.2 蘋果樹枝干提取精度與準確性

為了驗證本文算法的枝干點云提取精度和準確性，以不同生長時期蘋果樹(共9棵)為對象，獲取其彩色三維點云數據，以人工提取枝干點云數據為基準，對本文方法的準確率等進行比較分析，結果如表1所示。

圖9 不同生長時期提取枝干點云數據視覺化Fig.9 Visualization of point cloud data in different growth stages

表1結果表明，人工逐層刪除非枝干點云數據，刪除率平均為76.08%，本文算法為75.74%，本文算法一次性刪除點云的數量多于人工刪除的數量，因為部分側枝枝干點云數據由于葉片遮擋并未獲取到，人工刪除點云時，可以根據拓撲關系保留部分點云數據。在冠層側枝數量方面，相對于人工刪除非枝干部分點云數據，本文算法的平均準確率為93.34%，效率至少提高200倍，節省了冠層枝干三維重建時間。

表1中數據A-3為風速3.9 m/s時獲取，由于風速超出了1.6 m/s的最佳掃描環境[33]，因此果樹冠層中葉片出現分層，影響枝干點云數據的采集，無論人工刪除還是本文算法刪除，點云刪除率都較低，且本文算法提取的枝干點云數據側枝準確率僅為77.5%。數據表明，使用本文算法時，需考慮風速影響。

表1中數據A-6為陰天時獲取，掃描獲取冠層彩色點云數據，點云顏色差別較小(圖10a)，利用本文算法提取枝干點云數據時，點云刪除率僅為47.29%，且側枝準確率小于平均準確率。因此，使用本文算法時，以室外天氣晴天為宜。

表1 枝干提取結果分析Tab.1 Branches point cloud extraction results analysis

圖10 成熟期蘋果樹冠層枝干重建過程Fig.10 Process of apple tree canopy branches reconstruction in mature growth stage

3.3 枝干三維重建

獲取2018年9月自由紡錘形蘋果樹冠層彩色三維點云數據，利用本文算法刪除非枝干部分點云數據(圖10b)，進行細化枝干[34]三維重建。

利用軟件Geomagic完成數據的去噪和點云壓縮，人機交互式檢驗噪聲點并去除。由于遮擋、設備限制、點云刪除造成的大量空洞，利用Geomagic軟件經過封裝—創建流形—編輯多邊形—填充孔—光滑等操作人工交互完成空洞填補。圖10c為蘋果樹冠層枝干三維重建結果，由5 865個曲面組成。

4 結論

(1)針對蘋果樹冠層彩色點云獲取中顏色失真現象，構建了地面激光掃描儀和全景攝像機的蘋果樹冠層彩色點云獲取系統，采用貼圖方法將三維點云著色，獲取蘋果樹冠層彩色三維點云數據。

(2)提出基于顏色取樣的蘋果樹冠層枝干點云提取方法，蘋果樹冠層提取枝干點云數據的實驗表明，本文算法點云刪除率為75.74%，相對于人工枝干點云數據提取，側枝數量平均提取準確率為93.34%，效率提高200倍以上。

(3)本文方法在提取冠層枝干點云數據時受數據品質以及數據采集環境影響較大，適宜在無風的晴天采集冠層彩色點云數據。本研究為成熟期帶葉果樹枝干動力學分析提供了技術基礎，提高了三維重建效率。