基于三維點云和圖像邊緣的托盤檢測技術研究

吳登祿 曹文希 朱穎

基于三維點云和圖像邊緣的托盤檢測技術研究

吳登祿1,2曹文希1,2朱穎1,2

（1.順豐科技有限公司 2.物流機器人技術與應用工程研究中心）

以自動叉車為研究對象，針對叉車的具體運動約束和實際使用場景，提出一種結合圖像邊緣和深度信息的點云匹配技術來解決末端載具檢測及定位問題，相比其他僅從三維點云定位的技術，具有較強的檢測魯棒性和定位準確性，同時具有可擴展性。

點云匹配；托盤檢測；叉車定位

0 引言

隨著物流業的快速發展，勞動力的需求也不斷增長。根據物流業高強度和高重復性的勞動特點，采用機器人完成勞動成為趨勢。具有自主導航能力的機器人在物流運輸和倉儲管理行業具有重要作用。依靠地圖定位算法，機器人可精確地在場地內運動。此外，自動識別裝載目標，對于叉車無人化是不可或缺的能力。本文主要針對目前主流的叉車，研究一種適用于倉庫的無人叉車精確托盤定位技術。

無人叉車定位技術在學術界得到多年關注[1]，并已在工業領域廣泛應用。目前，針對無人叉車定位技術主要研究全局定位技術，如依賴于稠密激光點云地圖和稀疏反光板定位技術、基于軌道巡線或磁條定位技術等。托盤定位因為精度要求高于全局定位，且位置無法提前在地圖固定標記等問題而有別于全局定位。針對上述問題，已有不同的解決方案，如激光托盤定位方案、激光和圖像結合方案[2]等。

針對托盤定位問題，本文采用基于3D深度傳感器的方案。相比激光方案，3D深度傳感器可以節約成本；同時由于3D深度傳感器獲取的點云相對激光更加稠密，魯棒性更高。與巡線技術和磁條技術相比，3D深度傳感器不需要對場地進行改造，降低成本的同時提高了部署的靈活性。另外，目前在市場上已經量產的3D深度傳感器Kinect、Real-Sense和Astra等，所提供的稠密三維點云數據在測量距離和精度方面能滿足托盤定位的要求。本文參考工業機械臂識別和抓取物體的算法，利用點云匹配技術為叉車提供近距離的托盤位姿信息。

1 檢測方法

1.1 三維點云匹配問題描述

傳感器安裝于叉車的固定位置，其獲取的托盤測量點云坐標可通過叉車位姿和傳感器外參確定。隨著叉車在空間移動，通過觀測點云在不同時刻坐標的變化，能夠間接地求出叉車相對托盤的運動。在相機外參已知的情況下，托盤定位問題可等價于點云運動估計，常用的方法是點云匹配技術。

其中N是維點集的個數。

其中,w 描述模型點m 與測量點d之間的匹配關系。當二者為匹配點時w =1；否則w =0。

1.2 匹配問題求解

解決匹配問題常用的方法：先給定相似變換參數的初始估計值；再迭代優化。與通常的迭代法類似，求解匹配問題容易陷入局部最小值而無法得到最優參數估計，因此初始值決定了最終點云匹配效果。為盡量得到合適的初始估計值，研究學者關注于設計區分度高的特征描述子來編碼點云領域信息，從而使這些特征區域能夠在全局被有效地搜索和匹配。利用合適的特征描述子，點云匹配問題的求解步驟：

1）分別對模型點集和測量點集提取特征點、計算描述子；

2）根據特征點的三維位置和描述子信息，估計每個測量點在模型點集的匹配點，并根據所有匹配點估計模型和測量數據整體之間的相似變換關系；

3）考慮到測量誤差，測量點集和模型間可能出現誤匹配，利用重復采樣、估算和驗證的方式來排除粗差；

4）利用排除誤匹配后的數據重新估算相似變換。

3D點云特征描述子包括從2D圖像特征描述遷移到點云的算法，如SIFT和FAST；另外還有點特征直方圖描述子（PFH）和其加速版本（FPFH）[3]。

PFH基于中心點與鄰域之間的法線關系。在中心點半徑為的圓球內部選取個相鄰點，彼此構成相互連接，PFH計算每個連接兩點間的法線偏差，并在其中一點建立一個局部坐標系，描述如下：

其中，s為中心點p的法向量；p為鄰點坐標。

坐標系兩點法線的偏差可通過3個角度來描述：

結合3個垂線偏角以及距離，PFH將每個領域點對描述為四元特征。同時，PFH特征描述將特征范圍劃分為多個子區間，再統計落在每個子區間內的點數分布作為最終PFH描述。為減少PFH的運算量，FPFH算法只關注中心點與每個領域點之間的垂線關系，而不是領域內部每對點間的關系。同時，FPFH用每個領域點各自計算得到的特征直方圖做加權平均，簡化計算的同時保證結果接近PFH描述子。

PFH和FPFH都是基于局部點云的統計信息來編碼中心點，這些算法在點云稀疏或照射物體表面幾何曲率變化較小時，無法得到有效的特征描述。為此，PPF算法[4]提出一種描述全局表面曲率變化信息的算法來解決局部描述子在弱紋理和簡單表面區域匹配效果差的問題。另一個解決此問題的方法是結合圖像信息來彌補點云幾何信息的不足。單純的圖像模板匹配技術適用于弱紋理區域，且具有一定的魯棒性，如Chamfer匹配法和Haussdorf距離法[4]。它們僅依賴圖像邊緣信息，容易隨著光照和背景的改變而變化。相比之下，Linemod算法[5]同時考慮了3D物體表面法向量和2D圖像梯度信息，在點云匹配中有較好表現。

考慮特征描述子（PPF）算法和Linemod算法的各自優點，本文提出一種結合圖像局部紋理和3D點云全局曲率變化信息的方法來解決點云匹配問題，并將PPF描述子由4維擴展到7維，增加了圖片像素中的RGB信息，描述如下：

2 實驗

本文算法的代碼基于OpenCV和PCL開源庫編寫，測試平臺硬件配置了16 G內存+i7處理器。首先采用手持Astra標準版深度相機連接到筆記本在不同位置錄制托盤數據，選取一組作為參考數據錄制為匹配模板，另一組模擬叉車運動；然后根據本文匹配算法估算二者點云的位姿變換；最后根據估計的位姿變換將兩組點云投影到同一坐標系作對比。

為提高運算速度和提高匹配效果，本文在識別算法前增加了預處理，如圖1所示。

圖1 點云預處理流程

首先，利用多分辨率降采樣點云以提高ICP匹配效率。點云從低分辨率開始匹配，并利用低分辨率匹配得到的結果作為更高精度的分辨率點云匹配的初始值，可減少ICP的迭代次數。這樣不僅減少算法運行時間，同時還減弱初值對ICP算法的影響。

最后，在點云匹配前對點云進行Euclidean Cluster聚類分割。由于托盤只允許在近距離、無障礙物的條件下插取，可只選取深度方向最小的聚類為目標點云，提高點云匹配準確度。

3 結果分析

實驗結果如圖3所示。其中右側黑點為錄制的參考托盤點云，左側黑點為模擬運動中叉車所觀測到的托盤點云；灰白點為根據點云匹配得到的位姿變換將參考托盤點云投影到叉車觀測坐標系的結果。由圖3可知，左側黑點和灰白點幾乎完全重合，這表明估算的叉車位姿精度較高，算法能夠通過測量點云的位姿變換估算叉車相對托盤的位姿，從而為叉車控制模塊提供引導數據。

圖2 托盤圖像和點云圖

圖3 托盤點云匹配結果

4 結論

針對倉儲自動叉車托盤定位問題，本文使用3D深度相機并設計相應的點云匹配算法來估算托盤與叉車的相對位姿，并將PPF描述子拓展到7維來提高對弱紋理表面的點云匹配效率。實驗表明，本文提出的算法在近距離范圍內能有效定位托盤，比單純采用點云的幾何信息定位具備更高的魯棒性。

[1] Bostelman R, Tsai H, Chang T. 2006 Visualization of pallets Intelligent Robots and Computer Vision XXIV: Algorithms, Techniques, and Active Vision (October 2006) Proc[J]. SPIE , 2006: 89-101.

[2] Baglivo L, Biasi N, Biral F, et al. Autonomous pallet localization and picking for industrial forklifts: a robust range and look method[J]. Measurement Science and Technology, 2011, 22: 85502.

[3] Rusu R B, Marton Z C, Blodow N, et al. Learning Informative Point Classes for the Acquisition of Object Model Maps[C]. In Proceedings of the 10thInternational Conference on Control, Automation, Robotics and Vision (ICARCV) 2008, 2008:123.

[4] Hinterstoisser S, Lepetit V, Rajkumar N, et al. Going Further with Point Pair Features in Proceedings European Conference on Computer Vision 2016[C]. Netherlands, 2016: 834.

[5] Huttenlocher D, Klanderman G, Rucklidge W. Comparing Images Using the Hausdorff Distance[J]. In IEEE Transactions on Pattern Analysis and Machine Intelligence, 1993,15: 850.

Research on Pallet Detection Technology Based on 3D Point Cloud and Image Edge Features

Wu Denglu1,2Cao Wenxi1,2ZhuYing1,2

(1.SF Technology Co., Ltd. 2. Research Center of Logistics Robot Technology and Application Engineering)

This paper suggests a pallet detection algorithm based on 3D point cloud and image edge features for auto forklifts application with considering its motion constrain and the practical usage situation. It has better detection robust and location accuracy comparing to other method only rely on 3D point cloud, and it can extend itself further.

Point Cloud Match; Pallets Detection; Forklifts Location

吳登祿，男，1983年生，博士研究生，主要研究方向：圖像處理與機器學習。E-mail: wdlcas@gmail.com

曹文希，男，1986年生，碩士研究生，主要研究方向：圖像處理。

朱穎，男，1985年生，碩士研究生，主要研究方向：圖像處理。