一種基于輪廓匹配的倉儲(chǔ)機(jī)器人托盤檢測(cè)方法

武文漢， 楊 明， 王 冰， 王春香

(上海交通大學(xué) a. 自動(dòng)化系； b. 上海市北斗導(dǎo)航與位置服務(wù)重點(diǎn)實(shí)驗(yàn)室；c. 機(jī)器人研究所， 上海 200240)

隨著現(xiàn)代物流的不斷發(fā)展，倉儲(chǔ)機(jī)器人在智能倉儲(chǔ)系統(tǒng)中發(fā)揮著越來越重要的作用，而對(duì)貨物托盤的檢測(cè)是倉儲(chǔ)機(jī)器人的核心技術(shù)之一.由于倉儲(chǔ)環(huán)境具有背景復(fù)雜、光線不均勻、托盤位姿難以確定等特點(diǎn)，所以精準(zhǔn)高效的托盤檢測(cè)是目前亟待解決的問題.

近年來，針對(duì)托盤的檢測(cè)研究主要采用基于視覺、激光雷達(dá)以及兩者結(jié)合的檢測(cè)方法.其中，基于視覺的檢測(cè)方法主要通過從圖像背景中分割出托盤， 利用特定的特征進(jìn)行檢測(cè).文獻(xiàn)[1-2]中分別提出基于顏色和幾何特征的視覺檢測(cè)方法，通過顏色、邊緣和角點(diǎn)等信息生成特征，但易受光照和復(fù)雜背景的干擾.文獻(xiàn)[3]中提出了基于視覺標(biāo)簽的檢測(cè)方法，但易受標(biāo)簽污損影響，且對(duì)光照魯棒性不強(qiáng).文獻(xiàn)[4]中提出基于Harr-like特征的魯棒檢測(cè)方法，但需要攝像機(jī)與托盤立柱平面保持平行.文獻(xiàn)[5-7]中均采用立體視覺的檢測(cè)方法.但是文獻(xiàn)[5-6]中的方法容易受光照影響，文獻(xiàn)[7]中的基于LBP特征的檢測(cè)算法雖然具備光照魯棒性，但是依賴攝像機(jī)與托盤立柱立面平行且需指定托盤數(shù)量.基于激光雷達(dá)的檢測(cè)方法雖然對(duì)于光照有較強(qiáng)的魯棒性，但價(jià)格普遍昂貴.文獻(xiàn)[8]中通過單線激光雷達(dá)投射在托盤立柱表面的點(diǎn)云分布情況進(jìn)行檢測(cè)，但采用單線激光雷達(dá)導(dǎo)致檢測(cè)范圍受限.另外，文獻(xiàn)[9]中同時(shí)采用攝像機(jī)與單線激光雷達(dá)2種傳感器進(jìn)行檢測(cè)，傳感器間的聯(lián)合標(biāo)定和配準(zhǔn)比較復(fù)雜.

綜上所述，基于視覺的檢測(cè)方法易受光線及托盤與傳感器之間相對(duì)位姿關(guān)系的影響，基于激光雷達(dá)的檢測(cè)方法雖然對(duì)光照變化具備魯棒性，但檢測(cè)范圍有限、價(jià)格昂貴.因此，本文提出一種適用于不同光照、不同相對(duì)位姿場(chǎng)景的檢測(cè)方法，該方法使用ToF相機(jī)采集點(diǎn)云并進(jìn)行預(yù)處理，然后通過以法線為約束的區(qū)域生長(zhǎng)算法對(duì)點(diǎn)云進(jìn)行平面分割，對(duì)分割出的點(diǎn)云平面沿主法線方向投影生成柵格圖，結(jié)合托盤Hu不變矩[10]和尺度比例特征建立輪廓特征，進(jìn)行目標(biāo)輪廓與托盤模板輪廓之間的匹配，實(shí)現(xiàn)對(duì)托盤的檢測(cè).

1 托盤點(diǎn)云分割與處理

ToF相機(jī)采集的點(diǎn)云包含顏色信息和深度信息，適用于在環(huán)境光線復(fù)雜的倉儲(chǔ)環(huán)境進(jìn)行托盤的檢測(cè).通過對(duì)點(diǎn)云的處理，可以分割出包含托盤立柱平面的點(diǎn)云.

1.1 點(diǎn)云預(yù)處理

一般ToF相機(jī)的測(cè)量距離有限，超出有效測(cè)距范圍的數(shù)據(jù)噪聲較大，需要進(jìn)行濾除.使用直通濾波器(沿?cái)z像機(jī)光軸方向)可以有效去除數(shù)據(jù)無效區(qū)域和大量的背景信息，有效降低計(jì)算量.

由于ToF相機(jī)采集的點(diǎn)云包含顏色信息，通過顏色分量可以對(duì)包含藍(lán)色托盤的區(qū)域進(jìn)行粗分割.本文將點(diǎn)云的顏色信息從RGB空間轉(zhuǎn)到HSV空間，并選取較大的閾值范圍進(jìn)行顏色濾波.

另外，ToF相機(jī)采集的點(diǎn)云分布并不均勻，往往需要剔除分布稀疏的離群點(diǎn).點(diǎn)云中一般點(diǎn)到其鄰域中其他點(diǎn)的距離近似服從高斯分布，鄰域平均距離的概率密度函數(shù)為

(1)

式中：xi為任意點(diǎn)的鄰域平均距離；μ為任意點(diǎn)鄰域平均距離的均值；σ為任意點(diǎn)鄰域平均距離的標(biāo)準(zhǔn)差.由于離群點(diǎn)的鄰域中點(diǎn)數(shù)量較少，所以鄰域平均距離較大.本文計(jì)算每個(gè)點(diǎn)到其鄰域K個(gè)臨近點(diǎn)的平均距離x，并給定鄰域平均距離的均值μ和標(biāo)準(zhǔn)差σ，若x超出鄰域平均距離均值3σ以上，則認(rèn)為該點(diǎn)為離群點(diǎn)并剔除.

點(diǎn)云進(jìn)行預(yù)處理的結(jié)果如圖1所示.

圖1 點(diǎn)云預(yù)處理Fig.1 Point cloud preprocessing

1.2 法線估計(jì)與平面分割

托盤的立柱平面結(jié)構(gòu)具備特殊性，能夠?qū)⑼斜P與背景中的其他物體分離出來.本文通過對(duì)三維點(diǎn)云進(jìn)行法線估計(jì)，采用基于法向量約束的區(qū)域生長(zhǎng)算法對(duì)點(diǎn)云進(jìn)行平面分割，以生成候選的興趣點(diǎn)云平面.

表面法線是幾何體表面的重要特征，在局部表面使用基于PCA(Principal Component Analysis)的法線估計(jì)方法具備抗噪性強(qiáng)和性能開銷低等優(yōu)點(diǎn)[11].對(duì)點(diǎn)云中一點(diǎn)P進(jìn)行法線估計(jì)方法如下：

(1) 得到P點(diǎn)的K個(gè)最近鄰元素；

(2) 基于PCA計(jì)算P點(diǎn)表面法線n；

(3) 檢測(cè)n的方向是否指向視點(diǎn)，如果不是，則翻轉(zhuǎn).

區(qū)域生長(zhǎng)算法可以將幾何屬性相近的臨近點(diǎn)云歸為同一類.本文通過判斷種子點(diǎn)與臨近點(diǎn)法向量的方向接近程度(夾角小于5°視為接近)進(jìn)行區(qū)域生長(zhǎng)，并限定生長(zhǎng)區(qū)域的點(diǎn)集數(shù)量上限和下限，以剔除過大或過小的平面，如圖2所示.

圖2 點(diǎn)云平面分割Fig.2 Point cloud plane segmentation

再次使用PCA算法對(duì)分割出的點(diǎn)云平面P進(jìn)行法線估計(jì)，可以獲得點(diǎn)云平面指向視點(diǎn)O(0,0,0)的、歸一化的近似法向量n=[abc]T.

對(duì)于數(shù)量為s、法向量為n=[abc]T的點(diǎn)云平面P，點(diǎn)云平面與傳感器之間的相對(duì)位姿包括平面質(zhì)心O′與視點(diǎn)O之間的相對(duì)位移和相對(duì)姿態(tài)，如圖3所示.相對(duì)位移(dx,dy,dz)可以用點(diǎn)云平面質(zhì)心O′(xc,yc,zc)在傳感器坐標(biāo)系下的坐標(biāo)表示：

相對(duì)姿態(tài)(俯仰角θ、旋轉(zhuǎn)偏角φ、滾轉(zhuǎn)角φ)可用點(diǎn)云平面與傳感器坐標(biāo)系之間的歐拉角分別表示為

(5)

(6)

(7)

圖3 傳感器坐標(biāo)系下的點(diǎn)云平面Fig.3 Point cloud plane in the sensor coordinate system

結(jié)合實(shí)際倉儲(chǔ)場(chǎng)景需求，托盤與傳感器之間的相對(duì)位姿僅考慮水平方向的橫向位移dy、縱向位移dz及旋轉(zhuǎn)偏角φ.

1.3 點(diǎn)云柵格化與輪廓提取

柵格化是點(diǎn)云常用的空間劃分策略.本文采用沿點(diǎn)云平面法向量方向投影的方法生成柵格圖，其方法如下：

(1) 取視點(diǎn)O(0,0,0)作為原點(diǎn)，平面法向量n作為z軸單位向量z=[001]T，建立托盤坐標(biāo)系.托盤坐標(biāo)系與傳感器坐標(biāo)系之間存在旋轉(zhuǎn)關(guān)系：

z=R3×3n

(8)

式中：R3×3為旋轉(zhuǎn)矩陣.

(2) 設(shè)置單通道柵格圖長(zhǎng)寬分別為W、H，每個(gè)柵格的物理尺度長(zhǎng)寬分別為grid_W和grid_H，柵格圖對(duì)應(yīng)托盤坐標(biāo)系中區(qū)域R沿z軸方向在xOy平面的投影.

(3) 將所有數(shù)據(jù)點(diǎn)歸入對(duì)應(yīng)的柵格，并將歸一化的投影高度設(shè)置為柵格灰度值.

將上述柵格圖二值化，并使用Canny算子進(jìn)行輪廓的提取，如圖4所示.

圖4 點(diǎn)云柵格化及輪廓提取Fig.4 Point cloud rasterization and contour extraction

2 托盤輪廓特征及匹配

輪廓特征可以用來區(qū)分目標(biāo)與背景.輪廓邊界具備良好的旋轉(zhuǎn)、平移、縮放不變性，其像素相較于完整目標(biāo)區(qū)域也要少很多，因此既能完整描述物體，也能減少計(jì)算量.本文采用融合輪廓Hu不變矩和尺度比例特征為托盤輪廓特征向量，用于托盤的檢測(cè)和識(shí)別，其輪廓模板如圖5所示.

圖5 托盤立柱平面輪廓模板Fig.5 Contour template of pallet

矩特征主要用來描述圖像的幾何特征，具有旋轉(zhuǎn)、平移和縮放不變性.對(duì)于任意非負(fù)整數(shù)p和q，離散的數(shù)字圖像f(x,y)，對(duì)應(yīng)的p+q階矩以及中心矩的表達(dá)式分別為

(9)

(10)

(11)

式中：ρ=(p+q+2)/2.

Hu利用二階和三階中心矩構(gòu)造了7個(gè)不變矩M1～M7.然而在對(duì)圖像進(jìn)行目標(biāo)匹配過程中，只有前2個(gè)矩不變性保持比較好，即

對(duì)于輪廓C，以像素為基本單位，定義其輪廓外接矩形的長(zhǎng)和寬分別為w和h，輪廓周長(zhǎng)為l，輪廓面積(區(qū)域內(nèi)像素個(gè)數(shù))為s.以此構(gòu)建目標(biāo)輪廓的長(zhǎng)寬比S1和占空比S2的尺度比例特征：

融合前2個(gè)Hu不變矩及2個(gè)尺度比例特征，構(gòu)建新的托盤輪廓特征向量

F=[M1M2S1S2]T

(16)

對(duì)于待檢測(cè)輪廓A和模板輪廓B，采用歐式距離建立輪廓匹配相似度d(A,B)，即

(17)

由相似度d(A,B)的定義可知，相似度d(A,B)越小，表明待檢測(cè)輪廓與模板輪廓越接近；反之表明待檢測(cè)輪廓與模板輪廓偏離程度越大.

3 實(shí)驗(yàn)結(jié)果與分析

本文安裝了開源點(diǎn)云庫PCL1.8.0和開源計(jì)算機(jī)視覺庫OpenCV2.4.11，使用ToF相機(jī)在倉儲(chǔ)環(huán)境中進(jìn)行實(shí)驗(yàn)，拍攝速率為5幀/s，單幀點(diǎn)云的數(shù)量為 537 600 個(gè)，設(shè)定柵格大小為 0.01 m×0.01 m，柵格圖像素分辨率為400像素×400像素.

實(shí)驗(yàn)中將輪廓匹配相似度d(A,B)閾值設(shè)為 0.5，若d(A,B)小于或等于閾值，則認(rèn)為該輪廓區(qū)域?yàn)橥斜P立面，并使用紅色在原始點(diǎn)云中進(jìn)行標(biāo)注；反之若d(A,B)大于閾值，則認(rèn)為該輪廓區(qū)域不是托盤立面. 實(shí)驗(yàn)共采集300幀點(diǎn)云進(jìn)行檢測(cè)實(shí)驗(yàn)，檢測(cè)正確率為 93.67%，誤檢率為 4.67%，漏檢率為 1.67%.

3.1 不同光照?qǐng)鼍跋卖敯粜约熬仍u(píng)估

為驗(yàn)證本文算法對(duì)不同光照的魯棒性，在不同光照?qǐng)鼍跋路謩e選取10幀數(shù)據(jù)進(jìn)行檢測(cè)，提取每幀數(shù)據(jù)中與模板最接近的輪廓作為目標(biāo)輪廓.計(jì)算各組目標(biāo)輪廓特征向量均值、相似度均值和相對(duì)位姿，得到如表1所示的數(shù)據(jù)，檢測(cè)結(jié)果如圖6所示.

表1 不同光照條件下的檢測(cè)數(shù)據(jù)Tab.1 Detection results under different lighting conditions

圖6 不同光照下的托盤檢測(cè)結(jié)果(托盤用框標(biāo)注)Fig.6 Detection results under different lighting conditions (pallet marked in red)

由表1和圖6可見，雖然在不同光照強(qiáng)度下，點(diǎn)云的顏色信息損失較為嚴(yán)重，但是提取的平面輪廓特征各分量與模板均比較接近，匹配相似度小于閾值，均可以檢測(cè)出托盤(見圖中用框標(biāo)注)，顯示出該方法對(duì)光照變化的魯棒性.對(duì)比測(cè)量位姿與實(shí)際位姿，可以看出橫向和縱向的定位誤差小于15 mm，旋轉(zhuǎn)偏角誤差小于3°，滿足實(shí)際檢測(cè)需要.

3.2 不同距離場(chǎng)景下魯棒性及精度評(píng)估

為驗(yàn)證本文算法對(duì)目標(biāo)與傳感器之間相對(duì)距離的魯棒性，分別在不同縱向距離場(chǎng)景下各選取10幀數(shù)據(jù)進(jìn)行檢測(cè)，提取每幀數(shù)據(jù)中與模板最接近的輪廓作為目標(biāo)輪廓. 計(jì)算各組目標(biāo)輪廓特征向量均值、相似度均值及相對(duì)位姿，得到如表2所示的數(shù)據(jù)，檢測(cè)結(jié)果如圖7所示.

表2 不同距離場(chǎng)景下的檢測(cè)數(shù)據(jù)Tab.2 Detection results under different distance conditions

圖7 不同距離場(chǎng)景下的托盤檢測(cè)結(jié)果(托盤用框標(biāo)注)Fig.7 Detection results under different distance conditions (pallet marked in red)

由表2和圖7可見，在托盤(見圖中用框標(biāo)注)與傳感器相距1～4 m場(chǎng)景下，輪廓特征各分量及匹配相似度與模板均比較接近，匹配相似度小于閾值，能夠檢測(cè)出托盤；而在相距5 m時(shí)分割出平面的輪廓特征各分量與模板相差較大，匹配相似度大于閾值，無法檢測(cè)出托盤.這是由于隨著距離增加，托盤表面點(diǎn)云會(huì)變稀疏，點(diǎn)云數(shù)據(jù)質(zhì)量下降，影響柵格圖生成及輪廓特征，導(dǎo)致與模板無法匹配. 對(duì)比測(cè)量位姿與實(shí)際位姿，可以看出橫向和縱向的定位誤差小于15 mm，旋轉(zhuǎn)偏角誤差小于3°，滿足實(shí)際檢測(cè)需要.

3.3 不同旋轉(zhuǎn)偏角場(chǎng)景下魯棒性及精度評(píng)估

為了驗(yàn)證本文算法對(duì)目標(biāo)與傳感器之間相對(duì)旋轉(zhuǎn)偏角的魯棒性，分別在不同旋轉(zhuǎn)偏角場(chǎng)景下各選取10幀數(shù)據(jù)進(jìn)行檢測(cè)，提取每幀數(shù)據(jù)中與模板最接近的輪廓作為目標(biāo)輪廓. 計(jì)算各組目標(biāo)輪廓特征向量均值、相似度均值及相對(duì)位姿，得到如表3所示的數(shù)據(jù)，檢測(cè)結(jié)果如圖8所示.

圖8 不同旋轉(zhuǎn)偏角度下的托盤檢測(cè)結(jié)果(托盤用框標(biāo)注)Fig.8 Detection results under different pose conditions (pallet marked in red)

表3不同旋轉(zhuǎn)偏角度下的檢測(cè)數(shù)據(jù)
Tab.3Detectionresultsunderdifferentposeconditions

旋轉(zhuǎn)偏角/(°)輪廓特征 M1 M2 S1 S2d(A,B)實(shí)際位姿橫向位移/mm縱向位移/mm旋轉(zhuǎn)偏角/(°)測(cè)量位姿橫向位移/mm縱向位移/mm旋轉(zhuǎn)偏角/(°)測(cè)量誤差橫向誤差/mm縱向誤差/mm角度誤差/(°)模板1.071.190.325.97001.101.210.336.160.19030000-229970.24230.24151.131.180.316.310.360300015-13299113.871391.13301.091.000.325.960.1803000303299528.66351.34400.920.810.325.780.440300040-12298742.3112132.31

由表3和圖8可見，在托盤(見圖中用框標(biāo)注)相對(duì)傳感器偏轉(zhuǎn)0～40° 場(chǎng)景下，輪廓特征各分量及匹配相似度均比較接近，匹配相似度小于閾值，能夠正常檢測(cè)出托盤，顯示出該方法對(duì)托盤偏轉(zhuǎn)的魯棒性. 對(duì)比測(cè)量位姿與實(shí)際位姿，可以看出橫向和縱向的定位誤差小于15 mm，旋轉(zhuǎn)偏角誤差小于3°，滿足實(shí)際檢測(cè)需要.

4 結(jié)語

本文針對(duì)目前托盤檢測(cè)算法中存在的光照魯棒性不強(qiáng)、依賴托盤與傳感器之間相對(duì)位姿等問題，提出一種基于輪廓匹配的魯棒檢測(cè)算法，通過對(duì)ToF相機(jī)采集的點(diǎn)云進(jìn)行濾波和分割，提取包含托盤立柱平面的點(diǎn)云并投影成柵格圖，提取輪廓與模板進(jìn)行匹配，實(shí)現(xiàn)對(duì)托盤的檢測(cè).實(shí)驗(yàn)結(jié)果表明，本文提出的算法在不同光照、不同距離和不同角度等場(chǎng)景下均能檢測(cè)出托盤，具有高識(shí)別率和較強(qiáng)的魯棒性，測(cè)量精度滿足實(shí)際需求.