攝像機與3D激光測距儀外部標定新方法

劉成安, 王 寧, 張 華

(1.中國科學院地球化學研究所,貴州貴陽550002; 2.西南科技大學工程技術中心,四川綿陽621010;3.中國科學院大學,北京100049)

由于機器人技術的快速發展,使得其在核能利用、工業制造、航空航天等領域得到了十分廣泛的應用[1].攝像機和激光測距儀是機器人最常用的傳感器,激光測距儀提供的距離信息和攝像機提供的色彩信息具有很強的互補性,這2種傳感器的融合利用[2]對于機器人跟蹤控制、定位與導航、作業環境描述與地圖創建和多傳感器集成與信息融合等關鍵技術具有重要的作用,因此融合兩者的信息成為現代機器人技術研究熱點之一.

為了實現攝像機與激光測距儀的信息融合,精確獲得激光測距儀坐標系與攝像機坐標系之間的對應變換關系是至關重要的.獲得這一變換關系的過程稱為攝像機與激光測距儀的外部位置關系標定[3].近年來,國內外學者做了大量關于攝像機與激光測距儀外部參數標定方法的研究.美國華盛頓大學機器人研究室最先提出了激光測距儀與攝像機的標定方法[4];G.H.Li等[3]提出了采用直角三角形平板作為靶標,使用線特征標定激光測距儀與攝像機外部參數的方法;D.Scarramuzza等[5]提出將激光測距儀采集的距離信息圖通過變換,使場景自然邊緣更清晰突出,再提取邊緣線條與攝像機拍攝的照片中檢測出來的邊緣相匹配來實現外部標定;I.Bauermann等[6]提出在傳感器平臺沿任意軌道移動過程中針對固定靶標多次采集數據,通過最小化不同視角拍攝的多幀間場景點的歐式投影偏差來得到標定結果;S.Florian等[7]提出了使用平面模板標定攝像機與激光測距儀參數的方法;A.Sergio等[8]采用圓形標定靶標定攝像機與激光測距儀的外部位置關系,得到激光測距儀在攝像機坐標系下的姿態估計.項志宇等[9]提出使用一塊平面靶標,在不同位置擺放若干次,實現攝像機與激光測距儀的外部標定.

這些標定算法主要利用標定靶建立激光測距儀與攝像機的約束條件,通過標定靶(或者激光測距儀與攝像機)變換不同的位置以提供多個約束條件,求出激光坐標系和攝像機坐標系之間的外部參數.由于標定靶(或者激光測距儀與攝像機)位置變換需要多次采集數據,特征點或者邊緣提取算法復雜,標定精度也會因標定過程繁瑣而受到影響.針對這些不足,提出了一種基于角點提取的攝像機與3D激光測距儀外部參數標定的新方法.該方法采用一塊鏤空的棋盤格作靶標,攝像機與3D激光測距儀一次完成標定數據采集,無需變換標定靶(或者激光測距儀與攝像機)的位置.棋盤格因為其角點清晰,容易提取,可以很好的應用于攝像機.同時,由于鏤空部分形成距離突變,使得邊緣清晰,也易于從3D激光測距儀的點云數據中提取對應角點.

1 標定原理

1.1 圖像角點檢測算法基于灰度圖像的角點檢測法是從圖像灰度值估計角點的位置.這種方法的特點是速度快,且獨立于其他局部特征.2個具有代表性的算法:一種是Susan角點檢測算法[10];另一種是Harris角點檢測算法,由于Harris算法采用了高斯濾波,具有很好的抗噪性[11],是在實踐中使用最廣泛的角點檢測算法.

Harris角點檢測算法是通過計算每一個像素點的梯度實現的.如果2個方向上的絕對梯度值都大,則認為這是角點.Harris角點檢測算子通過(1)式定義

其中,Iu(x,y)和Iv(x,y)是點(x,y)在u和v方向的一階偏導數,Iuv(x,y)是二階混合偏導數,k是經驗值,h(x,y)是高斯函數,X和Y是一階定向差值,它們可以通過灰度與在u和v方向的差分算子的卷積來計算,高斯函數用來減少噪聲的影響,因為一階差分算子對噪聲非常的敏感.如果R超過某一閾值,則認為該點是角點.

1.2 點云角點檢測算法點云的曲率計算方法較多,這些方法都是遵守這樣的原則,那就是以盡量少的計算量且準確地反應曲線的曲率變化信息.目前應用最多的是k-cosine法[12].

設點的支撐區域是2k+1,則如圖1所示,曲線上點Pi(xi,yi,zi)和與它相距為k的2點Pi+k(xi+k,yi+k,zi+k),Pi-k(xi-k,yi-k,zi-k),所構成的矢量aik和bik為

從圖1可以看出,某點的夾角大小與該點的曲率成正比關系,即夾角越大,曲率就越大.當某點滿足|θk|>T時,將該點劃分為候選角點,在候選角點集合中,選取局部區域內曲率的極大值,就獲得該局部區域的角點.

圖1 k-cosine法Fig.1 k-cosine rule

1.3 外部參數標定算法攝像機與3D激光測距儀的外部參數標定,實際上就是獲得攝像機坐標系與3D激光測距儀坐標系之間的變換關系,如果空間一點P在攝像機坐標系和3D激光測距儀坐標系內坐標為PC(XC,YC,ZC)和PL(XL,YL,ZL),則它們的關系可由(2)式表示

其中,R是一個3×3的旋轉矩陣,T是平移矩陣.

設標定PC在攝像機圖像坐標系中的圖像坐標為M(u,v),根據攝像機的成像模型,2坐標之間的關系可以表示為

其中M1由攝像機內部參數決定.由(2)～(5)式,可得

2 實驗結果與分析

圖2為將攝像機和激光測距儀固定在一起組成的融合系統實物圖,其中攝像機為Bumblebee雙目相機,激光測距儀為Swiss Ranger 4 000 3D激光測距相機.圖3為實驗標定靶實物圖,采用鏤空的棋盤格,格子的尺寸為6 cm×6 cm,標靶距3D激光相機大致為2 m.

圖2 場景感知傳感器Fig.2 Scene perception sensors

圖3 鏤空的棋盤格Fig.3 The template of hollow checkerboard

實驗中,首先用雙目相機的左目攝像機采集標定靶的圖像數據,用Matlab編程實現Harris角點檢測算法,對圖像中鏤空棋盤格的角點進行提取,圖像角點提取的部分結果如表1所示.

其次,用3D激光測距相機采集鏤空棋盤格的三維點云數據,并根據相機到棋盤格大致深度,設定閾值t,對大于t的深度數據予以濾除,然后VC++編程實現3D點云角點檢測算法,計算獲得3D角點的三維信息(x,y,z),鏤空棋盤格點云數據與圖像角點相應的角點的三維信息(x,y,z)如表2所示.

最后,將表1和表2的對應數據帶入方程(6),并利用最小二乘法求解該超定方程,可計算得出攝像機和3D激光測距相機之間的旋轉矩陣R和平移矩陣T,其結果如表3所示.根據標定結果,以 Matlab和VC++編程實現算法,對一桌面場景目標進行空間目標的定位實驗.實驗流程如下.

1)使用SR 4000 3D激光測距相機和Bumblebee雙目相機的左目攝像機同時采集同一桌面場景圖像和點云數據,圖4a、b分別為桌面場景目標的圖像和點云.

2)用閾值法[14]去除深度較大的點云,見圖5a,然后用RANSAC算法[15]對桌面模型進行擬合,提取桌面點云集,見圖5b.

3)分別對點云和圖像進行分割,分割結果分別如圖5c和圖5d所示.

4)利用點云數據計算目標的三維特征,完成3D模型的重構,如圖5c所示;然后利用圖像與點云的空間映射關系(由標定結果用R和T表示),估計空間目標位姿、形狀和大小,實現空間目標的定位檢測,如圖5d所示.從圖5d可以看到,由目標物體的點云數據的三維特征映射到圖像中目標物體的輪廓和位置等相當準確,能準確實現空間目標的定位.

圖5 數據處理Fig.5 Data processing

3 結語

針對攝像機和3D激光測距儀系統外部參數的標定問題,提出一種新的標定方法.該方法采用一塊鏤空的棋盤格作靶標,攝像機與3D激光測距儀僅用一次標定數據采集就完成了外部參數的標定,無需變換標定靶(或者激光測距儀與攝像機)的位置而進行多次數據采集,同時以鏤空的棋盤格作靶標的圖像與點云數據易于實現角點提取,算法也相當簡單,從而消除了因標定過程繁瑣對標定精度的影響,提高了標定效率.實驗結果表明,該方法精度較高而且操作簡單,具有較高的實用價值.

表1 圖像角點Table 1 The feature points of visible image(/pixel)

表2 3D點云角點Table 2 The corner points of 3D point cloud(/cm)

表3 標定結果Table 3 The results of calibration

[1]蔡鶴皋.機器人將是21世紀技術發展的熱點[J].中國機械工程,2000,11(1):58-60.

[2]陸建峰,唐振民,楊靜宇,等.多傳感器的聯合標定方法[J].機器人,1997,19(5):365-371.

[3]Li G H,Li Y H,Li D.An algorithm for extrinsic parameters calibration of a camera and a laser range finder using line features[C]//Proceedings of the 2007 IEEE/RSJ International Conference on Intelligent Robots and Systems,2007,8:3854-3859.

[4]Zhang Q,Pless R.Extrinsic calibration of a camera and laser range finder[C]//IEEE International Conference on intelligent Robots and Systems,2004,3:2301-2306.

[5]Scarramuzza D,Haratia A,Siegwart R.Extrinsic self-calibration of a camera and a 3D laser range finder from natural scenes[C]//Proceedings of the 2007 IEEE RSJ International Conference on Intelligent Robots and Systems,2007:4164-4169.

[6]Bauermann I,Steinbach E.Joint calibration of a range and visual sensor for the acquisition of RGBZ Mosaics Erlangen[C]//Proceedings of VMV 2005,2005:666-672.

[7]Florian S,Lngo B,Eckehard S.Joint calibration of a camera triplet and laser range finder[C]//ICME of IEEE,2008,6:1201-1204.

[8]Sergio A,Rodriguez F,Vicent F.Extrinsic Calibration between a Multi-Layer Radar and a Camera[C]//Proceedings of IEEE International Conference on Multi-sensor Fusion and Integration for Intelligent Systems,2008,2:214-219.

[9]項志宇,鄭路.攝像機與3D激光雷達聯合標定的新方法[J].浙江大學學報:工學版,2009,43(8):1041-1045.

[10]Smith S M,Brady J M.SUSAN-a new approach to low level image processing[J].Computer Vision,1997,23(1):45-78.

[11]毛雁明,蘭美輝,王運瓊,等.一種改進的基于Harris的角點檢測方法[J].計算機技術與發展,2009,19(5):130-133.

[12]楊雪嬌.點云的邊界提取及角點檢測算法研究[D].哈爾濱:哈爾濱工程大學,2009.

[13]Schonemann P H.A generalized solution of theorthogonal procrustes problem[J].Psychometrika,1966,31(1):1-10.

[14]楊暉.圖像分割的閾值法研究[J].遼寧大學學報:自然科學版,2006,33(2):135-137.

[15]曲天偉,安波,陳桂蘭.改進的RANSAC算法在圖像配準中的應用[J].計算機應用,2010,30(7):1849-1851.