劉若晨 ,王慶寶 ,趙邦信 ,郭 磊
(1.南京理工大學電子工程與光電技術學院,江蘇南京210094;2.易思維(天津)科技有限公司天津300380)
隨著我國汽車行業在智能制造中的快速發展,在汽車生產中各個環節的檢測測量顯的越發重要。其中在汽車車身匹配環節中,車身外板覆蓋件的間隙測量就是一個重要的評價手段。其測量精度將直接影響到車輛外觀、車內封閉性、外部噪聲大小與開關車門的效果。這些指標都將直接影響用戶的駕車體驗。目前,在絕大多數的汽車廠與零部件廠還是采用傳統手工測量,例如塞尺,Cubing模型以及三坐標機等手段。這些都是通過接觸式的方法進行測量,不僅無法實現零件匹配過程中對間隙的狀態進行實時的測量,而且費時費力。因此如何利用先進的視覺檢測與激光測量技術,客觀地反映間隙的實際狀態成為一個重要的課題。
間隙的測量精度與拍攝角度密切相關[1]。當傳感器以一個角度進行拍攝時,對于間隙內部的信息常常會由于間隙表面的遮擋而無法獲取,導致精度受損。因此需要多個視角的拍攝才可以測量。常用的方法為機器人攜帶傳感器進行多角度拍攝或三維掃描的方法進行測量,其精度很高,在0.1 mm以內[2-3]。但針對傳感器多個位置移動測量的坐標統一常常需要激光跟蹤儀,V-STARS等高精度設備進行輔助測量。成本高,操作困難,標定復雜,使用局限等缺點使得該方法無法在工業現場進行大規模的推廣。結構光系統的測量系統由于其精度高,造價低,柔性高等特點[4]經常被用在平面,棱線,凹槽等高精度測量上,其對寬度的檢測優于0.3 mm[5]非常適合車身間隙的高精度測量。
針對以上問題,本文設計了一個手持式間隙測量系統,將兩個線結構光系統融合到一起。從左右兩邊拍攝間隙,不僅可以有效避免由于視場遮擋導致的數據損失問題,而且加倍了點云密度提高了精度。此測量系統的一個難點就是系統的配準[6-7],常用的雙目配準方法是根據空間中相同點在不同圖像中的坐標來實現其在三維空間中的配準。就加入線結構光的雙目系統來說,其光條提取,光平面的標定誤差將會導致兩個相機獲取的數據在三維空間中的配準精度下降[8-9],因此往往還需再獲取三維數據之后使用點云配準算法進行配準[10-12]。因此文中提出一種基于平面靶標的光平面與外參同時標定的方法,完成系統的配準,免去復雜的點云配準算法,滿足手持式設備實時快速的測量要求。
由于單目可能存在的視野盲區如圖1所示。

圖1 視野盲區圖
本測量系統由兩個相機兩個線結構光構成,其相對位置關系如圖2所示。

圖2 系統結構圖
其中兩個激光器從左右兩邊照射間隙內部,可以獲取其內部更多的信息。左邊相機與左邊激光器構成一個線結構光系統,右邊同樣可以構成一個線結構光系統。通過機械裝置將兩激光器的光平面調節重合后,兩個相機從左右兩邊同時拍攝間隙位置,整體結構如圖3所示。其中攝像機1坐標系為Oc1-Xc1Yc1Zc1,攝像機2坐標系為Oc2-Xc2Yc2Zc2激光條中心一點P在攝像機1坐標系下的位置坐標為P(Px1,Py1,Pz1),根據理想的小孔成像模型可得:

圖3 整體結構圖


根據式(1)可得:

由于P點又在光平面上

因此可以通過式(2)~(4)得出P點在攝像機1下的三維坐標:

因為兩個攝像機均滿足小孔成像理論,所以我們只需獲取兩個攝像機的內參與光平面參數即可求得光條上所有數據點在兩個攝像機坐標系下的三維坐標。
此外如果這兩個攝像機與兩個激光器的相對位置不變,我們可以通過剛體變換將兩個攝像機坐標系統一,即:

其中Rb,Tb為旋轉矩陣和平移矩陣,就可以把攝像機2中點坐標統一到攝像機1中,進行計算。
首先定義一個物體平面使得Z=0,使旋轉矩陣減少一個列向量,根據式(1)~(5)可得圖像點到空間點的射影關系:

其中M為相機內參數矩陣,s為任意非零的尺度因子。設單應性矩陣H,即:

由射影矩陣與R滿足正交特性(r1與r2的點積為0且向量長度相等),可得:

其中B=M-TM-1。
同時得到K個平面靶標圖像,每幅圖像都可以提供(9)、(10)兩個約束條件,當K≥3時就可以從B矩陣中求得相機內參數的封閉解。

將激光條照射在一平面靶標上,假設平面上3個點Pb1~Pb3在世界坐標系下的坐標分別為(0 ,0,0),(1,0,0),(0,1,0),則其在相機坐標系下的坐標可根據Pc1~3=RPb1~3+t求得,由 3點即可確定該的平面方程。因此只需知道該平面相對于攝像機坐標系下的外參再根據式(2)、(3)即可算出該激光條上點在相機坐標系下的三維坐標。再反推只需求得該平面的單應性H,即可通過已知的內參求解外參,即

理論上超過兩個位置的外參求解光平面。
由于所有的點都在光平面上,因此可以在光平面上建立光平面坐標系,并利用剛體變換將攝像機坐標系上點轉換到光平面坐標系中,可以有效的將三維數據轉換為二維平面數據,簡化計算。
由光平面Ax+By+Cz+D=0可得,設,TCP坐標系y軸的單位向量Rx可以基本認為和攝像機坐標系的x軸平行:

TCP坐標系z軸的單位向量Rz為光平面的法向量:

則TCP坐標系x軸的單位向量為:

因此攝像機坐標系與光平面坐標系旋轉矩陣Rs與平移向量Ts為:

利用平面靶標的圓心構造直線,將該圓心直線與光平面相交,攝像機1與攝像機2同時采集圖像。通過Hessian矩陣提取光條的亞像素中心。

分別對a、b求偏導整理并求解方程可由此將光平面圖像坐標擬合直線求解該直線與靶標圓心構造出直線的交點坐標。
通過攝像機1與攝像機2拍攝的交點坐標,通過式(5)求得該交點的在兩相機坐標系三維坐標pi,qi。根據空間剛體變換模型構建方程:

其中ωi代表每個點的權重,這里設為1。將R看作不變量對t進行求導,可得:

車身覆蓋件上間隙檢測位置如圖4所示。線結構光條中心提取是激光三角測量的重要環節[13-14]。首先通過Hessian矩陣提取光條中心[15],因此首先通過圖像分割找出間隙位置,僅對光條彎曲部分進行卷積,其余直線部分采用灰度質心法計算即可。考慮到間隙內部信息可能為橢圓。使用Ramer多邊形逼近算法[16]時的目標函數改為橢圓函數。

圖4 間隙測量圖

如果其擬合誤差小于直線擬合誤差,則認為是橢圓,即:

因此可以得到4個拐點p1~p4,擬合兩橢圓心a,b之間的方向即為測量方向,減去相應的橢圓半徑即為間隙測量值d。
實驗采用ar134相機與7.4 mm焦距的鏡頭。工作距離為80 mm,以相機1為全局坐標系。首先拍攝光刻靶標對相機內參數進行標定,然后通過前后移動3個不同位置拍攝平面靶標對光平面與相機2到相機1的轉換關系(即系統外參數)進行標定,如圖5所示。

圖5 標定實驗圖場景圖

圖6 標定板圖片
通過這10張靶標圖像建立攝像機內參優化校準函數。

其中d(Xd',Xd)為計算投影點到實際投影點的距離。實驗計算出的反投影誤差為0.03 mm,光平面擬合誤差為0.02 mm,均可以滿足該測量需求。實驗測量的間隙測量值是1.4 mm為塞尺測量,精度為0.02 mm。
由于兩激光器為機械調整重合,并不能保證兩激光器發出的光平面完全重合。因此將被測物體前后移動,不在工作距離的時候,激光圖案變粗,但并不滿足高斯分布,而是出現不同程度的上下偏移如圖7所示,這和激光器出瞳的角度也有一定得關系,因此需要利用相機1圖像中的直線段,求解相機2圖像中直線段的點到其平均距離作為修正矩陣,完成點云配準如圖8(c)所示。

圖7 配準前的二維坐標

圖8 配準前、后和修正后的圖像
在點云配準中,我們使用最臨近點間距的平方和來評價點云配準的精度,任取10個位置修正效果如表1。
其中誤差較大是由于兩個相機視場并非完全重合導致,就左右相機對應點之間的歐式距離如圖9,可以看出點云對齊后平均距離為0.03 mm左右。
因為拍攝間隙圖片時不能保證一定垂直與間隙表面,因此在不同角度下拍攝間隙圖片,如表2。實驗結果表明可以在45°角的拍攝范圍內平均誤差小于0.1 mm。

表1 使用修正矩陣后修正效果

圖9 對應點之間的歐式距離

表2 不同角度下的測量結果
本文根據車身覆蓋件間隙的高精度、高魯棒性測量要求,提出一種雙目線結構光測量系統。并介紹了該系統的工作原理,通過圖像一體化標定相機內外參數,構建TCP坐標系將三維數據轉換為二維不僅降低了計算的復雜性還可以通過靶標中心與激光條交點精確求解兩相機坐標系間的轉換關系。并給出了由于激光器機械調整誤差的修正方法。最終完成了間隙測量。該系統在不同位置不同角度下進行測量,在45°拍攝角度以內測量精度達到0.1 mm,魯棒性好。在未來的工作中,將曲率,棱線,平面度,高度差等算法集成進來,可以使得車間工人僅需手握此測量設備便可進行多種測量,另外制作小型化的手持式的檢測系統也是未來發展方向之一。