基于立體機器視覺的動目標空間位姿測試研究

第一作者歹英杰男，碩士生，1992年生

通信作者汪偉男，教授，1963年生

基于立體機器視覺的動目標空間位姿測試研究

歹英杰，汪偉，鄧士杰，蘇續軍

(軍械工程學院， 石家莊050003)

摘要：針對動態目標振動位姿測試問題，研究平行光軸立體視覺測試及標定模型，建立非接觸動態目標空間位姿測試系統。通過雙CCD拍攝目標靶振動圖像，據目標點像素位置信息獲得目標點空間坐標，再由像素始末位置變化求解點偏移量，進而求出動目標空間位姿。通過靜、動態試驗驗證，測量精度約為0.1 mm，相對誤差小于5%，滿足工程測試要求。結果表明，測試系統結構緊湊，測量精度高，適用性強，能實現位姿測試智能化及數據分析處理自動化，可用于測量三維空間中目標的運動參數及空間姿態等。

關鍵詞：機器視覺；平行光軸；動態目標；位姿測試

收稿日期：2014-04-18修改稿收到日期：2014-08-29

中圖分類號:TP391文獻標志碼：A

Position and posture measurement of dynamic target based on stereo machine vision

DAIYing-jie,WANGWei,DENGShi-jie,SUXu-jun(Ordnance Engineering College, Shijiazhuang 050003, China)

Abstract:The testing and calibration model of the parallel optical axis stereo vision was discussed and a non-contact measurement system for dynamic target’s position and posture was established. In the measurement system, double CCDs were used to capture vibration images of the target, the target pixel position information was extracted to calculate the spatial coordinates of the target point, then according to the target pixel position changes during the whole process, the displacement variation in three dimensions was calculated and finally, the target’s position and posture were solved. Verified by the static and dynamic experiments, the results show that the measurement accuracy is about 0.1mm and the relative error is less than 5%, meeting the engineering test requirements. The measurement system has the features of compactness, high accuracy and applicability. It can achieve the purposes of test intellectualization and data analysis automation. It can be widely used to measure objectives’ three-dimensional space motion parameters and space gesture in engineering tests.

Key words:machine vision; parallel optical axis; dynamic target; position and posture measurement

光電系統定型試驗涉及軍事、航天、海上運輸及陸上交通等眾多領域，振動環境模擬仿真試驗為光電系統定型試驗的關鍵環節[1]。物體受載荷激勵會產生受迫振動，振動幅度(撓度)及運動狀態為評價其安全狀況的重要參數，準確測量該參數對客觀評價系統性能具有舉足輕重作用[2]。工程振動測試中，測試手段與方法較多，據測量過程的物理性質可分為機械測量法[3]、電測法[4]、光學測量法[5]三種。機械測量法通過振動傳感器將工程振動參量轉換成機械信號，再經機械系統放大后測量、記錄，常用儀器有杠桿式測振儀、蓋格爾測振儀，機械測量法現場測試較簡單方便，但該法能測量的頻率較低，精度較差；電測法通過將工程振動參量轉換成電信號，經電子線路放大后顯示、記錄。電測法要點在于先將機械振動量轉換為電量(電動勢、電荷、及其它電量)進行測量，從而獲得所需測量的機械量；光學測量法通過將工程振動參量轉換為光學信號，經光學系統放大后顯示、記錄，如相機、讀數顯微鏡及激光測振儀等。前兩項技術特點為接觸式測量，平臺振動頻率較高時，位移傳感器等可能會因振動或響應帶寬影響，導致測試精度降低。因此須研究抗振、頻響寬、精度高的振動位姿測試技術。

機器視覺技術為光電測量系統中基于光學測量基礎復合數字化的現代測量技術。CCD(Charge Coupled Device)為機器視覺技術中最重要的組成部分，可作為接觸式測量方法的有效補充，由于該方法不直接接觸被測目標，適應范圍較廣。故CCD成像位姿測試技術頗受重視，具有非接觸測試、避免振動影響等特點；若選擇合適采集頻率，可實現高頻測試；以像元為基本測試單元，測試精度較高。

本文基于線性CCD成像測量技術建立平行光軸立體視覺測試及標定模型，通過雙CCD拍攝目標靶振動圖像，對所得圖像進行處理提取目標點像素位置信息，求出目標點空間坐標；據目標點像素始末位置變化求解點偏移量，進而計算動目標六自由度位姿。通過對運動模擬器分別進行靜、動態試驗驗證，建立動態目標空間位姿測試系統，實現位姿測試智能化及數據分析處理自動化。

1系統組成及測量原理

1.1系統組成

測試系統組成見圖1，包括計算機一臺、采集處理模塊CORE一個、CORE直流19 V電源一個、e-SATA線一根、面陣CCD兩個(2048×1088)、鏡頭兩個(HF7518V型)、相機電源線兩根(8pin公頭，PGR接法，便攜電源，有Trigger及Strobe信號，10 m)、相機信號線2根(10 m)、相機安裝調整座兩組、雙目CCD安裝支架一個、APSM25A型多自由度位移平臺、線位移振動實驗臺、標定靶及實心圓陣列目標靶。兩相機與調整座固連，安裝于雙目CCD支架上，主要用于對目標瞄準及測量；計算機系統由PC與圖像處理軟件CoreView組成，主要用于對CCD圖像采樣數據實時觀測、采樣及存儲記錄。

圖1　測試系統組成 Fig.1 Test system components

1.2測量原理

用相機拍攝物體時，物體反射的光線通過相機鏡頭透射到CCD上，CCD曝光后，被測物體的光信息通過光學系統在光敏面上形成光學圖像，同時在感光元件上激發出電荷，將光信息轉換成與光強成比例的電荷量，CCD會收集一次成像產生的電信號統一輸出到放大器，經放大、濾波的電信號被送到A/D端口，由A/D將電信號(此時為模擬信號)轉換成數字信號，用一定頻率的時鐘脈沖驅動CCD，在CCD輸出端即可得到被測物體的視頻信號[6]。視頻信號中離散電壓信號大小對應感光元件接收的光強強弱，信號輸出時序對應感光元件順序。該視頻信號僅為圖像數據，如要生成數字圖像，還需將圖像數據輸到數字信號處理器(DSP)中進行白平衡處理、色彩校正等后期處理，再編碼成相機支持的分辨率、圖像等數據格式，才能存儲為圖像文件。通過圖像處理對保存的圖像文件進行二值化或圖像分割后從背景中分離出被測目標，即可為進一步數據處理、分析做準備。

若不考慮相機畸變，則相機線性模型即為針孔模型[7]。據針孔成像原理，設被測物尺寸為Y，像高為y，物體距鏡頭中心距離(物距)為L，透鏡焦距為f，相鄰像元間距為d，像高占據像素數為N，即y=Nd。由透鏡成像公式，得

(1)

典型的線性CCD測量系統原理示意圖[8]見圖2。該測量過程包括光學成像、圖像信號輸出、二值化處理確定圖形輪廓、測定輪廓間像素數、按測量公式解算被測參數。

圖2　線性CCD測量系統原理圖 Fig.2 Linear CCD measuring system schematic

2平行光軸立體視覺目標空間位姿解算

2.1平行光軸立體視覺模型建立及標定

在雙目視覺模型[9-10]中通常包含4個坐標系，即①作為基準坐標系描述攝像機及環境中所有物體位置的世界坐標系(Xw,Yw,Zw)；②以攝像機光心為原點O，攝像機光軸為Zc軸，Xc，Yc軸分別與圖像x，y軸平行的攝像機坐標系(Xc,Yc,Zc)；③圖像中以像素(0,0)為原點、像素為單位的像素坐標系(u,v)；④圖像中以攝像機光軸與圖像平面交點為原點，毫米為單位的圖像坐標系(x,y)。

圖3　平行光軸雙目立體視覺測算模型 Fig.3 Calculation model of parallel optical axis binocular stereo vision

由圖3，A，B分別為兩個CCD成像平面；Za，Zb分別為相機A，B的光軸；Oa，Ob分別為兩相機鏡頭中心；o1，o2分別為兩相機圖像坐標系中心。設A，B在同一平面內，兩個CCD像距Oao1=Obo2=f，兩相機鏡頭中心距離OaOb等于基線長度D。圖中有3個坐標系，Oa-XaYaZa及Ob-XbYbZb為兩攝像機坐標系；o1-x1y1，o2-x2y2為成像平面A，B的圖像坐標系；世界坐標系與相機A坐標系Oa-XaYaZa重合。P為空間任意一點，在A中的成像點為p1，在Oa-XaYaZa坐標系下坐標為(X1,Y1,Z1)，在o1-x1y1坐標系下坐標為(x1,y1)；在B中的成像點為p2，在Ob-XbYbZb坐標系下坐標為(X2,Y2,Z2)，在o2-x2y2坐標系下坐標為(x2,y2)，則空間點P在相機A，B中坐標可表示為

(2)

且有

D=X1-X2,Y=Y1=Y2,Z=Z1=Z2

(3)

聯立式(2)、(3)得空間點P的世界坐標(X,Y,Z)為

(4)

(5)

式中：dx，dy為像元相應方向尺寸。

聯立式(4)、(5)，即可通過兩相機所拍目標在圖像中像素位置及基線長度D解出目標空間坐標。該雙目立體視覺模型成立的前提是光軸平行且等高，因此，就如何標定兩相機光軸空間位置關系建立數學模型。若標定兩相機光軸平行，設存在空間兩點M，N，在世界坐標系中坐標分別為M(XM,YM,ZM)，N(XN,YN,ZN)，且XM=XN。此兩點在相機A圖像坐標系上成像為ma(xma,yma)及na(xna,yna)，在相機B圖像坐標系上成像為mb(xmb,ymb)及nb(xnb,ynb)，見圖4。如果兩相機光軸平行，則數學模型為

xma=xna,xmb=xnb

(6)

當靶標置于兩相機共同視場范圍內任何位置時，上式均滿足，則兩相機光軸平行標定完成。

圖4　兩相機光軸平行標定模型 Fig.4 Calibration model of two camera optical axis parallel

若標定兩相機光軸等高，設存在空間一點M(X,Y,Z)，在相機A圖像坐標系上成像為ma(xma,yma)，相機B圖像坐標系上成像為mb(xmb,ymb)，見圖5。如果兩相機光軸等高，則數學模型為

yma=ymb

(7)

靶標處于兩相機共同視場范圍內任何位置，上式均滿足，則兩相機光軸等高標定完成。

圖5　兩相機光軸等高標定模型 Fig.5 Calibration model of two camera optical axis contour

2.2目標空間位姿求解

由平行光軸雙目立體視覺模型可解出目標點空間坐標，通過不同時刻目標點狀態可得點偏移量。若已知平臺上3點振動前后空間坐標，據空間向量可得各自偏移量，為確定平臺姿態，需得出動后坐標系相對動前坐標系的旋轉矩陣及平移向量，即需確定平臺3個坐標軸方向余弦及原點位移量。

圖6　動坐標系空間變換示意圖 Fig.6 Schematic of dynamic coordinate space transformation

在坐標系A′-x′y′z′中，3點坐標分別為A′(xA′,yA′,zA′)、B′(xB′,yB′,zB′)、C′(xC′,yC′,zC′)，則

x′軸向量為

y′軸向量為

z′軸向量為

(8)

運動前后坐標原點位移量為AA′，即

(9)

3實驗驗證及數據分析

3.1實驗驗證

為驗證本文方法的有效性，在實驗室APSM25A型號多自由度位移平臺與線位移振動臺上分別進行靜、動態測量實驗。實驗測量系統由計算機、兩個面陣CCD、采集處理模塊、9×11的實心圓陣列標定靶及70 mm×70 mm目標靶。靶標固定在位移平臺上，二者構成同步運動整體。控制位移試驗臺在X、Y、Z向平動導軌，帶動靶標整體產生運動，通過面陣CCD拍攝記錄靶標不同位置圖像，算出靶標位移及姿態。本實驗系統所用面陣CCD相機像元尺寸為5.5 μm×5.5μm，像素數2 048×1 088，幀率254 fps，通過26 pins相機接口線與記錄設備CORE進行通信，CORE通過e-SATA接口與計算機連接，實驗步驟如下：

(1)硬件準備，將計算機、記錄設備CORE及相機按正確方式連接，將標定靶固定于位移試驗臺。

(2)打開計算機，運行CoreView記錄軟件，調節相機焦距及光軸平行等高，使標定靶圖像清晰、位置合理。

(3)兩相機同時拍攝6～8幅不同姿態的標定靶圖像，將同側CCD所拍圖像載入程序，對所得原始圖像設定動態灰度閾值，進行二值化處理，采用Canny算子提取圓外部輪廓[12]，利用高斯擬合法求出實心圓陣列圓心像素坐標[13]。

(4)據張氏標定法[14]分別對兩相機進行標定，解算得兩相機內部參數f1，f2，u0，v0及外部參數旋轉矩陣R，平移矩陣t[15]，標定完成。

(5)將目標靶安裝于位移試驗臺，兩相機拍攝記錄目標靶初始位置基準圖像，開啟位移試驗臺，再拍攝記錄目標靶運動狀態工況圖像，將靶標沿三維方向分別設定不同最大位移，共做5組實驗，每組記錄10幅圖像，關閉位移試驗臺。

(6)分別對始末狀態圖像進行步驟(3)圖像處理，得到目標靶實心圓陣列圓心像素坐標，利用式(4)解出目標靶特征點不同時刻空間坐標，進而解出運動平臺空間位姿。

(7)改變位移試驗臺振動參數，進行下一組試驗，直至結束。

圖7　動態目標空間位姿測試系統 Fig.7 Position and posture measurement system of dynamic target

3.2實驗結果及分析

3.2.1靜態試驗

靜態試驗在實驗室APSM25A型多自由度位移平臺上進行。分別進行單軸、三軸方向測試。位移平臺、目標靶簡圖及主要尺寸見圖8。位移平臺最大量程為25 mm。由于單軸方向測試結果規律相同，限于篇幅，僅分析x軸與3軸測試結果，各組設置位姿及程序計算結果、相對誤差見表1、表2。其中，參考值通過位移平臺平動導軌千分尺所測數據；測量結果通過本文算法對所拍攝圖像解出的目標靶位移變化量；誤差指測量結果與參考值之間，測量值大于參考值為正，反之為負。

圖8　靜態試驗圖(單位mm) Fig.8 Static test chart (unit: mm)

表1　移動x軸靜態試驗測量結果(單位：mm)

表2　移動xyz三軸靜態試驗測量結果(單位：mm)

靜態試驗數據處理結果見圖9。由圖9看出，隨x軸位移量增大相對誤差減小。伴隨x軸方向運動，y，z軸方向亦出現位移變化量，此由數學模型與算法本身所致，但該附加引起的計算結果均較小。x軸方向最大絕對誤差小于0.015 1 mm，最大相對誤差小于1.51%。

圖9　移動x軸靜態試驗結果曲線 Fig.9 Static test result curves of moving x-axis

靜態試驗數據處理結果見圖10。由圖10看出，隨xyz軸方向位移量增大，絕對誤差有所增大，相對誤差呈減小趨勢，最大絕對誤差小于0.128 9 mm，最大相對誤差小于3.63%。

圖10　移動xyz軸靜態試驗結果曲線 Fig.10 Static test result curves of moving xyz-axis

3.2.2動態試驗

動態試驗在線位移振動臺上進行測試，振動平臺與目標靶簡圖及主要尺寸見圖11。振動平臺通過連桿繞電機沿y軸做正弦規律振動，電機轉速可調，頻率范圍從0～50 Hz，設置測試平臺轉速840 r/min，幅值21 mm，此時平臺運動最大速率為923.6 mm/s，相機幀率設為254 fps，所拍圖像實心圓邊緣清晰、與背景反差明顯，滿足試驗要求。現選取振動平臺兩個周期圖像，處理結果見表3。

表3　動態試驗測量結果(單位：mm)

圖11　動態試驗圖(單位：mm) Fig.11 Dynamic test chart(unit: mm)

動平面中心點坐標位移曲線見圖12。由圖12看出，動平面中心點y坐標位移曲線有兩條，其中紅線為設置運動的理論曲線，藍線為解出的運動曲線，動態試驗所得曲線運動規律與理論曲線基本一致，誤差主要在波谷處，即為小位移測量。

圖12　動平面中心點坐標位移曲線 Fig.12 Displacement curves of dynamic plane center coordinates

動平面繞各坐標軸旋轉角度值曲線見圖13。由圖13看出，平臺在運動過程中除y軸方向運動外亦會導致其它坐標軸方向的運動。此附加運動中繞y軸轉角量稍大，繞x，z軸轉角量均較小。說明平臺在沿y軸方向振動時會引入繞y軸稍大的轉角量，此因線位移臺振動時，轉桿振動方向與平臺幾何中心不能保證完全重合，因此會造成平臺相對轉桿做輕微擺動。

圖13　動平面繞各坐標軸旋轉角度值曲線 Fig.13 Angle value curves of dynamic plane rotate each axis

綜上所述，無論靜態或動態試驗，隨運動位移量增大測量結果絕對誤差有所增大，但相對誤差呈減小趨勢，且最大誤差出現在小位移測量。造成該現象的原因主要有：①深度信息還原時相機鏡頭徑向畸變引起的誤差，目標在深度方向位移發生變化時單個像素代表的徑向位移較切向位移變化快，畸變校正不易完全還原，因此深度方向的測量誤差會引起整體誤差增大；②背景噪聲(如外界環境光線變化)影響，小位移測量時光線變化造成相機拍攝圖像光斑位置產生微小偏移，使所成圖像不穩定，以至提取實心圓陣列像素中心坐標不準確，該微小偏移在小位移測量時較大位移測量權重大，造成影響明顯。

4結論

(1)基于線性CCD成像測量技術，通過對平行光軸立體視覺測試及標定模型研究，建立非接觸動態目標空間位姿測試系統；通過雙CCD拍攝目標靶振動圖像，據目標點像素位置信息求出目標點的空間坐標，再由像素始末位置變化算出點偏移量，進而解出動目標的空間位姿。通過靜、動態試驗驗證，測量精度約0.1 mm，相對誤差小于5%，滿足工程測試要求。

(2)測試系統結構緊湊，測量精度高，適用性強，可實現位姿測試智能化及數據分析處理自動化，且不受被測目標運動狀態影響，頻響寬，可廣泛用于工程測量三維空間中目標運動參數及空間姿態等領域。由實驗結果知，鏡頭畸變及圖像質量等因素對小位移測量精度影響較明顯。

參考文獻

[1]朱長春,王懋禮,曾啟銘,等.振動環境試驗響應的神經網絡預測方法[J].振動與沖擊,2007,26(4):42-45.

ZHU Chang-chun, WANG Mao-li, ZENG Qi-ming, et al. Neural network prediction for responses of random bivration envirionment tests[J]. Journal of Vibration and Shock, 2007, 26(4):42-45.

[2]李勇,閆維明,陳彥江.基于傾角測試的橋梁變形實時監測研究[J].振動與沖擊,2013,35(5):65-69.

LI Yong, YAN Wei-ming, CHEN Yan-jiang. Bridge deflection real-time monitoring based on inclined angle measurement[J]. Journal of Vibration and Shock, 2013,35(5):65-69.

[3]韓冬,何聞.超低頻標準振動系統基礎設計技術[J].振動與沖擊,2008,27(9):20-22.

HAN Dong, HE Wen. Design of foundation for standard vibration systems with ultra-low-frequency[J]. Journal of Vibration and Shock, 2008,27(9):20-22.

[4]滑廣軍,李強,楊益民,等.某大型超靜定框架的動態應力測試與有限元分析[J].振動與沖擊,2008,27(8):170-172.

HUA Guang-jun, LI Qiang, YANG Yi-min,et al. Dynamic test and finite element analysis of some large-scale statically indeterminate structure[J]. Journal of Vibration and Shock, 2008,27(8):170-172.

[5]Chung H, Liang J, kushiyama S, et al. Digital image process-ing for non-linear system identification[J]. International Journal of Non-linear Mechanics, 2004,39(5):691-707.

[6]常磊,李國寧,金龍旭.基于FPGA的全幀型面陣CCD驅動時序設計[J].光學技術,2006,32:313-316.

CHANG Lei, LI Guo-ning, JIN Long-xu. Design on driving generator based on FPGA technology for CCD full frame area image sensor[J]. Optical Technique, 2006,32:313-316.

[7]Hartley R, Zisserman A. Multiple view geometry in computer vision (2nd Ed)[M].UK:Cambridge University Press, 2003.

[8]張曉玲.遠距離運動物體動態參數測試技術的理論和實驗研究[D].天津：天津大學,2005.

[9]Lenz R K, Tasi R Y. Techniques for calibration of the scale factor and image center for high accuracy 3D machine vision metrology[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1988,10(5):713-720.

[10]Shah S, Aggarwal J K. Intrinsic parameter calibration procedure for a(high 2 distortion) fish 2 eye lens camera with distortion model and accuracy estimation[J]. Pattern Recognition, 1996,29(11):1775-1788.

[11]全燕鳴,黎淑梅,麥青群.基于雙目視覺的工件尺寸在機三維測量[J].光學精密工程,2013,21(4):1054-1061.

QUAN Yan-ming, LI Shu-mei, MAI Qing-qun. On-machine 3D measurement of workpiece dimensions based on binocular vision [J]. Optics and Precision Engineering, 2013,21(4): 1054-1061.

[12]韋海萍,趙保軍,唐林波,等.Canny算法的改進及其硬件的實現[J].光學技術,2006,32(2):263-266.

WEI Hai-ping, ZHAO Bao-jun, TANG Lin-bo, et al. Impr-ovement of Canny algorithm and implementation in hardware [J]. Optical Technique, 2006,32(2):263-266.

[13]劉國棟,劉炳國,陳鳳東,等.亞像素定位算法精度評價方法的研究[J].光學學報,2009,29(12):3446-3451.

LIU Guo-dong, LIU Bing-guo, CHEN Feng-dong,et al. Study on the method of the accuracy evaluation of sub-pixel location operators[J]. Acta Optica Sinica, 2009,29(12):3446-3451.

[14]Zhang Z Y. Flexible camera calibration by viewing a plane from unknown orientations, International Conference on Com-puter Vision(ICCV’99)[C]. Kerkyra: IEEE Xplore Digital Library,1999.

[15]曲學軍,張璐.基于雙目視覺的三維測量方法[J].計算機仿真,2011,28(2):373-377.

QU Xue-jun, ZHANG Lu. 3D measurement method based on binocular vision technique[J]. Computer Simulation, 2011,28(2):373-377.