多目視覺測量系統(tǒng)的光束法平差改進

別梓釩,張瑞,李維詩

(合肥工業(yè)大學(xué) 儀器科學(xué)與光電工程學(xué)院,安徽 合肥 230041)

0 引言

在航空航天、汽車制造等領(lǐng)域,為了高速、方便、非接觸地對大尺寸曲面工件進行三維測量,三維掃描測量機器人[1]逐漸得到應(yīng)用。傳統(tǒng)的三維掃描測量機器人的工作原理是:三維激光掃描測頭固定在工業(yè)機器人關(guān)節(jié)臂末端,工業(yè)機器人按照規(guī)劃路徑運動,帶動激光掃描測頭掃描工件獲取點云數(shù)據(jù)。由于機器人存在裝配誤差、慣性滯后,機器人末端的定位精度會受到限制,影響測量精度。采用多目視覺測量系統(tǒng)對三維掃描測頭進行動態(tài)測量[2]可以消除機器人末端定位精度的影響。

攝影測量中基于共線方程的三維重建易受噪聲影響,通常采用光束法平差(Bundle Adjustment,BA)對相機參數(shù)和三維坐標初值進行整體的非線性優(yōu)化,以獲得更精確的測量結(jié)果[3]。傳統(tǒng)光束法平差本質(zhì)上是求解非線性最小二乘問題,一般以被測點在像平面上的重投影誤差作為誤差函數(shù),再以一定的最優(yōu)化準則修正相關(guān)參數(shù)。許多學(xué)者對光束法平差在坐標測量領(lǐng)域內(nèi)的應(yīng)用進行了研究與改進,周維虎等人[4]運用光束法平差對激光跟蹤儀的精度進行了評定,證明了光束法平差對激光跟蹤儀的精度評定正確可行。郭迎鋼等人[5]在激光跟蹤儀光束法平差中引入馬氏距離,建立起抗差馬氏光束法平差模型,提升了處理精度。趙帥華等人[6]提出了BFGS-GN法,提升了光束法平差對不同類型初值的魯棒性。徐振亮等人[7]采用軸角法代替歐拉角來描述相機的空間位姿,減少了光束法平差在迭代過程中的計算量,提升了運算效率。

在本文搭建的多目視覺系統(tǒng)中,由于相機與標志點之間的距離變化較大,標志點測量結(jié)果在空間中的定位誤差難以評價,以二維像平面上的重投影誤差作為誤差函數(shù)來表征三維空間點的定位精度并不恰當;另一方面,受標定精度和鏡頭畸變的影響,在迭代計算過程中,光束法平差的修正主要體現(xiàn)在相機外參數(shù),迭代步長在三維坐標上的修正不明顯。

為解決上述問題,本文在傳統(tǒng)光束法平差的誤差方程中引入攝影比例尺,將標志點在二維圖像平面上的重投影誤差映射至三維空間,建立新的誤差方程和目標函數(shù),并將參數(shù)的優(yōu)化分為兩步,先修正經(jīng)標定算法得到的相機內(nèi)、外參數(shù),再以優(yōu)化后的內(nèi)、外參數(shù)作為真值,迭代計算三維坐標,加強三維坐標值的修正。最后利用本文搭建的多目視覺測量系統(tǒng)進行實驗,驗證改進后的光束法平差的精度。

1 多目視覺測量系統(tǒng)介紹

本文搭建的多目視覺測量系統(tǒng)的示意圖如圖1所示,該系統(tǒng)主要由視覺傳感器、專用圖像處理系統(tǒng)[8]和計算機三部分組成。視覺傳感器由4個CMOS相機組成(編號分別為1,2,3,4),以1號相機的相機坐標系作為整體測量環(huán)境的世界坐標系,4臺相機采用交向攝影方式環(huán)繞布置在測量現(xiàn)場上方,獲取掃描測頭上的標志點圖像,作為整個系統(tǒng)的信息輸入來源;專用圖像處理系統(tǒng)采用基于FPGA開發(fā)的硬件系統(tǒng),用于實時、高速地進行圖像處理,提高視覺系統(tǒng)的整體處理效率;計算機作為上位機控制視覺傳感器、專用圖像處理器,接收數(shù)據(jù)后進行三維重建,并輸出、顯示最后的計算結(jié)果。

圖1 多目視覺跟蹤系統(tǒng)

2 多目視覺測量系統(tǒng)光束法平差

2.1 系統(tǒng)三維重建原理

本系統(tǒng)利用四臺相機對掃描測頭四周的編碼標志點進行同步測量,通過光束法平差對系列參數(shù)進行非線性優(yōu)化,得到標志點的三維坐標值。三維坐標初值計算基于共線方程,本系統(tǒng)的共線方程為

光束法平差以被測點的重投影誤差作為誤差方程,定義如下

式中:fij為第i個標志點在第j個相機像平面上的重投影誤差,像素;為第i個標志點在第j個相機內(nèi)的像素坐標值,像素;(u′ij,v′ij)為第i個標志點在第j個相機像平面上的重投影點像素坐標值,像素。

2.2 光束法平差改進

由于相機成像時物點距離相機光心的物距遠大于相機主距,每條成像光線在像平面上的微小偏差會通過攝影比例尺[9]明顯放大,測量時易造成空間定位誤差,如圖2所示。攝影比例尺m定義如下

圖2 攝影比例尺

式中:Z為物點和相機光心在光軸方向上的直線距離,mm;f為相機主距,mm。

在實際應(yīng)用中,掃描測頭處于不斷運動的狀態(tài),相機與標志點之間的距離變化較大,不同成像系統(tǒng)的攝影比例尺也不同。當標志點與各相機之間的距離相差過大時,根據(jù)式(3),成像平面上相同大小的重投影誤差所對應(yīng)的空間定位誤差也會明顯不同。此時,不同成像系統(tǒng)的重投影誤差對空間定位誤差的評價無法統(tǒng)一在相同尺度上。常規(guī)光束法平差以成像平面的重投影誤差作為誤差方程,不適用于相機與標志點距離變化較大時的三維重建。

為將各成像系統(tǒng)的空間定位誤差統(tǒng)一在同一尺度下,本文在光束法平差的誤差方程基礎(chǔ)上引入攝影比例尺,以空間定位誤差作為新的誤差方程。由于重投影誤差以像素為單位,空間定位誤差以mm為單位,將相機在像平面x,y軸方向上的主距(fx,fy)代入式(3),得到本系統(tǒng)的攝影比例尺mx,my,即

將式(4)中的攝影比例尺代入式(2)中,得到改進后光束法平差的誤差方程為

式中:f′ij為空間定位誤差,表示第i個物點在空間中與第j個圖像平面的成像光線之間的距離,mm。

在光束法平差的計算中,參與平差的初值受鏡頭畸變和相機標定精度的影響較大,因此迭代步長的修正更多地體現(xiàn)在相機參數(shù)上,為加強光束法平差對三維坐標的優(yōu)化,本文在式(5)的基礎(chǔ)上,將參與光束法平差的平差參數(shù)分為兩部分,分步進行優(yōu)化平差,即

式中:S1為第一步平差的參數(shù)向量;S2為第二步平差的參數(shù)向量;n為參與重建的相機數(shù)量;m為參與重建的標志點數(shù)量;C1～C n為各相機的參數(shù)向量;P1～P m為各標志點的三維坐標向量。

利用LM算法對平差參數(shù)進行非線性優(yōu)化,迭代計算的目標函數(shù)定義如下

式中:F為參與重建的所有標志點的總空間定位誤差,mm;m為參與重建的標志點數(shù)量;n為參與重建的相機數(shù)量。

根據(jù)式(7),在第一步平差過程中,迭代計算獲得高精度的相機參數(shù);在第二步平差過程中,將修正后的相機參數(shù)作為真值,迭代計算標志點三維坐標,最終完成對標志點的三維坐標求解。

3 實驗與結(jié)果分析

為了驗證改進后光束法平差對空間坐標的處理精度,本文利用多目視覺跟蹤系統(tǒng)對Creaform公司C-Track光學(xué)動態(tài)跟蹤系統(tǒng)的一維基準尺(如圖3)進行測量。一維基準尺上粘貼有反光標志點,標志點中心之間的直線距離經(jīng)過高精度標定得到。該標定尺寸作為本文實驗的參考值,參考值及標準不確定度如表1所示。

圖3 C-Track系統(tǒng)一維基準尺

表1 C-Track系統(tǒng)一維基準尺數(shù)據(jù) mm

本系統(tǒng)中4臺相機的公共視場范圍較小,且標志點大小在相機采集圖像中所占比例極小,在保證標志點被準確提取的前提下,相機在沿光軸方向上的有效測量距離為1.5～2.5 m。在相機的公共視場以及相機的有效測量距離內(nèi),將一維基準尺以不同姿態(tài)在水平、縱深方向上的不同位置進行擺放,采集標志點圖像。

本系統(tǒng)中相機內(nèi)、外參數(shù)初值由張正友標定法對相機進行標定獲得,標志點三維坐標初值由空間前方交會法計算獲得。在剔除標志點未被識別等無效圖像組后,經(jīng)過三維重建和平差優(yōu)化后,獲得三組對d1和d2的測量數(shù)據(jù),每組50個測量值,計算得到每組的算術(shù)平均值及算術(shù)平均值標準差。表2為重建初值的數(shù)據(jù)處理結(jié)果,表3和表4為經(jīng)常規(guī)光束法平差和改進后光束法平差優(yōu)化后的數(shù)據(jù)處理結(jié)果。

表2 重建初值數(shù)據(jù)處理結(jié)果 mm

表3 光束法平差數(shù)據(jù)處理結(jié)果 mm

表4 改進光束法平差數(shù)據(jù)處理結(jié)果 mm

根據(jù)表2～表4中的數(shù)據(jù)可知,在測量距離d2時,重建初值、光束法平差和改進光束法平差的σˉxi較為接近,但在測量距離d1時,重建初值的σˉxi整體大于光束法平差的σˉxi,光束法平差的σˉxi整體大于改進后光束法平差的σˉxi。這是因為距離d1較長,在擺放基準尺時,標志點更靠近相機的視場邊緣,受鏡頭畸變影響較大,而距離d2較短,所采集圖像中d2的標志點受畸變影響相較d1更小,具有更好的迭代初值。

根據(jù)表2～表4中的算術(shù)平均值,計算得出d1,d2在3組測量列中的加權(quán)算術(shù)平均值、參考值偏差及算術(shù)平均值標準差,如表5和表6所示。

表5 d1數(shù)據(jù)處理結(jié)果 mm

表6 d2數(shù)據(jù)處理結(jié)果 mm

表5中三種方法的參考值偏差均為負值,這是因為本系統(tǒng)利用棋盤格對相機進行標定,由于棋盤格相對于整個視場環(huán)境較小,標定過程中難以獲取足夠多的視覺信息,影響了相機畸變參數(shù)的標定。由于距離d1較長,整體的實驗測量中,標志點三維坐標的求解受鏡頭徑向畸變影響較大,從而導(dǎo)致距離d1的測量值整體上小于參考值。

綜上所述,在對一維基準尺的長度測量實驗中,對于長度d1,相較常規(guī)光束法平差,改進后光束法平差處理結(jié)果的參考值偏差減小了52.7%,算術(shù)平均值標準差減小了59.9%;對于長度d2,相較常規(guī)光束法平差,改進后光束法平差的參考值偏差減小了28.7%,算術(shù)平均值標準差減小了26.3%。由此可知,在兩種長度的測量上,改進后光束法平差的處理精度相較常規(guī)光束法平差有顯著提升。

4 結(jié)論

針對多目視覺測量系統(tǒng),研究了多目視覺的三維重建原理和光束法平差原理,為了更好地表征本系統(tǒng)在三維空間中的定位誤差,以及解決三維坐標值在迭代過程中修正不明顯的問題,本文對傳統(tǒng)光束法平差進行了改進,引入攝影比例尺建立新的誤差方程并分步優(yōu)化相機參數(shù)和三維坐標。實驗結(jié)果表明:在一維基準尺的長度測量中,傳統(tǒng)光束法平差測量結(jié)果與參考值偏差小于0.600 mm,標準差小于0.300 mm,改進后光束法平差測量結(jié)果與參考值偏差小于0.300 mm,標準差不大于0.110 mm,證明本文提出的方法有效地提升了多目視覺測量系統(tǒng)的測量精度,滿足三維掃描測量機器人系統(tǒng)的應(yīng)用需求。由于本文采用LM算法進行非線性優(yōu)化,系統(tǒng)實驗過程中求解每組數(shù)據(jù)的迭代次數(shù)一般在30～50次之間,迭代效率較低,未來可以在最優(yōu)化算法方面展開進一步的研究,提升光束法平差處理數(shù)據(jù)的效率,推動三維測量技術(shù)提升。