激光照射性能測(cè)量中異源相機(jī)的標(biāo)定方法

景文博， 黃炳坤， 劉健， 于洪洋

(1.長(zhǎng)春理工大學(xué) 光電工程學(xué)院， 吉林 長(zhǎng)春 130022； 2.長(zhǎng)春理工大學(xué) 電子信息工程學(xué)院， 吉林 長(zhǎng)春 130022)

0 引言

激光照射性能測(cè)試系統(tǒng)通常采用單個(gè)相機(jī)的降級(jí)使用進(jìn)行測(cè)量，可見光靶板和近紅外光斑目標(biāo)成像在同一幅圖像上，可見光和近紅外目標(biāo)清晰度不能同時(shí)得到保證，后期的目標(biāo)檢測(cè)精度低。本文要標(biāo)定的系統(tǒng)是可見光相機(jī)和近紅外相機(jī)作為一個(gè)測(cè)量系統(tǒng)，可見光系統(tǒng)成像具有較強(qiáng)的對(duì)比度和形態(tài)信息，可以準(zhǔn)確快速的對(duì)被測(cè)量目標(biāo)進(jìn)行監(jiān)視、識(shí)別等操作，而近紅外相機(jī)對(duì)近紅外波段的激光成像技術(shù)具有明顯優(yōu)勢(shì)。該系統(tǒng)前端成像部分采用卡塞格林光學(xué)系統(tǒng)進(jìn)行設(shè)計(jì)，在保證測(cè)量精度的同時(shí)可以有效減小測(cè)量系統(tǒng)的體積，并且受光學(xué)鏡頭制造精度及裝調(diào)精度等的影響，目標(biāo)經(jīng)鏡頭成像后通常會(huì)產(chǎn)生不同程度的非線性畸變，需要對(duì)兩個(gè)相機(jī)進(jìn)行標(biāo)定消除畸變；另外，由于可見光相機(jī)和近紅外相機(jī)的安裝、分辨率不同、視場(chǎng)不同均會(huì)產(chǎn)生一定程度的空間透視誤差，需要對(duì)兩個(gè)相機(jī)進(jìn)行空間配準(zhǔn)消除軸線非一致性的影響。

張正友相機(jī)標(biāo)定法[1]廣泛應(yīng)用于單個(gè)大視場(chǎng)短焦距相機(jī)畸變校正；Merras等[2]利用改進(jìn)的遺傳算法對(duì)未知三維場(chǎng)景進(jìn)行參數(shù)自標(biāo)定，該方法適用于相機(jī)內(nèi)部參數(shù)變化較大情況；Ramalingam等[3]提出一種針孔、魚眼、折反射及多相機(jī)網(wǎng)絡(luò)的統(tǒng)一標(biāo)定方法，利用空間中的一組圖像像素和相關(guān)的光線建立相機(jī)模型，根據(jù)圖像像素與空間三維光線的映射關(guān)系求解參數(shù)，可以將相機(jī)的中心、軸向及非中心分開校準(zhǔn)。上述方法主要集中在短焦相機(jī)標(biāo)定，考慮因素過(guò)多，計(jì)算過(guò)程復(fù)雜。Reznicek等[4]提出了相機(jī)校準(zhǔn)的有限元方法；而Manuel[5]提出了基于深度學(xué)習(xí)單圖像標(biāo)定方法，從一個(gè)單一的圖像來(lái)預(yù)測(cè)外在(傾斜和滾動(dòng))和內(nèi)在(焦距和徑向畸變)參數(shù)；孟曉橋等[6-7]在相機(jī)自標(biāo)定方法中提出更具穩(wěn)定性的基于曲線擬合的圓形標(biāo)定法。這些方法均沒(méi)有涉及在遠(yuǎn)距離長(zhǎng)焦距成像系統(tǒng)中如何進(jìn)行相機(jī)標(biāo)定的具體方法。傳統(tǒng)的雙相機(jī)軸線一致性是通過(guò)機(jī)械調(diào)整法完成[8]，一般會(huì)受到裝調(diào)精度的影響。通過(guò)圖像特征的相機(jī)配準(zhǔn)方法主要有：楊琪[9]提出基于復(fù)合特征的異源圖像配準(zhǔn)方法；吳雪[10]在紅外與可見光圖像融合用到基于改進(jìn)多尺度分析的方法；甘健飛[11]用基于目標(biāo)檢測(cè)的方法實(shí)現(xiàn)紅外可見圖像配準(zhǔn)，通過(guò)融合梯度方向的信息和互信息，對(duì)異源圖像運(yùn)動(dòng)目標(biāo)進(jìn)行特征檢測(cè)，從而實(shí)現(xiàn)配準(zhǔn)；Kong等[12]利用結(jié)構(gòu)轉(zhuǎn)移融合方法進(jìn)行紅外和可見光圖像融合，首先構(gòu)建結(jié)構(gòu)轉(zhuǎn)移模型將灰度結(jié)構(gòu)從可見光輸入圖像轉(zhuǎn)移到紅外圖像中，然后執(zhí)行紅外細(xì)節(jié)增強(qiáng)策略來(lái)補(bǔ)充紅外圖像的缺失細(xì)節(jié)。這些方法都是根據(jù)圖像特征在像素坐標(biāo)平面完成的平面配準(zhǔn)，由于該測(cè)量中的可見光相機(jī)和近紅外相機(jī)坐標(biāo)平面存在一定的空間變換關(guān)系，上述方法無(wú)法提供兩個(gè)相機(jī)坐標(biāo)平面的空間變換配準(zhǔn)。在激光照射性能測(cè)量過(guò)程中，共用卡塞格林反射式光學(xué)系統(tǒng)的可見光相機(jī)和近紅外相機(jī)(因?yàn)閮蓚€(gè)相機(jī)作為一個(gè)整體使用，以下稱這個(gè)整體為異源相機(jī))屬于長(zhǎng)焦、遠(yuǎn)距離成像系統(tǒng)，本文要解決異源相機(jī)的畸變校正和軸線一致性配準(zhǔn)問(wèn)題。由于卡塞格林光學(xué)系統(tǒng)帶來(lái)的像差在成像中不可忽略，根據(jù)對(duì)張正友短焦、近距離成像相機(jī)標(biāo)定方法的改進(jìn)，提出一種長(zhǎng)焦、遠(yuǎn)距離的相機(jī)標(biāo)定方法，對(duì)成像圖像進(jìn)行畸變校正；同時(shí)，通過(guò)在室內(nèi)采用網(wǎng)格目標(biāo)板對(duì)可見光和近紅外相機(jī)的空間變換進(jìn)行配準(zhǔn)，完成雙相機(jī)光軸一致性配準(zhǔn)。

1 相機(jī)標(biāo)定和配準(zhǔn)方法

激光照射性能測(cè)量系統(tǒng)如圖1，由卡塞格林反射結(jié)構(gòu)、光學(xué)透鏡、直角分光棱鏡、窄帶濾光片、反射鏡、可見光相機(jī)、近紅外相機(jī)等組成。

圖1 激光照射性能測(cè)量光學(xué)系統(tǒng)示意圖Fig.1 Schematic diagram of laser irradiation performance measurement optical system

可見光的靶板目標(biāo)和近紅外的光斑目標(biāo)同時(shí)經(jīng)過(guò)卡塞格林反射結(jié)構(gòu)傳播至測(cè)量系統(tǒng)中，經(jīng)過(guò)分光棱鏡分為兩路，分別獲得可見光靶板和近紅外光斑圖像。

1.1 相機(jī)標(biāo)定

本文選用擴(kuò)展的針孔模型作為相機(jī)模型，該模型可以得到世界坐標(biāo)系到圖像坐標(biāo)系的映射關(guān)系[11]。定義世界坐標(biāo)系為OwXwYwZw，可見光圖像像素坐標(biāo)系為Ovuvvv. 在本文中，可見光和近紅外相機(jī)的標(biāo)定方法相同，以下只對(duì)可見光相機(jī)標(biāo)定進(jìn)行討論。

遠(yuǎn)距離成像相機(jī)標(biāo)定中可以忽略透視畸變的影響，本文在張正友相機(jī)標(biāo)定方法[1]的基礎(chǔ)上，使相機(jī)內(nèi)參數(shù)中扭曲因子為0，則可見光圖像坐標(biāo)系與世界坐標(biāo)系的轉(zhuǎn)換關(guān)系[13-14]可表示為

(1)

1.1.1 內(nèi)外參數(shù)求解

一般情況下，假設(shè)物體平面在世界坐標(biāo)系中的Zw坐標(biāo)為0. 可見光相機(jī)的圖像與三維空間點(diǎn)單應(yīng)性關(guān)系為

(2)

式中：rvok(k=1,2,3)是旋轉(zhuǎn)矩陣Rvo第k列。

當(dāng)Zw=0，(2)式中的單應(yīng)性矩陣可以表示為

(3)

將單應(yīng)性矩陣Hv表示為3個(gè)列向量：

(4)

式中：λv為任意標(biāo)量。

由(4)式可求得相機(jī)外參數(shù)為

(5)

相機(jī)三維空間的運(yùn)動(dòng)，各個(gè)旋轉(zhuǎn)單位向量相互正交，即rvo1和rvo2是單位正交的向量，于是有

(6)

(7)

因?yàn)镹v為對(duì)稱矩陣，只需提取出其中的6個(gè)元素，即令nv=[Nv11,0,Nv22,Nv13,Nv23,Nv33]T，然后可以得到：

(8)

式中：wvij=[hi1hj1hi1hj2+hi2hj1hi3hj2hi3hj1+hi1hj3hi3hj2+hi2hj3hi3hj3]T，將(8)式代入(6)式可得

(9)

在標(biāo)定過(guò)程中，采集m張圖像，迭代可以得到：

Bvnv=0，

(10)

式中：Bv是一個(gè)2m×6矩陣。當(dāng)m=3，通常能得到一個(gè)唯一解nv；若m>3，為超定方程，通過(guò)最優(yōu)化方法即可求得最優(yōu)解nv.

(11)

根據(jù)求得的相機(jī)內(nèi)參數(shù)，結(jié)合(5)式即可確定可見光相機(jī)的外參數(shù)。

1.1.2 畸變參數(shù)的求解

相機(jī)鏡頭固有的透視失真和復(fù)雜的光學(xué)系統(tǒng)裝調(diào)精度不高的問(wèn)題，導(dǎo)致理想成像點(diǎn)沿著徑向偏移。為了提高標(biāo)定精度，同時(shí)考慮理想成像點(diǎn)沿著徑向和切向的偏移影響，如圖2所示。

圖2 徑向畸變drv和切向畸變dtvFig.2 Radial distortion drv and tangential distortion dtv

(12)

式中：(uv,vv)、(u′v,v′v)分別為可見光圖像的理想成像點(diǎn)坐標(biāo)和畸變成像點(diǎn)坐標(biāo)；kv1、kv2、kv3為可見光相機(jī)的畸變參數(shù)；pv1、pv2為可見光切向畸變參數(shù)。這里定義畸變向量kv=[kv1,kv2,kv3,pv1,pv2]T，將(12)式畸變點(diǎn)與理想點(diǎn)之間的關(guān)系定義為

(u′v,v′v)=ψv{(uv,vv),kv},

(13)

式中：ψv表示理想點(diǎn)到畸變點(diǎn)之間的映射關(guān)系。

(12)式通過(guò)畸變參數(shù)說(shuō)明畸變點(diǎn)與理想點(diǎn)之間的關(guān)系，結(jié)合(12)式根據(jù)圖像坐標(biāo)系之間的轉(zhuǎn)換關(guān)系可以得到非齊次線性方程組：

Dvkv=dv，

(14)

式中：Dv為含有圖像采樣點(diǎn)和主點(diǎn)坐標(biāo)的矩陣；dv為含有圖像采樣點(diǎn)對(duì)應(yīng)的理想點(diǎn)坐標(biāo)的向量。通過(guò)正規(guī)方程組解法得到最小二乘解[15]：

(15)

上面求解的相機(jī)的內(nèi)參數(shù)和外參數(shù)并不是相機(jī)參數(shù)的準(zhǔn)確值，獲得的解是有偏差的，求得畸變參數(shù)后，就獲得了擴(kuò)展的針孔模型的全部初始參數(shù)，下一步使實(shí)際圖像檢測(cè)的像素點(diǎn)與成像模型預(yù)測(cè)的像素點(diǎn)應(yīng)用LM迭代優(yōu)化算法[12]對(duì)參數(shù)進(jìn)行優(yōu)化：

(16)

式中：q為參與計(jì)算的點(diǎn)的個(gè)數(shù)；mvi為實(shí)際圖像檢測(cè)到的像素點(diǎn);vi是空間三維點(diǎn)Pvj經(jīng)過(guò)沒(méi)有進(jìn)行優(yōu)化前的參數(shù)投影到圖像上的點(diǎn)。最優(yōu)化的結(jié)果就是可見光相機(jī)標(biāo)定的結(jié)果。近紅外相機(jī)的標(biāo)定與可見光相同。

1.2 相機(jī)配準(zhǔn)

由于兩個(gè)相機(jī)在一個(gè)測(cè)量系統(tǒng)中，所以標(biāo)定出可見光相機(jī)的內(nèi)部參數(shù)，并將近紅外相機(jī)配準(zhǔn)到可見光相機(jī)上，測(cè)量系統(tǒng)所需要的參數(shù)就都被得到。下面是可見光圖像平面和近紅外圖像平面的配準(zhǔn)過(guò)程，網(wǎng)格目標(biāo)板在兩個(gè)相機(jī)上的成像示意圖如圖3所示，配準(zhǔn)示意圖如圖4所示。

圖3 網(wǎng)格目標(biāo)板在兩個(gè)相機(jī)上的成像Fig.3 Imaging of grid target board in two cameras

圖4 像面配準(zhǔn)Fig.4 Image registration

本文研究的相機(jī)配準(zhǔn)本質(zhì)是相機(jī)坐標(biāo)系之間的轉(zhuǎn)換，并且相機(jī)配準(zhǔn)應(yīng)用的是二維圖像數(shù)據(jù)，將兩個(gè)圖像平面中的一個(gè)透視投影到另一個(gè)平面，用齊次變換矩陣表示空間投影變換：

(17)

(18)

通過(guò)兩個(gè)相機(jī)采集到的圖像坐標(biāo)像素坐標(biāo)，同一對(duì)點(diǎn)可以產(chǎn)生兩個(gè)方程，因此只需要4個(gè)不在一條直線上的點(diǎn)就可以求出配準(zhǔn)矩陣T.

1.3 網(wǎng)格十字角點(diǎn)檢測(cè)

相機(jī)標(biāo)定和相機(jī)配準(zhǔn)中的數(shù)據(jù)主要由兩個(gè)相機(jī)對(duì)應(yīng)的十字中心點(diǎn)坐標(biāo)組成。對(duì)每個(gè)十字中心點(diǎn)感興趣區(qū)域(ROI)進(jìn)行計(jì)算獲得亞像素級(jí)位置坐標(biāo)，ROI如圖5所示。

圖5 網(wǎng)格板示意圖Fig.5 Schematic diagram of grid plate

亞像素十字中心檢測(cè)的算法按如下步驟進(jìn)行：

1)對(duì)ROI用最大類間方差法做閾值分割，得到二值化的ROI圖像；

2)用閾值分割前的ROI與二值化的ROI圖像相乘得到灰度ROI圖像；

3)對(duì)列(行)方向像素進(jìn)行投影計(jì)算獲得灰度累積和最大的一列ξ(行η)；

4)以坐標(biāo)(ξ，η)為中心像素產(chǎn)生一個(gè)鄰域窗口，本文可見光相機(jī)圖像鄰域窗口取15×15，近紅外相機(jī)圖像鄰域窗口取9×13，在鄰域窗口內(nèi)按照質(zhì)心算法進(jìn)行計(jì)算，獲得單個(gè)ROI的亞像素十字中心坐標(biāo)。

2 實(shí)驗(yàn)結(jié)果與數(shù)據(jù)分析

在獲取攝遠(yuǎn)光學(xué)系統(tǒng)校正模型后，搭建實(shí)驗(yàn)系統(tǒng)，搭建標(biāo)定系統(tǒng)實(shí)物圖如圖6所示，包括：光源；在光源的一側(cè)依次設(shè)有平行光管以及攝遠(yuǎn)光學(xué)系統(tǒng)，攝遠(yuǎn)光學(xué)系統(tǒng)與計(jì)算機(jī)相連接；平行光管內(nèi)設(shè)有網(wǎng)格板。獲取圖像之前，首先調(diào)整各個(gè)設(shè)備的位置，使得網(wǎng)格板中心點(diǎn)成像于可見光圖像的中心。

圖6 實(shí)驗(yàn)實(shí)物圖Fig.6 Experimental system

標(biāo)定系統(tǒng)參數(shù)的各項(xiàng)參數(shù)：可見光相機(jī)型號(hào)IMPERX ICL-B1410，分辨率1 392×1 040，焦距545 mm，像元尺寸6.45 μm；近紅外相機(jī)型號(hào)XSW-640-TE1, 分辨率640×512，焦距566 mm，像元尺寸20 μm；平行光管型號(hào)F1600；網(wǎng)格標(biāo)定板規(guī)格2 mm±0.05 μm；光源為6 V的全光譜燈。

根據(jù)要校正的攝遠(yuǎn)光學(xué)系統(tǒng)通過(guò)使用平行光管使系統(tǒng)等效為距離L處光源的校正系統(tǒng)。

產(chǎn)生平行光時(shí)焦距為f′v，平行光管微調(diào)標(biāo)尺刻度為l. 平行光管透鏡焦距與折射率關(guān)系為

(19)

式中：k為比例常系數(shù)；n為空氣中折射率；n′v為可見光相機(jī)透鏡折射率。由此計(jì)算產(chǎn)生近紅外平行光時(shí)的平行光管透鏡焦距f′ni：

(20)

(21)

調(diào)整網(wǎng)格板的位置，分別采集可見光與近紅外圖像。

2.1 相機(jī)標(biāo)定和配準(zhǔn)的實(shí)驗(yàn)結(jié)果

采集圖像如圖7(a)、圖8(a)所示，選擇以圖像中心矩陣區(qū)域的網(wǎng)格角點(diǎn)，即如圖5中虛線框示意的網(wǎng)格點(diǎn)所成的像，提取網(wǎng)格角點(diǎn)坐標(biāo)。提取坐標(biāo)如圖7(b)、圖8(b)中標(biāo)記的網(wǎng)格點(diǎn)坐標(biāo)，圖7(b)是可見光圖像標(biāo)記的網(wǎng)格點(diǎn)，圖8(b)是近紅外圖像標(biāo)記的網(wǎng)格點(diǎn)，其中所標(biāo)記的網(wǎng)格點(diǎn)坐標(biāo)是亮色的圓點(diǎn)。

圖7 可見光圖像Fig.7 Visible image

圖8 近紅外圖像Fig.8 Near-infrared image

通過(guò)成像模型可以計(jì)算出邊長(zhǎng)d在理想圖像上對(duì)應(yīng)的像素大小，結(jié)合畸變向量k(可見光為kv，近紅外為kni)可以得到理想無(wú)畸變圖像坐標(biāo)Cd，之前所提取的畸變圖像坐標(biāo)記為C. 由(13)式的畸變校正模型，Cd與C之間的映射關(guān)系為

Cd=ψ-1(C,k).

(22)

由表1、表2的重投影誤差統(tǒng)計(jì)數(shù)據(jù)可知，采樣點(diǎn)數(shù)越多,重投影誤差越小。

表1 可見光相機(jī)平均重投影誤差與采樣點(diǎn)數(shù)統(tǒng)計(jì)表

表2 近紅外相機(jī)平均重投影誤差與采樣點(diǎn)數(shù)統(tǒng)計(jì)表

由1.1節(jié)的相機(jī)標(biāo)定方法分別得到可見光相機(jī)內(nèi)參數(shù)矩陣Mvi、旋轉(zhuǎn)向量Rvo、平移向量tvo、畸變向量kv和近紅外相機(jī)內(nèi)參數(shù)矩陣Mnii、旋轉(zhuǎn)向量Rnio、平移向量tnio、畸變向量kni，這里畸變向量保留5維。可見光相機(jī)標(biāo)定和近紅外相機(jī)標(biāo)定的具體結(jié)果如表3和表4所示。可見光相機(jī)標(biāo)定的重投影誤差為0.08像素，近紅外相機(jī)標(biāo)定的重投影誤差為0.19像素。

用得到的可見光和近紅外的標(biāo)定參數(shù)對(duì)圖像進(jìn)行畸變校正，得到如圖9校正后的圖像。設(shè)光學(xué)畸變校正后圖像為I′，原圖像為I，由(22)式的畸變校正模型可得

I′=ψ-1(I,k).

(23)

結(jié)合(1)式可得

Hv=Mvi(Rvotvo).

(24)

圖9 畸變校正圖像Fig.9 Distortion corrected images

應(yīng)用1.2節(jié)提出的配準(zhǔn)方法，得到配準(zhǔn)矩陣。近紅外相機(jī)與可見光相機(jī)的配準(zhǔn)矩陣為

表3 可見光相機(jī)標(biāo)定參數(shù)

表4 近紅外相機(jī)標(biāo)定參數(shù)

相機(jī)配準(zhǔn)軸線一致性精度為0.37 μrad.

2.2 外場(chǎng)實(shí)驗(yàn)結(jié)果

將異源相機(jī)標(biāo)定出的參數(shù)應(yīng)用在外場(chǎng)實(shí)驗(yàn),下面是目標(biāo)位于1 km處所得到的圖像，如圖10～圖12所示。

圖10 外場(chǎng)實(shí)驗(yàn)可見光圖像Fig.10 Visible image in field test

圖11 外場(chǎng)實(shí)驗(yàn)近紅外圖像Fig.11 Near-infrared images in field test

圖12 外場(chǎng)實(shí)驗(yàn)近紅外圖像配準(zhǔn)到可見光圖像Fig.12 Field test near-infrared image registered to visible image

提取圖10與圖12中的坐標(biāo)點(diǎn)，計(jì)算可見光圖像上十字中心點(diǎn)與近紅外圖像合作目標(biāo)坐標(biāo)點(diǎn)的距離，如表5所示，分為4種情況進(jìn)行對(duì)比實(shí)驗(yàn)，所得命中率測(cè)量精度為1 km處的計(jì)算結(jié)果。

表5 命中率測(cè)量精度對(duì)比

表5中不校正、不配準(zhǔn)是直接根據(jù)可見光相機(jī)和近紅外相機(jī)的視場(chǎng)大小關(guān)系，分別以圖像中心為基準(zhǔn)，再根據(jù)比例關(guān)系得出的命中率測(cè)量精度；進(jìn)行4種對(duì)比實(shí)驗(yàn)，按照本文提出的方法對(duì)圖像進(jìn)行畸變校正和配準(zhǔn)的計(jì)算得出的命中率測(cè)量精度最高，很好地完成了激光照射性能測(cè)量相機(jī)的標(biāo)定。

3 結(jié)論

本文提出了一種對(duì)異源相機(jī)的標(biāo)定方法，簡(jiǎn)化了可見光相機(jī)與近紅外相機(jī)需要求解的多個(gè)參數(shù)，解決了基于卡塞格林系統(tǒng)的攝遠(yuǎn)光學(xué)系統(tǒng)存在畸變的問(wèn)題和聯(lián)合測(cè)量精度的問(wèn)題，實(shí)現(xiàn)了異源相機(jī)的高精度標(biāo)定。得到主要結(jié)論如下：

1)遠(yuǎn)距離測(cè)量中忽略透視誤差的影響，對(duì)張正友相機(jī)標(biāo)定方法進(jìn)行改進(jìn)，相機(jī)內(nèi)參數(shù)中扭曲因子為零，建立了相機(jī)參數(shù)求解模型，計(jì)算超定方程組的最小二乘解，每個(gè)相機(jī)分別獲得了4個(gè)內(nèi)參數(shù)、6個(gè)外參數(shù)及5個(gè)畸變參數(shù)。

2)根據(jù)可見光相機(jī)和近紅外相機(jī)成像面的空間透視關(guān)系，實(shí)現(xiàn)了雙相機(jī)軸線一致性標(biāo)定，即得到了近紅外相機(jī)和可見光相機(jī)的配準(zhǔn)矩陣。

3)在外場(chǎng)實(shí)驗(yàn)中，標(biāo)定出的相機(jī)內(nèi)參數(shù)、外參數(shù)、畸變參數(shù)，以及兩個(gè)相機(jī)空間的配準(zhǔn)矩陣，對(duì)實(shí)驗(yàn)數(shù)據(jù)進(jìn)行處理，所得結(jié)果證明了本文所提的相機(jī)標(biāo)定方法和配準(zhǔn)方法的有效性、實(shí)用性以及可靠性。