基于標定信息的高低分辨率圖像配準方法

程相正,趙 威,曾朝陽,邵 銘,張 雷,胡琥香

(1.中國洛陽電子裝備試驗中心,河南 洛陽 471003；2.光電對抗測試評估技術重點實驗室,河南 洛陽 471003；3.裝備學院光電裝備系,北京 101416)

·圖像與信號處理·

基于標定信息的高低分辨率圖像配準方法

程相正1,2,趙 威1,2,曾朝陽3,邵 銘1,2,張 雷1,2,胡琥香1,2

(1.中國洛陽電子裝備試驗中心,河南 洛陽 471003；2.光電對抗測試評估技術重點實驗室,河南 洛陽 471003；3.裝備學院光電裝備系,北京 101416)

針對激光三維成像系統分辨率較低,特征點不易提取,同時與可見光成像系統圖像配準實時性不高的問題,提出了一種基于標定信息的低分辨率距離圖像與高分辨率強度圖像配準方法。首先,通過對激光三維成像系統與可見光成像系統進行標定,得到了二者的內參數、外參數以及畸變系數；其次,利用二者的標定信息,通過構造像素匹配模型,確定了低分辨率距離圖像像素點所對應的高分辨率強度圖像像素點。最后,通過遍歷低分辨率距離圖像每一個像素點,實現低分辨率距離圖像與高分辨率強度圖像的像素配準。實驗結果表明：該方法在保持準配精度基本不變的情況下,配準時間從2.111 s減為0.856 s,降低了算法的時間消耗,具有一定的可行性。

圖像配準；高低分辨率；距離圖像；標定；實時性

1 引 言

利用無掃描激光三維成像系統[1]與可見光成像系統進行三維重建、視覺導航、目標位姿測量是當前計算機視覺領域的研究熱點。然而受焦平面制造工藝限制,二者成像分辨率差異較大[2-3],需要研究低分辨率距離圖像與高分辨率強度圖像像素配準方法,才能實現圖像融合進而提高三維重建、視覺導航、目標位姿測量精度。

圖像配準是指依據相似性度量準則,使從不同傳感器、不同視角、不同光照等條件下獲取的同一場景的兩幅或者多幅圖像,變換到同一坐標系下,在像素層上得到最佳匹配的過程[4,5]。基于圖像灰度信息的配準方法[6]不需要進行特征提取,易于實現,但對于畸變較大的圖像尤其是異源圖像配準效果不理想,這一類方法不適用于低分辨率距離圖像與高分辨率強度圖像像素配準。基于圖像特征信息的配準方法具有魯棒性強、穩定性高等優點,也適用于圖像之間變換關系比較復雜的配準。該方法依賴特征空間的選擇以及特征點的提取,對于特征點不易提取的低分辨率距離圖像,配準效果則不理想,同時該方法需要進行特征提取、特征匹配,實時性有待進一步提高。針對激光三維成像系統成像分辨率較低,特征點不易提取,同時與可見光成像系統圖像配準實時性不高的問題,提出了一種基于標定信息的低分辨率距離圖像與高分辨率強度圖像配準方法,并通過實驗驗證了算法的可行性。

2 光學成像系統標定

光學成像系統的基本模型為線性成像模型,其成像基礎為小孔成像。設三維空間點P(xw,yw,zw)T在圖像上的投影為(u,v)T,二者的齊次坐標分別為P(xw,yw,zw,1)T和(u,v,1)T。根據線性成像模型可得：

(1)

式中,k為非零尺度因子；K為成像傳感器內參數矩陣;(u0,v0)T為主點坐標;fu、fv分別表示圖像平面U軸、V軸方向的尺度因子;s表示U軸與V軸的不垂直因子,一般取值為0(因為一般情況下;θ值為90°,表示圖像平面為矩形)[7-8]；[RT]為光學成像系統外參數矩陣,與系統本身屬性無關[9]。

在實際應用中,由于光學成像器件設計、制造以及組裝過程中的不精確性,致使成像過程中存在畸變,單純使用線性模型已不能準確描述光學成像系統成像幾何關系,需使用下述非線性成像模型進行描述：

(2)

式中,(xu,yu)T為理想圖像物理坐標;(xd,yd)T為實際圖像物理坐標;k1、k2為徑向畸變系數;p1、p2為離心畸變系數。光學成像系統的標定就是通過求取其內參數、外參數以及畸變系數,以確定二維圖像像素點與三維空間點的對應關系。

3 基于標定信息的圖像配準原理

不考慮光學成像過程中的畸變因素,根據激光三維成像系統坐標系坐標與圖像像素坐標系坐標之間的轉換關系可得：

(3)

由式(3)可以解出：

(4)

對于同一空間點P(xw,yw,zw)T,分別根據激光三維成像系統坐標系坐標、可見光成像系統坐標系坐標與世界坐標系坐標的轉換關系可得：

(5)

由式(5)可以得出：

(6)

令:

(7)

則式(6)可以轉化為：

(8)

根據可見光成像系統坐標系坐標與圖像像素坐標系坐標之間的轉換關系可得：

(9)

將式(8)代入式(9)可得：

(10)

令:

(11)

將式(11)代入式(10)可得：

(12)

將式(4)代入式(12)可得：

(13)

點P在激光三維成像系統坐標系下的坐標為(xc1,yc1,zc1)T,因此點P到激光三維成像系統鏡頭光心的距離為：

(14)

點P到激光三維成像系統鏡頭光心的距離遠大于系統焦距,因此可以假設激光三維成像系統測得點P到系統的距離di近似等于點P到激光三維成像系統鏡頭光心的距離,即：

(15)

同時由于激光三維成像系統視場比較小,并且假設目標處于激光三維成像系統視場中心位置附近,因此有：

(16)

此時,式(15)可以轉化為：

(17)

故點P在激光三維成像系統坐標系下的z坐標近似等于激光三維成像系統所獲取的點P的距離,即:

zc1≈di

(18)

將式(18)代入式(13)可得：

(19)

由于激光三維成像系統和可見光成像系統在硬件加工、安裝過程中均存在誤差,需要考慮光學系統成像過程中的畸變因素。根據非線性成像模型,利用實際圖像物理坐標與理想圖像物理坐標的關系,可得到實際圖像像素坐標與理想圖像像素坐標的關系為：

(20)

由以上推導過程可知,通過對可見光成像系統和激光三維成像系統的標定分別獲得內參數、畸變系數以及可見光成像系統坐標系與激光三維成像系統坐標系相對位置關系,利用式(19)和式(20)所建立的像素匹配模型即可實現低分辨率距離與高分辨率強度圖像的配準。因此,基于標定信息的圖像配準流程如圖1所示。

圖1 基于標定信息的圖像配準流程

首先,分別利用基于雙線性插值算法的標定方法[7]與基于矩形消失點特性的自標定方法[10]對激光三維成像系統、可見光成像系統進行標定,得到二者的內參數、畸變系數以及成像系統坐標系相對于第一幅模板圖像的外參數；其次,利用式(19)和式(20)所構造的像素匹配模型,確定(ui,vi)所對應的高分辨率強度圖像像素(uj,vj)；最后,遍歷低分辨率距離/強度圖像每一個像素點,實現高分辨率強度圖像與距離/強度圖像的像素配準。

4 實驗驗證及結果分析

4.1 可行性驗證及結果分析

為了驗證基于標定信息的圖像配準原理的可行性,在激光三維成像系統與可見光成像系統相對位置固定的前提下,利用基于雙線性插值算法的低分辨率傳感器標定方法和基于矩形消失點特性的傳感器自標定方法從不同方位拍攝8幅模板圖像進行標定,得到激光三維成像系統與可見光成像系統非線性成像模型參數,如表1所示。

表1 光學成像系統參數

由式(7)可以解出可見光成像系統坐標系相對于激光三維成像系統坐標系的相對位置參數為：

利用激光三維成像系統得到標定模板距離/強度圖像,獲取每一個像素點的距離信息。此時,激光三維成像系統光軸正對模板像素點距離d=3.07m。

然后,分別提取標定模板激光三維成像系統強度圖像和可見光成像系統強度圖像角點像素坐標,根據像素匹配模型,計算出可見光成像系統所成強度圖像角點像素坐標,并與該角點實際圖像像素坐標進行比較,得到了前4幅模板圖像的角點像素偏差如圖2所示。

圖2 圖像角點像素偏差分布圖

從圖2可以看出,圖像角點偏差比較均勻,u軸方向最大偏差為8.90pixel,v軸方向最大偏差為9.84pixel,u軸方向平均像素偏差為4.20pixel,v軸方向平均像素偏差為4.08pixel,圖像像素偏差較大。分析其原因主要有：

1)光學成像系統標定精度影響。基于矩形消失點特性的自標定方法精度依賴模板圖像數目,當模板圖像數目達到20幅以上,標定誤差顯著下降,標定精度明顯提高,而本實驗中僅利用8幅圖像對可見光成像系統進行標定,標定精度不夠高。利用20幅不同方位角模板圖像對可見光成像系統標定,前4幅圖像角點像素偏差分布如圖3所示。

圖3 利用20幅模板圖像時的角點像素偏差分布圖

對比圖2、3可以看出,圖像角點像素偏差得到了一定程度地減小。圖像u軸方向最大偏差為7.82pixel,v軸方向最大偏差為7.14pixel,u軸方向平均像素偏差為3.46pixel,v軸方向平均像素偏差為3.02pixel。利用20幅模板圖像對可見光成像系統進行標定,標定精度得到了提高,角點像素偏差有一定程度減小。因此,光學成像系統的標定精度能夠影響像素空間配準的準確度。而基于雙線性插值算法的標定方法雖然提高了低分辨率光學成像系統標定精度,但受焦平面制造工藝限制,激光三維成像系統分辨率較低,致使對激光三維成像系統的標定精度仍不夠高,影響距離/強度圖像與高分辨率強度圖像的配準精度。

2)成像距離影響。在本實驗中,由于實驗室空間有限,標定模板與激光三維成像系統距離為d=3.07m,而標定模板大小為40cm×40cm。即使激光三維成像系統視場比較小并且標定模板處于激光三維成像系統視場中心位置附近,但對于標定模板邊緣附近的角點,式(17)仍存在一定的偏差,并且距離/強度圖像邊緣附近角點距離大于光軸正對角點到激光三維成像系統的距離,越靠近邊緣,偏差越大,因此圖像角點像素偏差基本成均勻分布。當標定模板與激光三維成像系統距離增至d=5.11m(實驗室空間允許最大距離)時,利用20幅不同方位角模板圖像進行標定,前4幅圖像角點像素偏差分布如圖4所示。

圖4 距離d=5.11 m時的圖像像素偏差分布圖

對比圖3、4可以看出,當標定模板與激光三維成像系統距離增至d=5.11m時,圖像角點像素偏差進一步減小。圖像u軸方向最大偏差為5.12pixel,v軸方向最大偏差為6.04pixel,u軸方向平均像素偏差為2.54pixel,v軸方向平均像素偏差為2.60pixel。標定模板與激光三維成像系統距離增大,圖像角點像素偏差減小,激光三維成像系統所成圖像與可見光成像系統所成圖像像素空間配準精度得到了提高。理論上講,當目標距離從d=5.11m繼續增大時,圖像像素空間配準精度會進一步提高。

由以上實驗可知,在光學成像系統標定精度較高的情況下,對3～5m的目標進行探測時,圖像像素最大偏差為6.0～7.8個像素,平均像素偏差為2.6～3.5個像素。同時,該方法在圖像配準時無需進行特征的提取,規避了激光三維成像系統成像分辨率較低的問題,具有一定的可行性。

4.2 實時性驗證及結果分析

為了進一步驗證基于光學成像系統標定信息的低分辨率距離圖像與高分辨率強度圖像配準效果,引入了圖像像素RMSE(RootMeanSquareError,RMSE)、配準時間以衡量算法的配準精度和速度。實驗中(實驗平臺硬件環境為：Intel(R)Core(TM)2DuoCPUE7500,主頻為2.93GHz,內存為2G；軟件開發環境為：WindowsXP32位操作系統,MATLAB(R2010a)),分別提取標定模板激光三維成像系統強度圖像和可見光成像系統強度圖像角點像素坐標,根據像素空間配準模型,求解出可見光成像系統所成強度圖像角點像素坐標,進一步計算出該坐標與其實際圖像像素坐標的RMSE[11],并與基于改進SURF算子的高低分辨率圖像配準方法結果進行了對比,其結果如表2所示。

表2 配準算法對比

從表2可以看出,雖然基于標定信息的圖像配準RMSE略微增加(這是因為低分辨率激光三維成像系統標定精度有待進一步提高),但由于該方法在可見光成像系統、激光三維成像系統二者屬性以及相對位置不變的前提,只要掌握二者的標定信息即可實現激光三維距離圖像與可見光強度圖像像素配準,無需進行圖像特征提取與特征匹配,致使該方法的配準時間從2.111s降為0.856s,提高了算法的實時性。

5 結 語

針對激光三維成像系統成像分辨率較低,特征點不易提取,同時與可見光成像系統圖像配準實時性不高的問題,提出了一種基于標定信息的低分辨率距離圖像與高分辨率強度圖像像素空間配準方法。該方法在激光三維成像系統與可見光成像系統標定的基礎上,通過構造像素匹配模型,實現了低分辨率距離/強度圖像與高分辨率強度圖像像素的空間配準。該方法無需特征點提取,規避了激光三維成像系統成像分辨率較低的問題,提高了圖像配準的實時性,為激光三維圖像與可見光圖像融合提供了技術支撐。

[1] ZHANG Xudong，SHEN Yuliang，HU Liangmei,et al.Improved super-resolution reconstruction algorithm for PMD range image[J].Journal of Image and Graphic，2012,17(4)：480-486.(in Chinese) 張旭東,沈玉亮,胡良梅，等.改進的PMD距離圖像超分辨率重建算法[J].中國圖像圖形學報，2012,17(4)：480-486.

[2] ZHAO Hongli,FAN Youchen,SUN Huayang,et al.Review about 3D laser radar system based on Geiger mode APD array[J].Laser & Infrared,2013,43(10):1083-1088.(in Chinese) 趙洪利,范又臣,孫華燕,等.基于蓋革模式APD陣列的非掃描激光三維成像雷達研究綜述[J].激光與紅外,2013,43(10):1083-1088.

[3] D F Figer, J Lee,B J Hanold,et al.A photo counting detector for explanet missions[J].SPIE,2011,815:81510k.

[4] CHEN Hang,DU Xiaoping,XIA Lurui,et al.Registration method for hyperspectral image based on control points[J].Joural of Academy of Equipment,2013,24(3):109-113.(in Chinese) 陳杭,杜小平,夏魯瑞,等.基于控制點的一種高光譜圖像配準方法[J].裝備學院學報,2013,24(3):109-113.

[5] ZENG Zhaoyang,CHENG Xiangzheng,CHEN Hang,et al.Registration method of high-low resolution images based on improved SURF[J].Laser & Infrared,2014,44(2):207-212.(in Chinese) 曾朝陽,程相正,陳杭,等.基于改進SURF算子的高低分辨率圖像配準方法[J].激光與紅外,2014,44(2):207-212.

[6] ZHANG Ran,WANG Lei,XIA Wei,et al.Comparision of similarity measurement and optimazation methods in 2D/3D image registration[J].Laser & Infrared,2014,44(1):98-102.(in Chinese) 張冉,王雷,夏威,等.2D/3D圖像配準中的相似性測度和優化算法[J].激光與紅外，2014,44(1):98-102.

[7] CHENG Xiangzheng,ZENG Zhaoyang,CHEN Hang,et al.Calibration method of low-resolution sensor based on bilinear interpolation strategy[J].Laser & Optoelectronics Progress,2013,50(7):071501.(in Chinese) 程相正,曾朝陽,陳杭,等.基于雙線性插值算法的低分辨率傳感器標定方法[J] .激光與光電子學進展,2013,50(7):071501.

[8] WANG Xiangjun,WANG Jing,LIU Feng,et al.Fast calibration for binocular vision measuring system with a large field[J].Optics and Precision Engineering，2013,21(10):2664-2671.(in Chinese) 王向軍,王晶,劉峰,等.野外大視場雙目視覺物體定位監測系統的單參數快速標定[J].光學 精密工程,2013,21(10):2664-2671.

[9] GUO Tao,DA Feipeng,FANG Xu.Camera calibration under small field of view[J].Chinese Journal of Lasers,2012,39(8):164-168.(in Chinese) 郭濤,達飛鵬,方旭.小視場環境下的攝像機標定[J].中國激光,2012,39(8):164-168.

[10]Zhaoyang Z,Xiangzheng C,Hang C.Research on method of sensor self-calibration based on the characteristic of rectangular vanishing point[C].Proc.SPIE8908,International Symposium on Photoelectronic Detection and Imaging 2013:Imaging Sensors and Applications,89080C.

[11]CHEN Jie,FU Dongmei,LIU Yan.Method of infrared and visible image registration based on similar triangles matching[J].Laser & Infrared,2010,40(2):215-218.(in Chinese) 陳潔,付冬梅,劉燕.基于相似三角形匹配的紅外與可見光圖像配準方法[J].激光與紅外,2010,40(2):215-218.

Registration method between high-low resolution images based on calibration information

CHENG Xiang-zheng1,2,ZHAO Wei1,2,ZENG Zhao-yang3,SHAO Ming1,2
ZHANG Lei1,2,HU Hu-xiang1,2

(1.Luoyang Electronic Equipment Test Center of China,Luoyang 471003,China;2.Key Laboratory of Electro-Optical Countermeasures Test & Evaluation Technology,Luoyang 471003,China;3.Department of Optical and Electrical Equipment,the Academy of Equipment,Beijing 101416，China)

Due to the low-resolution of three-dimension laser image,feature points are difficult to extract and the speed of image pixel registration between three-dimensional image and visible image is slow. In order to solve these problems,a registration method between low resolution distance image and high resolution intensity image is proposed based on the calibration information of optical imaging systems. Firstly,by means of calibrations of the three-dimensional image and visible image,their intrinsic & external parameters and distortion coefficients are obtained. Subsequently,by establishing pixel registration model,the corresponding pixels between low-resolution distance image and high-resolution intensity image are determined on the basis of their calibration informations. Finally,by iterating each pixel of low-resolution image,the pixel registration is achieved. The experiment results show that the proposed method reduces the registration time from 2.111 s to 0.856 s,while remains registration accuracy.

image registration; low & high resolution; distance image; calibration; real-time

1001-5078(2015)02-0214-07

國家高技術研究發展計劃資助項目。

程相正(1989-),男，碩士研究生，助理工程師，主要從事光電偵察、圖像融合等方面的研究。 E-mail:846248088@qq.com

2014-06-11;

2014-07-06

TP391.41

A

10.3969/j.issn.1001-5078.2015.02.021