基于極線約束的紅外圖像校正研究

于廣，段紫媛，蘇培涵

（電子科技大學中山學院機電工程學院，中山528400）

0 引言

紅外攝像機標定指的是通過特征點圖像二維坐標和特征點空間三維坐標之間的關系求解攝像機的模型參數，現在已經逐漸成為計算機視覺領域中的一個熱點研究內容[1]。在工業、醫學、航空軍事等領域，都發揮著必不可少的作用。例如為了提高打擊海上大型戰艦的精確度，我國研制出東風系列導彈，并進行反彈道導彈系統的試驗。而對于探月工程以及神州系列的研究，我國在太空領域處于領先的地位并為世界做出了杰出的貢獻。同時因為這些大型項目的存在，使得攝像機標定技術在實際應用中得到了很大的發展空間[2]。

攝像機標定過程中的一個核心步驟是角點檢測，在對物理學，圖像處理學進行全面研究后，麻省理工大學的教授在世紀年代初第一次提出了比較完整的視覺系統框架。如圖1 所示，通過此框圖，可知道如何提取圖像特征點的原理[3]。

圖1 Marr框架的視覺三階段

不同于其他的圖像特征點，角點有兩個優點，第一個是旋轉不變性，另外一個是不會隨著光照條件改變而發生變化。與此同時，標定角點不但不會把圖像里的灰度信息丟失，還可以明顯的減少運算量。因而標定角點既能提升速率，還可以提高標定精度[4]。由此可知，圖像匹配的準確性和標定參數的精確性與角點檢測性能有著直接的影響。

本文通過對紅外攝像機進行標定，并在兩紅外圖像之間增加極線約束關系實現校正處理，為后續的紅外立體視覺檢測奠定良好基礎。

1 紅外攝像機標定實驗

本文的紅外攝像機標定方法是在張正友自標定法的基礎上，結合了角點的亞像素級提取。攝像機測量模型選擇雙目立體視覺測量。實驗中，利用兩臺紅外攝像機采集標定板圖像（每個紅外攝像機取二十幅圖像）。標定模板是鏤空的棋盤格模板。采集圖像時，把標定模板靠近發熱管，模板中的鏤空區域和非鏤空區域會因為溫度不同出現明顯的色差。轉換成灰度圖像時，可以取灰度變化極大值作為特征點。紅外攝像機在光學導軌兩側保持不動，然后改變標定模板的位置。標定實驗使用的計算軟件是MATLAB，其標定工具箱可準確地計算實驗結果。紅外攝像機標定實驗使用的硬件設備分別是：光學精密導軌、紅外攝像機兩臺、計算機一臺、紅外攝像機實驗標定板。

MATLAB 是美國MathWorks 公司開發的一款數學軟件，在圖像處理及矩陣運算等方面有著強大的功能[5]。可在MATLAB 中編寫張正友自標定法并進行紅外攝像機的標定實驗。而在圖像去噪，圖相匹配等環節，函數集中都有對應的程序，只需根據實際情況調用修改便可。

紅外攝像機標定過程歸納如下：

（1）數據初始化。即內存空間的劃分，把特征點的坐標以及紅外攝像機標定的內參外參所需空間進行劃分。

（2）紅外攝像機圖像采集并確定角點位置。紅外攝像機在實驗中總共采集二十組不同方向上的圖片。標定模板使用的是鏤空棋盤格模板，以灰度變化極大值作為角點。提取角點時，如果檢測成功，則返回非零數值，并把角點數據儲存。如果檢測失敗，則返回0值，程序出錯，終止程序。紅外攝像機拍攝的模板圖像，每幅圖像可以提取18 個特征點。

（3）對上一步獲得的角點進行亞像素級提取，然后繪制亞像素級別的角點，獲得直觀的角點提取圖像。

（4）角點坐標的保存。對角點亞像素級提取完畢后，坐標信息保存至第一步分配的內存中。

（5）把20 幅紅外圖像的亞像素級角點坐標全部提取完畢，并將所有數據保存。

（6）角點坐標數據采集完畢后，將圖像坐標點和空間坐標點的坐標代入線性約束條件中進行計算，利用張正友自標定法計算紅外攝像機的內外參數。

（7）誤差的測量。把其中一個角點的三維空間坐標進行轉換，得到其二維圖像上的理想坐標，然后該數值與二維圖像中的實際坐標對比。

紅外攝像機標定流程如圖2 所示。

紅外攝像機的標定實驗是在MATLAB 系統中編寫完成的，最終得到紅外攝像機的內外參數及鏡頭畸變系數。標定時，攝像機對不同位置的紅外模板進行拍攝，然后通過MATLAB 函數庫中的程序計算參數。因此，每次標定模板的改變，都會得到一個新的外參。每次移動造成的R、T 間的平均差，可通過統計學的方法進行處理，即通過每次實驗測得的數據期望值作為標定實驗的實際測量結果。紅外攝像機標定實驗角點提取結果如圖3 所示。

圖2 標定流程模塊圖

圖3 紅外標定板不同位置的角點提取效果圖

兩臺紅外攝像機的參數計算結果如下所示。

主光軸左側攝像機參數計算結果：

主光軸右側攝像機參數計算結果：

標定結束后，使用平均誤差投影法判斷標定結果的精度。角點的平均誤差投影圖如圖4 所示。通過計算可以看出，左右兩臺紅外攝像機的標定參數誤差分別為0.13617 像素和0.13751 像素。通過查閱相關文獻可知，該測量精度比傳統的直接線性法和Tsai 兩步法分別提高了17%和11%。

圖4 提取特征點的反投影誤差圖

紅外攝像機的內、外參數標定結束后，可對兩臺攝像機的相互位置進行標定，從而確定兩者之間的空間位置。設主光軸左側紅外攝像機的平移向量和旋轉矩陣分別為R1、T1，主光軸右側紅外攝像機的平移向量和旋轉矩陣分別為R2、T2。取三維空間坐標系中的任意一點，設其橫坐標為xw，該點在左右兩臺紅外攝像機中的圖像橫坐標分別為x1，x2，三者的關系可由式（1）表示。

通過計算，兩臺紅外攝像機的外參關系如式（2）所示。

兩臺紅外攝像機在空間中的相對位置標定結果如下所示：

2 紅外圖像校正實驗

對紅外圖像進行匹配前，首先要對兩臺紅外攝像機采集的圖像進行立體校正。最準確有效的方法是在兩紅外圖像之間增加極線約束關系，即通過校正處理后，兩紅外圖像之間的極線嚴格規范。如果對每個點單獨做極限約束，然后進行點的匹配，會極大地增加計算量，降低運算效率。所以，對兩紅外圖像進行整體校正，即所有對應點的連線都水平平行。該方式在一定程度上提升了匹配的準確率，共面行對準示意圖如圖5 所示。

圖5 共面行對準示意圖

通過紅外攝像機標定實驗，已求取兩臺紅外攝像機的相對關系，即R 和T。所以在進行立體校正實驗時，可使用Bouguet 方法。該方法隨機選擇兩幅紅外圖像中的其中一幅，通過最大程度地減小重新投影數，使得被測物在圖像中的占有比例最大化。

由于圖像重新投影會造成信息失真，可通過圖像之間的旋轉，把兩攝像機的旋轉矩陣R 進行分解。設分解的兩攝像機之間的旋轉矩陣為γl、γr。旋轉兩臺紅外攝像機，使其主光軸皆平行于原測量系統攝像機的主光軸。從而兩紅外攝像機的相對位置保證共面，而采集的圖像行不相同。然后，建立旋轉矩陣Rrect。該矩陣描述的是把其中一個紅外攝像機的極點，從原來的位置移動到無窮遠處，并且極線處于水平方向。設主點坐標（cx，cy）為其中一臺攝像機采集的圖像原點，兩紅外攝像機投影中點為極點e1，e1可通過式（3）表示。

設與攝像機主光軸方向正交的向量為e2，該向量沒有界限，并且e2與e1正交。通過e1與主光軸的關系求取e2的值，然后對e2進行歸一化處理，如式（4）所示。

設 e3與 e1、e2成正交關系，則 e3可由式（5）表示。

把其中一臺攝像機的極值點由初始位置轉移至無窮遠處，需要一個變換矩陣，該變換矩陣可由式（6）表示。

式（4）中，變換矩陣使得其中一幅紅外圖像圍繞其中點旋轉，直到極線方向轉動至水平，該圖像對應的攝像機極點在無窮遠處。對左右兩臺紅外攝像機采集的圖像進行行對準處理，如式（7）所示。

經過校對后，可計算兩臺紅外攝像機的變換矩陣，設其為 Mrect_l和 Mrect_r，通過該值可求取 Pl和 Pr，結果如式（8）所示。

式（15）中，αl與αr表示兩臺紅外攝像機的畸變系數。由于攝像機精度較高，為了計算方便，設該值為0。P 為投影矩陣，二維圖像坐標轉換為三維空間坐標的關系如式（9）所示。

設圖像坐標為（x/w，y/w），計算圖像中某個點的二維坐標，結合攝像機的內部參數，便可還原該點的三維空間坐標，還原矩陣如式（10）所示。在本文的設置中，其中一臺紅外攝像機的圖像坐標由該攝像機確定，而其余的參數都由另一臺攝像機采集的圖像確定。如果主光軸在無窮遠處有交點，則的值為0。

通過某測量點的二維圖像坐標及視覺差d 還原該點的三維空間坐標，該坐標用（X/W，Y/W，Z/W）表示。結果如式（11）所示。

使用MATLAB 進行圖像校正的過程中，需要啟動函數集中的圖像行對準處理算法。通過計算可獲得還原矩陣Q，投影矩陣Pl和Pr以及分解后的旋轉矩陣Rl和Rr。計算完畢后，啟動結果顯示，可得到校正處理后的紅外圖像。在立體校正實驗中，紅外圖像的投影矩陣計算結果如式（12）所示。

對紅外圖像進行校正實驗，校正前后的圖像對比如圖5 所示。

圖5 立體校正實驗

立體校正前的紅外圖像如圖5（a）所示，兩相鄰圖像在橫坐標方向上并未對齊。圖5（b）為校正后的圖像，從實驗結果可知，校正后左右兩圖出現明顯的行對準，校正效果良好。為后續的紅外立體視覺檢測奠定良好基礎。

3 結語

本文使用MATLAB 軟件完成左、右兩臺紅外攝像機的標定，對獲得的標定參數進行重投影誤差處理。經過計算，其平均誤差約為0.1 像素，標定準確度較高。同時，對紅外電纜圖像進行立體校正處理，圖像中的對應點實現嚴格的共面行對準，