基于模板的航測非量測相機快速檢校技術

肖　達，龔志輝，李勁澎，韓軼龍

信息工程大學地理空間信息學院，河南 鄭州，450001

?

基于模板的航測非量測相機快速檢校技術

肖達，龔志輝，李勁澎，韓軼龍

信息工程大學地理空間信息學院，河南 鄭州，450001

研究了一種無人機攝影測量中非量測相機快速檢校技術，該技術不需要布置嚴格的三維控制場，只需要相機在一定方向、角度拍攝一組模板像片，并依據構像方程和畸變模型，利用旋轉矩陣約束條件即可推導出相機內參求解公式。實驗結果表明，內參數穩定，檢校結果可靠，為控制條件不充足情況下的幾何標定和非量測相機快速檢校提供一種解決方案。

相機檢校；非量測相機；平面模板；控制場

1　引　言

相機檢校就是恢復每張影像光束的正確方向和位置，通過建立已知物點和像點的對應關系，計算獲取成像模型內外參數，然后通過攝影測量的方法快速獲取準確的三維坐標。因此，相機檢校是攝影測量處理流程中不可缺少的一個作業過程[1]。非量測相機作為近景攝影測量獲取影像的主要設備之一，憑借其體積小，圖像易于獲取、復制和存儲，分辨率高，處理直接，較專業量測相機經濟、便捷等優勢，已廣泛應用在近景攝影測量以及無人機攝影測量中。

在近景攝影測量中，非量測相機內方位元素未知，而且參數不穩定[2]，無人機在飛行、降落、運輸過程中劇烈震動，對相機參數造成影響，因此，作業時需要用足夠數量的控制點進行檢校。常用檢校方法根據環境的不同，有傳統的基于控制場的檢校[3](如實驗室檢校、恒星檢校、試驗場檢校等)、相機自檢校[4]和基于滅點理論的檢校[5]。基于控制場的檢校方法理論成熟，計算簡單，標定結果穩定可靠，適用于量測精度高、相機參數穩定的情況，但是需要事先布置大量控制點，或者精密的室內、室外控制場，檢校的過程復雜，費用昂貴，不夠靈活，典型方法有直接線性變換法、多片空間后方交匯法、光束發平差[6，7]等；相機自檢校不用建立控制場，靈活性強，對初值比較敏感，標定結果不穩定，如Kruppa方程自檢校[8]、基于絕對二次曲面自檢校[9]等；基于滅點理論的檢校常用于各種成像系統的畸變補償。張正友[10]的棋盤檢校屬于控制場檢校，控制條件是棋盤角點，而不是室內外布設的控制點，效果介于傳統和自檢校之間。大致思路是利用旋轉矩陣正交約束條件，經過奇異值分解求解內外參數，然后加入畸變系數，最后用最大似然估計法整體優化。避免了傳統方法中對精密控制場的依賴，同時又提高了自檢校方法的精度。目前國內外不少計算機視覺學者開展簡單、便捷的相機檢校方法，用于三維重建過程中。無人機攝影測量搭載非量測相機，主要用于普通測繪和重建三維點云。本文把計算機視覺的棋盤檢校技術和無人機攝影測量實際情況相結合，開展基于棋盤格的航測非量測相機檢校技術研究，詳細推導了在旋轉矩陣約束條件下內參數的求解過程，設計實驗對非量測相機進行檢校，并對檢校結果可靠性設計了相關實驗驗證，對通常的無人機攝影測量作業有一定實用價值。

2　相機模型

假設空間中有一物點Q=[X,Y,Z]T，對應的像平面上的點q=[u,v]T，對傳統的針孔相機模型[11]來說(如圖1)，共線方程可以寫成sq=A[R,t]Q。其中，s為任意比例因子；(R,t)是外部參數：R是旋轉矩陣，t是平移向量；A為相機內參數矩陣，齊次坐標描述為:

(1)

其中，fx、fy表示x、y方向以像素為單位的焦距大小，γ表示ccd像平面x-y軸不是正交，Gx、Gy表示在x、y方向以像素為單位的像主點偏移大小。

圖1　針孔相機模型(投影面位于針孔前方，真實情況是位于針孔后方，兩種形式數學上等價)

3　畸變模型

理想的針孔相機模型成像時，嚴格滿足物點、透視中心和像點三點共線的關系。但在實際應用中，由于受到鏡頭磨制、CCD加工、相機裝配等多種因素的影響，實際像點會偏離其理想位置，即存在光學畸變差。通常將相機畸變分為徑向畸變、切向畸變，徑向畸變由透鏡形狀不規則造成，切向畸變來源于透鏡制造上的缺陷，透鏡本身和圖像平面不平行。

徑向畸變：像點沿徑向產生的偏差。徑向畸變通常對稱分布，像主點處畸變為0，離像主點越遠畸變量越大。徑向畸變表達式為：

(2)

切向畸變：鏡頭器件的光學中心和幾何中心不嚴格共線，即造成像點沿切向方向的偏移。切向畸變在數量上比徑向畸變小很多，但也不能忽略其影響。p1、p2是切向畸變系數，切向畸變表達式為：

(3)

在不考慮其他類型畸變的情況下，相機的畸變模型可表示為：

(4)

4　基本原理

4.1相機內參和外參求解

把世界坐標系置于模板所在平面，模板左上角定為坐標系原點，即所有3維點的坐標Z=0，若ri為R矩陣的第i列向量，則：

(5)

H=A[r1r2t]是描述平面模版到攝影平面的單應矩陣，由物點和像點坐標求得單應矩陣[h1h2h3]。由單位矩陣性質可知，r1、r2正交，

(6)

(7)

B是對稱結構，代入上面兩個約束條件方程，可得一組線性方程組：

(8)

(9)

內參數求解出來之后，就可以計算每張影像外方位元素：

(10)

4.2求解畸變系數

(11)

(12)

如果有n張影像，每張影像m個點，可以列出2mn個式(12)方程，矩陣形式表示為AK=B，A是2mn×4維系數矩陣，K是k1、k2、p1、p2構成的未知數向量，B是點坐標構成的2mn維向量。用最小二乘方法求解即K=[ATA]-1ATB，求出徑向畸變系數k1、k2，和切向畸變系數p1,p2。畸變系數求出來之后，還需要用Levenberg-Marquardt算法迭代進行最大似然估計,通過最小化重投影誤差方程式(13)，得到各個參數的最優解。

(13)

式中，m(A,k1,k2,p1,p2,Ri,ti,Mj)是Mj在影像i上的投影點，Mij是圖像i上的Mj對應的量測點坐標。

5　實驗分析和結果

本次實驗采用非量測數碼相機，A4紙打印的棋盤格作為控制的平面模版。將模板固定，調整相機姿態和位置(或相機固定，調整模板姿態)，從多個方向、多個角度拍攝影像。相機位置模擬示意如圖2所示，實驗采用的是Sony A7α數碼相機， 35mm定焦鏡頭，相幅為3680×2456像素(35.9mm×24mm)，像元大小0.00976mm，棋盤行列數為7×9。首先提取圖像中的棋盤角點。由于噪聲和影像模糊，自動提取的角點和真實位置有一定偏差，為了減小像點誤差，實驗對角點進行了亞像素提取，這樣提取角點的精度就能達到亞像素級別，定位更精確。

圖2　相機位置模擬示意圖

圖3　控制場影像

此次實驗共拍攝了23張影像，其中6張因為拍攝距離變化太大而導致影像模糊，角點提取不完整，所以后處理時將6張模糊影像剔除，不參加計算。為了確定檢校結果的可靠性，還對該相機進行了控制場檢校。采用室內控制場，墻上布設高精度控制點反光標志，控制場影像如圖3所示，并用相機檢校軟件V-STARS進行檢校。實驗結果如表1所示。

表1相機內參數計算結果

參數棋盤檢校控制場檢校結果對比fx/mm36.49537336.3978310.097542fy/mm36.50398236.3978310.106151cx/mm-0.265368-0.248207-0.017161cy/mm-0.396912-0.4131330.016221

從表1可以看出，棋盤檢校結果fx、fy方向焦距相差0.88個像素，檢校結果大致為36.499677mm(取fx、fy平均值)，和控制場檢校結果基本一致，說明基于平面模板的非量測相機檢校是可行的。

為了驗證結果的可靠性，同時還設計了一組實驗。同一時刻、相同條件拍攝N張不同姿態、位置影像，每次取其中的3、5、9、13、15、17張影像分別進行檢校。檢校結果如表2所示。

表2不同數量影像對比實驗

影像數359131517fx/mm40.18952035.45839036.62620236.4996736.49018936.492373fy/mm39.93573035.59745336.76924336.5048036.49506936.503982cx/mm-0.3500848-0.065776-0.1859504-0.2553072-0.2676128-0.265368cy/mm3.16730736-2.4205952-0.4896768-0.4041424-0.3970096-0.396912

圖4　fx-fy隨影像數量變化結果圖　　　　圖5　cx-cy隨影像數量變化結果

從表2和圖4、圖5可以看出，檢校結果隨影像數量的增加趨于一致。3張影像和5張影像時，檢校的內參數結果不穩定，原因是相機的姿態變化少，達不到理想的檢校效果；當影像數量足夠時，檢校結果趨于穩定，一般建議15張左右。

為了進一步檢驗檢校結果的準確性，設計像點的重投影誤差實驗，即用求出來的畸變系數k1、k2、p1、p2，相機內參數f、cx、cy，相機外參數R、t代入模型求出物點對應的圖像上的像點坐標，然后和提取的圖像特征點坐標求差，計算差平方和。從實驗結果中可以看出，重投影誤差最大1.9個像素，最小0.9個像素，平均1.29個像素。投影誤差最大的兩張圖像序號1和11，經目視檢查圖像發現邊緣有模糊，和其它圖像比較成像結果較差，分析原因可能是手持相機拍攝時抖動較大，所以圖像有模糊，影響點的量測精度。

圖6　重投影誤差

6　結　論

本文設計了基于棋盤的航測非量測相機檢校方法實驗，避免了傳統相機檢校對三維控制場的過分依賴，在外業作業現場即可快速完成相機檢校工作，簡單方便快捷、經濟，減輕工作量。實驗表明，當影像數量足夠(建議不少于15張)時，內參數趨于穩定，檢校結果可靠。在實驗設計過程中發現，影響檢校參數穩定性的因素主要有：影像數量少；棋盤格紙張太小，未能覆蓋影像框幅一半

以上；一個角度連續拍攝多張；拍攝的影像模糊，角點提取錯誤；相機距離棋盤遠，棋盤集中在影像畫幅的中間區域等。所以設計實驗時盡量避免以上因素，以提高檢校結果穩定性。后續工作：棋盤用的是A4紙張，紙張有微小變形，將棋盤固定在某一平面，表面有微小起伏，不是理想的二維平面，對檢校造成影響，有待進一步改進。

[1]馮文灝.近景攝影測量[M].武漢：武漢大學出版社，2007.

[2]王之卓. 攝影測量原理[M].武漢：武漢大學出版社，2007.

[3]殷福忠，劉紅軍.基于DLT方法的非量測數碼相機檢校研究[J].地理信息世界，2009， 7(1):84-87.

[4]賈盛舉，于晶濤.數字近景攝影測量在工業檢測中的應用[J].測繪學報，2002(31):61-65.

[5]榮瑞霞，歐龍，張麗娜等.基于滅點理論的普通數碼相機標定方法[J].工程地球物理學報，2007，4(2):152-156.

[6]謝俊峰，龔健雅，江萬壽.一種改進的恒星相機在軌檢校方法[J].測繪科學，2009， 34(2):121-123.

[7]張永軍，張祖勛，張劍清.利用二維DLT及光束法平差進行數字攝像機標定[J].武漢大學學報·信息科學版，2002，27(6):566-571.

[8]雷成，吳福朝，胡占義. Kruppa方程與攝像機自標定[J].自動化學報，2001，27(5):621-630.

[9]劉侍剛，吳成柯，唐麗等.基于對偶絕對二次曲面像變換的自定標方法[J].系統工程與電子技術，2005，27(2):212-214.

[10]ZHANG Z. A Flexible New Technique for Camera Calibration[J]. Pattern Analysis & Machine Intelligence IEEE Transactions，2000，22(11):1330 - 1334.

[11]GRAY B，ADRIAN K. Learning OpenCV[M].北京：清華大學出版社，2009.

A Fast Calibration Technology for Non-metric Camera in Aerial Photogrammetry Based on Planar Pattern

Xiao Da, Gong Zhihui, Li Jinpeng, Han Yilong

Institute of Geospatial Information, Information Engineering University, Zhengzhou 450001, China

A fast calibration technology for non-metric camera in UAV photogrammetry is studied in this paper. Without a strict three-dimensional control field, it only needs a group of planar templates taken from different directions and different angles. The templates can be rotated and the camera can be adjusted as well. Then the camera calibration parameters are calculated by using the rotation matrix constraints based on the imaging equation and distortion model. Experiment results show that the parameters are stable and the calibration result is reliable, which provides a solution for geometric correction and non-metric camera fast calibration under the condition of lacking 3D control points.

camera calibration; non-metric camera; planar pattern; control field

2015-09-23。

肖達(1989—)，男，碩士研究生，主要從事數字攝影測量技術研究。

P231

A