相機檢校的迭代處理方法

崔璨璨，汪佳麗，馬振玲(上海海洋大學海洋科學學院，上海 201306)

普通數碼相機(非量測相機)因其成本低廉、便于攜帶等優點，在攝影測量作業中得到越來越廣泛的應用[1]。相機檢校問題在相機發明后用于量測應用后就存在，其結果很大程度上影響數字攝影測量后續工作的處理精度[2-3]。當前已有大量攝影測量學者進行了非量測相機檢校方面的研究[4-8]，但仍存在易受操作空間和拍攝角度的影響，穩健性較差[4-5]、缺少主點修正和其他畸變修正[6]、無法保證相機穩固性[7]、忽略了影像邊緣區域檢校[8]等問題。此外，基于計算機視覺的檢校方法雖然保證了精度，但對標定板要求較高，在實際應用中有著局限性[9-11]。因此，本文結合前人的研究成果[8,12]，主要從攝影測量的角度對非量測相機的檢校進行探討，并且提出了相機的迭代檢校思路。

首先，針對傳統檢校場地造價昂貴、對標志點量測精度高、對周邊環境要求高等問題，本文提出不需要額外建設投入，可以利用現有條件快速建立簡易實用的相機檢校控制場，并且通過試驗證明此類檢校場行之有效，能滿足一定的需求。其次，針對通常的相機檢校方法(以下簡稱常規檢校法)檢校后由于使用模型不足仍然存在殘留畸變誤差的問題，本文提出相機檢校的迭代處理思路(以下簡稱迭代檢校法)，并且利用簡易室外檢校場驗證迭代檢校法。最后，在無控制點情況下，通過增加約束條件把相機檢校模型納入自由網平差，同樣按照上述相機迭代檢校處理的思路實現無控制點的相機迭代檢校。通過設計各種試驗比較分析了常規檢校法和迭代檢校法，驗證了新提出的相機迭代檢校法既適用有控制點條件的相機檢校，也適用于無控制情況下的相機檢校。

1 檢校場建立與相機檢校

1.1 檢校場建立

本文構建室外檢校場因其能夠充分考慮攝影測量的實際工作條件，使相機檢校最大限度地接近實際工作環境。一些室外檢校場需要在一個或多個建筑物上布設一定數量的人工標志點[13]，不僅成本較高，也給標志點布設增加了工作難度。在構建非量測數碼相機二維平面檢校場時，考慮到建筑物變形小、格網點清晰明確、拍攝方便等優點，因此選用一面由幾何形狀規則的磚塊所組成的紋路清晰的墻面作為檢校場，這樣既節省了成本，也避免了布設人工標志點的難度，并且容易找到大量均勻分布的控制點點位。本文選取由規則磚塊構成的墻面作為簡易檢校場，把磚塊角點作為控制點。檢校場的控制點坐標采用獨立坐標系，使用徠卡全站儀進行多次量測取平均值作為最后量測坐標，共選用188個控制點進行檢校試驗與精度評定，點位精度優于2 mm，控制點均勻分布在墻面，區域覆蓋了影像的絕大部分面積。本文構建的室外檢校場及量測的控制點點位分布如圖1所示。

圖1 簡易室外相機檢校場(二維平面檢校場及控制點點位分布)

1.2 相機常規檢校法

本文中提到的常規檢校法是指使用現有相機檢校模型進行畸變系數計算和影像校正。現有相機檢校模型是指已經提出且廣泛應用于相機檢校的模型。相機檢校的主要目的是確定相機光學畸變差。光學畸變差指攝像機物鏡系統設計、制作和裝配所引起的像點偏離其理想位置的點位誤差[14]，是影響像點坐標質量的一項重要誤差，為了正確恢復攝影時的光束形狀，需準確求解光學畸變系數。常見的畸變類型[13,15]可以歸納為以下3類。

1.2.1 徑向畸變差

徑向畸變主要是由于相機鏡頭的鏡片在加工過程中產生的誤差所引起的。徑向畸變差的表達式為

Δr=k1r3+k2r5+k3r7

(1)

(2)

(3)

1.2.2 偏心畸變差

偏心畸變差在數量上與徑向畸變相比要小很多，但偏心畸變同時具有徑向偏差和切向偏差，它是由于相機的光學系統中心與幾何中心不一致造成的，用多項式表達為

(4)

式中，Δxd、Δyd為偏心畸變差；p1與p2均為切向畸變系數。

1.2.3 平面內畸變差

平面內畸變主要是主光軸偏移所導致的x軸和y軸比例不一致和坐標軸的不正交這兩個因素的影響。平面內畸變差的表達式為

(5)

式中，Δxf、Δyf為平面內畸變差；b1為在像元大小不均勻的情況下，x方向尺度比例因子；b2為在像素陣列不正交情況下的裁切系數。

Australis模型考慮了相機物鏡的徑向畸變、偏心畸變、平面內畸變，適用于二維平面檢校場和三維空間檢校場，如下式為

(6)

式中，Δx、Δy分別表示像空間坐標系下x、y方向的物鏡畸變差。

將式(3)、式(4)、式(5)代入式(6)，Australis模型可表示為

(7)

式中，Δx0、Δy0為相機主點改正量；c為主距；Δc為主距改正值。

為敘述方便，本文中將只考慮2個偏心畸變系數的模型稱為“二號模型”，將只考慮含3個徑向畸變系數的模型稱為“三號模型”，將同時考慮2個偏心畸變和3個徑向畸變系數的模型稱為“五號模型”，將同時考慮徑向畸變、偏心畸變、平面內畸變等7個系數的Australis模型稱為“七號模型”。

1.3 相機迭代檢校法

針對相機檢校常規法對殘留畸變沒有再進行分析處理的問題，本文提出了相機檢校迭代處理的思路(即迭代檢校法)。通過對原始影像多次采用同一檢校模型或不同模型組合，經過迭代處理達到對影像畸變校正的目的，每次迭代后利用新得到的畸變系數對影像進行校正，把校正后重采樣得到的影像作為下次迭代的輸入影像，重新采樣檢校模型進行檢校，經過如此多次迭代處理，根據預先設置的畸變系數變化閾值決定是否終止迭代。迭代檢校法雖然具有多組檢校畸變系數，需要對影像多次重采樣，但是多次重采樣僅發生在檢校過程中，一旦檢校完成，在實際影像的檢校可以通過一系列計算，確定畸變的最后幾何位置，只進行一次影像重采樣，從而可以避免多次重采樣造成的信息丟失和清晰度減低，同時也可以減少多次影像校正的工作量。相機迭代檢校法原理如圖2所示。

圖2 相機迭代檢校法原理示意圖

用被檢校的相機對簡易檢校場獲取多景影像，在獲取的多景影像上量測控制點對應的像點坐標，利用相機檢校模型計算出影像外方位元素及相機內方位元素和畸變系數，利用這些系數對影像進行第一次畸變校正(常規檢校法)。單次校正后影像一般仍有畸變存在，因此對校正后的影像進行迭代處理。將第一次校正后的影像作為初始影像，重新量測控制點的像點坐標，為了減少人工量測所有控制點的工作量，將第二次初始影像與第一次初始影像采用影像匹配(轉刺控制點)。利用新的控制點影像坐標重新計算畸變系數，進行像畸變校正。依次類推，直至畸變變化小于預先設定的閾值，終止迭代，完成相機檢校。相機迭代檢校法的工作流程如圖3所示。

2 試驗與結果分析

本文選擇了兩種非量測相機進行了試驗，相機A為佳能5DSr全幅單反相機，采用24 mm移軸定焦鏡頭，傳感器尺寸為36 mm×24 mm，影像分辨率為8688×5792。相機B為富士雙鏡頭立體3D相機W3，相機鏡頭是等效焦距，傳感器尺寸為1/2.3英寸，影像分辨率為3648×2736。相機A與相機B均在6個與墻垂直距離近似相等的攝站點拍攝影像，每個攝站點之間水平距離大約在10～30 cm之間，共拍攝18景影像。相機B為雙目立體視覺相機，共有左右兩個相對水平距離約為7.5 cm、參數一致的鏡頭，本文主要對左鏡頭的6景影像進行檢校。分別使用佳能相機和富士相機處理軟件將影像轉為TIFF格式，然后對影像進行坐標量測。為了專注對常規檢校法和迭代檢校法的比較和簡化模型比較，本文暫不引入對主距的校正，但原則上迭代檢校法同樣適用于帶主距校正的檢校模型。

2.1 常規檢校法與迭代檢校法的相機檢校試驗分析比較

本文利用常規檢校法和迭代檢校法分別對相機A和相機B進行了多次試驗，并對試驗結果進行對比分析。試驗一采用七號模型，使用常規檢校法獲取第一組畸變系數，使用迭代檢校法獲取共6組畸變系數。試驗中相機A和相機B分別選取56個點和86個點計算空間坐標中誤差(根據控制點前方交會的三維坐標與控制點三維坐標之間的誤差統計)。相機A和相機B的常規檢校法和迭代檢校法的影像畸變中誤差及空間坐標中誤差見表1和表2。由于常規檢校法與迭代檢校法第一次迭代檢校的結果一致，因此表中的迭代檢校法只給出從第二次迭代的檢校結果。

表1 相機A常規檢校法與迭代檢校法的誤差分析

表2 相機B常規檢校法與迭代檢校法的誤差分析

從表1、表2可以看出，常規檢校法在經歷了一次檢校后仍然有畸變存在，迭代檢校法能夠通過多次迭代把畸變進一步減小。經過多次迭代，相機的畸變系數趨近于0(0.09像素)。而空間坐標中誤差在幾次迭代過程中相當穩定，幾乎不變，合理的解釋可能為控制點空間坐標的量測為2 mm(參考全站儀)，而相機檢校受到檢校模型檢校極限的影響，控制點影像坐標量測誤差(相機分辨率等因素)和其他外界因素的影響，空間坐標中誤差無法進一步提高。表1顯示相機A的控制點中誤差達到2.18 mm，表2顯示相機B的空間坐標中誤差達到11 mm，這可能是由于相機A作為全幅面成像及鏡頭質量遠高于相機B所致，而通過迭代檢校法相機B的空間坐標中誤差稍有提高。

2.2 單模型迭代檢校法與多模型組合迭代檢校法的相機檢校試驗分析比較

迭代檢校法的一個優點是可以靈活選用相機檢校模型，即在整個迭代過程中既可以選用同一個檢校模型，也可以適用不同檢校模型進行組合迭代。本試驗使用相機B的6張影像數據，分別采用五號模型的單一模型迭代法，與二號模型和三號模型交替迭代的迭代法進行檢校。選用二號模型和三號模型交替迭代的另一層含義是五號模型的5個系數正好是三號模型的3個系數和二號模型的2個系數。二號模型和三號模型交替迭代的具體步驟為：第一次迭代選用三號模型，第二次迭代選用二號模型，依次類推，交替選用，直至滿足相機檢校需求。五號模型迭代及二號模型和三號模型交替迭代的影像畸變中誤差和空間坐標中誤差見表3。

表3 五號模型迭代檢校法與二號模型和三號模型組合迭代檢校法的誤差分析

根據表3所示，二號模型與三號模型交替迭代的影像畸變中誤差逐漸減小，最后趨近于0(0.06像素)，而迭代法的空間坐標中誤差也比常規法提高了約35%精度。選用單一模型(五號模型)的迭代法的影像畸變中誤差在逐漸減小，最后趨近于0(0.02像素)。空間坐標中誤差略有增大，可能受到控制點影像點位量測精度的影響。此試驗結果表明，選用合理的多模型交替迭代可以達到選用單一模型迭代檢校的效果。

2.3 有控制點迭代檢校法與無控制點迭代檢校法對比

為了拓寬提出的相機迭代檢校法的應用面，本文在無控制點情況下進行了迭代法的研究。通過增加約束條件可解決無控制點情況下自由網平差法的方程系數陣秩虧問題從而到達收斂求解。同樣按照本文提出的相機檢校迭代處理的思路實現無控制點的相機迭代檢校。在此把相機檢校模型系數作為自由網的自檢校系數進行求解。

把七號模型(Australis模型)作為自檢檢校模型分別對相機A和相機B進行無控制點迭代法試驗。試驗使用與上述試驗相同的影像，無控制點迭代檢校法與有控制點迭代檢校法唯一不同的是把所有控制點作為檢查點，把檢查點的空間坐標作為未知數，只在最后把前方交會求得的檢查點的空間坐標通過三維平移旋轉縮放與檢查點的量測坐標進行誤差比較。試驗對相機A分別進行6次迭代檢校(在有控制點情況下)和5次迭代檢校(在無控制點情況下)；對相機B分別進行4次迭代檢校(在有控制點情況下)和7次迭代檢校(在無控制點情況下)。相機A和B的影像畸變中誤差和空間坐標中誤差見表4和表5。

表4 相機A有控制點與無控制點迭代檢校法的誤差分析

表5 相機B有控制點與無控制點迭代檢校法的誤差分析

根據表4、表5所示，相機A與相機B的無控制點迭代檢校法的影像畸變中誤差和空間坐標中誤差整體均呈現減小趨勢，但是兩類誤差都比有控制點迭代檢校法的誤差大(大約為2倍)。此試驗表明無控制點迭代檢校法的檢校精度要差于有控制點迭代檢校法的檢校精度，此現象是否具有普遍性還有待進一步研究證實。

3 結論和展望

非量測相機的檢校是攝影測量特別是攝影測量工業應用的關鍵環節之一。本文通過介紹構建簡易快速的控制點檢校場，為非量測相機的檢校提供了一條便利的途徑。首次提出了相機檢校的迭代處理思路，即迭代檢校法，詳細介紹了有控制點和無控制點迭代檢校法的處理流程，并且通過對兩種相機一系列試驗，對影像畸變精度和空間坐標精度進行了分析。試驗結果表明，迭代檢校法比常規檢校法可以進一步提高相機檢校的精度；迭代檢校法可以另外選用單一或不同檢校模型組合進行迭代檢校，以適應不同相機和環境的檢校；迭代檢校法也可在無控制點的極端檢校環境下應用，才可以達到與有控制點迭代檢校相近的精度。本文試驗也揭示，佳能全幅面單反相機(24 mm移軸定焦鏡頭)的影像畸變明顯小于較廉價的富士立體相機W3。

進一步的工作包括研究引入對主距的校正，不同檢校模型組合的迭代檢校法對相機檢校的效果及如何進一步提高無控制點迭代法的檢校精度，使得迭代檢校法能在更廣闊的復雜環境中得到應用。

參考文獻：

[1] 衛征，方俊永，張兵.非量測相機鏡頭光學畸變的改正[J].光學技術，2007(6)：885-888.

[2] ZHAO S，LI X J，LIU T，et al.Camera Self-calibration Method Based on Large Scale Aerial Images Coplanarity Constraint[J].Acta Geodaetica et Cartographica Sinica,2017,46(1)：98-106.

[3] 趙爽，李學軍，劉濤，等.基于大比例尺航空影像共面約束條件的相機自檢校方法[J].測繪學報，2017，46(6)：98-106.

[4] ABDEL-AZIZ Y I，KARARA H M.Direct Linear Transformation from Comparator Coordinates into Object Space Coordinates in Close-range Photogrammetry[J].Photogrammetric Engineering and Remote Sensing，2015,81(2)：103-107.

[5] 張永軍，張祖勛，張劍清.利用二維DLT及光束法平差進行數字攝像機標定[J].武漢大學學報(信息科學版)，2002，27(6)：566-571.

[6] 吳軍，徐剛，董增來，等.引入滅點約束的TSAI兩步法相機標定改進研究[J].武漢大學學報(信息科學版)，2012，37(1)：17-21.

[7] 袁楓，張繼賢，齊維君，等.非量測數字相機實驗室幾何標定[J].測繪學報，2016，45(5)：601-607.

[8] 楊韞瀾，胡海彥.非量測型數碼相機檢校及量測精度分析[J].測繪通報，2017(S1)：206-209.

[9] ZHANG Z Y.A Flexible New Technique for Camera Calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2000,22(11)：1330-1334.

[10] 馬頌德，張正友.計算機視覺——計算理論與算法基礎[M].北京：科學出版社，1998.

[11] 王鳳艷，黃潤秋，陳劍平，等.基于計算機視覺和測量平差理論的相機標定[J].吉林大學學報，2017，47(3)：944-951.

[12] FRASER C.Digital Camera Self-calibration[J].ISPRS Journal of Photogrammetry and Remote Sensing，1997,52(4)：149-159.

[13] 張本昀，吳曉明，喻錚錚，等.非量測相機檢校及可靠性研究[J].測繪科學，2008，33(5)：84-86.

[14] 馮文灝.近景攝影測量[M].武漢：武漢大學出版社，2002.

[15] 李天子，郭輝.非量測數碼相機的影像糾正[J].測繪通報，2006(10)：59-61.