無人機大比例尺測圖中非量測相機標定ChARUco驗證

王安磊，甘淑，袁希平

(1.昆明理工大學國土資源工程學院，云南 昆明 650093； 2.云南省高校高原山地空間信息測繪技術應用工程研究中心，云南 昆明 650093； 3.滇西應用技術大學云南省高校山地實景點云數據處理及應用重點實驗室，云南 大理 671006)

1 引 言

無人機航空攝影測量技術以其機動、靈活、高效率、低成本、易操作以及在應急救災和小范圍數據快速獲取和成圖方面的獨特優勢成為常規航空攝影測量手段的有效補充，帶來航空攝影測量應用領域的變革，同時為大比例尺地形圖測繪提供了新的技術手段[1]。但相比較傳統航空攝影的專用航攝儀而言，無人機通常選用廣角CMOS數碼相機作為成像系統，而普通單反或無反相機屬非量測相機，其影像的光學畸變大，而相機鏡頭畸變差會造成相點坐標位移，使鏡頭中心、像點和對應的物點不能滿足中心投影的光學共軛關系，從而降低影響的配準精度[2]。如果相機畸變不能有效去除，會直接導致空三無法滿足精度要求、立體像對模型差大、接邊工作量增大，也難以滿足 1∶500比例尺測圖的需要[3]。

相機檢校技術可以得到相機的內方位元素和畸變參數[4]，恢復正確的光束形狀，進而提高地形圖測繪和實景三維建模的精度。目前，相機檢校的方法較多，但是通常在實用性和精度兩方面難以兼得，在實際應用中還要綜合考慮工作條件、成本高低、精度需求等因素來選擇一個合適的檢校方法[5]?？傮w上相機檢校方法可以分為基于控制場和無須控制場的相機檢校兩類。具體檢校方法又可分為光學實驗室法、控制場檢校法、在任檢校法和恒星檢校法[6]，其中基于控制場的檢校方法在可操作性和精度上相對最優，因此該類方法應用較為廣泛。文獻[7]提出了一種基于棋盤格的標定方法，該方法是研究相機標定的經典方法。該方法由兩部分組成，首先對相機的參數進行估計，再用優化函數進行迭代改正，最終得到高精度解。文獻[8]提出了基于二維的直接線性變換算法和光束法的相機檢校方法。文獻[9]將張正友的棋盤格法進行簡化后，得到了一種快速平面標定的方法，通過提高內方位元素初始值的準確度，減少了運算時迭代的次數，使標定變得更為快速。文獻[10]利用共面條件方程這一約束條件，建立了基于附加約束條件的光束網平差的相機標定方法。文獻[11]進行了對張正友法的改進研究，將求解出來初始參數用非線性最小二乘法進一步完善，得到內外方位元素，提高了初始數值的魯棒性，加入了切向畸變，提高了標定的收斂速度。

在以往的標定中，通常是利用經典的Chessboard標定，Chessboard圖案的每個角都用兩個黑色方塊圍繞，能夠更精確地細化，但是使用Chessboard存在缺點，其要求不可以有遮擋，即像場內整個圖案可見。而ArUco圖案可以解決被遮擋的問題，使用ArUco模塊，可以通過ArUco標記進行校準，同時使用ArUco進行校準比使用傳統的Chessboard更為靈活和方便，但是ArUco標定法仍存在的不足，即便其角點經過亞像素細化，對該標定板的角點位置的識別的準確性也并不高。所以使用將Chessboard與ArUco結合的ChARUco圖案進行無人機鏡頭畸變解算，并與傳統的Chessboard圖案相比較，最后使用解算出的參數對實驗區的正射影像圖進行畸變校正，并檢驗檢查點的點位精度。

2 實驗理論基礎

2.1 相機成像模型

計算機視覺中，系統要完成計算對三維場景中目標物體的描述、識別和理解等任務，其中相機對目標物體拍攝圖像是系統中必不可少的過程。相機拍攝所獲得的二維圖像是以像素為單位的，相機標定要解決的問題就是建立物體的三維空間坐標和對應二維圖像坐標之間的對應關系。相機成像模型決定了目標物體表面點的世界坐標與其在二維圖像中的像素坐標的對應關系。成像模型的幾何參數代表了相機具有的參數，為了描述相機成像模型中的各個參數，在計算步驟中涉及四個坐標系，即世界坐標系、相機坐標系、圖像坐標系和像素坐標系，并且需要知道這四個坐標系之間的轉換關系[12]。

2.2 相機參數的估計

(1)相機參數的初始估計

標定方法假定模板平面放置在世界坐標系中Z=0的平面上，相機的成像模型則可以表示為：

(1)

(2)

因相機有五個位置參數，所以當相機拍攝得到的圖像數大于或等于3時，就可以求出唯一解。

令：

(3)

vij=[hi1hj1， hi2hj2+hi2hj1， hi2hj2， hi1hj3， hi3hj2+hi2hj2， hi3hj3]

再根據H=[h1h2h3]=λK[r1r2t]可以得到：

(4)

由‖r1‖=‖r2‖=1，可以求出λ的值。至此求出所有的相機參數。

(2)參數優化

在理想的狀態下，像素坐標系下的坐標與三維空間點的坐標通過所求出的相機參數矩陣投影到像素坐標系是同一個點，但在實際應用中會存在誤差，所以為了得到更加精確的相機參數，可以通過投影誤差最小化函數來對相機參數迭代優化。如下：

(5)

式中m為像素坐標系下的坐標，m(K，Ri，ti，Mj)表示三維空間點的坐標經過初始估計的相機參數投影變換到像素坐標系下的坐標。

2.3 Chessboard的特征提取

Chessboard是將約定大小的正方形黑白格子，規則排列形成的國際象棋棋盤狀的圖案，如圖1所示。使用Chessboard進行相機標定時，檢測的特征點為黑白相間的格子的內角點，其對應數學上的鞍點的概念，理論無限小，所以針對內角點的檢測可達到較高的精度。

圖1 Chessboared內角點

檢測Chessboard內角點時，因為局部平均自適應閾值化方法對亮度不均勻情況適應性強，所以首先將圖像二值化，圖像膨脹可以分離黑色塊與白色塊斷掉其銜接，而后計算每個輪廓的凸包，進行多邊形檢測以及判斷是否有且只有四個頂點，再應用長寬比、周長和面積等指標約束去除一些干擾計算的四邊形[13]。

但使用Chessboard仍存在著若干局限性，其要求整個圖案在像場中可見，否則便不能檢測；而且關于Chessboard檢測的一個重要細節是，為了保持其旋轉不變，其行列數必為一奇一偶，不可同為偶數或同為奇數，否則會使圖像解算產生模糊性而導致歧義。

2.4 ArUco的特征提取

ArUco標記是二進制正方形基準標志物，它由一個較寬的黑邊和一個嵌入其內部的二進制矩陣組成，如圖2所示，該矩陣決定了它的ID。黑色的邊界有利于快速檢測到圖像，二進制編碼可以驗證ID，并允許錯誤檢測和矯正技術的應用[14]。它的優點是檢測快速，簡單而穩健。

圖2 ArUco二維矩陣

ArUco檢測不要求圖案在像場內全部可見，當圖像中有一些標記可見時，首先會對候選標記進行檢測。該算法首先對圖像進行自適應閾值分割，然后從分割后的圖像中提取輪廓線，剔除不凸或不近似正方形的輪廓線。在候選標記檢測之后，需要通過分析它們的內部編碼來確定它們是否是正確的標記物。首先應用透視變換來獲得標準形式的標記以提取每個標記的標記位[15]。ArUco獲取的特征是其二進制矩陣的外輪廓線和該二進制矩陣本身，所以其對特征的定位精度相對較低。

3 實驗設置

3.1 實驗條件

研究工作的實驗條件主要包括硬件條件、軟件條件和研究實驗區三個方面。其中，硬件條件包括PENTAX K-3 Ⅱ型單鏡頭反光數碼相機、大疆Phantom 4 Pro四旋翼無人機、棋盤格標定板、ChARUco標定板、地面像控點若干；軟件條件涉及Cygwin64開源環境、Python 3.8.10、opencv-python 4.5.3、opencv-contrib-python 4.5.3、numpy 1.21.2、Pix4Dmapper 4.5.6、ArcGIS 10.3；研究實驗區選擇了昆明理工大學蓮華校區。

3.2 像控點與檢查點布設

為保障數據成果精度，關于像控點的位置選取，在預設范圍內盡量選擇平整地面明顯標志點，如斑馬線角點、檢修井中心點等地面點點位[16]，在研究區內均勻布設14個控制點，5個作為像控點，9個作為檢查點。

表1 像控點坐標列表

表2 部分檢查點坐標列表

4 ChARUco驗證及其結果分析

4.1 制作未經畸變校正的DOM

使用大疆Phantom 4 Pro四旋翼無人機對測區進行數據采集，航高 45 m，航向重疊度和旁向重疊度均設為80%，共獲取745張照片。

本研究使用Pix4Dmapper進行無人機影像的拼接和成果輸出：首先，導入POS數據和GCP點對應的三維空間坐標信息，對應進一步優化并生成飛行區域內的稀疏點云；其次，基于具有空間信息的稀疏點云進行飛行區域內的密集點云的構建[17]，生成飛行區域的3D多邊形格網；最后，生成實驗區的正射影像圖DOM和數字地表模型DSM。

表3 檢查點與初始DOM測量值比較表

4.2 兩種鏡頭畸變計算

ChARUco標定板規格如下：為8行9列，圖案中每個格子的邊長為 2.5 cm，其中的ArUco碼的邊長為 1 cm。Chessboard標定板規格如下：為8行9列，圖案中每個格子的邊長為 2.5 cm。使用PENTAX K-3 Ⅱ型單鏡頭反光數碼相機固定焦距 70 mm對Chessboard標定板從不同角度拍攝20幅圖像，由于Chessboard標定本身的特點，要求每張照片中的標定圖案完整無遮擋；再使用該型相機對ChARUco標定板從不同角度拍攝20幅圖像，且不再要求標定圖案完整。

表4 PENTAX K-3Ⅱ相機參數

將獲取的圖像導入Cygwin64開源環境，編寫對應兩種標定圖案的Python程序，標定程序依賴opencv-python、opencv-contrib-python和numpy三種開源函數庫。

表5 ChARUco圖案檢校結果

表6 Chessboard圖案檢校結果

經過這一步驟，可以得到如下結論：ChARUco標定圖案可以在一定程度上彌補Chessboard標定圖案的缺點和不足，可以在圖案不完整的情況下求得內參矩陣和光學畸變參數，提高了標定的靈活性簡化了標定的難度，但是在精度上有一定程度的下降。

4.3 校正DOM測量精度分析

使用大疆Phantom 4 Pro四旋翼無人機采集ChARUco標定圖案的若干照片，再在Cygwin64開源環境中使用前一步驟的基于opencv-python的畸變計算程序求得其光學畸變參數，將該畸變參數輸入到Pix4Dmapper的相機模型中，重新生成研究區的正射影像圖。

在ArcGIS中瀏覽該正射影像圖，顯示像控點與檢查點的坐標。仍然將使用全站儀測得的像控點及檢查點的坐標作為真值，校正后的DOM中獲得的控制點和檢查點的坐標與真值對比如下。

表7 初始DOM測量值與改正后DOM測量值比較表

圖3 改正前后檢查點中誤差對照圖

實驗結果表明，ChARUco標定圖案并結合張正友法對小型消費級無人機進行性相機標定，從大比例尺測圖的要求出發，點位精度無顯著差異，均滿足大比例尺測圖對點位精度的需要。

5 結 論

本文以昆明理工大學蓮華校區作為研究實驗區，利用四旋翼輕型電動無人飛機航攝系統和常見的單鏡頭反光相機，基于Pix4dMapper以及Cygwin64開源環境和opencv-python等軟件，對Chessboard和ChARUco兩種標定圖案的優缺點及正射影像圖的點位精度影響進行探討，根據精度驗證的分析結果，得到以下結論：

(1)Chessboard標定圖案進行相機標定的重投影誤差較小，精度較高，但是對采集影像要求較高，需要圖像完整和清晰；而ChARUco標定圖案可以在一定程度上彌補Chessboard標定圖案的缺點和不足，可以在圖案不完整的情況下求得內參矩陣和光學畸變參數，提高了標定的靈活性簡化了標定的難度，但是在精度上有一定程度的下降。

(2)應用ChARUco標定圖案并結合張正友法對小型消費級無人機進行性相機標定，從大比例尺測圖的要求出發，點位精度無顯著差異，均滿足大比例尺測圖對點位精度的需要。

進一步思考，關于無人機測圖的質量控制，建議除需要對非量測相機進行標定之外，還要綜合考慮像控點的布設以及測區環境等因素，也有待進一步驗證和研究。