利用本質矩陣進行低空無人機影像位姿恢復的研究

張晶晶，吳良才，艾海濱，許 彪，趙棟梁

(1. 東華理工大學，江西 南昌 330013； 2. 中國測繪科學研究院，北京 100830； 3. 國家測繪地理信息局第三地形測量隊，黑龍江 哈爾濱 150025)

恢復影像的外方位元素是攝影測量技術中尤為關鍵的一步[1]，進行經典的連續像對相對定向時，需明確影像的航帶信息及影像基線方向(通常為影像列方向)，并給定定向元素的初始值(通常為0)，根據共面條件利用最小二乘原理迭代求解未知數[1-2]。國外的Helava系統、Image Station系統和Inpho系統，國內的PixelGrid系統、VirtuoZo系統、JX-4系統等，都是采用傳統攝影測量理論的空三加密軟件。近些年，因無人機機動性高、數據采集便捷和容易轉場等優點，無人機攝影測量已成為當前攝影測量的重要方式之一[3]，但由于無人機質量輕、體積小、攜帶非量測數碼相機，相機鏡頭的安置方式發生變換，導致航空影像姿態角度大、基線方向不再是影像列方向，傳統的連續像對相對定向不再滿足這類影像的處理要求。近些年興起的計算機視覺相關技術，引起了攝影測量領域諸多學者的廣泛關注[4-5]，與傳統攝影測量方法不同，計算機視覺方法只需影像間的匹配點對就可恢復單像對的相對運動，進而恢復多張影像的位姿，如當前廣泛使用的Agisoft PhotoScan、Pix4Dmapper、Smart3DCapture等軟件就是利用計算機視覺技術恢復互聯網圖片、手機照片及無POS數據的航空影像位姿的方法進行三維重建的。但計算機視覺方法仍存在一些缺陷，尤其是漸進式重建算法(incremental structure from motion)[6-8]，對初始像對的選取要求高，最佳的添加影像難以確定，計算復雜度大，當相機軌跡過長時會由于誤差累積導致重建幾何變形。但傳統攝影測量方法不存在該問題，因此本文將計算機視覺中的本質矩陣與經典的連續像對相對定向相結合來處理低空無人機影像。該方法在避免計算機視覺方法缺陷的同時，能夠快速確定基線方向，并且恢復影像外方位元素。

1 基于本質矩陣的無人機影像位姿恢復

1.1 本質矩陣恢復相機位姿

對極幾何(epipolar geometry)反映了三維空間中同一物體兩幅不同影像間內在的射影關系，獨立于景物場景結構，只依賴于相機的內參數和相對運動[9-11]。如圖1所示，影像A和B分別表示以O和O′為攝影中心的空間中三維點M的兩幅圖像，x和x′為投影點。左片投影點x反向投影在空間中形成一條射線，由攝影中心O和點x確定，投影到x的空間點M必然落在該射線上，其在B中被映射成一條直線l′，因此M在B上的投影點x′必然落在l′上。

圖1 對極幾何

本質矩陣E是對極幾何的表達形式，假設R為左相機到右相機的旋轉矩陣，t為兩個相機間的平移量，根據共面條件，可推出本質矩陣E的表達式為

E=[t×]R

(1)

式中，[t×]為反對稱矩陣。E可由5對歸一化圖像坐標直接計算[12-13]，但影像對的匹配點中通常含有誤匹配，因此估計E時需采用RANSAC算法[14-16]逐步剔除粗差點，取得最優模型。估計到E后，對其進行奇異值分解，并且通過空間點同時在兩個相機前方交會的方法消除模糊解，就可以恢復兩幅影像的相對運動(相差一個尺度因子)。

1.2 基于本質矩陣的連續像對相對定向

相對定向的目的是恢復攝影時相鄰兩個攝影中心的相對位置關系[1]。本文以本質矩陣恢復單像對相對位姿為基礎，結合傳統攝影測量方法恢復低空無人機影像的外方位元素，具體步驟如下：

(1) 相對定向。用本質矩陣恢復兩幅影像旋轉矩陣Rcv和平移量tcv。計算機視覺與攝影測量采用的坐標系分別為左右手坐標系，兩個坐標系中平移量的關系為

(2)

(3)

給影像基線分量By賦定值，其余分量Bx、Bz按照比值賦值為

(4)

將以上平移量的值作為經典連續像對相對定向線元素的初始值，角元素(φ,ω,κ)初始值均設為0，根據共面方程利用最小二乘原理趨近求解定向元素。

(2) 構建自由區域網。每一像對進行相對定向后，各模型間相差一個縮放因子，故需用公共點在相鄰模型間的點位，同樣計算后一模型相對于前一模型的比例因子，進行模型連接，并且通過空間前方交會計算同名點的三維坐標，完成自由比例尺單航帶網的構建。單航帶網構建完成后，每個航帶的坐標系是獨立的，要構建區域網需統一各航帶模型[17]。相鄰航帶的公共點滿足如下關系

(5)

2 試驗與分析

2.1 試驗數據

為驗證本文定向方法的有效性，采用以下兩組影像數據集進行試驗。影像集一為嫩江影像，該影像由Sony ILCE-7R(相機參數可見表1)于2013年3月24日采集，取其中74張影像作試驗，影像航向重疊度約為85%，旁向重疊度約為90%，飛行高度約為220 m。影像集二為四川影像數據(相機參數見表1)，該影像共有52張影像，航向重疊度約為75%，旁向重疊度約為40%。部分影像如圖2所示。

圖2 影像數據集

試驗區域影像數/幅像幅尺寸/像素像主點/mmwhx0y0相機焦距/mm像元尺寸/mm嫩江區域74736049120.01710.104655.36250.00488四川區域52374456160035.48810.0064

為驗證結果精度，本文使用物方點在影像上的重投影點與量測點之間的距離平方和評判算法的結果精度，并將本文算法得到的精度與用計算機視覺技術中的Sfm算法精度進行比較。重投影誤差計算公式為

(6)

2.2 結果與分析

嫩江影像集與四川影像集中部分影像的相對外方位元素分別見表2和表3，包括用本質矩陣恢復的相對平移量和用本文定向算法恢復的外方位元素。從表2中本質矩陣恢復的單像對相對運動結果得到嫩江影像的基線方向為y方向，x方向和z方向分量與基線的比值分別約為0.425和0.083；同樣從表3中得到四川影像的基線方向為x方向，y方向和z方向分量與基線的比值分別約為0.032 8和0.082；將上述數據按照1.2節所述進行處理可成功定向并得到自由區域網，證明從相對平移量確定的影像基線是正確的。因為從本質矩陣分解得到的單像對的相對運動，在相差一個尺度因子的情況下，平移量的3個分量可表示右相機相對于左相機在3個坐標軸上的平移，故可從平移量的分量值快速確定影像基線方向。

表2 嫩江影像數據集中部分影像位姿

試驗結果精度見表4，從中可以看出，用本文所提方法恢復兩個影像集的外方位元素得到的重投影誤差分別為0.432和0.205 7個像素，都在1個像素以內。而用Sfm算法得到的精度都在3個像素以上。經典的連續像對相對定向是一個在給定定向元素初始值的基礎上逐步趨近求解的過程，有較好的初始值，就會快速收斂于正確值。本文根據本質矩陣得到像對的相對平移量分量之間的關系給定連續相對定向線元素的初始值，初始值較接近于最終值，故可得到較好的精度。而且本文方法的后續處理類似于傳統攝影測量將非線性等式化為線性等式，利用最小二乘原理求解，可得到精確穩定的結果。Sfm算法是基于非線性等式，采用RANSAC方法選取適當的代價函數，進行矩陣分解，結果依賴于初始特征點分布及其匹配的質量，并且試驗中Sfm算法所用的相機參數是從影像的EXIF信息中提取的概略值，故本文方法的精度高于Sfm算法的精度。

表3 四川影像數據集中部分影像位姿

表4 試驗結果精度

圖3為空間前方交會得到的稀疏三維點云。

圖3 影像重建結果

3 結 語

為了能夠快速確定影像的基線方向，恢復低空無人機影像的外方位元素，本文以計算機視覺中的相對定向為基礎，與經典的攝影測量結合恢復影像位姿。試驗證明，該方法能夠快速確定影像的基線方向，恢復影像的外方位元素，得到三維點云，而且在精度上，重投影誤差在1個像素以內。本文算法初步嘗試將計算機視覺技術與傳統攝影測量技術相結合，顧及航空影像的有序性和結構性特點，結合計算機視覺中定向算法的通用性，能夠利用上述算法較好地估計影像的位姿參數。但是對于各類型影像的穩健性還有待提高，大規模影像數據的定向試驗有待進一步研究。

參考文獻：

[1] 張祖勛.數字攝影測量與計算機視覺[J].武漢大學學報(信息科學版)，2004，29(12):1035-1039.

[2] 張力,艾海濱,許彪,等.基于多視影像匹配模型的傾斜航空影像自動連接點提取及區域網平差方法[J].測繪學報，2017，46(5):554-564.

[3] 王湘文，于啟升，王雅鵬.無人機低空攝影測量系統在大比例尺地形圖中的應用[J].地礦測繪，2013，29(1):34-36.

[4] 孫敏.多視幾何與傳統攝影測量理論[J].北京大學學報(自然科學版)，2007，43(4):453-459.

[5] 張祖勛.數字攝影測量與計算機視覺[C]∥全國數字近景攝影測量學術研討會.[S.l.]：武漢，2004.

[6] SCHONBERGER J L，FRAHM J M.Structure-from-motion Revisited[C]∥Proceedings of the CVPR.[S.l.]:CVPR，2016.

[7] SCONBERGER J L,FRAUNDORFER F,FRAHM J M.Structure-from-motion for MAV Image Sequence Analysis with Photogrammetric Applications[J].International Archives of the Photogrammetry Remote Sensing & S，2014，XL-3(3):305-312.

[8] WU C.Towards Linear-time Incremental Structure from Motion[C]∥International Conference on 3dtv-Conference.[S.l.]：IEEE，2013:127-134.

[9] ZISSERMAN A.Multiple View Geometry in Computer Vision[J].Kybernetes，2003，30(910):1865-1872.

[10] FO W，WROBEL B P.Photogrammetric Computer Vision[M].[S.l.]：Springer International Publishing，2016.

[11] 陳登,林卉,蘇天路,等.多視幾何理論輔助的無人機低空攝影測量空三加密[J].測繪通報，2017(6):26-30.

[12] DAVID R.An Efficient Solution to the Five-point Relative Pose Problem[J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2004，26(6):756-770.

[13] 王文斌，劉桂華，劉先勇,等.本質矩陣五點算法偽解的兩種剔除策略[J].光電工程，2010，37(8):46-52.

[14] MOISAN L，MOULON P，MONASSE P.Fundamental Matrix of a Stereo Pair，with a Contrario Elimination of Outliers[J].Image Processing on Line，2016，6(6):89-113.

[15] 甄艷，劉學軍，王美珍.一種改進RANSAC的基礎矩陣方法[J].測繪通報，2014(4):39-43.

[16] MOISAN L，MOULON P，MONASSE P.Automatic Homographic Registration of a Pair of Images，with a Contrario Elimination of Outliers[J].Image Processing on Line，2012，2(5):56-73.

[17] 王解先.七參數轉換中參數之間的相關性[J].大地測量與地球動力學，2007，27(2):43-46.