利用本質(zhì)矩陣進(jìn)行低空無人機(jī)影像位姿恢復(fù)的研究

張晶晶，吳良才，艾海濱，許 彪，趙棟梁

(1. 東華理工大學(xué)，江西 南昌 330013； 2. 中國測繪科學(xué)研究院，北京 100830； 3. 國家測繪地理信息局第三地形測量隊，黑龍江 哈爾濱 150025)

恢復(fù)影像的外方位元素是攝影測量技術(shù)中尤為關(guān)鍵的一步[1]，進(jìn)行經(jīng)典的連續(xù)像對相對定向時，需明確影像的航帶信息及影像基線方向(通常為影像列方向)，并給定定向元素的初始值(通常為0)，根據(jù)共面條件利用最小二乘原理迭代求解未知數(shù)[1-2]。國外的Helava系統(tǒng)、Image Station系統(tǒng)和Inpho系統(tǒng)，國內(nèi)的PixelGrid系統(tǒng)、VirtuoZo系統(tǒng)、JX-4系統(tǒng)等，都是采用傳統(tǒng)攝影測量理論的空三加密軟件。近些年，因無人機(jī)機(jī)動性高、數(shù)據(jù)采集便捷和容易轉(zhuǎn)場等優(yōu)點，無人機(jī)攝影測量已成為當(dāng)前攝影測量的重要方式之一[3]，但由于無人機(jī)質(zhì)量輕、體積小、攜帶非量測數(shù)碼相機(jī)，相機(jī)鏡頭的安置方式發(fā)生變換，導(dǎo)致航空影像姿態(tài)角度大、基線方向不再是影像列方向，傳統(tǒng)的連續(xù)像對相對定向不再滿足這類影像的處理要求。近些年興起的計算機(jī)視覺相關(guān)技術(shù)，引起了攝影測量領(lǐng)域諸多學(xué)者的廣泛關(guān)注[4-5]，與傳統(tǒng)攝影測量方法不同，計算機(jī)視覺方法只需影像間的匹配點對就可恢復(fù)單像對的相對運動，進(jìn)而恢復(fù)多張影像的位姿，如當(dāng)前廣泛使用的Agisoft PhotoScan、Pix4Dmapper、Smart3DCapture等軟件就是利用計算機(jī)視覺技術(shù)恢復(fù)互聯(lián)網(wǎng)圖片、手機(jī)照片及無POS數(shù)據(jù)的航空影像位姿的方法進(jìn)行三維重建的。但計算機(jī)視覺方法仍存在一些缺陷，尤其是漸進(jìn)式重建算法(incremental structure from motion)[6-8]，對初始像對的選取要求高，最佳的添加影像難以確定，計算復(fù)雜度大，當(dāng)相機(jī)軌跡過長時會由于誤差累積導(dǎo)致重建幾何變形。但傳統(tǒng)攝影測量方法不存在該問題，因此本文將計算機(jī)視覺中的本質(zhì)矩陣與經(jīng)典的連續(xù)像對相對定向相結(jié)合來處理低空無人機(jī)影像。該方法在避免計算機(jī)視覺方法缺陷的同時，能夠快速確定基線方向，并且恢復(fù)影像外方位元素。

1 基于本質(zhì)矩陣的無人機(jī)影像位姿恢復(fù)

1.1 本質(zhì)矩陣恢復(fù)相機(jī)位姿

對極幾何(epipolar geometry)反映了三維空間中同一物體兩幅不同影像間內(nèi)在的射影關(guān)系，獨立于景物場景結(jié)構(gòu)，只依賴于相機(jī)的內(nèi)參數(shù)和相對運動[9-11]。如圖1所示，影像A和B分別表示以O(shè)和O′為攝影中心的空間中三維點M的兩幅圖像，x和x′為投影點。左片投影點x反向投影在空間中形成一條射線，由攝影中心O和點x確定，投影到x的空間點M必然落在該射線上，其在B中被映射成一條直線l′，因此M在B上的投影點x′必然落在l′上。

圖1 對極幾何

本質(zhì)矩陣E是對極幾何的表達(dá)形式，假設(shè)R為左相機(jī)到右相機(jī)的旋轉(zhuǎn)矩陣，t為兩個相機(jī)間的平移量，根據(jù)共面條件，可推出本質(zhì)矩陣E的表達(dá)式為

E=[t×]R

(1)

式中，[t×]為反對稱矩陣。E可由5對歸一化圖像坐標(biāo)直接計算[12-13]，但影像對的匹配點中通常含有誤匹配，因此估計E時需采用RANSAC算法[14-16]逐步剔除粗差點，取得最優(yōu)模型。估計到E后，對其進(jìn)行奇異值分解，并且通過空間點同時在兩個相機(jī)前方交會的方法消除模糊解，就可以恢復(fù)兩幅影像的相對運動(相差一個尺度因子)。

1.2 基于本質(zhì)矩陣的連續(xù)像對相對定向

相對定向的目的是恢復(fù)攝影時相鄰兩個攝影中心的相對位置關(guān)系[1]。本文以本質(zhì)矩陣恢復(fù)單像對相對位姿為基礎(chǔ)，結(jié)合傳統(tǒng)攝影測量方法恢復(fù)低空無人機(jī)影像的外方位元素，具體步驟如下：

(1) 相對定向。用本質(zhì)矩陣恢復(fù)兩幅影像旋轉(zhuǎn)矩陣Rcv和平移量tcv。計算機(jī)視覺與攝影測量采用的坐標(biāo)系分別為左右手坐標(biāo)系，兩個坐標(biāo)系中平移量的關(guān)系為

(2)

(3)

給影像基線分量By賦定值，其余分量Bx、Bz按照比值賦值為

(4)

將以上平移量的值作為經(jīng)典連續(xù)像對相對定向線元素的初始值，角元素(φ,ω,κ)初始值均設(shè)為0，根據(jù)共面方程利用最小二乘原理趨近求解定向元素。

(2) 構(gòu)建自由區(qū)域網(wǎng)。每一像對進(jìn)行相對定向后，各模型間相差一個縮放因子，故需用公共點在相鄰模型間的點位，同樣計算后一模型相對于前一模型的比例因子，進(jìn)行模型連接，并且通過空間前方交會計算同名點的三維坐標(biāo)，完成自由比例尺單航帶網(wǎng)的構(gòu)建。單航帶網(wǎng)構(gòu)建完成后，每個航帶的坐標(biāo)系是獨立的，要構(gòu)建區(qū)域網(wǎng)需統(tǒng)一各航帶模型[17]。相鄰航帶的公共點滿足如下關(guān)系

(5)

2 試驗與分析

2.1 試驗數(shù)據(jù)

為驗證本文定向方法的有效性，采用以下兩組影像數(shù)據(jù)集進(jìn)行試驗。影像集一為嫩江影像，該影像由Sony ILCE-7R(相機(jī)參數(shù)可見表1)于2013年3月24日采集，取其中74張影像作試驗，影像航向重疊度約為85%，旁向重疊度約為90%，飛行高度約為220 m。影像集二為四川影像數(shù)據(jù)(相機(jī)參數(shù)見表1)，該影像共有52張影像，航向重疊度約為75%，旁向重疊度約為40%。部分影像如圖2所示。

圖2 影像數(shù)據(jù)集

試驗區(qū)域影像數(shù)/幅像幅尺寸/像素像主點/mmwhx0y0相機(jī)焦距/mm像元尺寸/mm嫩江區(qū)域74736049120.01710.104655.36250.00488四川區(qū)域52374456160035.48810.0064

為驗證結(jié)果精度，本文使用物方點在影像上的重投影點與量測點之間的距離平方和評判算法的結(jié)果精度，并將本文算法得到的精度與用計算機(jī)視覺技術(shù)中的Sfm算法精度進(jìn)行比較。重投影誤差計算公式為

(6)

2.2 結(jié)果與分析

嫩江影像集與四川影像集中部分影像的相對外方位元素分別見表2和表3，包括用本質(zhì)矩陣恢復(fù)的相對平移量和用本文定向算法恢復(fù)的外方位元素。從表2中本質(zhì)矩陣恢復(fù)的單像對相對運動結(jié)果得到嫩江影像的基線方向為y方向，x方向和z方向分量與基線的比值分別約為0.425和0.083；同樣從表3中得到四川影像的基線方向為x方向，y方向和z方向分量與基線的比值分別約為0.032 8和0.082；將上述數(shù)據(jù)按照1.2節(jié)所述進(jìn)行處理可成功定向并得到自由區(qū)域網(wǎng)，證明從相對平移量確定的影像基線是正確的。因為從本質(zhì)矩陣分解得到的單像對的相對運動，在相差一個尺度因子的情況下，平移量的3個分量可表示右相機(jī)相對于左相機(jī)在3個坐標(biāo)軸上的平移，故可從平移量的分量值快速確定影像基線方向。

表2 嫩江影像數(shù)據(jù)集中部分影像位姿

試驗結(jié)果精度見表4，從中可以看出，用本文所提方法恢復(fù)兩個影像集的外方位元素得到的重投影誤差分別為0.432和0.205 7個像素，都在1個像素以內(nèi)。而用Sfm算法得到的精度都在3個像素以上。經(jīng)典的連續(xù)像對相對定向是一個在給定定向元素初始值的基礎(chǔ)上逐步趨近求解的過程，有較好的初始值，就會快速收斂于正確值。本文根據(jù)本質(zhì)矩陣得到像對的相對平移量分量之間的關(guān)系給定連續(xù)相對定向線元素的初始值，初始值較接近于最終值，故可得到較好的精度。而且本文方法的后續(xù)處理類似于傳統(tǒng)攝影測量將非線性等式化為線性等式，利用最小二乘原理求解，可得到精確穩(wěn)定的結(jié)果。Sfm算法是基于非線性等式，采用RANSAC方法選取適當(dāng)?shù)拇鷥r函數(shù)，進(jìn)行矩陣分解，結(jié)果依賴于初始特征點分布及其匹配的質(zhì)量，并且試驗中Sfm算法所用的相機(jī)參數(shù)是從影像的EXIF信息中提取的概略值，故本文方法的精度高于Sfm算法的精度。

表3 四川影像數(shù)據(jù)集中部分影像位姿

表4 試驗結(jié)果精度

圖3為空間前方交會得到的稀疏三維點云。

圖3 影像重建結(jié)果

3 結(jié) 語

為了能夠快速確定影像的基線方向，恢復(fù)低空無人機(jī)影像的外方位元素，本文以計算機(jī)視覺中的相對定向為基礎(chǔ)，與經(jīng)典的攝影測量結(jié)合恢復(fù)影像位姿。試驗證明，該方法能夠快速確定影像的基線方向，恢復(fù)影像的外方位元素，得到三維點云，而且在精度上，重投影誤差在1個像素以內(nèi)。本文算法初步嘗試將計算機(jī)視覺技術(shù)與傳統(tǒng)攝影測量技術(shù)相結(jié)合，顧及航空影像的有序性和結(jié)構(gòu)性特點，結(jié)合計算機(jī)視覺中定向算法的通用性，能夠利用上述算法較好地估計影像的位姿參數(shù)。但是對于各類型影像的穩(wěn)健性還有待提高，大規(guī)模影像數(shù)據(jù)的定向試驗有待進(jìn)一步研究。

參考文獻(xiàn)：

[1] 張祖勛.數(shù)字?jǐn)z影測量與計算機(jī)視覺[J].武漢大學(xué)學(xué)報(信息科學(xué)版)，2004，29(12):1035-1039.

[2] 張力,艾海濱,許彪,等.基于多視影像匹配模型的傾斜航空影像自動連接點提取及區(qū)域網(wǎng)平差方法[J].測繪學(xué)報，2017，46(5):554-564.

[3] 王湘文，于啟升，王雅鵬.無人機(jī)低空攝影測量系統(tǒng)在大比例尺地形圖中的應(yīng)用[J].地礦測繪，2013，29(1):34-36.

[4] 孫敏.多視幾何與傳統(tǒng)攝影測量理論[J].北京大學(xué)學(xué)報(自然科學(xué)版)，2007，43(4):453-459.

[5] 張祖勛.數(shù)字?jǐn)z影測量與計算機(jī)視覺[C]∥全國數(shù)字近景攝影測量學(xué)術(shù)研討會.[S.l.]：武漢，2004.

[6] SCHONBERGER J L，F(xiàn)RAHM J M.Structure-from-motion Revisited[C]∥Proceedings of the CVPR.[S.l.]:CVPR，2016.

[7] SCONBERGER J L,FRAUNDORFER F,FRAHM J M.Structure-from-motion for MAV Image Sequence Analysis with Photogrammetric Applications[J].International Archives of the Photogrammetry Remote Sensing & S，2014，XL-3(3):305-312.

[8] WU C.Towards Linear-time Incremental Structure from Motion[C]∥International Conference on 3dtv-Conference.[S.l.]：IEEE，2013:127-134.

[9] ZISSERMAN A.Multiple View Geometry in Computer Vision[J].Kybernetes，2003，30(910):1865-1872.

[10] FO W，WROBEL B P.Photogrammetric Computer Vision[M].[S.l.]：Springer International Publishing，2016.

[11] 陳登,林卉,蘇天路,等.多視幾何理論輔助的無人機(jī)低空攝影測量空三加密[J].測繪通報，2017(6):26-30.

[12] DAVID R.An Efficient Solution to the Five-point Relative Pose Problem[J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2004，26(6):756-770.

[13] 王文斌，劉桂華，劉先勇,等.本質(zhì)矩陣五點算法偽解的兩種剔除策略[J].光電工程，2010，37(8):46-52.

[14] MOISAN L，MOULON P，MONASSE P.Fundamental Matrix of a Stereo Pair，with a Contrario Elimination of Outliers[J].Image Processing on Line，2016，6(6):89-113.

[15] 甄艷，劉學(xué)軍，王美珍.一種改進(jìn)RANSAC的基礎(chǔ)矩陣方法[J].測繪通報，2014(4):39-43.

[16] MOISAN L，MOULON P，MONASSE P.Automatic Homographic Registration of a Pair of Images，with a Contrario Elimination of Outliers[J].Image Processing on Line，2012，2(5):56-73.

[17] 王解先.七參數(shù)轉(zhuǎn)換中參數(shù)之間的相關(guān)性[J].大地測量與地球動力學(xué)，2007，27(2):43-46.