DEM輔助下的傾斜航攝影像匹配方法

常 越，鄧 非，2，李天爍

(1.武漢大學 測繪學院，湖北 武漢 430079； 2.國家領土主權與海洋權益協同創新中心，湖北 武漢 430079)

DEM輔助下的傾斜航攝影像匹配方法

常 越1，鄧 非1，2，李天爍1

(1.武漢大學 測繪學院，湖北 武漢 430079； 2.國家領土主權與海洋權益協同創新中心，湖北 武漢 430079)

在傾斜航空攝影測量中，傾斜影像間由于視角差異較大，具有較大幾何變形，而具備仿射尺度不變性的ASIFT算法存在效率較低的問題，提出一種DEM輔助下的傾斜航攝影像匹配方法。該方法通過利用影像的粗略外方位元素和測區的DEM數據，首先對傾斜影像進行仿射變換來減弱幾何變形；然后通過SIFT特征匹配算法來獲取同名點對，并使用RANSAC剔除誤匹配；最后將同名點對根據單應矩陣反算回原影像，以基礎矩陣估計法剔除誤匹配，獲得最終匹配點對。通過對多組數據進行實驗，結果表明，該算法的計算效率較高，獲得的匹配點對在數量和分布情況上也更為理想。

傾斜影像匹配；DEM；仿射變換；尺度不變特征變換算法；誤匹配剔除

傾斜航空攝影測量突破了傳統攝影測量垂直拍攝獲取影像的作業模式，憑借其多視角的攝影方式，可獲得豐富的建筑物立面信息，且成果滿足三維數字城市建設的需要，因而在近年來得到了廣泛地推廣和應用，成為當前城市自動三維建模的熱點技術[1-7]。但與此同時，通過該方法獲得的傾斜影像，存在局部幾何變形大、影像間具有較大仿射畸變、地物遮擋及影像分辨率不一致等問題，這些問題對影像之間的匹配造成困難。因此，如何從傾斜影像中快速、準確地獲取可靠的同名點對，是傾斜航空攝影測量技術的關鍵問題之一，也是制約著傾斜航空攝影測量技術發展的重要原因[8]。

根據傾斜航空攝影測量成像的特點，傾斜影像的匹配方法應該具備仿射不變[9]、旋轉不變以及尺度不變的特性。目前，主流的匹配方法有Harris-Affine特征匹配、Hessian-Affine特征匹配以及MSER(最穩定極值區域)算法等對原始的傾斜影像進行仿射不變性區域提取，再進行描述匹配的方法[10]。其中，Harris-Affine特征匹配[11]在匹配前要先進行Harris角點檢測，然后通過迭代求出仿射不變區域，并剔除不穩定點對，得到具有仿射不變性的Harris特征點。Hessian-Affine特征匹配[12]也類似于此，不同之處在于使用了Hessian算子檢測，更傾向于斑點特征。而MSER算法則是通過對比極大穩定區域(仿射不變區域)描述符來獲取同名點對。這三種方法效率較高，但匹配得到的點對數量偏少，在處理視角變化較大的影像時，匹配效果并不理想，甚至無正確匹配點對。此外，Affine Scale Invariant Feature transform (ASIFT)特征匹配是通過垂直和水平方向上的旋轉模擬現實的仿射變換，生成系列模擬影像后再進行SIFT特征點的提取和描述。該方法規范化了六個仿射變換參數，對于影像的旋轉、縮放、光照的變化有較強的魯棒性[13]，對傾斜影像的匹配效果較好，但是由于針對序列模擬影像的匹配非常耗時，效率較低，因此難以直接應用到實際項目中去。

對于ASIFT算法復雜度高，效率低的問題，可以考慮引入影像粗略外方位元素，生成少量模擬影像，以提高影像匹配效率。傾斜影像與垂直影像或傾斜影像間因拍攝角度的差異，存在著較大的幾何畸變、尺度差異以及旋轉變化，因此，本文提出了一種DEM輔助下的傾斜航攝影像匹配方法，該方法利用了傾斜影像粗略的外方位元素以及航攝區域的DEM數據(本文采用免費的低分辨率DEM數據)，首先通過將傾斜影像投影到攝區的DEM上，對傾斜影像進行仿射糾正，然后再進行SIFT(scale invariant feature transform)特征匹配[14]，并對匹配點對中的誤匹配進行剔除。

此外，本文在進行仿射糾正前，首先通過求解地面投影線框間的重疊度，自動挑選出重疊度超過閾值的影像進行匹配，從而建立影像間的相互關聯性，為批量影像間的匹配提高效率。同時，本文仿射糾正獲得的影像也是根據計算重疊線框獲取的重疊區域的影像(重疊區域含有緩沖區)，這對后面的SIFT匹配過程也起到了提高效率的作用。

1 算 法

算法的實現過程如圖1所示，主要分為三個階段：①DEM輔助下的傾斜航攝影像仿射糾正，獲取原始影像重疊區域糾正后的影像；②對糾正后的影像進行SIFT特征匹配和RANSAC法剔除錯誤點對，得到同名點對；③將同名點對根據單應矩陣反算回原影像，以基礎矩陣估計法剔除誤匹配，獲得最終結果。

圖1 匹配算法流程

1.1 DEM輔助下的傾斜航攝影像仿射糾正

傾斜航攝影像的突出特點就是由多角度拍攝而得，不同拍攝角度得到的影像間具有較大仿射畸變。因此DEM輔助的傾斜影像仿射糾正就是為了減弱這種變形，提高匹配的可靠性與效率。需要的初始數據包括：待匹配的左右影像、影像的粗略外方位元素、以及低分辨率的測區DEM(可通過免費數據源獲取，其坐標系應與外方位元素坐標系相同)。

1)首先根據影像的粗略外方位元素，分別將左、右影像投影到測區的DEM上，即求解攝影光束與DEM的交點(如圖2所示)，得到左、右影像上的點對應的物方坐標(Xi,Yi,Zi)。

圖2 攝影光束與DEM相交示意圖

2)根據求得的影像物方坐標的平面坐標值Xi，Yi，可得到左、右影像的地面投影線框，從而求得左、右影像的重疊區域，得到重疊區域的AABB包圍盒，并給予一定的緩沖區，形成糾正后影像的覆蓋區域S。

3)保持該區域(含緩沖區)地面投影線框的幾何特征，根據垂直影像的分辨率，將其按比例縮放至影像，此時，糾正后影像的四個頂點對應于原影像的四點(xi,yi)，可通過物方點坐標(Xi,Yi,Zi)利用共線方程反算求得(四個頂點的物方點即為糾正后影像的覆蓋區域S的四個角點)：

(1)

式中:Xs,Ys,Zs為外方位線元素;a1,a2,a3,b1,b2,b3,c1,c2,c3可由外方位角元素求得。然后根據這四點在原影像和糾正后影像的坐標關系，分別計算出左、右影像仿射變換矩陣H左,H右。

4)進行仿射變換，得到左、右影像變換后的影像。并對影像中的無效點(變換時未進行賦值的像元)，進行判斷并插值計算。

以如圖3所示的傾斜影像(a)和下視影像(b)為例進行試驗，從糾正后的影像圖(c)、(d)可以看出：通過該方法，可以有效地減弱幾何和尺度上的變形，便于后面的影像匹配。此外，本文方法得到變換后的影像僅為重疊區域，這對后續的匹配無論在準確度上還是在效率上都能起到良好的作用。

圖3 DEM輔助下的傾斜影像仿射糾正示例

1.2 SIFT特征匹配

在完成仿射糾正變換后，本文采用對尺度縮放、旋轉、亮度變化都具備較強抵抗性的SIFT特征匹配算法對兩張糾正后的影像進行匹配。匹配的過程包含兩個階段：SIFT特征向量的提取和SIFT特征向量的匹配[15]。

特征的提取可以概括為以下4個步驟：

第一步，通過高斯濾波函數來構建尺度空間L(x,y,σ)，并通過計算高斯差分(DOG)尺度空間來檢測潛在的極值點。其中高斯差分算子式為

(2)

第二步，通過對尺度空間函數的泰勒展開來精確極值點在尺度空間的位置，在該步驟中，低對比度點將被過濾且關鍵點的邊緣響應將被消除，以提高穩定性。

第三步，進行方向的分配。按照高斯加權的方法統計特征點區鄰域像素的梯度方向直方圖，該直方圖的峰值就是特征點的主方向。對此，特征點的描述時就可以主方向為依據，以確保旋轉的不變性。

第四步，生成SIFT特征向量，實質上生成一個128維的代表著高斯加權的鄰域劃分區塊梯度方向和大小的向量。

SIFT特征向量的匹配以特征向量間的歐氏距離為相似性度量，通過將距離最小點與距離第二小點間的比值與閾值進行對比來判斷是否為正確的匹配。

傳統的SIFT特征匹配算法是由CPU串行實現，本文為提高匹配的效率，選用了GPU進行并行加速，與CPU混合實現整個算法過程[16]，加快算法的運行。

1.3 誤匹配剔除

盡管SIFT特征匹配具有一定的穩定性，其匹配的結果中仍存在一些誤匹配點對，需要進行剔除。本文首先采用隨機抽樣一致性(RANSAC)算法，對糾正后影像的誤匹配點對進行初始剔除。然后將經過初步去除誤匹配的同名點對根據本文1.1節的逆步驟，將同名點對分別反算回原始影像，得到其在原始影像上的點坐標值。再利用基礎矩陣(fundamental matrix)估計法對同名點對進行篩選，得到最終結果。

2 實驗與效果分析

2.1 實驗準備

為證明上述方法的有效性，本文使用VS2010實現了該算法，并選取了一套貴州省六盤水市的傾斜航攝影像進行了測試。這套數據由航空攝影測量儀獲取，分為下視影像和多組傾斜影像，影像大小為6 000像素×4 000像素。在這里，列舉了3張具有代表性的城區范圍的影像，如圖4所示。其中，影像(a)和(b)為視角不同的兩張傾斜影像，傾斜影像1為后視影像，傾斜影像2為左視影像，影像(c)為下視影像。程序的運行環境為：Windows 7、GTX960、16G、i7-CPU。

圖4 實驗數據縮略圖

對于傾斜影像間的匹配，大致可以分為三類：不同視角的傾斜影像與傾斜影像的匹配、傾斜影像與下視影像的匹配以及下視影像與下視影像的匹配。而下視影像間仿射畸變小、匹配效果較好，不作為本文考慮內容。因此，根據上面列舉的3張影像，本文的實驗可分成以下兩組進行：①下傾斜影像1和下視影像；②傾斜影像1和傾斜影像2。并對這兩組數據分別利用SIFT算法、ASIFT算法以及本文算法所得到的匹配結果進行對比分析。對匹配結果進行評價時，既要考慮匹配的效果，又要考慮匹配的效率，因此匹配的標準包括以下三個部分：匹配點對的數量與分布、匹配點對的正確率以及匹配過程的耗時。其中匹配點對是否正確需要在ENVI 軟件中逐對的人工目視檢查和判斷(城區影像具有多平面場景，因而不能簡單地通過計算出均方根誤差來判斷匹配點對的正確性)。

2.2 實驗結果與分析

通過三種方法得到的匹配結果如圖5所示，將匹配相關結果進行統計可得到表1，從圖5和表1的結果可以發現：①采用本方法得到的正確點對數分別是SIFT算法和及ASIFT算法的約7倍和5倍左右，且從匹配點對的分布情況來看，采用本文方法所得到同名點對分布更加均勻。②ASIFT算法針對傾斜影像的匹配正確率較高，本文算法略優于ASIFT算法，而SIFT算法對不同傾角的傾斜影像匹配效果較差，這也是說明了其并不具備仿射不變性。③從匹配效率來看，SIFT算法的效率最高；而ASIFT算法由于匹配算法復雜度較高，匹配過程耗時非常大，效率非常低；相比而言，采用本文的方法，效率較高。

圖5 三種方法分別對兩組數據的匹配效果

表1 三種方法分別對兩組數據的匹配結果

通過對實驗結果的分析，本文提出的方法要優于SIFT算法和ASIFT算法。由于通過利用攝區低分辨率DEM和影像初始外方位元素對影像進行了仿射變換，減弱了傾斜影像間的幾何變形，使算法具有仿射不變性，可獲得更為準確的匹配結果，與此同時，算法在復雜度上要比ASIFT算法簡單的多，所以在效率上得到很明顯地提高。

3 結束語

本文針對傾斜影像間幾何變形較大的問題，提出了一種DEM輔助下的傾斜航攝影像匹配方法。該方法首先通過將影像投影到攝區的DEM上實現對傾斜影像的仿射糾正以削弱幾何上的變形，然后將經過SIFT特征匹配和RANSAC誤匹配剔除后的匹配點對反算回原始影像，再利用基礎矩陣估計法剔除誤匹配，得到最終的同名點對。經實驗驗證，該方法匹配的效率遠高于ASIFT匹配算法，且從匹配得到的點對數量、分布及正確率來看，匹配效果較好。下一步可針對SIFT算法內部進行優化，如采用具有視點不變性的Harris角點來建立SIFT描述符等方法，以達到更好的匹配效果；也可嘗試利用數字表面模型(DSM)數據對影像進行仿射變換，對比匹配效果。

[1] RUPNIK E, NEX F, REMONDINO F. Oblique Multi-Camera Systems-Orientation and Dense Matching Issues[J]. ISPRS-International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2014, XL-3/W1(3):107-114.

[2] 王偉, 黃雯雯, 鎮姣. Pictometry傾斜攝影技術及其在三維城市建模中的應用[J]. 測繪與空間地理信息, 2011, 34(3):181-183.

[3] 楊國東, 王民水.傾斜攝影測量技術應用及展望[J].測繪與空間地理信息,2016,39(1):13-15,18.

[4] H?HLE J. Oblique Aerial Images and Their Use in Cultural Heritage Documentation[J]. ISPRS - International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2013, xl-5/w2(XL-5/W2).

[5] 李鎮洲, 張學之. 基于傾斜攝影測量技術快速建立城市三維模型研究[J]. 測繪與空間地理信息, 2012, 35(4).

[6] 王卿, 郭增長, 李豪,等. 多角度傾斜攝影系統三維量測方法研究[J]. 測繪工程, 2014, 23(3):10-14.

[7] 楊國東, 王民水. 傾斜攝影測量技術應用及展望[J]. 測繪與空間地理信息, 2016, 39(1):13-15.

[8] WIEDEMANN A, MORé J. Orientation Strategies for Aerial Oblique Images[J]. 2012, XXXIX-B1(1):1-33.

[9] MIKOLAJCZYK K，CORDELIA S. A Performance Evaluation of Local Descriptors[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27(10)：1 615-1 630

[10] MIKOLAJCZYK K, TUYTELAARS T, SCHMID C, et al. A Comparison of Affine Region Detectors[J]. International Journal of Computer Vision, 2005, 65(1-2):43-72.

[11] MIKOLAJCZYK K，CORDELIA S. Scale and Affine Invariant Interest Point Detectors[J]. International Journalof Computer Vision，2004，60(1)：63_86

[12] MIKOLAJCZYK K，SCHMID C. An Affine Invariant Interest Point Detector[J]. Lecture Notes in Computer Science，2002，2 350：128_142

[13] MOREL J M, YU G. ASIFT: A New Framework for Fully Affine Invariant Image Comparison[J]. Siam Journal on Imaging Sciences, 2009, 2(2):438-469.

[14] LOWE D G. Distinctive Image Features from Scale-Invariant Keypoints[J]. International Journal of Computer Vision, 2004, 60(60):91-110.

[15] 王佩軍. 攝影測量學:測繪工程專業[M]. 武漢：武漢大學出版社, 2005.

[16] 王瑞, 梁華, 蔡宣平. 基于GPU的SIFT特征提取算法研究[J]. 現代電子技術, 2010, 33(15):41-43.

[責任編輯：李銘娜]

Matching method for oblique aerial image assisted by DEM

CHANG Yue1, DENG Fei1，2, LI Tianshuo1

(1.School of Geodesy & Geomatics,Wuhan University,Wuhan 430079,China； 2.Collaborative Innoation Center for Territorial Sovereignty and Maritime Rights,Wuhan University,Wuhan 430079,China)

In the oblique aerial photogrammetry, the oblique images have large geometric deformation due to the great differences of the viewing angles. However, the algorithm with affine scaling invariance like ASIFT algorithm is less efficient. Therefore, this paper presents a DEM-assisted oblique aerial image matching method. Firstly, the geometrical deformation is weakened by affine transformation of the oblique image by making full use of the rough Exterior Orientation (EO) elements and DEM data. Secondly, Scale Invariant Feature Transform ( SIFT) algorithm is used to match the corrected images to get the corresponding points, and then the false matches in them are eliminated by using the RANdom SAmple Consensus (RANSAC) algorithm．Finally, the homography matrix is used to calculate the corresponding point coordinates on the original image, and the mismatches are eliminated with Fundamental Matrix Estimation method in order to obtain the final corresponding points. Experiments conducted on many sets of oblique images demonstrate that the corresponding points obtained by the proposed algorithm are significantly improved in the computation efficiency, quantity and distribution.

oblique image matching；DEM；affine transformation；scale invariant feature transform(SIFT)；mismatching elimination

著錄：常越，鄧非，李天爍，等.DEM輔助下的傾斜航攝影像匹配方法[J].測繪工程，2017，26(11)：18-22.

10.19349/j.cnki.issn1006-7949.2017.11.004

2016-10-18

國家自然科學基金資助項目(41271431，41401536)；國家科技支撐計劃課題(2012BAJ23B03).

常 越(1993-)，女，碩士研究生.

鄧 非(1976-)，男，教授，博士.

TP75

A

1006-7949(2017)11-0018-05