基于無人機平臺的多視角傾斜影像匹配相關技術研究

摘要：為了研究多視角傾斜影像技術發展，找出匹配難點，文章綜述了當前匹配策略；通過對無人機平臺的五視角相機的影像獲取和處理技術進行了實際研究；在金字塔多級匹配、單應約束、核線幾何約束三種常規影像匹配方法幫助下，提出了基于POS的匹配策略。研究表明：基于POS的匹配策略實驗中總體匹配正確率達75%。

關鍵詞：無人機平臺；多視角；傾斜影像；匹配策略；影像獲取；影像處理 文獻標識碼：A

中圖分類號：P231 文章編號：1009-2374（2017）08-0023-02 DOI：10.13535/j.cnki.11-4406/n.2017.08.011

1 概述

隨著地理信息產業的快速發展，用戶對于地理信息產品的地理要素完整性、精確性、實時性提出了更高要求。近年來提出的“數字地球、智慧城市”預示著未來地理信息產業中三維城市建模的重要性。傳統單鏡頭、近似垂直攝影測量作業模式經過幾十年的發展，在理論、技術上趨于完善，但是其獲取的影像缺乏高大地物的側面紋理信息。為了同時獲取地物多個側面的信息，多視角傾斜航空攝影技術受到越來越多的重視。當前隨著無人機技術的發展，多視角傾斜航空攝影成本正逐步降低，大規模運用指日可待。

2 傾斜影像攝影作業概述

多視角傾斜航空攝影從多個視角拍攝地面影像，較常見的構造為1個下視鏡頭+4個傾斜鏡頭，此外也有1個下視鏡頭+2個傾斜鏡頭（如Trimble的AOS相機）。三線陣CCD掃描相機ADS40在參考文獻[1]中也作為三視角傾斜相機。不論是五視角相機還是三視角相機，多個鏡頭的分布一定是嚴格對稱且關系穩固的。這些數字傾斜相機都集成精確的定位定姿系統（GPS/IMU）獲取影像外方位元素。本文只研究五視角相機的影像獲取和處理技術。五視角傾斜相機集成1個下視鏡頭和4個傾斜鏡頭。每次曝光垂直和傾斜相機設計為同時曝光。以AMC580相機為例，曝光瞬間同時存儲1張垂直影像和4張傾斜影像，并記錄這5張影像的外方位元素。

傾斜航攝作業記錄的數據包括控制數據和影像數據。航攝飛行記錄包括航攝時間、天氣狀況、航線的分布圖以及每條航線上每次曝光記錄的影像名序列。

其中，相機檢校文件包括相機名稱、主距、像主點偏移、輻射畸變改正系數、偏心變形系數以及像點糾正方程。POS數據指的是每張影像的外方位元素。影像外方位元素由線元素和角元素共6個元素組成，線元素Xs、Ys、Zs是投影中心在物方空間坐標系中的位置，角元素描述成像面在成像時刻的姿態。傾斜航空攝影測量作業也可以與傳統單鏡頭作業模式一樣，在按照“S型”軌跡拍攝完后，再垂直于這組“平行航線”沿“垂直架構航線”獲取影像，以增強影像間的相關性，便于后續平差處理。

3 傾斜影像匹配難點

五鏡頭傾斜航空攝影獲取的影像具有如下難點：（1）地面分辨率、比例尺不一致。傾斜鏡頭對嚴格水平的地面成像時，遠景的GSD（地面采樣間隔）比近景的要低。參考文獻[2]給出了計算傾斜影像上不同點比例尺以及近景點與遠景點比例尺差異的公式。離相機遠的地面點和離相機近的地面點成像比例尺不一致；（2）傾斜影像遮擋嚴重，高度重疊，數據冗余；（3）在航攝角度上，5個鏡頭朝向各異，進入鏡頭的光強也會明顯不同，因此不同鏡頭、不同航線影像的亮度、對比度有較大偏差；（4）從影像像素尺度來看，在多視角傾斜影像匹配中，待匹配窗口與模板窗口之間發生了大的變形，像素值發生偏移，正方形框是開取的模板窗口和搜索窗口，計算兩個正方形框內像素的相關系數，相關程度不可能很高。前期實驗表明，適用于傳統垂直影像性能穩定的灰度匹配算法，在應用于傾斜影像時往往出現大量誤匹配，甚至失效。

4 常規匹配方法

影像匹配可能由于存在遮擋而無解或因重復模式存在多解。在匹配過程中加入約束條件對匹配有重要作用：縮小影像上的匹配搜索空間，提高匹配效率，同時也提高匹配正確率。傾斜影像嚴重的幾何畸變本身就給“點—點”的相似性測度計算帶來很大困難，這時有效限制搜索范圍對于匹配成功尤為重要。

4.1 金字塔多級匹配

金字塔多級匹配就是先把待匹配的左、右原始影像降采樣成多個尺度的影像。沿著影像金字塔自上而下，尺度由粗到精，單個像素對應的地面尺寸逐漸減小，地面采樣間隔GSD（Ground Sampling Distance）減小，影像空間分辨率提高。首先在影像金字塔上層匹配，然后將匹配結果傳遞到下層影像上，直至最高分辨率的原始影像上。多級匹配方法可以達到減小搜索空間的目的。

影像匹配是直接對像素灰度值進行的操作。在影像金字塔上層，細節信息已被平滑，整體紋理具有更大的相似性，因而能取得更理想的匹配效果；在影像金字塔下層，細節信息未被平滑，灰度變化更劇烈，輕微的幾何變形就會給匹配增加很大難度。

4.2 單應約束

單應約束的理論基礎是計算機視覺中Marr提出的影像匹配約束框架。無論是基于灰度還是特征的匹配，整體匹配結果體現的視差變化規律應該是連續的、相容的、協調的，而除了特殊地形外不會出現視差突變、跳躍的情況。基于這一原理，可以利用影像整體的視差對每個點的匹配過程進行約束。

RANSAC是計算機視覺中穩定的參數估計算法，其作用是排除不穩定和錯誤的匹配點對，對于兩張影像間的幾何關系進行最似然模擬。其思想就是根據已知同名點對估計單應矩陣H，再根據求出的變換矩陣對于已知同名點對進行劃分，篩選出符合模型的同名點，利用新的同名點集重新估計變換模型。這樣迭代若干次后同名點對數最多時的單應矩陣H即為最優解。也可以說，利用盡可能多的同名像點估計的單應矩陣H更具有一般性，能對更大范圍的像點進行有效的幾何約束。

4.3 核線幾何約束

攝影測量立體像對中有一個很強的約束條件，稱為核線幾何，在計算機視覺領域也稱為極線幾何或對極幾何。給定立體像對的兩張影像，對三維空間任一點，包含該點與兩幅影像投影中心的平面稱為核面，核面與兩幅影像的交線稱為核線。如果兩張影像的相對方位已知且已知左像像點，那么另一張影像上的相應核線即可確定，而同名像點必位于該核線上。這樣就可以有效地把二維匹配搜索范圍簡化為一維搜索范圍。如圖1所示，對于具有重疊區域的左像和右像，S1、S2為投影中心，像點P1所在的核線為L1，其在右像上的同名點P2一定在L2的相應核線L2上。核線幾何關系完全是由地面點P，投影中心S1、S2三點的共面關系所確定的。

核線幾何約束用于匹配過程中，主要有以下兩種思路：（1）利用核線約束限制搜索范圍給定具有重疊區域的左右兩張影像，利用左像上像點計算右像上的相應核線，在核線附近搜索對應像點；（2）利用核線約束剔除誤匹配點對于兩張影像得到的初始匹配點，對每個左像點計算右像上相應核線，再計算右像點與相應核線間的距離，若距離大于閾值，判定為誤匹配點。

5 基于POS的匹配策略

基于無人機特點與平臺，設計出了基于并有SRTM作為輔助的傾斜影像匹配策略。

5.1 初始匹配

利用初始POS數據進行數據影像重合判斷，按照3×3方式建立金字塔，對原始影像建立1層影像金字塔，并在金字塔頂層使用SIFT GPU進行匹配，得到一定數量匹配點，并精細化。

5.2 精確匹配

在底層金字塔上進行Harris特征提取，得到足夠的特征點，然后利用初始匹配中得到的精確POS數據，對底層金字塔進行局部畸變改正，并進行灰度相關與最小二乘匹配。在RANSAC算法基礎上，利用光束法前方交會，得到特征點的前方交會精度，將高于3倍前方交會中誤差的點作為誤匹配點，予以剔除。

5.3 可行性論證

應用實驗（由于篇幅原因過程略）。可得：在初始匹配中，經過對SIFT匹配結果進行粗差剔除后，雖然點位稀少，但所有點位準確無誤，能有效為像對間的相對定向打下可靠基礎；精確匹配后，能得到大量分布均勻匹配點，雖然由于少數點落在了重復紋理區域（如森林、房屋上的窗戶）與遮擋區導致了匹配誤差，但是實驗中總體匹配正確率達75%，證明此方法嚴謹可靠。

6 結語

傾斜航空攝影測量能獲取包括建筑側面紋理信息的多種數據，嚴謹可靠，但影像匹配是否正確影響著攝影測量質量，其效果好壞直接影響到后續相對定向、數字空三、DSM生成等過程的質量。

當前常規的匹配方法都具有一定缺點，且需要各自相匹配的算法進行配合使用，所以筆者認為，多視角傾斜影像匹配技術下一步發展應基于某幾種特定匹配策略（如基于POS的匹配策略）進行多視角立體影像匹配算法的研究，并形成商業化軟件。在成本最省情況下彌補現有技術不足，實現無人機平臺上的高正確率、高通用性的匹配。

參考文獻

[1] 朱慶，徐冠宇，杜志強，等.傾斜攝影測量技術綜述

[J].中國科技論文在線，2012，（2）.

[2] 楊國東，王民水.傾斜攝影測量技術應用及展望[J].

測繪與空間地理信息，2016，39（1）.

[3] 秦川.無人機影像匹配點云濾波處理與三維重建[D].

西南交通大學，2015.

作者簡介：李星開（1982-），男，河南禹州人，浙江華東建設工程有限公司高工，研究方向：工程測繪、無人機低空遙感、自動化監測等。

（責任編輯：黃銀芳）