模擬地形輔助的無人機傾斜攝影測量圖像匹配

于大鵬，梁玉斌，馮晨陽，邱 炎

（1.中冶沈勘工程技術有限公司海外分公司，沈陽110169；2.天津師范大學地理與環境科學學院，天津300387；3.天津市地質調查研究院地質環境信息中心，天津300191）

近年來，無人機攝影測量技術廣泛應用于大比例尺地形測繪、環境監測和應急響應等領域[1-3].無人機傾斜攝影測量搭載輕小型傾斜攝影系統可以有效獲取地物的多角度影像觀測數據，是構建實景三維模型的重要測量技術[4].無人機傾斜攝影測量的關鍵技術包括圖像匹配、相對定向、絕對定向、密集匹配和三維模型構建及紋理映射[5-6].其中，圖像匹配是影響傾斜攝影測量精度和效率的關鍵因素.一方面，圖像匹配為后續的相對定向提供同名點觀測值，其精度直接影響相對定向精度，并決定攝影測量最終成果的幾何精度；另一方面，圖像匹配速度是影響攝影測量數據處理效率的重要因素，不同的圖像匹配方法會引起數據處理效率上的巨大差異.

由于無人機傾斜影像的尺度、視角和轉角變化較大，常規航測采用的圖像匹配方法難以實現傾斜影像的穩健匹配.研究人員在傾斜攝影測量的圖像匹配方面展開廣泛研究[7-9].SIFT算子及其衍生算子能夠從圖像中提取大量具有尺度和旋轉不變特性的特征點，這些特征點對仿射變換和光照變化具有一定適應性，被廣泛用于攝影測量和三維計算機視覺的圖像匹配處理[10-15].SIFT算子可以自動提取特征點的位置、尺度及其所在鄰域的特征描述向量.在圖像匹配時，基于特征描述向量并通過最近鄰搜索算法對兩幅圖像的特征點進行一一匹配.然而，當一幅圖像中的特征點具有相似的紋理特征時，基于最近鄰搜索的匹配方法可能產生誤匹配特征點.盡管采用基礎矩陣（fundamental matrix）結合隨機抽樣一致算法（random sample consensus，RANSAC）進行去噪可以減少誤匹配特征點的數量，但該方法計算量大，且無法徹底解決特征點誤匹配問題.此外，將誤匹配特征點作為觀測值引入攝影測量平差過程可能導致空三精度下降甚至圖像定向失敗.

已有研究表明通過合理利用航測過程中獲取的POS（position and orientation system）數據和測區地形數據可以提高圖像匹配的精度和效率[16-18].無人機機載POS系統記錄了相機曝光瞬間飛行平臺的位置和姿態數據.影像的曝光位置反映了航空影像間的拓撲關系，利用這種拓撲關系可以確定照片間的匹配關系.因此，基于曝光位置的圖像匹配可以提高圖像匹配精度，并縮短圖像匹配時間.在此基礎上，通過簡化圖像匹配關系和減少特征點數量可以進一步優化圖像的匹配結果[19-20].然而，由于傾斜影像具有較大的傾角，嚴格的圖像匹配關系無法由照片曝光位置唯一決定，需由影像曝光位置、攝影姿態和測區地形共同決定.常見的Maltese十字傾斜攝影系統同一時刻曝光可獲得5張影像，其中1張為垂直下視影像，其余4張分別為向前、后、左、右各傾斜45°的傾斜影像.盡管下視影像的曝光位置和攝影姿態信息可由POS數據直接求解，傾斜影像的姿態信息卻無法由POS數據直接計算.針對以上問題，本研究提出一種用于無人機傾斜攝影測量的圖像匹配方法.該方法綜合利用影像曝光位置、攝影姿態和測區地形信息，基于嚴格的成像模型計算各視角影像間的準確匹配關系，并通過實測數據對圖像匹配方法的有效性進行驗證.

1 研究方法

模擬地形輔助的圖像匹配方法由模擬地形數據生成，并利用相對旋轉矩陣和圖像匹配關系計算3個部分的構成.首先，根據測區的地形起伏情況生成模擬地面采樣點集；然后，利用地面控制點數據輔助空中三角測量估計傾斜影像與下視影像間的相對旋轉矩陣；最后，利用POS數據和傾斜影像與下視影像間的相對旋轉矩陣計算傾斜影像的絕對旋轉矩陣.在此基礎上，基于共線方程將模擬地面采樣點集投影至影像，生成每張影像的投影點集.根據影像投影點集間的交集判定照片的匹配關系，進而基于匹配關系對影像進行兩兩匹配.

1.1 模擬地形數據的生成

從無人機POS數據中提取影像曝光點位的大地坐標，并將坐標從大地坐標系變換至攝影測量坐標系.統計影像曝光點位坐標為平面內的最大值和最小值，從而確定測區范圍，并根據測區范圍確定測區的高程平均值.在攝影測量坐標系下利用計算機程序模擬生成地面三維采樣點集.在攝影測量坐標系的XOY平面上以給定的采樣間隔進行離散點采樣，采樣點的高程值取測區平均高程.

1.2 相對旋轉矩陣的估計

利用傾斜影像和地面控制點數據，通過控制點輔助空中三角測量求解下視影像和傾斜影像的絕對攝影姿態，然后估計傾斜影像與下視影像間的相對旋轉矩陣.傾斜影像與下視影像間相對旋轉矩陣的估計方法為：①將地面控制點的大地坐標測量值變換至攝影測量坐標系下；②在航空影像中標記地面控制點的位置，確保每個控制點被3張以上的照片標記；③利用SIFT算子在影像中提取特征點，利用特征點的鄰域特征描述向量，并對特征點進行匹配，得到初步匹配結果.利用同名點觀測值解算基礎矩陣，結合RANSAC算法剔除誤匹配的特征點，從而得到較為準確的同名點觀測值；④利用同名點觀測值對影像進行相對定向，基于增量光束法區域網平差構建區域自由網；⑤基于控制點坐標，將自由網下的模型整體變換到攝影測量坐標系下，從而解出每張影像的絕對位置和姿態.

假設下視影像的物空間到像空間的旋轉矩陣為Rn，傾斜影像的物空間到像空間的旋轉矩陣為Ro，則下視影像到傾斜影像的相對旋轉矩陣Rno為

式（1）中：RnT為矩陣Rn的轉置矩陣.

1.3 圖像匹配關系的計算

遍歷生成的地面采樣點，基于共線方程

將地面采樣點投影至航空影像，生成每張影像的投影點集.式（2）中：f為鏡頭主距；（X，Y，Z）為地面采樣點坐標；（XS，YS，ZS）為投影中心坐標；a1、a2、a3、b1、b2、b3、c1、c2和c3為9個方向余弦.采用以Y軸為主軸的φω-κ轉角系統，9個方向余弦分別表示為

對于任一下視影像ni，其物空間到像空間的旋轉矩陣Rni由POS數據直接計算.對于與下視影像ni同時曝光的傾斜影像oi，其物空間到像空間的旋轉矩陣基于

對于任意2張照片，如果投影點集的交集非零，即可判定這2張照片部分重疊.將照片匹配關系寫入匹配文件，以此為依據對圖像進行兩兩匹配.

1.4 數據說明

實驗區為一村鎮區域，范圍為東經109.678 7°E～109.689 6°E，北緯23.645 5°N～23.652 6°N，測區中心為23.648 8°N，109.684 4°E，域內分布有農田和住宅，地形平坦.使用垂直起降固定翼無人機搭載五相機傾斜攝影系統對測區進行航空攝影，相對航高設計為400 m，航向和旁向重疊度設計為80%.實驗規劃5條航線，每條航線設定16個曝光點位，整個測區共拍攝400張影像.圖1顯示了照片曝光點在測區內的分布情況，其中紅色圓點表示照片的曝光點位.

圖1 照片曝光點測區分布圖Fig.1 Map of exposures in surveying area

傾斜攝影系統采用Maltese十字安裝方式，5個觀測方向的相機均選用SONY ILCE-5100型相機，影像分辨率為6 000×4 000，像元大小為3.9μm.圖2為某一時刻曝光所得的5張影像，其中圖2（a）～圖2（e）分別為前視影像、右視影像、后視影像、左視影像和下視影像.下視相機鏡頭焦距為20mm，傾斜相機鏡頭焦距為35mm.在測區內部利用RTK均勻采集了9個地面測量點.地面點測量采用國家2 000坐標系統，測量精度為厘米級.

圖2 某一時刻曝光的5張影像Fig.2 Five images exposed at one moment

2 結果與分析

將地面測量點分為5個控制點和4個檢查點，對影像進行控制點輔助空中三角測量，控制點和檢查點處的定位精度如表1所示.

表1 控制點和檢查點的定位精度Tab.1 Positioning accuracy at control points and check points m

由表1可以看出，控制點在東向、北向和天向上的定位精度均達到厘米級；檢查點的東向定位精度達到厘米級，北向和天向定位精度為分米級.

為了對圖像匹配方法進行對比，首先，使用Agisoft PhotoScan軟件對測區全部影像進行POS輔助全自動空三處理.圖像匹配采用基于位置的匹配方法，匹配精度設為最高，特征點數和同名點數分別設為40 000和4 000.基于位置的圖像匹配及空三結果如圖3所示.由圖3可以看出，400張影像中有17張影像定向失敗（紅色圓點標記），其中后視影像6張，前視影像11張.

圖3 基于位置的圖像匹配與空三Fig.3 Aerial triangulation and image matching based on position

將控制點輔助空三求解的影像位置作為真值，計算基于位置圖像匹配的空三結果中后視、前視、右視、左視和下視影像的偏差Bias和定位精度RMSE，結果如表2所示.統計數據基于383張成功定向的影像計算，17張定向失敗的影像沒有計入統計.由表2可以看出，5個視角的影像定位精度均為米級，不同視角的影像定位精度不同.下視影像的定位精度整體上優于傾斜影像的定位精度，各視角影像的北向和天向定位精度均優于其東向定位精度.此外，各視角影像定位結果均存在不同程度的定位偏差，下視影像與傾斜影像的定位偏差沒有明顯區別.

表2 基于位置匹配的影像定位精度和偏差Tab.2 Positioning accuracy and bias of images based on postion-based matching m

采用本研究提出的模擬地形輔助的無人機傾斜影像匹配對影像進行處理時，算法使用C++語言實現，攝影測量坐標系選用東北天坐標系（east-north-up，ENU）.地面采樣點的采樣間隔設為30 m，采樣點的高程統一取測區的平均高程65 m.照片曝光點和地面采樣點的分布如圖4所示.圖4中紅色十字表示照片的曝光點位，藍色圓點表示模擬生成的地面采樣點.

圖4 照片曝光點和地面采樣點的分布Fig.4 Distribution of exposures and ground sample points

基于控制點輔助空三結果估計傾斜影像與下視影像間的相對旋轉矩陣，結合POS數據估計傾斜影像的絕對姿態.將生成的采樣點集投影至每張影像生成投影點集，并基于投影點集的交集確定照片的匹配關系.根據匹配關系對照片進行匹配和POS輔助全自動空三處理，結果如圖5所示.

圖5 模擬地形輔助的圖像匹配與空三Fig.5 Aerial triangulation and image matching based on simulated terrain

由圖5可以看出，400張照片全部成功定向，區域網中照片的位置與預期一致，空三解算所得物方點的分布符合測區真實情況.

將控制點輔助空三求解的影像位置作為真值，計算模擬地形輔助圖像匹配的影像定位精度RMSE和偏差Bias，結果如表3所示.結合表2和表3可知，基于本研究提出的圖像匹配方法解算的影像定位精度整體上優于PhotoScan的影像定位精度，傾斜影像的定位精度提高了1.4～3.6倍.在影像定位的偏差方面，2種圖像匹配方法沒有明顯差別.

表3 模擬地形輔助圖像匹配的影像定位精度和偏差Tab.3 Positioning accuracy and bias of images based on image matching using simulated terrain m

對于傳統的無人機航空攝影測量影像，圖像間的匹配關系主要由影像曝光點位決定.基于位置的匹配沒有考慮影像的觀測角度，因此生成了錯誤的圖像匹配關系.對于如農田、林地等紋理單一的區域，錯誤的圖像匹配關系造成誤匹配特征點數量增加，進而降低影像的定向精度.錯誤的匹配關系不但降低影像匹配和影像的定向精度，而且降低攝影測量的數據處理效率.此外，對于多視角傾斜攝影測量，基于位置的圖像匹配無法準確確定全部待匹配圖像對.匹配不充分導致部分照片定向失敗，無法納入區域網.而部分照片的缺失造成地形和地物失去某些角度的觀測數據，從而導致后續重建的實景三維模型出現漏洞.

與基于位置的圖像匹配相比，本研究提出的基于模擬地形輔助的圖像匹配方法考慮影像的位置、觀測角度和地形，能夠準確計算圖像的匹配關系.準確的圖像匹配關系減少了圖像誤匹配特征點的數量，提高了圖像定向的精度和成功率.值得注意的是，基于本文圖像匹配方法的下視影像定位精度低于基于位置的圖像匹配方法的影像定位精度.其原因在于基于位置的圖像匹配無法準確計算傾斜影像和下視影像的匹配關系，因而在平差過程中下視影像的定向較少受到傾斜影像定向的影響.而本研究的圖像匹配方法能夠準確計算傾斜影像和下視影像的匹配關系，選取下視影像與傾斜影像匹配所得同名點作為觀測值參與光束法區域網的平差.由于傾斜影像和下視影像視角差異較大，匹配所得同名點觀測值精度較低，因此在整體平差過程中降低了下視影像的定位精度.

3 結論

針對傳統的基于位置的圖像匹配方法存在的誤匹配和不充分匹配問題，本研究提出一種基于模擬地形的無人機傾斜攝影測量圖像匹配方法.首先，通過程序模擬生成規則的地面采樣點集.其次，基于控制點輔助空三求解傾斜影像和下視影像間的相對旋轉矩陣.最后，利用無人機POS數據和地面采樣點集，基于嚴格的成像模型確定影像間準確的匹配關系.實驗結果表明：

（1）本研究方法解決了基于位置的圖像匹配方法引起的誤匹配問題，使傾斜影像定向的成功率提高至100%；

（2）本研究方法改善了基于位置的圖像匹配方法引起的匹配不充分問題，將傾斜影像的空三定位精度提高了1.4～3.6倍.

對于下視影像定位精度下降的問題，未來的工作中將重點研究適用于大視角差的圖像匹配方法，進一步提高傾斜影像和下視影像間的匹配精度和定向精度.