基于POS系統和SIFT特征的無人機遙感影像拼接方法

于君娜，王士成，梁 碩

(中國電子科技集團公司第五十四研究所，河北 石家莊 050081)

0 引言

無人機遙感作為一種新的遙感手段，具有快速、靈活、低成本和高影像分辨率等特點[1]，彌補了衛星光學遙感經常受云層遮擋獲取不到影像、時效性差的不足。近幾十年來，隨著計算機技術和通信技術的快速發展，無人機的整體性能得到了不斷提高，使其已經具備了長時間續航、影像實時傳輸等眾多優點，尤其是在應急救災工作中，有著十分廣闊的應用前景。相比衛星遙感影像，無人機遙感影像具有相幅小、數量多和多航帶的特點[2-3]，為了得到某一地區的全景圖像，遙感影像拼接成為解決該問題的關鍵技術，遙感影像拼接是指將2幅或多幅連續遙感影像按照其公共部分進行重疊，得到一幅新的合集圖，拼接后的圖像不僅方便目視所觀測地區的全局效果，而且還保留了原始圖像中的細節信息[4-5]。

傳統的無人機遙感影像拼接都是應用于測繪領域，用于制作、更新地圖，對拼接合成后圖像的幾何精度要求比較高，對實時性要求不高，而且測繪無人機的飛行要嚴格滿足相應的飛行規范，圖像拍攝方式要求垂直下視，圖像數據不實時下傳，而是飛機降落后從機載記錄儀中導出后再進行拼接處理。

偵察無人機的主要任務是對目標區域進行偵察，要求快速獲取目標區域影像，為了擴大無人機瞬時偵察范圍，偵察無人機圖像拍攝方式有垂直下視和擺掃模式，并且圖像實時下傳。此時，高幾何精度的無人機遙感拼接合成圖像并不是最重要的，而具有地理坐標信息、可用的幾何精度和良好的視覺效果的拼接合成圖像、較快的拼接速度才是最為迫切的需求。

本文采用基于POS系統和SIFT特征進行遙感影像拼接，實時情況下能夠完成無人機實時下傳的垂直下遙感影像的拼接，事后情況下能夠完成垂直下視、擺掃模式遙感影像拼接，在拼接時可以根據具體情況對圖像進行降采樣提高圖像拼接速度，拼接后的圖像帶有地理坐標信息。

1 基于POS系統和SIFT特征遙感影像拼接方案

1.1 實時拼接處理

實時拼接處理時，只對無人機飛行過程中實時下傳的垂直下視方式拍攝的遙感影像進行處理，此時需要實時監視指定路徑下的遙感影像圖像文件，實時地對新到的圖像根據對應的遙測數據進行系統幾何校正，即粗定位生成帶有地理坐標信息的GeoTiff格式圖像文件，然后再查找其與上一幅粗定位后遙感影像之間的SIFT特征點對，利用多項式模型對該圖像進行配準，然后將配準后圖像與上一幅圖像按照地理坐標進行鑲嵌，合成一幅新圖像。

1.2 事后拼接處理

事后拼接處理時，包含單航帶拼接、垂直下視多航帶拼接和擺掃模式拼接，需要從機載記錄儀中導出遙感影像文件，這些文件包含垂直下視和擺掃模式拍攝的多航帶遙感影像。偵察無人機在一次飛行過程中會產生上千張遙感影像，如此多的遙感影像中會有一部分不能進行拼接處理，如飛機起飛、降落時遙測數據不準，轉彎時產生的遙感影像會有較大變形，所以在遙感影像拼接處理時需要對圖像文件進行篩選，篩選條件一般按照飛機航向角變化范圍、滾轉角變化范圍、平臺俯仰角變化范圍和圖像重疊率等，將屬于同一航帶的符合拼接條件的遙感影像圖像文件存放在一起。

1.2.1 單航帶拼接

對篩選后符合拼接條件的同一航帶的所有遙感影像根據相應遙測數據進行系統幾何校正，即粗定位生成帶有地理坐標信息的GeoTiff格式圖像文件，然后再對粗定位后遙感影像利用SIFT特征點對和多項式模型進行兩兩配準，然后將所有配準后圖像按照地理坐標進行鑲嵌，合成一幅新圖像，即單航帶拼接結果圖像。

1.2.2 垂直下視多航帶拼接

利用SIFT特征點對和多項式模型對單航帶拼接結果圖像進行兩兩配準，然后將所有配準后圖像按照地理坐標進行鑲嵌，合成一幅新圖像，即多航帶拼接結果圖像。

1.2.3 擺掃模式拼接

先利用單航帶拼接方法對擺掃模式下產生的左片圖像、中片圖像和右片圖像分別進行拼接，生成相應的拼接結果圖像，然后以中片拼接結果圖像為基準，利用SIFT特征點對和多項式模型對左片圖像拼接結果和右片圖像拼接結果進行配準，然后將配準后圖像按照地理坐標進行鑲嵌，合成一幅新圖像，即擺掃模式拼接結果圖像。

1.3 拼接處理流程

偵察無人機遙感影像拼接處理流程如圖1所示。

圖1 偵察無人機遙感影像拼接處理流程

2 關鍵技術

2.1 遙感影像系統幾何校正

2.1.1 方法說明

系統幾何校正是利用坐標變換方法建立原始圖像和輸出圖像的幾何關系，即幾何校正模型，建立系統校正模型后，輸入劃分的圖像網格點坐標，輸出投影坐標。這些點的圖像坐標和投影坐標形成一組控制點集，使用該控制點集，對原始圖像數據進行多項式校正計算，重采樣生成輸出圖像數據，根據當前拍攝區域中心點位置，設置圖像投影條帶，指定圖像投影信息，最后輸出為圖像文件。該算法是利用目標圖像和飛機位置、姿態以及平臺的參數計算該目標在WGS-84坐標系中的大地坐標，算法核心是對地球坐標系、當地地理坐標系、機體坐標系、光電平臺坐標系、相機坐標系進行準確的坐標變換[6-7]。

2.1.2 算法步驟

利用坐標變換方法建立原始圖像和輸出圖像的幾何關系，即幾何校正模型，其步驟如下：

① 建立從當地地理坐標系到相機的空間坐標系群；

② 完成各個坐標系之間的相互轉換關系；

③ 把原始圖像剖分成適當大小的矩形網格；

④ 根據坐標系轉換關系建立幾何校正模型；

⑤ 利用幾何校正模型，計算網格點(i，j)在WGS-84坐標系下的大地坐標(LWGS-84，BWGS-84)；

⑥ 利用(LWGS-84，BWGS-84)進行地圖投影變換，得到投影坐標(Xij，Yij)；

⑦ 再把(i，j)，(Xij，Yij)作為控制點，利用多項式擬和方法，對原始圖像進行校正，即“圖像重構”。

2.2 基于SIFT特征的圖像配準

Lowe D G在2004 年總結了現有的基于不變量技術的特征檢測方法，并提出了一種基于尺度空間的對圖像縮放、旋轉甚至仿射變換保持不變性的圖像局部特征描述算子SIFT(Scale Invariant Feature Transform)算子，即尺度不變特征變換[8-9]。該算法的核心思想是首先在尺度空間進行特征檢測，確定關鍵點的位置和所處尺度，然后使用鄰域梯度的主方向作為該點的方向特征，以實現算子對尺度和方向的無關性。由于該算法是利用高斯差分函數來構造尺度空間函數的，所以其檢測出的特征點，在圖像上反映的不一定是明顯的地形或地物點，但是該點卻是高斯差分函數的極值所在。同時SIFT 算法未考慮圖像的色彩信息，因此在利用該算法對無人機影像提取特征之前，需要將影像做進一步處理將其變為全色影像[10]。

利用SIFT 算法提取的特征點對中存在一些誤匹配的點(也稱作“外點”)，如果不將這些“外點”去除，將導致計算出的變換矩陣存在較大誤差，降低圖像的拼接效果。在精匹配過程中首先采用隨機一致性檢驗(RANSAC)算法[11-13]，它有能效剔除50%的錯誤點。在通過RANSAC 算法剔除后的特征點對中再采用最小二乘算法進一步檢測剩余的匹配點對。

2.3 圖像融合

圖像融合的目的是選擇合適的方法來完成圖像拼接，避免拼接后的圖像出現明顯的拼接縫隙，甚至有模糊和失真等現象。目前，常用的圖像融合技術有直接平均融合法和加權平均融合法。采用直接平均融合法拼接出來的圖像往往會有比較明顯的拼接痕跡[14]。本文采用漸入漸出的加權平均融合法進行圖像融合[15]。令I1，I2表示待拼接的2幅圖像，I表示拼接后的圖像，則用該方法融合的圖像可以描述為：

式中，w1，w2表示重疊區域的權重，它們與重疊區域的寬度width滿足如下關系：

式中，0

3 拼接實驗結果

為了驗證本文所用方法對無人偵察機遙感影像的拼接效果，在VS2010平臺下實現了相關算法及處理流程，并利用無人機影像進行檢驗。實驗計算機環境為Intel Core i7-3770處理器，主頻3.4 GHz，內存4 GB，Win7 32位操作系統。

3.1 垂直下視圖像拼接

試驗選用10張某無人機實飛數據，圖像數據原始大小為8 964×6 716個像元，為了提高整體拼接速度，在對原始遙感影像進行系統幾何校正時，對圖像進行了降分辨率重采樣，寬高分別降至原來的1/2。待拼接的無人機圖像如圖2所示。

圖2 待拼接圖像

拼接結果如圖3所示。拼接總用時為4 min 45 s。

圖3 拼接結果圖

3.2 擺掃模式圖像拼接

試驗所用無人機圖像數據原始大小為6 576×4 384個像元，左片、中片和右片均采用了12張遙感影像，為了提高整體拼接速度，在對原始遙感影像進行系統幾何校正時，對圖像進行了降分辨率重采樣，寬高分別降至原來的1/2。無人機擺掃模式拍攝時的左片拼接結果、中片拼接結果和右片拼接結果如圖4所示。

圖4 擺掃模式下左片、中片和右片單獨拼接結果

將左片拼接結果、中片拼接結果和右片拼接結果進行拼接后形成的擺掃航帶拼接結果如圖5所示。拼接總用時21 min 6 s。

圖5 擺掃模式下左片、中片和右片整體拼接結果

4 結束語

通過實驗證明，本文采用基于POS系統和SIFT特征進行的遙感影像拼接，能夠很好地適應垂直下視和擺掃模式下遙感影像的拼接，并且可以在拼接時根據具體情況對圖像進行降采樣處理，提高圖像拼接速度，拼接速度較快，拼接后的圖像帶有地理坐標信息、具有良好的視覺效果，能夠滿足應急情況下對圖像拼接的工程應用要求。