基于無人機航拍圖像快速拼接方法的研究

趙麗穎，付強，黃丹飛，鐘艾琦，張玉爽

（長春理工大學 光電工程學院，長春 130022）

無人機具有操作簡單、反應速度快、飛行靈敏、成本低、攜帶方便等特點，已被廣泛應用于抗震救災、防汛、軍事偵察、海上勘測、交通監管等區域。而無人機上設備在拍攝圖像時，由于成像設備性能和飛行高度等因素的限制，一般情況下，獲取的單幅圖像能夠覆蓋的地面景物范圍較小，很難覆蓋整個要拍攝的區域。為了對拍攝目標區域信息有更好的掌握，快速得到更多的目標區域有效信息，無人機航拍圖像快速拼接已成為迫切需要。

目前無人機的航拍圖像拼接方法主要是以基于圖像特征的拼接方法為主，基于圖像特征拼接方法中，圖像配準與圖像融合是圖像拼接最重要的兩個關鍵步驟。圖像配準是無人機影像拼接過程中的核心步驟，配準精度直接影響圖像拼接的質量。在基于特征圖像拼接的算法中，目前提取圖像特征點的算法有SIFT[1]（Scale-Invariant Feature Transform，尺度不變特征變換）算 法、Harris角點算法、SURF（Speed Up Robust Feature）等算法。Harris C[2]提出了 Harris角點檢測算子，該算法對角點響應函數進行閾值判斷處理，并提取局部最大值來進行角點的提取，但是該算法檢測特征的速度慢且不具備尺度不變性。SIFT特征匹配算法是一種比較經典的算法，它通過在空間尺度中尋找極值點，并提取出其位置、尺度、旋轉不變量等特征，提取出的特征比較穩定，數量多、計算量大、耗時長。Bauer[3]提出了一種SURF算法，SURF算法利用海森矩陣確定特征點然后進行非極大抑制，它降低了計算難度，并且提高了特征檢測速度。趙文君等人[4]利用提取特征點區域限制的方法限制Harris角點生成的面積，再結合非極大值抑制算法剔除粗差和聚簇角點，利用最佳縫合線融合方法進行圖像融合，得到了良好的拼接效果。文偉東等人[5]提出基于SIFT算法對有序圖像拼接算法，首先對圖像的順序進行排列，然后利用FAST算法進行特征提取，并對隨機一致性算法進行改進刪除誤匹配點對，最后運用加權平均融合算法進行融合。陳雪濤等人[6]提出一種基于SURF算法和重疊區域相結合的視頻拼接算法，視頻拼接效果能夠很好地消除鬼影等問題。管增倫[7]利用改進的SURF算法針對視頻圖像重疊區域進行特征點提取，提高算法運行速率，實時性高，拼接效果好。程德強[8]采用SURF特征算法提取特征點，然后利用改進的隨機抽樣一致算法刪除誤匹配點。對于重疊區域進行動態融合處理，從而消除視頻重疊區域的拼接縫和鬼影。年華[9]將Harris-Laplace算法檢測與SURF算法相結合的拼接方法，運用RANSAC算法剔除錯誤匹配點，提高了匹配效率。馬嘉林[10]提出了一種基于相機標定的全景圖拼接方法，對圖像進行幾何畸變校正處理，在利用圖像的同名點實現圖像的配準并完成拼接。李玉峰[11]提出了一種基于區域分塊與SIFT算法相結合的圖像拼接的算法，利用NCC算法分割出匹配圖像與待匹配圖像間的相似區域，利用SIFT算法進行特征提取，實現圖像之間的無縫拼接。文獻[12]對待拼接的圖像先進行柱面投影，然后利用SIFT算法進行特征點提取，利用RANSAC方法刪除誤匹配完成圖像配準。

針對基于特征點拼接速度較慢且不能進行地理定位問題，提出了一種基于無人機POS系統數據圖像拼接的方法。首先對POS數據的精度較低問題，建立航拍參數的優化模型提高數據精度，利用優化后的POS數據計算出影像四角點的地理坐標，將第一張圖像地理坐標作為基準，進行航拍有序影像的拼接。

1 基本原理

1.1 無人機POS系統簡介

POS（Position and Orientation System）是 DGPS/IMU組合定位定向系統的統稱。它既有差分GPS實時定位的功能，又具備IMU測定姿態的能力，把其搭載在無人機平臺上就能測定動態目標的三維坐標和航攝儀三個軸線上的角度信息。POS最大的優點是取長補短，它把具備定向功能的陀螺儀和具備定位功能的GPS有力地結合在一起，然后把數據處理技術—卡爾曼濾波技術引入IMU與GPS的組合系統之中，使此組合系統的穩定性、定位定向精度和自動化程度有了大幅度的提高，GPS與IMU的組合系統擁有“黃金搭檔”之稱[13]。

1.2 基于POS數據優化模型

由于無人機航拍過程當中會受到地理位置、環境、風速以及無人機POS數據自身的測量誤差等影響，得到的定位信息有所誤差。為了能夠更好地提高無人機POS數據的精度，利用光束法區域網平差來建立優化方程。如圖1所示，光束區域網平差是以一張像片組成的一束光線作為平差的基本單元，以中心投影的共線方程作為平差的數學模型。以相鄰像片公共交會點坐標相等、控制點的內業坐標與已知的外業坐標相等作為平差條件，列出控制點和加密點的誤差方程式，進行全區域的統一的平差計算，求解出每張像片的外方位元素和加密點的地面坐標。

圖1 光束區域網平差

利用光束區域網平差通過設置控制點獲得外方位元素與無人機POS系統的初始的外方位元素建立優化參數方程。POS系統數據優化流程圖如圖2所示。

圖2 POS系統數據優化流程圖

優化方程：

根據公式（1）—公式（6）可以得到校正后的參數，然后利用校正參數對原始POS數據進行優化。其中 ΔXp，ΔYp，ΔZp，Δψp，Δθp，Δφp為校正后得到的結果；XP1，YP1，Zp1，ψp1，θp1，φp1為圖像初始的外方位元素與姿態參數；Xpn，Ypn，Zpn，ψpn，θpn，φpn為第n個圖像的初始外方位元素與姿態參數；n為計算中涉及的圖像數量。表1為無人機POS數據。

表1 無人機POS定向數據

圖3和圖4分別為初始數據與優化后的數據。從優化后的數據圖可以看出偏航角的數據前后變化不大，而滾轉角與俯仰角經過優化后數據連續，能夠更好地進行地理定位。

圖3 初始數據

圖4 優化后數據

1.3 基于POS系統數據無人機圖像拼接

為了能夠快速獲得航拍圖像的有效信息，并能夠更好地精確定位，采用優化后的POS系統數據進行圖像拼接。

1.3.1 坐標變換

（1）像平面坐標系到像空間坐標系的轉換

像平面坐標系通常將圖像的左上角設為坐標原點，而像空間坐標系是將圖像中心設為原點。兩個坐標系坐標的關系為：

式中，(u0×s，v0×s，-f)為圖像平面坐標系坐標，s:x軸，y軸每個像素的物理尺寸；u0為圖像像素高度的一半，v0為圖像像素寬度的一半；f為相機焦距。

（2）像空間坐標系到像空間輔助坐標系轉換

假設已知像點a，它在像空間輔助坐標系中的坐標可表示為(X,Y,Z)，在像空間坐標系中的坐標為(x,y,-f)，兩個坐標系坐標關系為：

式中，a1，b1，c1為方向余弦，即兩個坐標軸之間的余弦值。由外方位元素（偏航角φ，俯仰角θ，橫滾角φ）計算得到。R為旋轉矩陣，可以由下面3個旋轉矩陣式求得：

（3）像空間輔助坐標系到地面坐標系轉換

設攝影中心S與地面點A在地面攝影測量坐標系D-XtpYtpZtp中的坐標分別為Xs,Ys,Zs（即像片外方位直線元素）和XA,YA,ZA，則地面點A在像空間輔助坐標系中的坐標可表示為XA-XS，YA-YS，ZA-ZS，而對應點a在像空間輔助坐標系中的坐標可表示為X，Y，Z。已知S，a，A三點共線，利用相似三角形關系可以得到：

式（22）中λ為比例因子，寫成矩陣形式為：

利用像點的像空間坐標與像空間輔助坐標關系式可得其逆變換公式為：

將式（22）代入式（24），并用第三式去除第一，二式得：

式（25）就是中心投影構想的基本單位，即共線方程。

1.3.2 確定圖像四角點坐標

已知相機參數f，x0，y0（f為相機焦距，(x0,y0)為像主點坐標），像素大小為s。可以確定圖像的四個角點在像空間坐標系的坐標分別為：

其中，w為原圖像的寬度；h為原圖像的高度。使用上面的公式可以計算地面坐標系中四個頂點的坐標。XA，YA為角點真實坐標，ZA對應為地面點實際高度，使用測量中的平均高度進行計算。

Xmax，Xmin，Ymax，Ymin可由四個地面坐標系的四個角點來確定。利用無人機空間分辨率可以計算出校正后圖像的寬度與高度。

其中，r為無人機空間分辨率；h為相對高度；s為像素大小；Ug，Vg分別為校正后的高度和寬度。

1.3.3 經緯度轉換大地坐標系

由于試驗POS數據中攝影瞬間攝影中心的平面坐標是經緯度，所以需要利用高斯投影坐標公式求取攝影中心的實際坐標。

其中，（B，L，H）為大地坐標，B，L，H分別表示POS數據中的緯度、經度和高程；（X，Y，Z）為空間直角坐標；N為卯酉圈曲率半徑；e為橢球第一偏心率。

1.4 基于SURF算法圖像拼接

SURF（Speed Up Robust Features）算 法[14]是一種尺度和旋轉不變的檢測與描述算法。SURF算法是SIFT算法的一種改進。它和SIFT算法的特點一樣具有很強的魯棒性，對圖像的亮度、尺度、角度旋轉、噪聲等具有不變特性，它的運算速度比SIFT算法更快。SURF算法計算步驟如下：

（1）構造Hessian矩陣

SURF算法與SIFT有很大的不同。SIFT算法采用的是DOG圖像，而SURF算法采用的是Hessian矩陣行列式近似值圖像。假設函數f( )x,y，Hessian矩陣H是由函數和偏導數組成。首先計算圖像中某個像素點的Hessian矩陣：

當Hessian矩陣的判別式取得局部極大值時，判定當前點是比周圍鄰域內其他點更亮或者更暗的點，由此來定位關鍵點的位置，因此Hessian矩陣的判別式為：

在離散空間上，為了得到Hessian矩陣的四個元素，SURF采用二階標準高斯函數對圖像進行卷積運算，高斯函數可構造出不同尺度下的響應函數圖像。在尺度σ下，對應的Hessian矩陣：

Lxx(x,σ),Lxy(x,σ),Lyy(x,σ) 為點x處高斯函數的二階偏導數與圖像I的卷積。計算出圖像上所有點的Hessian行列式值：

用行列式的值來判別圖像局部特征點。如圖5所示分別為盒式濾波器和高斯濾波器示意圖。為了提高運算速度，SUFR算法使用盒式濾波器來代替高斯濾波器，因此添加了加權系數0.9。則H矩陣判別式可表示為：

圖5 盒式濾波器和高斯濾波器示意圖

（2）構造尺度空間

SURF算法的尺度空間由O層和S層組成，區別在于，SIFT算法下一組圖像的長寬均是上一層的12，同一組不同層圖像之間的尺寸是一樣的，但是所使用的尺度空間因子σ逐漸增大；而在SURF算法中，不同組之間的圖像尺寸都是一致的，不同組間使用的盒式濾波器的模板尺寸逐漸增大，同一組不同層圖像使用相同尺寸的濾波器，但濾波器的尺度因子σ逐漸增大。如圖6所示為尺度空間示意圖。

圖6 尺度空間示意圖

（3）特征點精確定位

經過Hessian矩陣處理過的每一個像素點與其3維領域的26個點進行比較大小，如果該點是26個點中的最大值或者最小值，則保留下來，當做候選特征點，否則會刪除該點。圖7表示為特征點定位過程。

圖7 特征點定位

（4）特征點主方向

SURF算法中特征點主方向計算采用的是統計特征點圓形鄰域內的Harr小波特征，統計60度扇形內所有點的水平、垂直Harr小波特征總和，然后扇形以0.2弧度大小的間端進行旋轉并再次統計該區域內Harr小波特征值，最后將最大值的那個扇形的方向作為該特征點的主方向，該過程如圖8所示。

圖8 特征點方向

（5）生成特征描述

為了保證特征矢量的旋轉不變性，在SURF算法中，在特征點周圍取正方形框，把該框分為16個子區域，每個子區域統計25個像素的水平方向和垂直方向的Harr小波特征，這樣每個小區域就有4個值，所以每個特征點就是16×4=64維的向量。圖9為特征描述符的構成示意圖。

圖9 特征描述符的構成

2 實驗結果與分析

實驗數據由大疆精靈3無人機拍攝得到。仿真實驗軟件為Matlab R2018b。無人機主要性能指標如表2所示。無人機的航行速度，飛行時航拍高度，曝光點的飛行經緯度信息以及姿態參數等，都可以通過無人機攜帶的POS系統獲取到。設置橫向重疊率為75%，旁向重疊率為35%。試驗結果如圖10、圖11所示。

表2 無人機性能指標

圖11 不同場景、不同圖像數量基于POS數據算法拼接結果

表3是基于SURF特征圖像拼接算法與基于POS數據拼接算法進行對比。從結果上來看算法在圖像數量分別為12張、30張、50張比基于SURF特征圖像拼接算法在速度上分別提高了40%、34%、30%，能夠直接對目標區域進行地理定位。

表3 基于SURF特征圖像拼接算法與基于POS數據拼接算法運算時間的比較

3 圖像質量評價

圖像質量的好壞可以通過圖像質量評價來進行評判。圖像質量評價可分為主觀評價與客觀評價。主觀評價通過人眼進行觀察，屬于偏主觀的一個概念。但主觀評價結果較難準確量化并耗時過長。因此需要進行圖像客觀評價分析。客觀圖像質量評價方法主要有峰值信噪比PSNR和基于結構相似度SSIM。下面對拼接后的結果進行主觀評價與客觀評價分析。

表4列出對拼接結果的主觀評價與客觀評價。從主觀評價上來看基于SURF特征算法與基于POS數據拼接結果整體效果良好，但在某些部分還是存在一些重影和邊緣缺失。從客觀評價整體上來看基于SURF算法的圖像失真度比基于POS信息拼接結果圖像失真度大。

表4 圖像質量評價分析

4 結論

提出一種基于無人機航拍圖像快速拼接的方法。首先對無人機POS系統的數據進行優化引入光束區域網平差方法并建立優化方程，然后利用POS數據計算出影像四角點的地理坐標，以第一張影像地理坐標為基礎，進行航拍有序影像的拼接。最后得出結果與基于特征點圖像拼接的方法進行對比，基于POS數據算法的拼接方法效率更高。對于拼接圖像像質評價采用主觀評價與客觀評價的方法，結果顯示基于POS數據拼接結果效果良好。但基于POS數據拼接還有很多不足之處，當POS數據精度較低時結果會出現拼接錯誤或部分數據缺失，因此對于優化數據模型還需要進一步優化。接下來的主要工作是得到更多的數據來進行優化。