基于無人機POS信息的拼接方法①

王亞洲, 趙德群, 張楠西, 石 珺, 鄧錢華

(北京工業大學 信息學部,北京 100124)

UAV (Unmanned Aerial Vehicle,無人機)具有運行簡單、反應迅速、飛行靈活、成本低等特點,已被廣泛應用于抗災救災、軍事偵察、海上檢測、環境保護和土地動態監測等區域[1]. 而由于無人機航拍序列圖片拍攝的視角有限,受到無人機飛行的高度及相機的參數的限制. 為了對拍攝的區域進行全局的把握與分析,得到更多的目標區域信息,圖像的快速拼接顯得十分迫切與需要.

目前無人機的航拍影像拼接方法主要有兩種： 一種是基于圖像特征的拼接方法,另一種是基于POS信息的拼接方法.

基于特征的圖像拼接主要包括兩個主要的步驟,分別為圖像配準和圖像融合. 其中圖像配準為核心步驟. 在基于特征檢測的圖像配準算法中,1988年CHris Harris提出了Harris角點檢測算子,該算法對角點響應函數R進行閾值處理并且提取R的局部最大值來進行角點的提取,缺點是該算法不具有尺度不變性并且特征檢測時間不是很令人滿意. SIFT特征匹配算法(Scale Invariant Feature Transform)[2]是一種經典的算法,它通過在空間尺度中尋找極值點,并提取出其位置、尺度、旋轉不變量,并且提出來的特征比較穩定,但是缺點為提取出的特征點數量較多,計算量大,耗時長. Bay[3]于2006年提出了SURF算法,意為加速魯棒性特征,是對SIFT算法進行的一種改進,SURF算法利用Hessian矩陣確定候選點然后進行非極大抑制,降低了計算復雜度,一般來說,標準的SURF算子比SIFT算子快好幾倍,并且在多副圖片下具有更好的魯棒性.

基于POS的信息拼接方法主要是利用航拍影像的地理坐標關系來進行配準,文獻[4-7]就是利用特征點檢測算法和POS信息結合的方法來進行拼接,解決了水域拼接問題,但是拼接速度上并沒有得到有效提高,大部分都不能達到實時拼接. 文獻[8-12]都是基于視頻拼接,提高了拼接的速度,但是融合效果并不是十分理想,文獻[13]對視頻進行感興趣區域提取,裁剪了非重疊區域,提高了檢測的速度,但是視頻并非無人機航拍視頻,并且重疊區域的計算方法并未給出,文獻[14]利用FAST快速的提取到了圖像的灰度特征,速度上基本滿足實時的要求,但是也并未給出最后的融合效果,文獻[15]在特征定位時采用SURF,在特征描述上采用局部差分二進制算法,提高了特征的提取速度和匹配速度,在特征的穩定性和去分析上也有所提高.

本文提出的方法將特征提取算法與影像的地理坐標相結合,在拼接效率及視覺效果上比傳統的特征提取拼接算法均有較大的提高,且拼接后的影像有地理信息,具有一定的實用價值.

1 設計方案概述

本文提出了一種基于POS系統拼接圖像的方法,首先對圖像進行幾何校正,然后計算出影像四角點的地理坐標,以第一張影像地理坐標為基礎,通過提取相鄰影像重疊區域的SURF特征去得到相同匹配目標點的位置關系,從而修正后面影像的地理坐標,最后采用自適應漸入漸出的融合算法,得到了一副視覺效果良好的全景圖像,完成圖像的良好拼接. 設計方案流程圖如圖1所示.

2 航拍圖像的預處理

無人機在執行航拍任務中,由于受到飛行器的姿態、高度、速度以及地球自轉等因素的影響,造成圖像相對于地面目標實際位置發生擠壓、扭曲、拉伸和偏移等,因此需要對航拍的圖像進行幾何矯正,以得到基于同一基準投影面的遙感圖像.

圖1 本文設計方案

2.1 幾何矯正

幾何矯正處理過程主要包括坐標系統變換,構建共線方程,圖像重采樣等過程.

在幾何矯正的過程中,需要依次建立的坐標系為：地球坐標系,地理坐標系,機體坐標系,光電平臺坐標系,相機坐標系. 傳統校正的具體步驟如下： 設光電平臺坐標系到數碼相機坐標系的變換矩陣為R1,由機體坐標系到光電平臺坐標系的變換矩陣為R2,由地理坐標系到機體坐標系的變換矩陣為R3,由大地坐標系到空間直角坐標系的變換矩陣為R4,則有：

因此從相機坐標系到大地坐標系之間的轉換可以用如下關系表示：

常規幾何矯正由式(2)逐像素點進行計算和采樣.考慮到本課題主要對單一航帶進行拼接,且無人機平臺橫滾角和俯仰角比較小時(近似垂直向下拍攝時)可以認為圖像分辨率率是一致的,因此為了減少運算量,提高速度,幾何矯正只對水平方向上的飛機航向角和平臺方位角進行校正. 矯正模型如下所示：

其中χ為方位角,θ為航向角,為變換矩陣,完成模型轉換后再通過雙線性差值重采樣方法計算出像元在新的坐標系下的灰度值,從而生成新的圖像矩陣,完成幾何矯正.

2.2 重疊區域計算

無人機的航行速度,航行高度,當前曝光點的飛機經緯度信息,都可以通過無人機攜帶的POS系統(圖2)獲取到. 這些信息記錄了飛機飛行時在每個曝光時刻飛行時的姿態,可根據此來計算相鄰影像的重疊區域,具體步驟如下.

圖2 POS信息

1) 假設無人機航線為偏離正北θ,其航速為V,將速度分解為正北方向上和正東方向上兩個方向上的分量. 分別表示為V1和V2,如圖3所示.

2) 連續拍攝相鄰兩張曝光點的影像分別編號為Pic1和Pic2,間隔為t,中心點經緯度為LatA、LonA、LatB、LonB,則有：

圖3 速度分解

其中R=6371.004千米,π取3.1415926.

3) 此時以Pic1作為基準,Pic2與Pic1之間的重疊區域可表示為如圖4所示的矩形區域S,將其重疊區域擴大定義到規則區域,將重疊區域頂點投影到x和y方向上則表示為：通過計算重疊區域減少了拼接的計算量,并且隨著特征點的尋找面積越小,可能出現的誤匹配概率就越小,提高了檢測的效率.

圖4 重疊區域計算

3 基于POS參數的拼接方法

3.1 計算影像地理坐標

對于幾何糾正過的航拍影像,影像的每點像素坐標都有對應的地理坐標,影像的地理坐標的計算過程可以分為以下幾步.

1) 計算地面分辨率,計算公式如下：

其中GSD表示地面分辨率(m),f為鏡頭焦距(mm),P為成像傳感器的像元尺寸(mm),H為無人機對應的航高(m).

2) 計算影像對角線實際地面距離,根據影像的寬度w和高度h得到圖像對角線線之間的地面距離：

3) 計算影像四角點地理坐標,根據影像中心點經緯度及另一點相對中心點的距離及方向角,可以求得以影像中點為圓心,半徑為L/2的對應四角點地理坐標. 具體計算公式為：

4) 地理坐標轉換到空間之間坐標系之間的轉換,轉換公式如下：

其中N為曲率半徑,Lon、Lat、H分別為經度、緯度和高程,至此,得到完整的影像坐標.

3.2 利用特征匹配修正地理坐標

由于POS精度低以及幾何校正中存在一定的誤差,計算出的坐標映射關系有一定的誤差,此時利用特征匹配算法去修正影像的地理坐標,具體過程如下：

假設圖像1的地理坐標為P1(x1,y1),圖像2的地理坐標為P2(x2,y2),提取影像特征匹配對后則可以得到同一個點在不同兩張影像間的像素坐標位置,由此可以得到兩張影像中同一個目標點的經緯度坐標(Lon1,Lat1)(Lon2,Lat2),最后以第一張影像地理坐標為基準,求得第二張影像中目標點與第一張影像之間的偏移量,公式如下：

然后用求得的偏移量去修正圖像2的地理坐標P2：

然后將地理坐標投影到空間直角坐標系下,從而完成圖像精確的配準.

文章通過計算重疊區域的SURF特征,完成特征匹配點對的提取. SURF采用近似Hessian矩陣檢測特征點,并使用積分圖像進行卷積運算,大幅減少了運算,從而提高了特征提取速度. SURF描述子包含兩個主要的部分： 檢測特征點和計算特征; 具體實現分為以下幾步.

1) 構建Hessian矩陣,構造尺度空間.

假設圖像上某點為X(x,y),在σ尺度下的矩陣H定義為：

當Hessian矩陣的的判別式取得局部極大值時,認為定位關鍵點的位置.

2) 檢測特征點

在上述得到的尺度空間中,將經過Hessian矩陣處理的每個像素點與二維圖像空間和尺度空間鄰域內的26個點進行比較,初步定位出關鍵點,再經過濾去除能量比較弱的關鍵點以及錯誤定位的關鍵點,篩選出最終的穩定的特征點,檢測過程如圖5.

圖5 特征點定位

3) 確定特征點主方向

以特征點為圓心,以6σ為半徑,求XY方向上的Haar小波響應,統計60度扇形內所有點的水平Haar小波特征和垂直Haar小波特征總和,并設置Haar小波的尺寸變長為4 s,使得每個扇形都得到了對應值.然后將60度扇形以一定間隔進行旋轉,最后將鎖定最大值扇形的方向作為該特征點的主方向. 該過程的示意圖如圖6.

圖6 特征點方向計算

4) 計算特征描述符

在特征點周圍取一個正方形框,然后把該框分為16個子區域,每個子區域統計25個像素的水平方向和垂直方向的Haar小波特征,這里的水平和垂直方向都是相對主方向而言的,所以每個特征點就是16*4=64維的向量,這在特征匹配過程中會大大加快匹配速度.

4 圖像融合

對于修正坐標后的圖像,由于每張影像之間有一定的痕跡,因此需要采用一些策略來解決拼接縫隙之間的顏色過渡差異較大的問題,使拼接圖像更加平滑自然,漸入漸出自適應權重融合過程如下所示.

假設I1、I2、I分別為融合前圖像1、圖像2、和融合后的圖像3,則可以通過公式(14),完成圖像融合：

式中,W是兩幅不同畫面重復的總寬度;w是重合區域左邊緣與當前像素點之間的橫向距離.

5 實驗與分析

本文選取我國某處海岸線的兩條航帶影像作為數據源,測試平臺為CPU Intel(R)Core(TM)i7-4970 CPU@3.60 GHz,內存 16 GB,軟件開發環境為VS2010+OpenCV2.4.1,圖片分辨率為1820*1080,航拍高度為150 m左右.

5.1 重疊區域特征檢測

圖7(a)為用傳統SURF算法檢測到的特征點,并進行匹配連線,圖7(b)為根據飛行參數計算得到的重疊區域,圖7(c)為通過影像重疊區域計算出特征點之后,再根據RANSAC算法進一步消除錯誤特征點,從而得到最終的匹配連線對.

可以看出,surf算子在圖7(a)中非重疊區域之外的特征也進行了檢測,所以存在很多的誤匹配對. 圖7(c)只在重疊區域進行特征檢測,減少了誤匹配率. 從而提高了拼接的效率. 本文通過測試561張圖片并對得到的數據進行了平均,實驗中全局區域和重疊區域檢測到的特征點個數及檢測時間對比如表1所示.

圖7 圖像匹配點對的提取

表1 不同區域特征點提取對比

5.2 地理坐標拼接效果

按照本文提出的計算方法計算地理坐標并進行投影后及修正后的對比結果如圖8所示： 其中圖8(a)為未修正前的地理坐標投影結果,可以看出修正前的拼接效果存在明顯的誤差,圖8(b)在圖8(a)的基礎上,按照本文提出的方法,進行坐標的調整后,圖像拼接精度得到了明顯的提高,圖8(c)為按照本文方法,進行多張圖片的修正地理坐標拼接效果.

5.3 圖像融合結果

根據每張影像的地理坐標可以方便提取出圖像的邊界,從而得到圖像之間的拼接縫隙的精確位置,這樣重疊區域的目標在融合過程中都是以地理坐標位置進行投影,消除了傳統圖像處理算法配準時候誤差的積累,從而避免目標重影的產生,最后采用漸入漸出的自適應權重融合算法對邊界線進行融合,對比拼接效果如圖9所示： 其中圖9(a)明顯可以看出拼接后的邊界,圖9(b)為采用融合策略后生成的圖像,可以看出消除了圖像邊界之間的差異.

6 總結

本文針對無人機航拍影像的特點,提出了一張基于無人機POS信息的拼接方法,首先根據POS信息計算影像的四角點的地理坐標,然后提取影像的重疊區域的SURF特征,利用相鄰影像的相同特征點的位置關系去修正地理坐標,從而完成配準,最后采用自適應漸入漸出融合算法對圖像進行平滑過渡,得到了一副視覺效果良好的全景圖像.

圖8 地理坐標拼接效果

圖9 最終融合效果圖

1潘梅,李磊民. 基于改進Harris-SURF的無人機圖像快速拼接. 微型機與應用,2014,33(15)： 43-46,79. [doi： 10.3969/j.issn.1674-7720.2014.15.015]

2Lowe DG. Distinctive image features from scale-Invariant keypoints. International Journal of Computer Vision,2004,60(2)： 91-110. [doi： 10.1023/B：VISI.0000029664.99615.94]

3Bay R,Ess A,Tuytelaars T,et al. Speeded-up robust features(SURF). Computer Vision and Image Understanding,2008,110(3)： 346-359. [doi： 10.1016/j.cviu.2007.09.014]

4王雅萍,陳宜金,謝東海,等. 面向無人機水域影像的自動拼接方法. 長江科學院院報,2014,31(5)： 92-96.

5趙政,凌霄,孫長奎,等. 基于POS的無人機傾斜影像匹配方法. 國土資源遙感,2016,28(1)： 87-92. [doi： 10.6046/gtzyyg.2016.01.13]

6韓文超,周利劍,賈韶輝,等. 基于POS系統的無人機遙感圖像融合方法的研究與實現. 遙感信息,2013,28(3)：80-84,90.

7鄧濤,侯東平,樂琴蘭,等. 結合SIFT和Harris算法的小型無人機影像拼接方法. 信息工程大學學報,2015,16(3)：321-326,377.

8吳俁,余濤,謝東海. 面向應急響應的無人機圖像快速自動拼接. 計算機輔助設計與圖形學學報,2013,25(3)： 410-416.

9杜丹,潘志斌,于君娜,等. 帶地理信息的無人機遙感圖像拼接系統的實現. 無線電工程,2014,44(6)： 39-42.

10魯恒,李永樹,何敬,等. 一種基于特征點的無人機影像自動拼接方法. 地理與地理信息科學,2010,26(5)： 16-19,28.

11劉寶. 航拍視頻中的實時拼接技術研究[碩士學位論文]. 大連： 大連理工大學,2015.

12劉善磊,王光輝,石善球,等. 一種無人機視頻幀自動拼接方法. 測繪科學,2013,38(5)： 69-71.

13首照宇,歐陽寧,張華俊,等. 基于SURF和動態ROI的實時視頻拼接. 計算機工程與設計,2013,34(3)： 998-1003.

14張懿,劉藝. 基于FAST特征的快速圖像拼接系統研究. 計算機工程與應用,2016,52(10)： 167-170. [doi： 10.3778/j.issn.1002-8331.1406-0297]

15余淮,楊文. 一種無人機航拍影像快速特征提取與匹配算法. 電子與信息學報,2016,38(3)： 509-516.