一種基于特征點的無人機影像自動拼接方法

魯 恒,李永樹,何 敬,陳 強,任志明

(西南交通大學地理信息工程中心,四川成都610031)

一種基于特征點的無人機影像自動拼接方法

魯 恒,李永樹,何 敬,陳 強,任志明

(西南交通大學地理信息工程中心,四川成都610031)

論述了當前無人機影像快速拼接可選用的方法及可行性,將穩健的SIFT算法引入無人機影像自動拼接中,分析了該算法各階段所消耗的時間。結合無人機自身的特點對算法進行改進,在進行特征點提取前通過估算相鄰影像間的重疊度縮小了搜索范圍;進行尺度空間極值點探測時通過實驗獲取了適應于無人機影像的最優高斯核尺寸,克服了傳統SIFT算法采用固定核尺寸方法的缺陷,既減少了時間消耗,又盡可能多地獲得了特征點,最后應用LM方法求得精確變換矩陣,完成了影像鑲嵌。實驗結果表明,該算法對無人機影像拼接具有較好的適應性,在保證算法魯棒性的同時,提高了精度和效率。

無人機影像;自動拼接;影像重疊度;高斯核尺寸

0 引言

在高速發展的信息時代,如何快速獲取地表數據已經成為研究的熱點。相對于傳統的測量方法,以衛星、大飛機等為平臺的航天航空攝影測量應用廣泛,但在某些地方并不適合采用,尤其是在受天氣影響巨大的西部地區,如四川盆地的多云霧天氣。運用無人機作為平臺的低空遙感彌補了衛星光學遙感和普通航空攝影經常受云層遮擋難以實時獲取影像的缺陷,但當前無人機影像處理仍然采用的是靜態處理,即飛機拍攝完成后回室內進行影像拼接、信息提取,這導致無法充分發揮無人機快速獲取數據的優勢。概括起來,目前針對無人機獲取影像拼接方法主要有:1)基于姿態參數(POS數據)的拼接;2)基于非特征的拼接;3)基于特征的拼接。第一種方法耗時最低,在通信良好的情況下可做到實時拼接,但由于姿態參數變化是很復雜的非線性過程,若不建立模型校正POS數據,精度很難滿足應用需求,會出現錯誤拼接部分;第二種方法準確性較差,精度不能滿足需求;第三種方法雖然耗時量有所增加,但精度有了大幅提高,若能結合無人機自身特點進行改進,也能滿足實時拼接需求。

與其他圖像的拼接過程一樣,無人機影像拼接主要包括配準和鑲嵌兩個步驟,其核心是圖像配準[1]。近年來,Lowe[2]提出的SIFT(Scale Invariant Feature Transfo rm)算法在圖像匹配領域取得了巨大成功,基于SIFT描述子的匹配方法已被成功應用于很多領域,如目標識別[3]、圖像拼接[4]、圖像檢索[5]等。然而,目前將SIFT算法應用于無人機高分辨率影像的配準研究還很少。主要原因有:1)無人機影像空間分辨率很高,數據量很大,在進行特征點提取時,效率不高;2)SIFT算法自身復雜度較高,若僅憑單一的經驗值,不根據影像的實際情況加以改進,算法耗時量很大。針對目前的研究現狀,本文在分析原始SIFT算法各階段所需時間的基礎上,針對耗時量較大的階段并結合無人機的特點進行改進,提出了一種適用于無人機高分辨影像自動拼接的方法。

1 研究區概況及工作流程

研究區位于彭州市北部某鎮,由于彭州地處成都平原與龍門山過渡地帶,因此實驗區的地質構造較為復雜,地勢為西北高東南低,最高海拔1 320 m,最低海拔623 m。本次實驗預設無人機飛行的相對航高為650 m,飛行范圍覆蓋20 km2,獲取的無人機影像地面分辨率達到厘米級。工作流程如圖1所示。

圖1 無人機影像自動拼接工作流程Fig.1 The workflow of UAV imagesautomatic mosaic

2 影像重疊度估算

與一般的全景圖拼接不同,無人機影像有其獨特性,如無人機航速、航高、拍攝影像的地面覆蓋范圍等都可獲得,使得可以在影像拼接前進行預處理,通過計算相鄰影像的重疊度減小影像匹配過程中需要處理的數據量。基本思想為:根據飛控系統設置無人機航速變化不大,近似認為勻速飛行,根據相鄰影像曝光時間間隔,即可估算出相鄰影像的重疊范圍,為提取特征點縮小了遍歷范圍。具體方法描述如下:

(1)無人機航線為西南(SW)方向,其航速為vsw,將速度分解在正西(W)和正南(S)方向上分別為vw和vs(圖2a)。

(2)連續拍攝的兩張影像分別編號為Image1和Image2,兩張影像曝光的時間間隔為 t,則無人機向西和向南飛行距離分別為:

(3)無人機航高為h,搭載相機焦距為 f,影像上每個像元代表的距離為 d,則地面分辨率 r為[6]:

(4)在時間間隔t內,無人機在影像中沿正西和正南方向的像素偏移量可表示為:

將Image1作為基準圖像,Image2作為待匹配圖像,其長和寬分別為 length和 w idth,為了運算簡潔,同時為了防止提取特征點時出現遺漏,將重疊區域擴大定義為規則區域,將重疊區域頂點投影到 x和 y方向上,如圖2b所示的矩形區M。則M可表示為:

經過影像重疊范圍的估算可以大大減少拼接的運算量,并且特征點的尋找面積越小,可能出現的誤匹配概率就越小,提高了影像拼接的成功率。

圖2 無人機影像重疊度估算Fig.2 Estimate of the overlapped UAV images

3 SIFT特征點提取與匹配

完成上述影像重疊范圍估算后開始影像匹配,基于特征的影像匹配的第一步是特征提取。Low e[2]總結了現有的基于不變量技術的特征檢測方法,并正式提出了一種基于尺度空間的、對圖像縮放、旋轉甚至仿射變換保持不變性的圖像局部特征描述算子,即尺度不變特征變換。

3.1 SIFT特征點提取

SIFT算法首先在尺度空間進行極值點探測,并確定關鍵點(Key points)的位置及其所處的尺度,然后使用關鍵點鄰域梯度的主方向作為該點的方向特征,以實現算子對尺度和方向的無關性。其算法分為4個階段:

(1)尺度空間極值點的探測。通過高斯核函數G(x,y,σ)和圖像坐標 I(x,y)生成尺度空間L(x,y, σ),二維影像的尺度空間定義為:

利用不同尺度的高斯差分核與圖像卷積生成高斯差分尺度空間D(x,y,σ),然后對高斯差分尺度空間的每個采樣點及其同尺度的8個相鄰點和上下相鄰尺度對應的9×2個點相比較是否為極值點,作為關鍵點候選點。

(2)極值點的精確定位。極值點的精確位置通過擬合三維二次函數確定,通常是將以上探測出的極值點(x0,y0)按照 D(x,y,σ)在(x0,y0)處的二階泰勒級數展開,令其一階導數等于0,求解出其精確位置;同時去除低對比度的關鍵點和不穩定的邊緣響應點,以增強匹配的穩定性,提高抗噪聲能力。

(3)方向參數的指定。尺度不變特征最大的特點就是具備旋轉不變性,而旋轉不變性是通過關鍵點鄰域像素的梯度方向分布特征來指定關鍵點的方向參數。至此,圖像的關鍵點已檢測完畢,每個關鍵點有3個信息:位置、所處尺度、方向。

(4)關鍵點描述符的計算。將坐標軸旋轉為關鍵點方向,以關鍵點為中心取8×8的窗口,然后在每4×4的方格上計算8個方向的梯度方向直方圖及每個梯度方向的累加值,即可形成一個關鍵點。

這4個階段由于其復雜度各不相同,因此耗時量也不相同。本文通過大量無人機影像特征點提取實驗得出了各階段所消耗的時間比例(表1)。

由表1可得出,第一和第四階段耗時最多,其次是第二階段。第四階段耗時與生成的特征點數量緊密聯系,Yan等[7]通過減小特征描述符長度來降低耗時;第二階段的耗時主要與影像的空間分辨率、尺度空間大小有關;第一階段的耗時主要取決于影像的尺寸和高斯差分核尺寸的大小。本文通過兩方面改進以節省該階段的耗時:通過建立適應于無人機影像的高斯核尺寸,既減少了時間消耗,又盡可能多地獲得特征點;通過重疊度計算減少了探測空間極值點的搜索范圍,即不需在非重疊區進行探測。

表1 SIFT算法應用于無人機影像各階段所需時間Table 1 Time consumption of different stage for SIFT method used in UAV images

探測尺度空間極值點耗時主要是因為構建尺度空間,而尺度空間構建則依賴于高斯金字塔構建的耗時。本文在不同高斯核尺寸下利用無人機影像進行了大量實驗,發現隨著高斯核尺寸的逐漸增大,運算的耗時量和提取出的特征點數量在增加,當高斯核尺寸增大到一定程度時,耗時量在增加的同時特征點數目卻未明顯增加,甚至出現下降趨勢。因此,在耗時量和提取的特征點數量上必然有臨界尺寸。為探測該最優高斯核尺寸,本文選用多組相鄰的無人機影像進行實驗,比較在不同高斯核尺寸下SIFT算法的耗時以及提取的特征點對數量。由于篇幅所限,只列舉部分實驗數據進行說明,其中當高斯核尺寸小于7×7時,提取出的特征點對太少,不利于后續匹配。因此只考慮高斯核尺寸在7×7以上的情況,具體實驗結果如表2所示。

表2 不同高斯核尺寸實驗結果Table 2 Experiment results of different Gaussian kennel size

由表2可知,高斯核尺寸從7×7逐漸增到25× 25的過程中,Image1和 Image2提取出的關鍵點數量的臨界點在17×17,超過臨界點后耗時增多,提取出的關鍵點數量反而減少。因此選擇17×17尺寸的高斯核作為最優尺寸高斯核,通過最優尺寸的確定,克服了傳統SIFT算法中采用固定核尺寸方法來構建高斯影像。若尺寸選擇過小,雖然耗時較少,但提取的特征點也較少,不利于后續影像配準;若尺寸選擇過大,耗時多,提取的特征點可能不多。

3.2 SIFT特征點匹配

SIFT特征匹配算法包括兩個階段:第一階段是SIFT特征的生成,即從多幅待匹配圖像中提取出對尺度縮放、旋轉、亮度變化無關的特征向量;第二階段是 SIFT特征向量的匹配。當兩幅圖像的SIFT特征向量生成后,下一步采用關鍵點特征向量的歐式距離作為兩幅圖像中關鍵點的相似性判定度量。取Image1中的某個關鍵點,并找出其與Image2中歐式距離最近的關鍵點(NN)和距離次近的關鍵點(SCN),在這兩個關鍵點中,如果最近距離除以次近距離小于某個比例閾值,則接受這一對匹配點。降低這個比例閾值,SIFT匹配點數目會減少,但更加穩定。本文選用的閾值為NN/SCN∈[0.5,0.6]。

圖3 消除誤匹配Fig.3 Elim inating of the falsematches

本文方法為:首先計算影像對中所有匹配點對的橫縱坐標距離差的平均值,并將其定義為影像序列的標準閾值;然后剔除影像中橫縱坐標距離差與標準閾值相差太大的匹配點對,即采用這種過濾的方法提純特征點,從而提高匹配精度。

對遙感影像的匹配而言,希望能確定比較精確的且分布比較均勻的關鍵點,然后通過數據擬合減少整體誤差[8]。通過數據點擬合幾何模型時,為了提高精度,需要數據點盡可能均勻地分布在影像上。通過過濾后的匹配點對都是正確的,因此可以在一定鄰域內只保留一個關鍵點,而把分布比較密集的其它關鍵點剔除。圖4為經過過濾和剔除后的一個影像對的特征點,可以看出沒有誤匹配點,且點位分布比較均勻。

圖4 特征點匹配后的影像對Fig.4 A pair of image after matching feature points

4 影像鑲嵌

影像配準的本質是在兩幅影像間建立映射關系,確定相應變換參數,并進行仿射變換[9]。為得到兩影像間的變換參數,需要利用遞歸的方法計算特征點與其匹配點變換后點距離的最小值。本文采用經典的Levenberg-M arquardt方法[10],具體描述如下:

若 p=(px,py)、q=q(qx,qy)是匹配的特征點對,則首先從所有匹配的特征對中取4對相似性最好的匹配點對,計算出參數矩陣的8個參數i=0,1,…,7,并以此作為初值。(px,py)變換后為:

在每次循環中更新 mi(i=0,1,…,7)。這一過程會在較少的步數內即收斂接近真實值,從而確定兩幅圖像間的變換參數。

根據上述算法原理,以Visual studio2008為開發平臺進行了實現,最終拼接的無人機影像如圖5所示。運用本文算法拼接效果遠優于基于POS數據的拼接效果。

5 結論

針對無人機影像自身的特點,通過對傳統SIFT特征匹配算法優化,在進行特征點提取前通過估算相鄰影像間的重疊度縮小了搜索范圍;進行尺度空間極值點探測時通過建立適應于無人機影像的最優高斯核尺寸,克服了傳統SIFT算法采用固定核尺寸方法的缺陷,既減少了時間消耗,又盡可能多地獲得了特征點。運用影像中匹配點對橫縱坐標距離差與標準閾值比較過濾的方法對匹配點對進行篩選,采用LM方法求得精確變換矩陣。實驗結果表明,本文所采用的適合于無人機影像拼接的方法在繼承SIFT算法較好魯棒性的同時,進一步提升了拼接精度和效率。

圖5 基于特征點的拼接效果Fig.5 Mosaic effect picture based on feature points

[1] 高超,張鑫,王云麗,等.一種基于SIFT特征的航拍圖像序列自動拼接方法[J].計算機應用,2007,27(11):2789-2792.

[2] LOWED G.Distinctive image features from scale-invariant key points[J].Computer Vision,2004,60(2):91-110.

[3] HU X L,TANG Y C,ZHANG Z H.Video object matching based on SIFT algorithm[C].International Conference on Neural Netwo rks and Signal Processing,2008.

[4] YANG ZL,GUO B L.Imagemosaic based on SIFT[A].Intelligent Information Hiding and M ultimedia Signal Processing[C]. 2008.

[5] GAO K,L IN S X,ZHANG Y D.A ttention model based SIFT keypoints filtration for image retrieval[C].7th IEEE/ACIS International Conference on Computer and Information Science, 2008.

[6] 朱肇光,孫護,崔炳光.攝影測量學[M].北京:測繪出版社, 1995.

[7] YAN K,RAHUL S.PCA-SIFT:A more distinctive rep resentation for local image descriptors[J].Computer Vision and Pattern Recognition,2004(2):506-513.

[8] 李曉明,鄭鏈,胡占義.基于SIFT特征的遙感影像自動配準[J].遙感學報,2006,10(11):885-892.

[9] 楊常清,王孝通,徐曉剛,等.基于特征空間的航空影像自動配準算法[J].測繪學報,2005,34(3):218-222.

[10] HARTLEY R,ZISSERMAN A.M ultip le View Geometry in Computer Vision[M].London:Cambridge University Press, 2004.

Abstract:Themethods w hich current unmanned aerial vehicle(UAV)phantom fast sp licingmay select and their feasibility were elabo rated,the steady SIFT algo rithm was introduced into the automatic mosaic of UAV images,and the time consump tion of the algo rithm during various stages was analyzed.Considering the feature of UAV to imp rove the algorithm,w hich can reduce the range fo r searching feature points through estimating the overlap of neighboring images,and the most superior size of Gaussian kernel adap ting in the UAV images was obtained through the experiment w hen detecting the criterion space extreme points,it can overcome the traditional SIFT algo rithm′s flaw by using the fixed sizemethod,not only reduce the time consumption,but also obtain the characteristic points as far as possible.Finally the p recise transfo rmation matrix was obtained to comp lete imagesmosaic by using the LM method.Experimental results show that thisalgo rithm has good compatibility to automatic mosaic of UAV images,w hich can remain the algo rithm′s robust,meanw hile,the p recision and the efficiency were increased.

Key words:UAV images;automatic mosaic;overlapping of images;size of Gaussian kernel

A Automatic M osaic Method in Unmanned Aerial Vehicle Images Based on Feature Points

LU Heng,L I Yong-shu,HE Jing,CHEN Qiang,REN Zhi-ming
(GIS engineering Center of Southw est Jiaotong University,Chengdu 610031,China)

P231.5

A

1672-0504(2010)05-0016-04

2010-05-06;

2010-08-06

國家“十一五”科技支撐計劃項目(2006BAJ05A13)

魯恒(1984-),男,博士研究生,主要從事低空遙感技術理論與應用研究。E-mail:luheng_19841007@yahoo.cn