基于改進SPHP算法的無人機遙感圖像拼接技術

王紅君，劉一鳴+，岳有軍，趙 輝,2

(1.天津理工大學 電氣電子工程學院，天津 300384；2.天津農學院 工程技術學院，天津 300384)

0 引 言

在應用過程中，由于現有成像設備的性能所限，無人機[1]無法獲得單張大視野、高清晰度的圖像，為了擴大觀測范圍，需要把圖像拼接技術應用在無人機上，以此來提高遙感圖像的獲取能力。

由Lowe提出的SIFT[2]算法，把圖像拼接技術推向了一個嶄新的高度，但這種算法對邊緣光滑的目標無法準確提取特征點。Bay等提出了SURF[3]算法，可以提高圖像拼接的速度，但是它容易受到外界干擾產生誤差。Chang等提出了SPHP[4]算法，可以在一定環境下解決傳統圖像拼接算法中產生的圖像重影問題，實現拼接圖像最少的形變和拼接結果更大的視角[5]，因此SPHP算法已經成為當今主流的圖像拼接算法之一。

然而傳統的SPHP算法只能在特定的場景產生良好的拼接效果，不適用于色差變化較小的地帶，而無人機會在任何場景作業，因此SPHP算法并不適用于無人機圖像拼接。針對上述缺點，本文提出一種基于SPHP算法的無人機遙感拼接改進算法，根據原有SPHP算法的特點，在非重疊區域對圖像采用相似變換，使拼接后的圖像與原圖像保留最大相似比例，獲得更優的視覺效果；之后在圖像的重疊區域引入MDLT[6,7]算法的權重系數，計算空間變換模型參數，將得到的參數與SPHP算法相結合。這種改進之后的算法可以有效解決某些場景拍攝下拼接出現的重影問題，并保留了原圖像的最大相似比例，讓無人機圖像拼接應用在更廣泛的區域。

1 改進的SPHP算法

(1)

將坐標系 (x,y) 變換為 (u,v)

(2)

因此，經過空間變換后新的映射關系為

(3)

我們也可以將映射轉化為u和的關系v

[x′,y′]T=H(u,v)=[Hx(u,v),Hy(u,v)]T

(4)

如圖1(c)所示，經過SPHP算法變換后的圖像，可以被分成3個區域，分別是重疊區域、過渡區域和非重疊區域，其變換模型為

(5)

經變換后3個區域的模型為

(6)

(7)

綜合上述方程式可以推導出fx,gx,fy,gy,α,β,tx,ty。

圖1 投影變換和SPHP變換的比較

另外，u1,u2作為劃分圖像區域邊界的參數，可以通過改變u1,u2的值使圖像在大視差的情況下拼接出更小的形變，其函數E(u1,u2) 可以定義為

(8)

為了減少圖像融合時產生的重影，獲得更好的拼接結果，需要將計算出的w與MDLT算法計算出的重疊區域的空間變換參數相結合：

(9)

(10)

將MDLT算法計算出的投影參數應用在SPHP算法的重疊區域，如圖2所示。

圖2 圖像拼接過程

2 圖像配準

2.1 特征點提取

圖像角點也被稱為圖像中的極值點，它在圖像中有著相對突出的屬性，因此角點可以作為圖像的一種關鍵特征而應用在圖像處理中。常見的角點檢測算法有KLT角點檢測算法[8]和Harris角點檢測算法[9]等，其中Harris算法有著很強的穩定性和抗環境干擾能力，它的光照不變性和旋轉仿射不變性相比于其它算法更為突出，但是它的尺度不變性相對較差[10]，并且當目標圖像本身含有較大噪聲時，用Harris算法處理的圖像魯棒性較差。

SURF算法是一種魯棒性較強的局部特征點檢測和描述算法，它可以被看作為是SIFT算法的改進算法，可以提高算法的執行效率，以更高的效率完成特征點的提取，算法速度是SIFT算法的3倍左右[11]。SURF算法的特性能夠有效彌補Harris算法的缺點，在他們的共同作用下，可以提高特征點提取時的魯棒性和尺度不變性。

因此，針對以上兩種算法的特性，本文將采用Harris算法和SURF算法共同應用于特征點提取。首先，利用Harris算法提取待拼接圖像的Harris角點，其數學模型為

(11)

同時利用SURF算法提取圖像的特征點，首先要構建Hessian矩陣[12]，Hessian矩陣如下

(12)

可以利用Hessian矩陣獲取圖像局部的極大值，再判斷此極大值是否為當前區域中最亮或最暗的點，由此可以得到圖像特征點的位置

det(H)=Dxx*Dyy-Dxy*Dxy

(13)

由于SURF算法采用的是盒子濾波器，然而Hessian矩陣卻是在特征點處做高斯卷積，因此為了保持結果與高斯核相符，可以在Dxy上乘以0.9，以此來減少盒子濾波所帶來的誤差

det(H)=Dxx*Dyy-(0.9Dxy)2

(14)

將得到的Harris角點和特征點作為一個總特征點集，去除其中的重復點和魯棒性較弱的點，得到一個均勻分布的、穩定的特征點集。

這種Harris與SURF相結合的算法同時擁有兩種算法的優點，即優秀的光照不變性、仿射不變性和魯棒性，可以大大提高特征點提取效率。

2.2 特征點匹配

本文采用K臨近算法(KNN)[13]進行特征點匹配。KNN算法是根據檢測到的特征點之間的距離進行匹配的，它會把一個樣本空間中k個最相似的特征點歸屬為相同的類別，待匹配的特征點如果和這個類別最相似，那么這個特征點就可以歸于這個類別，其中k一般取不大于20的整數。

在KNN算法中，特征點之間的匹配是根據與對應點之間的距離作為指標，為了防止匹配誤差，距離一般選用歐式距離或曼哈頓距離，其中本文選用歐式距離[14]

(15)

KNN算法的計算步驟為：

(1)計算基準特征點與待匹配特征點之間的歐式距離；

(2)將特征點間的距離按升序排列；

(3)選取與待匹配特征點距離最小的兩個點；

(4)用最近鄰的點與次近鄰的點作比；

(5)若比值小于某一閾值，則最近鄰點為正確的匹配點。

為了減少拼接時產生的誤差，必須在特征點匹配階段篩選得到的特征點，剔除其中的重復點和誤匹配的點。多數學者們最常用于精匹配的算法是RANSAC算法，但是這種算法在匹配距離較近的特征點時容易產生誤差，達不到理想化的效果。因此，本文采用PROSAC算法[15]，它是對RANSAC算法的改進。

設x和y為對應的匹配點，如果這對匹配點非誤匹配，那么

xFy=0

(16)

其中，F為基礎矩陣。

PROSAC算法原理如下：首先將原圖像點與待匹配的特征點根據距離排序，選取其中m個質量較好的特征點，計算出對應的基礎矩陣，然后計算出兩個匹配點之間極限距離的平方和，如果平方和的值小于F， 那么此待匹配的點為正確的匹配點。

由此我們可以得到兩幅圖像之間的映射關系即單應性矩陣H為

(17)

3 圖像融合

圖像拼接一直以來都是圖像處理技術中的一個熱門技術，其中圖像融合是圖像拼接最重要的一個環節。

然而待拼接的圖像一定會受到拍攝角度、重疊區域的亮度值等影響，如果采用直接拼接的方法一定會出現明顯的拼接縫隙，造成不好的視覺效果，而圖像融合正是解決這個問題的方法。傳統的SPHP算法雖然不會造成拼接縫隙，但是它只適用于顏色對比明顯的區域，在紋理較淺的地貌環境下會出現扭曲重影現象。而本文設計的改進的SPHP算法在待拼接圖像的重疊區域引入一個權重系數，獲得新的空間變換模型，從而進行圖像的變換，完成圖像融合。

4 實驗與結果分析

用于實驗的圖像是由大疆MATRICE100無人機拍攝，經壓縮后圖像變成分辨率為650×400的PNG格式圖像，實驗使用天津理工大學先進自動化技術聯合示范實驗中心計算機，配置為Intel(R) Core(TM) i5-4590 CPU @ 3.30 GHz，是64位Windows10操作系統，內存為4 GB，本文算法基于matlab 2016b編程并在其中進行測試。

圖像拍攝地點位于天津理工大學校內，拍攝高度為150 m，為了測試拼接算法的適用性，選擇兩組地貌特征不同的區域拍攝。其中圖3地物類型以理工湖和綠化帶為主，整體顏色對比度不那么明顯，類似于如今的郊區地帶；圖4地物類型以草地和建筑為主，由于植被顏色與建筑物顏色反差較大，對比度明顯，類似于如今的城市地帶，紋理較豐富。采用這兩組典型類型來充分說明本文算法的有效性與適用性。

4.1 特征匹配結果

如圖3、圖4所示，分別代表兩種不同地貌特征的遙感圖像。在圖像配準方面，本文首先采用Harris和SURF相結合的算法對兩幅圖像提取特征點，隨后用KNN算法將得到的特征點進行粗匹配，為了減少匹配誤差，再用PROSAC算法去除誤匹配的點，完成精匹配過程。得到的匹配結果對比如圖5、圖6所示。

圖3 待拼接圖像(二)

圖4 待拼接圖像(三)

圖5 3種算法特征點匹配結果對比

圖6 3種算法匹配結果對比

從特征匹配的結果可以看出，本文算法相比于傳統SIFT算法，雖然提取到的特征點數遠遠少于SIFT算法，但是特征點匹配個數很接近，說明本文使用的算法可以準確定位特征點，有效性方面比SIFT方法高，因此本文算法特征匹配的時間也遠遠少于SIFT算法的匹配時間；而相比于SPHP算法，本文提取到的特征點數略少于SPHP算法，但是匹配個數仍然所差無幾，可以說明本文算法在提取特征點方面的效率要略高于SPHP算法因此特征匹配時間也略少于SPHP算法的時間。見表1。

表1 3種算法特征提取與匹配對比

4.2 圖像融合結果

由于易受外界環境的干擾，特征匹配后的圖像往往不能直接融合，傳統的圖像融合算法會使圖像在重疊區域產生扭曲或者重影等問題。在顏色變化較稀疏的類郊區地帶，如圖7(a)、圖7(b)所示，可以看出兩幅圖像融合的過渡區域有一條明顯的拼接痕跡；而在顏色變化較明顯的類城市地帶，如圖8(a)、圖8(b)所示，可以看出SIFT算法的融合結果仍然存在拼接裂縫，而SPHP算法的融合結果在重疊區域產生重影。

圖7 3種算法融合結果對比

圖8 3種算法融合結果對比

本文提出的改進的SPHP算法，可以有效地解決以上兩種算法融合圖像產生的問題，如圖7(c)、圖8(c)所示，本文算法消除了拼接裂縫，并解決了重影錯位的問題。

5 結束語

本文針對SPHP算法易受地貌因素影響，產生形變或重影等問題，提出了一種基于SPHP算法的圖像拼接改進算法。首先采用Harris和SURF相結合的算法對兩幅圖像提取特征點，隨后用KNN算法將得到的特征點進行粗匹配，為了減少匹配誤差，再用PROSAC算法去除重復點和誤匹配的點，完成精匹配過程，最后引入權重系數，計算圖像重疊區域的空間變換模型，用其代替SPHP算法原有空間模型，降低圖像重疊區域的重影，并且使拼接后的圖像產生更小的形變。

最終結果表明，這種改進的SPHP算法可以有效去除拼接圖像的重影，生成更好的拼接結果。

實驗結果表明，本文使用的算法相比于傳統SIFT算法不管是在配準速度還是拼接效果上都有明顯提升；并解決SPHP算法在特征不明顯的區域容易產生重影的問題，提升視覺效果。