GFTT+FREAK的小型測繪無人機遙感圖像自動拼接技術

秦文俊，劉亞偉，葉洺凱，牛 浩

(中國人民解放軍31439部隊，遼寧 沈陽 110100)

0 引言

無人機測繪是綜合集成無人機飛行器、遙感遙測、通信和圖像處理等多學科技術，通過獲取目標區域的地理空間信息，快速完成遙感數據處理、測量成圖、環境建模及分析的理論和技術。無人機測繪系統能夠實現高分辨率、近地、多角度測量，從而形成時間與空間重疊度高的序列圖像[1]。

無人機作為測繪領域外部作業的新工具，大大減少外部作業人員的工作量，同時測繪效率也得到了質的提升。但是，由于無人機測繪圖像易受尺度、旋轉和光照等外界因素的影響，導致現有圖像拼接算法拼接質量大大降低。而基于局部特征匹配的圖像拼接方法在測繪尺度、傾斜和光照等變化具有較好的魯棒性。局部特征點是圖像特征的局部表達，它反映圖像上具有的局部特殊性，局部特征往往對應著圖像中的一些線條交叉、明暗變化的結構。由于無人機測繪圖像受到飛機抖動的影響，導致圖像出現微小的傾斜、旋轉等變化，同時相鄰圖像間存在一定程度光照變化，而本文采用的局部特征圖像拼接技術(GFTT+FREAK)可增強測繪無人機圖像拼接的準確性和魯棒性，同時由于局部特征匹配的圖像拼接技術可對未經預處理的原始圖像進行準確拼接，所以圖像拼接效率也會得到顯著提高[2-5]。

1 局部特征匹配算法對比測試及優選

目前常用的特征檢測方法有：STAR，FAST，SIFT，SURF，ORB，BRISK。常用的特征描述方法有：SIFT，SURF，ORB，BRISK，FREAK[6-10]。

局部特征匹配算法的匹配流程如圖1所示。

圖1 局部特征匹配流程

根據局部特征匹配流程，在相同硬件條件下分別對特征檢測子和特征描述子不同組合的匹配點數n和匹配所用時間t/s進行統計，進而測試不同組合特征匹配的準確性和快速性，測試圖像如圖2所示，是由大疆無人機拍攝，拍攝高度為100 m，圖像重疊度為40%。

圖2 實驗測試圖

實驗數據如表1所示，測試數據均是每項測量20次取平均值所得[11]。

表1 檢測子、描述子不同組合性能測試表

組合匹配點數匹配時間/sSTAR+SIFT350.067STAR+SURF350.023STAR+ORB350.023STAR+BRISK350.239STAR+SURF350.056FAST+SIFT1 6060.588FAST+SURF1 6060.156FAST+ORB9780.038FAST+BRISK1 3450.294FAST+FREAK1 1350.106SURF+SIFT6971.108SURF+SURF6970.141SURF+ORB5370.047SURF+BRISK4770.266SURF+FREAK2000.083BRISK+SIFT1610.413BRISK+ORB1340.240BRISK+FREAK930.278組合匹配點數匹配時間/sGFTT+SIFT1 0000.195GFTT+SURF1 0000.066GFTT+ORB6400.032GFTT+BRISK8530.265GFTT+FREAK7120.083SIFT+SIFT8710.322SIFT+SURF8710.183SIFT+ORBXXSIFT+BRISK7370.319SIFT+FREAK6360.129ORB+SIFT4400.634ORB+SURF4400.131ORB+ORB4400.023ORB+BRISK2430.258ORB+FREAK270.052BRISK+SURF1610.251BRISK+BRISK1610.452

根據測試結果，從中優選出匹配點數大于等于500個，匹配時間0.1 s以下的組合分別為GFTT+ORB，GFTT+SURF，GFTT+FREAK，FAST+ORB，SURF+ORB。由此可見ORB特征描述子更加適用于小型無人機測繪圖像的圖像拼接。

考慮到小型無人機測繪過程中由于飛機的抖動，導致圖像產生微小傾斜、旋轉變化，從而影響圖像的拼接，而ORB描述子不具有尺度不變性和旋轉不變性，所以ORB描述子不適合無人機測繪圖像的拼接。

針對圖形傾斜、旋轉問題，對剩余的2組組檢測子、描述子組合GFTT+SURF，GFTT+FREAK進行測試，從而選出對圖像傾斜變化魯棒性最好的組合作為本文局部特征匹配算法。實驗數據如圖3所示，2張圖像發生了較小的傾斜變化。利用測試圖像分別對優選出的3個組合進行魯棒性測試，測試數據均是測量20次取平均值所得，測試過程中分別對正確匹配點數、所用時間和平均每點耗時3個指標進行統計，統計結果如表2所示。

3.1 近年來我國老年腸道疾病的發生率不斷上升，腸道檢查日益普及，行結腸鏡檢查的老年便秘患者也逐年增加，清腸措施不斷完善，清腸劑也越來越多，有效的清潔腸道是結腸鏡檢查成功的關鍵。腸道清潔度不佳，不僅影響腸鏡檢查操作，更重要的是遺漏病變［4］。

圖3 魯棒性側視圖

表2 魯棒性測試表

組合正確匹配點數n所用時間/s平均每點耗時/sGFTT+SURF1 0000.0960.000 096GFTT+FREAK8980.0740.000 082

由表2可得，GFTT+SURF，GFTT+FREAK針對圖像傾斜、旋轉變化都具有較好的魯棒性，但是GFTT+FREAK耗時較少。綜上所述，優選出GFTT+FREAK的組合作為圖像拼接算法。

2 基于GFTT+FREAK的局部特征匹配算法

2.1 GFTT特征檢測子

GFTT算法的提出是為了解決Harris角點粘在一起的情況。GFTT算法是一種基于自相關矩陣響應值的角點提取方法，基于自相關矩陣響應值的像素點鄰域可以描述為：

(1)

將其用I0(xi+Δu)≈I0(xi)+I0(xi)Δu的泰勒序列展開，可得到自相關矩陣A：

ΔuTAΔu，

(2)

式中，

(3)

式(3)表示xi處的圖像梯度。GFTT檢測子在對圖像特征點進行檢測之前需要用高斯加權核w對圖像進行卷積處理，從而獲得自相關函數局部形狀在每個像素上的估計：

(4)

要得到自相關矩陣的響應值，需要對其進行特征分析，其中局部形狀的變化可以由特征值來表示，所以用自相關矩陣的2個特征值對點特征進行表示。由于GFTT的相應量取決于較小特征值，所以GFTT用較小特征值表示角點的響應值R：

R=min(λ1，λ2)。

(5)

2.2 FREAK特征描述子

2.3 匹配方法

由于二進制描述子計算二進制描述符之間相似性時，采用漢明距離進行特征匹配，設有2個BRISK描述符，分別為dk，dk+1，則漢明距離HD[13-14]定義為：

(6)

HD可用來衡量2個BRISK描述符的近似度，HD值越小代表相似程度越大，反之越小。

3 性能測試結果及分析

實驗計算機型號為DELLS20臺式機，Windows64位操作系統，處理器為Intel(R) Core(TM)i7-4770 CPU @ 3.40 GHz 3.40 GHz。

測試圖像分為6種不同場景，均由大疆無人機拍攝所得，無人機飛行速度為20 km/h，拍攝高度為100～200 m，測試圖像的重疊度為40以上。測試結果如圖4所示。

圖4 GFTT+FREAK算法性能測試圖

針對上述不同實驗場景，對實驗過程中匹配點數和耗時2項指標進行統計，統計結果如表3所示。

表3 GFTT+FREAK算法性能測試表

項目匹配點數耗時/s(a)高山地帶圖8000.069(b)山水相間地帶圖6920.078(c)城市地帶圖6630.081(d)鄉村地帶圖7230.067(e)河流地帶圖7120.091(f)標志性建筑物圖8330.085

根據圖4 及表3測試結果可知，GFTT+FREAK局部特征匹配圖像拼接算法匹配點個數均超過了600，保證圖像拼接的準確性要求，匹配時間均小于0.1 s，滿足無人機測繪圖像拼接快速性要求。

4 結束語

針對小型無人機測繪圖像易受尺度、傾斜和光照等變化影響，導致影像拼接難度大的問題，提出了一種基于局部特征匹配的圖像拼接技術。針對小型無人機測繪圖像的特點，對不同局部特征檢測子和描述子的組合進行測試，從中優選出了GFTT+FREAK組合作為圖像拼接算法，通過對基于GFTT+FREAK局部特征匹配圖拼接算法的綜合性能測試顯示，基于GFTT+FREAK圖像拼接算法滿足小型無人機測繪圖像拼接的準確性和快速性要求。由于基于局部特征匹配的測繪圖像拼接算法不需大量的圖像預處理工作，省去了大量時間，進而大大提高了圖像拼接效率。