無人機影像全景圖配準算法研究

潘伯悅，唐雄飛，康一飛，陳聰梅

（1.中國地質大學（武漢） 信息工程學院，湖北 武漢 430074；2.云南省航測遙感信息院，云南 昆明 650034；3.武漢大學 遙感信息工程學院，湖北 武漢 430079；4.國家超級計算深圳中心，廣東 深圳 518055）

無人機影像全景圖配準算法研究

潘伯悅1，唐雄飛2，康一飛3，陳聰梅4

（1.中國地質大學（武漢） 信息工程學院，湖北 武漢 430074；2.云南省航測遙感信息院，云南 昆明 650034；3.武漢大學 遙感信息工程學院，湖北 武漢 430079；4.國家超級計算深圳中心，廣東 深圳 518055）

介紹了一種無人機全景圖配準算法，處理過程包括局部配準和全局配準兩個步驟。實驗表明，本文采用的局部配準算法取得了較好的匹配精度，全局配準也有效避免了全景圖中的扭曲現象，最終得到了合格、精美的無人機全景拼接影像。

無人機影像；SURF算法；全局配準

與衛星影像與航空影像相比，無人機影像具有靈活性強、成本低、分辨率高等優點。目前，無人機影像已廣泛應用于各行各業，如防災減災、環境監測和土地利用動態監測等[1-4]。但是，由于飛行高度和攜帶相機像素的限制，單張影像無法覆蓋整個觀測地區。為了獲取興趣區域的全貌，必須對多條航帶無人機影像進行快速拼接。在影像拼接工作中，影像配準是重要前提和關鍵環節。本文針對無人機影像數據介紹了一種影像全局配準方法。該方法將SURF與優先搜索、捆綁調整算法相結合，使用最大生成樹來確定參考影像，并構建全局模型，以消除配準累積誤差，并用實驗驗證了該算法的可行性。

1 SURF算法

SURF（speeded-Up robust features）是在SIFT（scale invariant feature transform）算法基礎上提出的一種快速魯棒特征提取配準算法。SIFT算法由Lowe于1999年提出，對影像的旋轉、平移、縮放和去噪都具有很強的魯棒性，但計算量大，耗時長。SURF算法繼承了SIFT算法魯棒性強的優點[5-7]，且匹配精度高、速度快，因此選用SURF算法對無人機影像進行配準。全景圖配準算法流程如圖1所示。

1.1 特征提取

為了提高匹配效率，并保證算法具有尺度不變性，首先要對圖像進行分層。SURF算法通過不同尺寸的盒式濾波器分別對原始影像的積分圖像進行濾波，從而形成不同的尺度空間。然后在每一層圖像上用Hessian矩陣[8]檢測影像極值點，設置Hessian矩陣閾值，實現極值點的篩選，最終得到特征點的位置和尺度值。

圖1 算法流程圖

為確保配準算法的旋轉不變性，在以特征點為中心、半徑為6的圓形區域內，計算像素點在x、y方向上的Haar小波響應值[7]，然后對響應值進行直方圖統計，在整個圓形區域內選取最長的矢量方向作為該點的主方向。

獲得了特征位置及其對應的尺度值后，需要對特征點進行描述；以特征點為中心，選取中心點鄰域范圍內20"×20"區域，并將其主方向旋轉至與特征點的主方向一致。分區域計算每個像素點經過高斯加權（σ=0.33"）的Haar小波在x、y方向的響應值dx和dy。對區域內所有的像素點的響應值進行求和，表示為∑dx和∑dy。，還要對每個子區域的dx和dy的絕對值進行求和，表示為∑|dx| 和∑|dy| 。建立四維的特征向量：v=(∑dx∑dy∑|dx| ∑|dy| )。另外，為了使描述符具有尺度不變性，還需要對描述向量進行歸一化處理。

1.2 特征匹配

生成兩幅影像的SURF特征向量之后，將向量間的歐氏距離作為特征點的相似性衡量依據。如果兩特征點最近距離與次近距離的比例小于60%，則認為最近的這一對特征點為匹配點。但粗匹配得到的點不能完全滿足全景影像拼接精度的需要，因此還需要進一步進行錯誤匹配點的剔除，精化匹配結果。

RANSAC（random sample consensus）[9]是 Fischer于1981年提出的一種具有容錯能力和高魯棒性的數據擬合算法。基本思想是首先設計出目標函數，然后以反復提取最小點集的方式估算函數中參數的初始值，利用初始值把所有的數據分為“內點”（inlier）和“外點”（outlier），最后根據所有的內點重新計算，得到函數的參數。可以使特征匹配有效地排除外點，實現影像的精匹配。

2 全局配準

進行局部配準后，任意包含足夠大重疊區域的兩景無人機影像可以在幾何上精確匹配；但一條航帶通常有數十張影像，若通過簡單的多幅影像依次疊加來構成全景圖，累積誤差會導致后面疊加進來的影像在全景圖中出現很大的幾何扭曲。因此還需要通過全局配準的方法來消除累積誤差，保證全景圖的合理拼接。本文采用建立參考平面和全局模型捆綁拼接的方法來消除累積誤差。先選取一幅合適的影像作為全景圖基準，其他影像都向這幅基準影像進行變換，從而得到最終的全景圖。

2.1 確定基準圖

全景圖基準的選擇會影響著全局模型的解算，進而影響全景圖的質量，如果簡單地取第一幅影像為基準，則會造成誤差累積，使捆綁調整計算失敗。要選取合理的基準影像，需要對以下三個因素進行綜合考慮：①鄰近影像的重疊關系；②重疊區間的大小；③ 重疊區匹配點數目。本文采用最大生成樹來確定全景圖基準影像。

在給定的無向圖G = （V，E）中，（u，v）代表連接節點u與節點v的邊，即（u，v）∈E， w（u，v）代表此邊的權重，若存在T為E的子集且為無循環圖，使得的值最大，則T為 G的最大生成樹。在本文中，無向圖定義如下：

1）以影像集合構成無向圖的節點集V。

2）以影像之間是否存在重疊區域來構成節點之間的邊集合E。

3）局部配準后，以影像之間同名點的數目構成各邊的權重w（u，v）。

通過克魯斯卡爾算法或普利姆算法，可得到無向圖G = （V，E）所對應的最大生成樹。最大生成樹的中心節點所對應的影像可作為全景圖基準，若最大生成樹有多個中心節點，則選取邊權重之和更大或更處于中心位置的節點。中心節點所對應的影像很好地符合了上文的三個因素，且考慮到了參考影像在拼接后生成的全景圖中的位置。

2.2 全局模型解算

確定全景圖基準之后，即確定了全景圖的解算基準，同時也確定了全景圖的坐標系。其他的影像通過直接或間接計算，分別得到各自的初始變換模型。根據解算方式不同，可將拼接方式分為幀到幀的合成、幀到拼接影像的合成、拼接影像到幀的合成和拼接影像到拼接影像的合成。以上這4種拼接方式直接將局部配準得到的單應性矩陣作為變換模型，并參與到后面的影像融合步驟。但對于多影像拼接而言，由于單應性矩陣產生的累積誤差將會導致后來拼接圖像產生扭曲。為了消除誤差累積，得到更好的全景圖，本文采用光束法或捆綁調整來解算全局模型，使用平差的方法處理局部配準中誤差，避免出現局部扭曲現象。其基本思想是：首先，確定全局模型并計算其初始估值，通過局部配準得到的內點集中的特征點建立誤差方程式，再通過最小二乘法，反復迭代解算全局模型，最終得到其最優估值，并把所有影像都解算到全景圖基準所在的坐標系中。

選取所有無人機影像拍攝瞬間的相機旋轉模型作為全局模型。全局模型的解算步驟為：

1）將全景圖基準對應的影像Iref的旋轉矩陣Rref設為單位陣I3*3，并估算各影像成像瞬間的相機焦距fk

2）利用最大生成樹估算其余影像Ik的旋轉矩陣Rk；

3）建立誤差方程式。設pi= （xi，yi，1）T和pj= （xj，yj，1）T為某一特征點p =（X，Y，Z）T在第i幅和j 幅影像的特征點對，pi,j為pj通過全局模型從第j 幅影像轉換到第i幅影像上的點。則此同名點對應的誤差方程式為：

4）建立法方程，通過最小二乘法，解算各旋轉矩陣Rk、焦距fk及各同名點坐標的最新估值，分別為、、和。將最新估值代入 3）中進行迭代，直到滿足最小。迭代結束后，此時的最新估值作為光束法平差的最優估值。

3 實驗與分析

本文選取的實驗數據是坪山地區無人機影像，航高1 000 m，影像行列數為5 412×7 216，航向重疊度70%，旁向重疊度40%，區域內多為房屋、道路。圖2為坪山地區某條航帶的相鄰影像，圖3為通過SURF算法分別對其進行特征點提取、粗匹配得到的418對特征點。圖4為通過RANSAC提純特征點、精匹配得到的274對特征點。實驗中所用SURF算法、RANSAC等均在Microsoft Visual C++6．0環境下，由C語言編程實現。

圖2 坪山地區無人機影像像對

圖3 粗匹配示意圖

圖4 精匹配示意圖

可以看出，由于影像區域有很多房屋，且對城市中房屋的走向基本一致，粗匹配過程中提取出的特征點很相似，因而出現了少量錯誤的匹配特征點。而精匹配消除了粗匹配中的錯誤點，提高了匹配的魯棒性。

表1為SURF配準實驗指標，統計了實驗區域第一條航帶13張影像的粗匹配特征點數、RANSAC內點數、平均幾何配準誤差運算時間，共4項指標。

其中RMS計算公式如下（dist表示兩點之間的距離）：

可以看出，配準的點位精度在2個像素左右；匹配速度較快，在1 s左右可以完成，精度和效率均滿足無人機影像拼接的要求。圖5為不經全局配準，直接生成的全景圖，圖6為全局配準后的全景圖。比較后可以看出，全局配準策略避免了幾何畸變，保證了全景圖的幾何一致性。實驗采用Intel Core i3 CPU、4 G內存、固態硬盤（SSD）等硬件環境處理。

圖5 未經全局配準生成的全景圖

圖6 全局配準后生成的全景圖

4 結 論

本文采用了SURF算法來對無人機影像進行配準，影像配準分為局部配準和全局配準兩個步驟。實驗表明，基于SURF特征的影像配準算法取得了較好的匹配精度，有效避免了全景圖中的扭曲現象，最終得到了合格、精美的無人機全景拼接影像。

[1] 李德仁,李明．無人機遙感系統的研究進展與應用前景[J]．武漢大學學報:信息科學版,2014, 39(5):505-513

[2] 張祖勛,郭大海,柯濤,等．抗震救災中航空攝影測量的應急響應[J]．遙感學報,2008,12(6):852-857

[3] 崔紅霞,林宗堅,孫杰．無人機遙感監測系統研究[J]．測繪通報,2005(5):11-14

[4] 張祖勛,吳媛．攝影測量的信息化與智能化[J]．測繪地理信息,2015,40(4):1-5

[5] 李曉明,鄭鏈,胡占義．基于SIFT特征的遙感影像自動配準[J]．遙感學報,2006,10(6):885-892

[6] 陳藝蝦,孫權森,徐煥宇,等．SURF算法和RANSAC算法相結合的遙感圖像匹配方法[J]．計算機科學與探索,2012,6(9):822-828

[7] 陳小丹,杜宇人,高秀斌．一種基于SURF的圖像特征點快速匹配算法[J]．揚州大學學報:自然科學版, 2012,15(4):64-67

[8] Tell D,Carlsson S．Wide Baseline Point Matching Using Affine Invariants Computed from Intensity Profiles[J]．Lecture Notes in Computer Science,2000,1842:814-828

[9] Fischler M A, Bolles R C．Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography[J]．Communications of the Acm,1981,24(6):381-395

P237.2

B

1672-4623（2016）06-0032-03

10.3969/j.issn.1672-4623.2016.06.011

潘伯悅，主要從事地理信息科學研究。

2016-03-07。

項目來源：國家重點基礎研究發展計劃資助項目（2012CB719900、2012CB719905）。