一種改進的無人機航攝影像快速拼接方法

劉如飛，盧秀山，劉 冰，田茂義

（山東科技大學測繪科學與工程學院，山東青島 266590）

一、引 言

無人機攝影測量系統具有機動、高效、成本低等特點，相對于傳統的以衛星、大飛機等為平臺的航天航空攝影測量方法，它能有效地改善多云霧區或災害應急區高分辨率遙感數據缺乏的現狀［1］。近幾年來，無人機在災害應急中得到了廣泛的應用，如何第一時間獲得災區的影像拼接圖及了解災區情況是目前應急應用的關鍵問題。由于無人機航攝影像具有相幅小、數量多和多航帶等特點，影像的快速自動拼接技術成為解決問題的關鍵。目前針對無人機影像拼接的方法主要有:基于姿態定位定姿系統（position and orientation system，POS）數據的拼接、基于特征的拼接［2］。方法一耗時較短，但由于無人機姿態參數變化復雜、無規律，拼接精度很難滿足應用需求；方法二的核心在于影像的特征提取，因此耗時量有所增加，但拼接精度可大幅提高。

尺度不變特征轉換（scale invariant feature transform，SIFT）算法是近幾年來影像特征提取領域的研究熱點。何孝瑩等為使尺度不變特征轉換算法更適合于無人機影像的匹配，通過減少尺度空間來縮短計算時間，并提出粗匹配加分塊匹配的影像匹配策略提高特征提取速度［3］。魯恒等通過試驗獲取了適應于無人機影像的最優高斯核尺寸來減少時間消耗，并應用LM方法求得精確的變換矩陣［4］。針對目前的研究現狀，本文在分析原始SIFT算法和無人機影像自身特點的基礎上，提出了適用于無人機航攝影像快速拼接的改進方法。

二、問題分析

SIFT是一種基于尺度空間的，對圖像縮放、旋轉及仿射變換保持不變性的特征匹配算法，有關算法的詳細原理可參考文獻［5—6］。SIFT算法基于圖像特征尺度選擇的思想，首先建立圖像的多尺度空間，并在多尺度空間中進行特征檢測，確定關鍵點的位置和所在尺度，實現尺度不變性；然后剔除一些對比度較低的點及邊緣響應點；最后利用關鍵點鄰域像素的梯度方向作為該點的方向特征，使算子具有旋轉不變性［5］。

在利用SIFT算法進行無人機影像特征提取時存在3個問題:①構建無人機影像高斯金字塔需要花費大量時間；② 當金字塔階數和層數設置較高時，提取的特征點數量巨大，錯匹配較多；③提取的匹配點分布不均勻，影響拼接效果。究其原因:①圖像分辨率高，多余搜索范圍大，增加了匹配時間和錯匹配的概率；②算法以多尺度空間的極值點作為關鍵點，如果尺度過高則導致特征點數目非常大，生成特征描述的時間長；③ SIFT算法自身復雜度較高，若僅憑單一的經驗值，而不根據影像的實際情況實時調整，算法適應性低，耗時量大。

三、快速拼接方法改進

1.重疊區分塊并行處理

無人機航拍影像分辨率高、重疊度大、影像紋理豐富但分布不均，在利用SIFT進行特征點提取時，由于整張影像搜索范圍大，獲取的特征點數量大，增加了特征匹配時間和錯匹配的概率。若限制特征點的數量，由于影像紋理特征不均衡，使得大部分特征點都密集分布在紋理豐富區域，而影像平滑區域幾乎沒有匹配的點。如圖1所示，黑色橢圓內特征點較少。

圖1 特征點分布不均

為解決以上問題，本文首先根據連續兩張圖像拍攝的即時速度和間隔時間，估算出圖像重疊區域參數［4］；然后依據計算機性能和原始圖像大小對影像重疊區進行分塊。采用多任務并發處理機制，同一任務的進程被開辟為不同的線程，運行在不同的CPU上，實現各分塊特征提取任務的并行執行。重疊區分塊并行處理流程如圖2所示。

圖2 影像分塊多任務處理流程

2.SIFT算法改進

由于單張影像覆蓋范圍大，經過重疊區分塊處理后，不同分塊的紋理特征可能不一樣，因此設置同一閾值不能適應所有分塊；此外，在批處理過程中，應盡量減少人工干預，提高效率。本文應用分塊閾值自適應調節方法解決這一問題，其核心思想是在重疊區分塊的基礎上，以單個分塊為單位進行特征點檢測和匹配，當匹配點數目不夠時可自動調節閾值增加匹配點數目，而不影響其他分塊的閾值參數，從而提高了算法的適應性，縮短了特征點檢測時間。

（1）尺度自適應調整

由SIFT特征算法的原理可知，算法第一步是為影像構建一個多尺度的高斯金字塔，建立多階和多層影像尺度空間［6］。這是為了使特征點盡量分布在所有可能的空間尺度上，從而使SIFT算子具有尺度不變性。本文針對不同類型的影像特點對SIFT算法的金字塔層數和階數進行動態調整。首先通過試驗分析得出針對不同質量和類型數據的初始經驗值；然后設定多組層數和階數遞增的閾值組合，自動逐層選擇參數，直到特征點數目滿足要求。

（2）影像分辨率調整

無人機航攝影像的分辨率高，影像本身數據量大，因此不能按照D.G.LOWE將原始影像放大一倍的建議［7］，而需要降低圖像分辨率來提高特征搜索的效率，但對于紋理特征不明顯的田地、沙地等，分辨率過低會導致搜索的特征點很少。為適應不同類型圖像的特征提取，需要實時改變影像分辨率。

3.誤匹配點去除

在誤匹配點去除時采用隨機一致性檢驗（RANSAC）算法［8］，能有效地剔除大部分錯誤點，但RANSAC算法估計模型參數的精度和效率都具有隨機性。若RANSAC初始內點集合具有粗差點，則會剔除大部分正確匹配點；當算法距離閾值設置較小時，整張圖像中只能保留一小塊區域的局部匹配點。

無人機影像在同一航帶相鄰影像旋轉和縮放運動較小，對于不同航帶的圖像則旋轉較大，影像同名點的空間距離穩定。本文的改進思想是首先計算匹配點的距離中誤差m，以2m為限，剔除距離中誤差較大的點；接著選擇誤差較小的匹配點對作為RANSAC初始內點集合；然后利用RANSAC算法去除剩下點集的誤匹配點。其中，距離中誤差去點步驟如下:

1）計算粗匹配中每對同名特征點的距離D

式中，（x1，y1）、（x2，y2）為一對同名特征點。

2）計算特征點的距離中誤差m，在實際測量中，可利用多次觀測的平均值，即

式中，n為粗匹配中同名點對總數；P為單位矩陣。

3）為保證匹配點對的精度，以2m為限，如果s大于閾值，則剔除粗差點。

四、試驗結果分析

根據上述算法原理，利用C#語言，硬件環境為IntelR Core TM i3 2.53 GHz、2 GB 內存，實現了改進算法。試驗數據為整個測區的6個航帶300張影像，測區約為10 km2，原始影像為5616像素×3744像素，壓縮5倍之后為1123像素×749像素，紋理類型主要包括居民地、田地、沙地等。

1.不同影像類型及閾值的特征匹配

試驗中各閾值的取值范圍為:分辨率（列）200～400像素；階數1～2；層數2～3。由表1可以看出，圖像分辨率（表中為列像素，行像素可按比例關系獲得）、階數和層數的設置對特征提取的數量和提取時間有很大影響，基本規律是隨著3個參數的增大，特征點數量逐漸增加，特征提取與匹配時間也增加；當閾值較大時，時間明顯增加，但匹配點數量增加少；對于不同類型的圖像，在同一參數下獲取的匹配點數量不相同，所需時間也不同。例如，當列分辨率為300像素、階數為2、層數為2時，居民地的匹配點數量最多，沙地最少。為獲取一定的匹配點數量，基于以上分析建議初始閾值不宜設置過高，同時有必要進行分塊閾值自適應調節。

2.重疊區分塊閾值自適應處理

本試驗中，考慮到小塊紋理的分布連續性和處理效率，將重疊區分為2×2塊處理，初始經驗值為:圖像列分辨率300像素；階數1；層數2。由表2可知、小塊1和3的閾值自適應增加后才提取到30個以上匹配點；分塊單任務匹配的總體匹配時間等于各小塊的匹配時間加上分塊時間，為8.096 s，并行處理時間為5.325 s，明顯變小，且遠小于不分塊匹配的匹配時間，并且提取的匹配點更多。分塊閾值自適應處理的結果如圖2所示，對比圖1，可以看出特征點分布明顯改善。最終拼接的無人機原始影像如圖3所示，測區拼接所需總時間為55 min。

表1 不同圖像類型及閾值的特征匹配情況

表2 分塊閾值自適應處理效率對比

圖3 改進算法特征點分布

圖4 影像拼接效果圖

3.誤匹配點去除改進

試驗中計算不同類型影像的匹配點距離中誤差，單位為像素。其中3種類型圖像均存在粗差點（距離誤差大于兩倍中誤差的點），分別利用原始和改進的RANSAC方法剔除，見表3。結果表明，改進方法剔除的粗差點更多，拼接精度更高。

五、結束語

本文針對無人機影像的特點，通過重疊區分塊并行處理縮小搜索范圍，提高了搜索效率；對原始SIFT算法進行優化，在尺度空間極值點探測時通過分塊閾值自適應調節機制找到適應于不同類型影像的閾值，克服了傳統SIFT算法采用固定尺度的缺陷，減少了時間消耗；針對影像同名點的空間關系提出應用距離中誤差過濾匹配點，為RANSAC獲取精確的初始內點集合，進一步去除誤匹配點，提高了拼接精度。試驗結果表明，改進的拼接方法能有效提高無人機航攝影像的拼接效率和精度。

表3 誤匹配點去除對比

［1］ 張永軍.無人駕駛飛艇低空遙感影像的幾何處理［J］.武漢大學學報:信息科學版，2009，34（3）:284-288.

［2］ 高超，張鑫，王云麗，等.一種基于SIFT特征的航拍圖像序列自動拼接方法［J］.計算機應用，2007，27（11）:2789-2792.

［3］ 何孝瑩，岳建偉，張栩然.基于SIFT算法的無人機影像快速匹配［J］.計算機工程，2011，37（7）:216-218.

［4］ 魯恒，李永樹，何敬，等.一種基于特征點的無人機影像自動拼接方法［J］.地理與地理信息科學，2010，26（5）:16-19.

［5］ LOWE D G.Object Recognition from Local Scale Invariant Features［C］∥Proceedings of the 7th International Conference on Computer Vision.Kerkyra，Greece:［s.n.］，1999:1150-1157.

［6］ LOWE D G.Distinctive Image Features from Scale Invariant Interest Points［J］.International Journal of Computer Vision，2004，60（2）:91-110.

［7］ 韓文超.基于POS系統的無人機遙感圖像拼接技術研究與實現［D］.南京:南京大學，2011.

［8］ 劉慶元，劉有，鄒磊，等.無人機遙感影像拼接方法探討［J］.測繪通報，2012（5）:53-55.