航空遙感圖像拼接算法及其精度評價

楊 彬，李旭東，晏 磊，余優生

航空遙感圖像拼接算法及其精度評價

楊 彬1，李旭東2，晏 磊1，余優生3

(1. 北京大學遙感與地理信息系統研究所空間信息集成與3S工程應用北京市重點實驗室，北京 100871； 2. 北京航空航天大學精密光機電一體化技術教育部重點實驗室，北京 100191； 3. 北京星天地信息科技有限公司，北京 100083)

針對航空遙感成像范圍小、視差角大的特點，提出一種航空遙感圖像拼接算法。通過估算圖像相對方位矩陣，使用透視變換實現圖像校正，解決大視差角下的畸變問題。利用SIFT算法和基于概率密度的錯誤匹配點剔除方法，實現高精度圖像配準，并通過小波變換完成圖像融合工作。實驗結果表明，在不同地表情況下，該算法的拼接性能均優于傳統SIFT算法。

圖像拼接；航空遙感；透視變換；小波變換；精度評價；圖像校正

1 概述

航空遙感技術以其高空間分辨率、高時間分辨率、低成本及高安全性而越來越受到世界各國的重視。日本就使用航空遙感平臺對核污染進行監測、對火山進行評估[1]；我國四川利用航空遙感影像進行災區重建設計[2]。針對航空遙感技術獲取數據的特點，探究航空遙感圖像拼接算法及其相關精度評價是對兩者綜合應用的一種探索，具有積極意義。

圖像拼接技術是近些年來圖像處理領域發展迅速的研究方向之一。目前，圖像拼接技術已經在圖像壓縮[3]、圖像增強[4]、虛擬現實[5]等領域得到廣泛應用。對于圖像拼接技術，圖像配準和圖像融合是其2個重要組成部分。

目前，圖像配準的方法很多，依據圖像配準方法來分，主要集中在頻率域和空間域2個部分[6]：(1)基于頻率域一般利用傅里葉變換的相位相關性，這種方法一般對具有大尺度的旋轉圖像或者透視圖像效果欠佳[7]；(2)空間域方法分為基于灰度的配準算法[8]和基于特征的配準算法，其中基于灰度的配準方法是比較基準圖像與待配準圖像相同尺寸灰度的差異[9]，而基于特征的匹配算法主要是通過特征提取和匹配來實現匹配，這種方法使用最多。

尺度不變特征變換(Scale Invariant Feature Transform, SIFT)算法是一種基于特征的配準方法，其自文獻[10]提出后便被廣泛應用于特征提取及相關領域中。文獻[11]提出PCA-SIFT使用主成分分析法替換SIFT中的直方圖方法；文獻[12]提出SURF(Speeded Up Robust Features)對算法進行了提速。隨著計算機技術的發展，SIFT算法以及其衍生算法(PCA-SIFT，SURF)得到越來越廣泛的應用。

圖像融合技術是將多幅影像或者多種特征結合為一幅影像的過程[13]。簡單的方法有光強平均融合、加權平均融合、中值濾波法等，復雜的有高斯樣條插值法、小波變換[14]等。前者具有處理數據量小、速度快等特點，但是在復雜場景下難以滿足融合要求；復雜的方法精度較高，但是處理數據量大，速度較慢。近年來，小波變換在圖像處理領域得到廣泛應用，其在圖像融合領域中也發揮著越來越大的作用。本文提出一種新的航空遙感圖像數據拼接算法，并對其精度評價方法進行研究。

2 基于透視變換的圖像校正方法

透視變換可以看成是一種特定的單應性變換，可以將同一個三維物體分別投影到2個不同投影平面下的2幅圖像聯系起來。本文選定左圖像所在的像空間輔助坐標系(像主點為原點)為基準坐標系，將右圖像所在的像空間輔助坐標系(像主點為原點)轉換到這個基準坐標系中，如圖1所示。

圖1 透視變換圖像校正示意圖

當對具有較大視差角的2幅圖像拼接時，匹配點會大量集中于特征明顯的幾個區域，少量高精度的匹配點出現在這幾個區域之外，從而導致RANSAC等算法估算2幅圖像的相對方位元素時造成較大誤差(在大視差角下更為明顯)，而使用上述算法首先通過人工選取同名像點的方法進行粗配準，而后使用SIFT算法進行高精度配準，能夠減少誤差，且這種處理方法的效果和具有高精度外方位元素的配準是一致的[15]。

3 基于SIFT算法的特征提取及匹配方法

SIFT算法提取的特征是圖像的局部特征，其對旋轉、尺度縮放、亮度變換保持不變性，能夠在海量特征數據庫中進行快速、準確的配準。SIFT算法使用了128維描述符描述。但是實驗結果仍存在錯誤匹配點。為了進一步提高匹配精度，本文研究了一種基于概率密度的錯誤匹配點剔除方法，實驗證明該方法對于經過透視變換的航空遙感圖像有很好的作用，能夠有效地剔除錯誤的匹配點。

假設航空遙感平臺上的相機在獲取了一個房子的圖像，以左圖像為基準，對右圖像進行透視變換，則房子在右圖像中的位置及姿態應與左圖像保持一致。假設最終有4對特征點匹配成功并且其匹配效果如圖2所示。從中可以看出，有3對特征點匹配成功(實線所示)，1對特征點匹配錯誤(虛線所示)。

圖2 錯誤匹配情況

由于圖像是經過透視變換的，因此如果1對匹配點是正確的匹配關系，那么其連線的斜率應該為零或近似為0，若出現明顯不為0或超出一定斜率界限的匹配點，則可以判定匹配精度較低甚至錯誤。

4 精度評價方法

在圖像融合時，本文中采用均值融合規則對低頻分量進行融合，最大值融合規則對高頻分量進行融合。

對于一幅×的圖像而言，融合后圖像與原始圖像的均方根誤差定義為：

5 實驗測試與分析

本文實驗主要分為2個部分：(1)探究小波構建層數對融合效果影響，確定符合航空遙感影像的最佳構建層數；(2)2種不同場景的圖像拼接實驗，證明本文方法的有效性。本文中使用的航空遙感影像不包含任何姿態和位置信息。

5.1 提升小波構建層數對融合效果的影響

實驗首先對源圖像A進行不同部分的圖像模糊形成圖像B和C。然后將它們使用不同的小波構建層數進行圖像融合，最后比較融合耗時及精度，如圖3所示。

圖3 構建層數對小波融合影響的研究方案

5.1.1 效率評價

采用9×9的平均模糊模板對圖像進行左模糊、右模糊(即平均模糊作用的圖像區域分別為左側、右側)，實驗原始圖及模糊效果如圖4所示。

圖4 模糊處理效果

源圖像大小為512×512像素，通過構建1層~7層小波，每層小波運算10次，取平均耗時作為該層耗時，可以比較得到效率與構建層數的關系，如圖5所示。可以看出，構建不同層數的小波對融合時間并沒有太大的影響，算法運行時間在1.5 s~2.3 s之間穩定浮動。經過分析，是由源圖像較小，且提升小波變換在每多構建一層小波時，多增加的數據處理量會隨2的指數次冪減少引起的。

圖5 9×9模板模糊的效率分析

5.1.2 精度評價

在初始條件下，方差隨著構建層數的增加而減少，即構建層數越多，精度越高。但當構建層數達到4層后，精度保持不變，如圖6所示。

圖6 9×9模板模糊的精度分析

5.1.3 圖像融合

基于以上效率與精度分析，本文通過構建4層小波來實現9×9模板模糊的圖像融合，效果如圖7所示。可以看出融合效果很好，融合方差為1.49。

圖7 9×9模板融合效果

5.1.4 不同模版的模糊實驗

依據圖3所述方法，分別實施模版為3×3、5×5、7×7的實驗，可以得到類似結果。從圖8~圖10可以看出，雖然模糊程度不斷增加，但是在提升小波變換時，耗時基本保持不變。在精度方面，隨著模糊程度的增加，需要構建的小波層數會增加，但是增加速度緩慢，在9×9模糊時，也只需要構建4層提升小波即可。基于以上結果，本文中實驗采用構建2層小波的方法來實現圖像的融合。

圖8 3×3模板模糊效率與精度分析

圖9 5×5模板模糊效率與精度分析

圖10 7×7模板模糊效率與精度分析

5.2 拼接實驗

拼接精度評價方法可以從2個層面展開：(1)肉眼觀測，若是存在肉眼可見的拼接誤差，如重影、接邊線等，則可判定拼接失敗，無需進行定量上的評價；(2)若無肉眼可觀測拼接誤差，則通過均方根誤差評價。

5.2.1 場景1實驗

在場景1中，左圖像如圖11所示，右圖像如圖12所示，傳統SIFT拼接方法(沒有經過透視變換預處理)圖像拼接圖如圖13所示，采用本文方法圖像拼接圖如圖14所示。

圖11 場景1左圖像

圖12 場景1右圖像

圖13 傳統SIFT方法的圖像拼接圖(場景1)

圖14 本文方法的圖像拼接圖(場景1)

對比圖13和圖14可以看出，未采用透視變換的圖像拼接圖會出現重影，尤其是圖12中的方框部分，田間的小道以及凸起部分都有不同程度的重影，拼接圖與原始圖像的左圖與右圖存在偏差，拼接結果較差。采用透視變的圖像拼接結果很好，拼接圖與原始圖像的左圖與右圖偏差較小，符合圖像拼接的要求。

5.2.2 場景2實驗

在場景2中，左圖像如圖15所示，右圖像如圖16所示，傳統SIFT拼接方法(沒有經過透視變換預處理)圖像拼接圖如圖17所示，采用本文方法的圖像拼接圖如圖18所示。

圖15 場景2左圖像

圖16 場景2右圖像

圖17 傳統SIFT方法的圖像拼接圖(場景2)

圖18 本文方法的圖像拼接圖(場景2)

對比圖17與圖18，從肉眼上來看細節部分類似，不能判別出較大差異。通過對其精度進行計算，圖17未采用透視變換的圖像拼接圖方差為2.69，而圖18中本文方法的圖像拼接圖方差為1.85，采用透視變換的方差相比未采用透視變換的方差要小，因而采用透視變換的拼接圖更接近真實情景，更符合拼接的要求。

6 結束語

本文是對航空遙感圖像數據拼接進行探索，為提高拼接的精度，提出了基于透視變換的圖像校正、基于SIFT算法的特征提取及匹配、基于提升小波變換的圖像融合以及精度評價方法相結合圖像拼接算法，實驗結果證明該算法可行、有效，與傳統SIFT算法相比具有更高的穩定性及實驗結果具有更高的真實性。下一步將對圖像校正、配準和精度評價方法進行優化，以進一步提高算法時效性，減少存儲容量和計算量。

[1] 魯云飛. 無人機遙感圖像自動配準技術研究[D]. 北京: 北京大學, 2011.

[2] 魯 恒, 李永樹, 李何超, 等. 無人機影像數字處理及在地震災區重建中的應用[J]. 西南交通大學學報, 2008, 45(4): 533-538.

[3] Frederic D, Janusz K. Efficient, Robust, and Fast Global Motion Estimation for Video Coding[J].IEEE Transactions on Image Processing, 2000, 9(3): 497-501.

[4] Michal I, Shmuel P. Motion Analysis for Image Enhancement: Resolution, Occlusion and Transparency[J]. Journal of Visual Communication and Image Representation, 1993, 4(4): 324- 335.

[5] Szeliski R, Shum H Y. Creating Full View Panoramic Image Mosaics and Environment Maps[C]//Proc. of SIGGRAPG’97. Los Angeles, USA: [s. n.], 1997.

[6] 狄穎辰, 陳云坪, 陳瑩瑩, 等. 無人機圖像拼接算法綜述[J].

計算機應用, 2011, 31(1): 170-174.

[7] Pan Wei, Qin Kaihuai, Chen Yao. An Adaptable-Multilayer Fractional Fourier Transform Approach for Image Regis- tration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(3): 400-413.

[8] 王 斌, 王偉鋒. 一種基于局部灰度匹配的無人機圖像拼接算法[J]. 中國石油大學學報, 2009, 33(6): 38-42.

[9] Yang Guosheng, Zhang Huanlong, Yang Yulin. Study of Image Mosaic Based on the Method of Finite Difference[C]//Proc. of 2008 Congress on Image and Signal Processing. Sanya, China: [s. n.], 2008.

[10] David G L. Distinctive Image Features from Scale-Invariant Keypoints[J].International Journal of Computer Vision, 2004, 60(2): 91-110.

[11] Yan Ke, Rahul S. PCA-SIFT: A More Distinctive Represen- tation for Local Image Descriptors[J].Computer Vision and Pattern Recognition, 2004, 60(2): 506-513.

[12] Herbert B, Andreas E, Tinne T, et al. SURF: Speeded-Up Robust Features[J]. Computer Vision and Image Understanding, 2008, 110(3): 346-359.

[13] John J L, Robert J, Stavri G N, et al. Pixel- and Region-based Image Fusion with Complex Wavelets[J]. Information Fusion, 2007, 8(2): 119-130.

[14] Li Shutao, James T K, Wang Yaonan. Using the Discrete Wavelet Frame Transform to Merge Landsat TM and Spot Panchromatic Images[J].Information Fusion, 2002, 3(1): 17-23.

[15] 朱述龍, 黃曉波, 陳 虹, 等. 大傾斜面陣CCD圖像的幾何校正[J]. 解放軍測繪學院學報, 1999, 16(2): 113-115.

編輯 金胡考

Mosaic Algorithm for Aerial Remote Sensing Image and Its Accuracy Evaluation

YANG Bin1, LI Xu-dong2, YAN Lei1, YU You-sheng3

(1. Beijing KeyLab of Spatial Information Integration & Its 3S Engineering Applications, Institute of Remote Sensing & Geographic Information System, Peking University, Beijing 100871, China; 2. Key Laboratory of Precision Opto-mechatronics Technology, Ministry of Education, Beihang University, Beijing 100191, China; 3. Beijing XTD Information & Technology Co., Ltd., Beijing 100083, China)

Small imaging coverage and big parallax angle make aerial remote sensing more difficult to image processing. This paper proposes an algorithm for aerial remote sensing image mosaic. The original image is corrected by perspective transform with estimating matrix which is determined by the relative attitude of two images. It solves the distortion problem caused by big parallax angle. Image registration is approached by the Scale Invariant Feature Transform(SIFT) algorithm and a method based on probability density. The image mosaic process is completed by the wavelet transform. Experimental result shows that the mosaic performance of this algorithm is better than traditional SIFT algorithm in different surface conditions.

image mosaic; aerial remote sensing; perspective transform; wavelet transform; accuracy evaluation; image correction

1000-3428(2014)03-0253-05

A

TP911.73

國家自然科學基金資助項目“內視場拼接相機的數字基高比模型與精度評價機理”(11174017)；國家科技支撐計劃基金資助項目“大規模航空遙感產業化綜合應用示范”(2011BAH12B07)。

楊 彬(1989－)，男，博士研究生，主研方向：攝影測量與遙感；李旭東，副教授、博士；晏 磊，教授、博士；余優生，工程師。

2012-10-11

2012-12-28 E-mail：ybjason89@163.com

10.3969/j.issn.1000-3428.2014.03.053