遙感影像亞像素快速配準方法

周靖鴻，朱建軍，周　璀，樊東昊

(中南大學 地球科學與信息物理學院，湖南 長沙 410083)

?

遙感影像亞像素快速配準方法

周靖鴻，朱建軍，周璀，樊東昊

(中南大學 地球科學與信息物理學院，湖南 長沙 410083)

摘要：針對經典亞像素配準算法運算效率不高的情況，提出一種快速亞像素配準方法。在原有傅里葉變換相位相關方法與矩陣乘法離散傅里葉變換方法的基礎上，利用有效子圖代替原圖進行圖像亞像素配準。有效子圖是通過二維小波分解高頻分量的能量總和大小來選取，再對有效子圖進行相位相關像素級定位與矩陣乘法傅里葉變換亞像素定位。改進方法不但繼承矩陣乘法離散傅里葉變換亞像素高精度配準的優良性能，而且選用有效子圖替代原圖進行配準其速度可大大提高，對海量數據的遙感影像更顯優勢。經模擬試驗與工程實例，綜合分析該方法的配準精度與配準速度，證明改進方法較經典亞像素配準算法效率更高，更適合用于實際遙感影像的高精度配準。

關鍵詞：亞像素配準；有效子圖；相位相關；歸一化互功率譜；矩陣乘法離散傅里葉變換；Fourier-Mellin變換

隨著遙感技術的飛速發展，獲取遙感數據的技術逐漸趨向多平臺、多傳感器、多角度和高時間分辨率、高空間分辨率、高光譜分辨率的三多三高時代[1]。因此，獲得航空航天遙感數據的信息量成倍增大[2]。近年來利用一幅或多幅同一場景的低分辨率遙感影像經超分辨率重建生成一幅高分辨率遙感影像已成為研究的熱點，而影像重建過程中低分辨率影像間的亞像素配準精度與效率顯得尤為重要[3]。

圖像像素級配準的方法很多[4-5]，目前圖像亞像素配準算法：插值法[6-7]、擴展相位相關[8]和解最優化問題[9-11]。插值法的性能受內插算法的影響；解最優化問題求解精度雖高，但在實際應用中計算量非常大[12]。而相位相關法能將兩者的性能相互綜合，其范圍包括了空域的相位相關[7,12]和頻率域的相位相關。頻率域相位相關方法最早由Kuglin[13]在求解圖像平移參數時提出，配準精度可達到像素級；在此基礎上高瑩瑩[14]、Lee[15]、De[16]、Chen[17]、Reddy[18]等人利用了Fourier-Mellin變換將圖像配準擴展到了具有旋轉、平移、縮放等不同情況，但涉及到的都只是像素級的配準；后來Soummer[19]等人提出了矩陣乘法傅里葉變換用于圖像的亞像素配準，該方法是以相位相關像素級配準為基礎，在求得整數位移的一定鄰域范圍內進行上采樣離散傅里葉變換，其配準精度相對于傳統的亞像素配準方法效果要好[20]。該方法數據量較大時計算量也較大，對于海量的遙感數據不太實用。圖像的平移是一個整體過程，局部平移信息能反映整幅圖像的平移變化。針對遙感影像提出一種改進的亞像素配準方法，利用小波變換選取局部有效子圖代替原圖，采用矩陣乘法傅里葉變換求取亞像素級位移，通過有效子圖的替代減少計算量從而提高配準效率。方法融入Fourier-Mellin變換[18]，當影像間存在旋轉、縮放、平移變換時同樣適用。該方法進行亞像素配準可大大縮短配準過程的計算量提高配準效率，與傳統的方法[21]相比該方法在滿足亞像素配準精度要求的同時能成倍提高配準效率，適用于遙感影像海量數據的配準。

1亞像素配準的關鍵技術

1.1歸一化相位相關法

從Kuglin[13]提出相位相關算法用于求取圖像的平移參數開始，圖像傅里葉變換頻率域配準方法被人們廣泛應用。設參考圖像為f(x,y)，配準圖像為g(x-x0,y-y0)，兩圖像之間位移為(x0,y0)，相位相關歸一化互功率譜

(1)

式中:Rfg為兩圖像相位相關的歸一化互功率譜;Ff,Fg分別為f,g的傅里葉變換;Fg*為Fg的復數共軛。

相位相關法是求傅里葉逆變換峰值。對Rfg進行傅里葉逆變換，得到脈沖函數δ(x-x0,y-y0)，根據該函數的峰值可定位得到圖像的位移坐標(x0,y0)。

(2)

1.2上采樣矩陣乘法DFT

傳統的利用相位相關法求取圖像亞像素位移需借助上采樣[8]，該過程在圖像傅里葉變換(discreteFouriertransform，DFT)后的頻率域進行上采樣插零[22]，再進行相位相關法求取亞像素位移。在此基礎上Soummer等提出基于矩陣乘法的傅里葉變換[19]，該方法對像素級位移位置一定鄰域范圍內的信息進行區域性上采樣來求取亞像素位移，可高效率地求出圖像間的亞像素位移。上采樣矩陣乘法DFT計算可獲得與相位相關上采樣插零求取亞像素位移方法的同樣效果[23]，得到圖像的亞像素平移位置，而且計算量得到降低。

2改進的亞像素配準算法

2.1有效子圖的優勢

基于矩陣乘法的上采樣離散傅里葉變換方法雖然避免了傳統方法在求取圖像亞像素位移時的不足，但該方法在利用相位相關求取整數級位移的步驟中其計算量會隨著圖像尺寸的增大而不斷變大。為此，為了充分利用該方法亞像素配準的有效性又能使其適用于遙感影像的配準，這里提出采用有效子圖代替原圖進行圖像亞像素配準的一種改進方法。

2.2有效子圖的選取

有效子圖可用二維小波方法來選取。二維小波分解后的低頻分量代表了圖像的輪廓信息，3個方向的高頻部分分量代表了圖像3個方向的細節信息，高頻部分能量總和最大時對應的圖像其細節部分信息最多，此時用該子圖做圖像配準其效果會較信息量少的子圖要精確，以此作為有效子圖選取標準。例如將大小為512×512的圖像均勻分割成16等份。對16份有效子圖分別進行一層二維小波變換如圖1所示。

圖1　二維小波分解

其中:LLi是第i個子圖二維小波分解后的低頻子圖，HLi，LHi，HHi分別對應第i個子圖二維小波分解水平、垂直、對角3個方向的高頻子圖。求取各子圖高頻總能量和：

(3)

式中：ENi為第i個子圖3個方向高頻能量總和，當采用16子圖時i=1,2,3，…，16。HLi，LHi，HHi分別對應第i個子圖二維小波分解水平、垂直、對角3個方向的高頻子圖。

2.3有效子圖的亞像素配準

對每個子圖高頻總能量和的大小進行對比，取能量和最大時對應的子圖作為有效子圖。數學計算式：

(4)

式中：MAX為能量總和最大時對應的子圖。ENi為各個子圖的高頻能量之和。

改進方法選取有效子圖代替原圖來進行配準的過程，與傳統方法相比更加適用于大尺度遙感影像的高精度配準。后面的實驗也會證實該改進方法在滿足亞像素精度配準要求的前提下，較文獻[13]中的相位相關法、文獻[20]中的矩陣乘法DFT等方法都優越，能高效率進行圖像亞像素配準。改進方法是將二維小波變換、相位相關、上采樣矩陣乘法DFT相結合(wavelettransform,phasecorrelation,andmatrixmultiplyDFT)的亞像素圖像配準算法，為了敘述簡單以下簡稱WPM方法。

WPM算法具體步驟：

1)有效子圖選取。利用原圖等尺度分割后的各個子圖進行二維小波分解，取高頻能量總和最高時對應的子圖作為下一步像素級粗定位的有效子圖。

2)像素級粗定位。計算有效子圖的相位相關歸一化功率譜，求得圖像間像素級位移(x0,y0)。

3)亞像素級定位。在像素級位移(x0,y0)周圍進行k倍上采樣矩陣乘法DFT計算，獲得配準位置

(x0_Up,y0_Up)。

4)亞像素位移值。對像素級定位(x0,y0)與亞像素級定位(x0_Up,y0_Up)進行綜合得最終亞像素配準結果(x0+ x0_Up/k,y0+y0_Up/k)。

2.4算法的效率分析

分析本文算法的計算復雜度。根據上采樣矩陣乘法求取可得，e-2iπUXT的尺度為NB×NA，f(X,Y)的尺度為NA×NA，e-2iπYVT的尺度為NA×NB。根據復數運算中乘法需6個浮點運算，加法需2個浮點運算[24]，得總運算次數：

(5)

采樣矩陣乘法DFT在配準過程中是以局部區域信息進行的亞像素配準，相比于傳統基于傅里葉變換的零填充上采樣插零而言，算法的計算復雜度已經大大縮小，而本文算法的計算復雜度要更優于上采樣矩陣乘法DFT為(n/16)，故算法在計算量得到顯著提高。

3實驗結果及分析

為了驗證算法的可行性與優越性，本文進行大量的對比試驗、綜合測試，并對實驗結果進行分析。

3.1實驗1

為了驗證上述算法的優越性，進行第一組對比實驗。計算平臺是內存為4GB，處理器Core-i3，CPU主頻1.8GHz的筆記本電腦，計算軟件采用Matlab7.0。圖像選取尺寸為512×512的Lena圖像如圖2(a)所示，實驗用亞像素位移為△1(10.486，13.738)的圖像如圖2(b)所示，亞像素位移圖像是通過傅里葉變換相位位移來實現的。

圖2　實驗圖像

對圖像進行16等分分割，每份子圖大小為128×128，利用二維小波對各個子圖進行分解,選取分解后3個高頻分量總和最大時對應的子圖作為有效子圖。有效子圖選取的結果如圖3(a)、3(b)中高亮顯示的子塊所示，其中圖3(c)為圖3(a)高亮部分的放大，圖3(d)為圖3(b)高亮部分的放大。

圖3　有效子圖

選取上采樣倍數k=100，分別用WPM算法、文獻[13]和文獻[20]中的方法對有效子圖3(c)與3(d)進行配準，配準結果如表1所示。配準過程中WPM算法的歸一化相位相關法像素級粗配準和矩陣乘法DFT亞像素級配準的頻譜圖分別如圖4(a)、4(b)所示。

表1　不同方法的配準精度和速度對比

圖4　圖像的功率譜

從表1中可以看出WPM算法較文獻[13]相位相關法相比，其配準精度達到0.01的亞像素精度能很好地滿足亞像素配準的要求；WPM算法較文獻[20]中上采樣矩陣乘法DFT算法相比，在配準精度滿足要求的同時，WPM算法的計算時間整整縮短一半，效率提高近一倍。仿真實驗表明WPM算法能滿足亞像素配準精度而且配準效率很高，可以很好地用于工程實踐。

3.2實驗2

為驗證WPM算法工程實際應用的精確性與高效性，進行第二組實驗。實驗采用某地區上空的航拍遙感影像，從其中截取大小為1 024×1 024像素尺寸的影像如圖5(a)所示，配準圖像的位移為△2(27.173 6，33.729 1)，如圖5(b)所示。

圖5　某地區遙感影像

對此遙感影像同樣進行16等分劃分，各子圖大小為256×256。有效子圖的選取結果如圖6(a)、6(b)中高亮顯示的子塊所示，圖6(c)、6(d)分別為圖6(a)、6(b)中高亮部分的放大。

圖6　有效子圖

上采樣倍數k=100，采用WPM、文獻[13]、文獻[20]等算法對圖6(c)與6(d)進行配準。WPM算法配準過程中像素級配準和亞像素級配準的頻譜圖分別如圖7(a)、7(b)所示。各方法亞像素配準結果如表2所示。

通過圖7可得，改進方法用于真實遙感影像像素級及亞像素級定位時仍具有唯一性與精確性。通過表2可得WPM算法用于真實遙感影像的亞像素配準時，與文獻[13]方法相比較，仍能得到高精度的亞像位移；WPM算法與目前亞像素配準精度較高的上采樣矩陣乘法DFT相比，精度在滿足要求的同時，計算速度幾乎快了一倍。

圖7　圖像的功率譜

配準參數 配準方法 X方向位移/像素Y方向位移/像素配準所用時間/sX與Y方向配準精度/像素標準位移△127.17433.729——WPM算法27.1733.730.7660.01,0.01文獻[13]算法27.0034.000.0391,1文獻[20]算法27.1733.731.3770.01,0.01

3.3實驗3

為驗證改進方法的普遍適用性，進行第3組對比試驗。實驗選取256×256的遙感圖像8(a)作為參考，對其進行參數分別為(5.3，4.1，17，1.3)的位移、旋轉、縮放處理，獲得待配準的圖像如圖8(b)所示。圖8是整圖根據配準參數的配準結果。表3列出了本文WPM方法與文獻[21]中傳統方法的對比結果。

圖8　實驗影像

運動參數實際值文獻[21]中方法WPM算法位移參數/像素5.3,4.15,45.4,4.0旋轉角度/(°)1716.916.9縮放倍數/倍1.31.31.3配準用時/s—0.2390.061

通過以上實驗結果表明本文方法在影像間同時存在旋轉、縮放、平移變換時同樣適用。

4結論

本文提出了一種利用有效子圖代替原圖進行配準的改進方法，在保證圖像間高精度亞像素配準準確性的前提下同時提高配準的速度，減少配準過程的計算量，適用于存在旋轉、縮放、平移的遙感數據處理。

參考文獻：

[1]李德仁.利用遙感影像進行變化檢測[J].武漢大學學報(信息科學版),2003,28(增1)：7-12.

[2]馮志元,李朝奎,殷智慧,等.基于集群的遙感影像并行繪制研究[J].測繪工程,2014,23(7):26-29.

[3]孫濤,林立宇,孫夫雄,等.光學遙感影像復原與超分辨重建[M].北京：國防工業出版社,2012.

[4]陳令羽,賈奮勵,宋國民.基于全景影像的增強地理現實配準方法研究[J].測繪工程,2014,23(10)：4-8.

[5]朱朝杰,王仁禮,董廣軍.MATLAB環境下遙感影像配準與融合技術研究[J].測繪工程,2006,15(06)：57-59.

[6]TIANQ,HUHNSMN.Algorithmsforsubpixelregistration[J].ComputerVision,Graphics,andImageProcessing,1986,35(2) 220-233.

[7]劉衛光,崔江濤,周利華.插值和相位相關的圖像亞像素配準方法[J].計算機輔助設計與圖形學學報,2005,17(6)：1273-1277.

[8]FOROOSHH,ZERUBIAJB,BERTHODM.Extensionofphasecorrelationtosubpixelregistration[J].IEEETransactionsonImageProcessing,2002,11(3)：188-200.

[9]THEVENAZP,RUTTIMANNUE,UNSERM.Apyramidapproachtosubpixelregistrationbasedonintensity[J].IEEETransactionsonImageProcessing,1998,7(1) 27-41.

[10] 李暢,李芳芳.基于假設檢驗的數字影像線狀特征亞像素自動提取[J].測繪學報,2013,42(1)：67-72.

[11] 李延成,李軍,劉慧霞,等.基于最小二乘法的區域整體最優匹配選取控制點的方法[J].測繪科學,2012,37(6)：94-97.

[12] 黎俊,彭啟民,范植華.亞像素級圖像配準算法研究[J].中國圖像圖形學報,2008,13(11)：2070-2075.

[13]KUGLINCD.Thephasecorrelationimagealignmentmethod[C].Proc.Int.Conf.onCyberneticsandSociety,1975:163-165.

[14] 高瑩瑩,楊建峰,馬曉龍,等.基于Fourier-Mellin算法的干涉圖像配準[J].光學精密工程,2007(9):1415-1420.

[15]LEEDJ,MITRAS,KRILETF.Analysisofsequentialcompleximages,usingfeatureextractionandtwo-dimensionalcepstrumtechniques[J].JOSAA,1989,6(6)：863-870.

[16]DECASTROE,MORANDIC.RegistrationoftranslatedandrotatedimagesusingfiniteFouriertransforms[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,1987 (5)：700-703.

[17]CHENQ,DEFRISEM,DECONINCKF.Symmetricphase-onlymatchedfilteringofFourier-Mellintransformsforimageregistrationandrecognition[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,1994,16(12)：1156-1168.

[18]REDDYBS,CHATTERJIBN.AnFFT-basedtechniquefortranslation,rotation,andscale-invariantimageregistration[J].IEEETransactionsonImageProcessing,1996,5(8)：1266-1271.

[19]SOUMMERR,PUEYOL,SIVARAMAKRISHNANA,etal.FastcomputationofLyot-stylecoronagraphpropagation[J].OpticsExpress,2007,15(24)：15935-15951.

[20]GUIZAR-SICAIROSM,THURMANST,FIENUPJR.Efficientsubpixelimageregistrationalgorithms[J].Opticsletters,2008,33(2)：156-158.

[21] 李忠新,茅耀斌,王執銓.基于對數極坐標映射的圖像拼接方法[J].中國圖像圖形學報,2005,10(1)：59-63.

[22]SMITHJO.MathematicsoftheDiscreteFourierTransform(DFT)：Withmusicandaudioapplications[M].JuliusSmith,2007.

[23] 周武,胡躍明.基于相位相關和重采樣的亞像素圖像配準算法[J].華南理工大學學報(自然科學版),2010,38(10)：68-73.

[24] 王彩玲,程勇,趙春霞,等.局部相位相關用于圖像亞像素級配準技術研究[J].中國圖像圖形學報,2011,16(3)：427-432.

[責任編輯：李銘娜]

A fast sub-pixel registration method for remote sensing image

ZHOU Jinghong,ZHU Jianjun,ZHOU Cui,FAN Donghao

(SchoolofGeosciencesandInfo-Physics,CentralSouthUniversity,Changsha410083,China)

Abstract：A fast and efficient sub-pixel registration method is proposed in order to solve the classical methods’ problems of low efficiency.This paper uses the efficient sub-graph instead original image to sub-pixel registration,based on the Fourier transform phase correlation and matrix Fourier transform method.Effective sub-graph is selected by the total size of the high-frequency energy after two-dimensional wavelet decomposition,then the phase correlation is used to calculate the pixel shift and matrix Fourier transform to calculate the sub-pixel shift.Not only the improved method inherits the advantage of matrix Fourier transform sub-pixel registration,but also the registration speed is greatly improved.This is more applicable to massive remote sensing data.Through simulation and engineering practice,the composited registration accuracy and speed,prove that the improved method is more efficient compared with the classical methods,and more suitable for real remote sensing image registration.

Key words：sub-pixel registration；effective sub-graph；phase correlation；normalized cross power spectrum；matrix direct Fourier transform；Fourier-Mellin transform

DOI:10.19349/j.cnki.issn1006-7949.2016.07.015

收稿日期：2015-05-20

基金項目：973子課題(2013CB733303)；國家863資助項目(2012AA121301)；國家自然科學基金資助項目(41274010)

作者簡介：周靖鴻(1989-)，男，碩士研究生.

中圖分類號：TP752

文獻標識碼：A

文章編號：1006-7949(2016)07-0071-07