改進的二維小波超分辨率重建方法

周靖鴻，朱建軍，周 璀，樊東昊

(中南大學地球科學與信息物理學院，湖南 長沙410083)

一、引 言

遙感圖像超分辨率重建是對一幅或多幅低分辨率觀測影像，通過一定的算法重建出高分辨率的影像［1］。1984年物理學家Morlet在研究地球物理信號時首先提出了小波的概念［2］;1986年Meyer構造了具有二維伸縮和平移的規范正交基［3］;隨后通過Mallat［4］和Daubechies［5］的進一步改進和發展，小波變換多分辨率分析的特性日漸凸顯。經一些學者的研究，小波逐漸進入大地測量與遙感等測繪數據處理過程中［6-7］。二維小波變換可獲得圖像的低頻子圖和3個方向的高頻子圖，郝鵬威［8］、劉笑宙［9］與陶洪久［10］等將二維小波變換與各插值方法相結合進行圖像超分辨率重建，都得到了一定的重建效果;屈有山等［11］提出了小波雙三次插值算法提高遙感圖像分辨率，其方法分析了小波變換各層高頻子圖與上一層對應方向上高頻子圖的相似性，基于此對原圖像小波分解的高頻子圖進行雙三次插值可獲得與原圖像尺寸相同、對應3個方向上的高頻子圖，將獲得的高頻子圖與原圖進行小波重構便得到該方法的重建結果，重建過程中低頻利用原圖，能量并未增加，會使得尺寸增大一倍后的重建圖像整體變得暗淡;趙秀影等［12］對此進行了改進，對高頻進行雙三次插值，低頻利用原圖乘以2倍系數變換后得到，這可使重建后圖像的平均能量與原圖一致，圖像亮度不變重建效果更好;針對原有圖像插值方法的不足，Smith等［13］提出了基于離散傅里葉變換的零填充重采樣插值方法(以下簡稱DFT零填充重采樣)，證明了對圖像傅里葉變換后頻率域的零填充插值可獲得空域理想差值，該方法較傳統的插值方法優越［14］。綜合以上，本文提出一種改進的小波超分辨率方法，即對圖像二維小波分解后的各高頻分量采用DFT零填充重采樣方法處理，使各高頻信息在插值過程中既不增加多余能量又能獲得理想的插值結果，低頻部分則利用文獻［12］中的方法對原圖進行系數變換得到，使得重建圖像的亮度與原圖保持一致，最后對處理后的高低頻分量進行二維小波逆變換獲得最終超分辨率圖像。經試驗論證了改進方法的可行性和有效性。

二、小波雙三次插值

二維小波變換是在一維小波的基礎上發展起來的。其變換過程是將二維信號依次進行行、列兩個方向上的一維小波變換。由于二維小波分析方法對圖像處理具有多尺度、多分辨率的性質，能將圖像進行多尺度的高低頻率分解，獲得低頻與3個方向上的高頻信息，因此被廣泛應用于圖像頻率域分析過程中。二維小波分解公式如下

對應重構公式為

式中，f(x，y)為原始圖像;R2為二維平方可積空間;φ為尺度基函數;ψ為小波基函數;ˉψ是ψ的共軛;ˉφ是φ的共軛;d1、d2、d3分別為水平、垂直、對角3個方向的高頻分量;C為低頻分量;J為最大分解層數;j代表分解到第j層，且j=1，2，…，J。

傳統的小波雙三次插值法，首先通過二維小波分解獲得低頻子圖與3個方向的高頻子圖［11-12］，然后對各個高頻子圖分別進行雙三次插值，同時低頻子圖利用原圖或原圖乘以一個變換系數后得到，最后利用處理后的低頻與高頻進行小波重構獲得最終重構結果。該方法利用了二維小波多分辨率分析的特性，有一定的重建效果。

三、改進的小波重建方法

文獻［11］中的小波雙三次插值算法是將小波分解的各高頻信息進行雙三次插值以作為重構過程的高頻，重構過程的低頻則用原圖來代替。高頻分量對應圖像的邊緣細節，低頻分量則決定圖像的主要輪廓，該方法有一定效果，但雙三次插值過程會引入噪聲給高頻信息帶入誤差，使得原本表示圖像細節信息的高頻部分失去精準性。其低頻部分的替代過程雖遵循了小波分解各方向信息與上一層對應方向上信息的相似性，但由于超分辨率重建會使得影像的尺寸增大，而原圖作為低頻其能量分散到尺寸更大的圖幅當中將使得重建后的圖像變得暗淡，觀測效果降低。基于此，文獻［12］中對低頻信息處理過程進行改進，低頻分量采用原圖乘以2倍系數變換后獲得，可使得超分辨率重建過程中圖像尺寸增大至兩倍的同時，其能量也是原圖像的兩倍，這使得每一像素的平均亮度與原圖相當，重建效果得到改善，但高頻仍是采用雙三次插值，同樣存在文獻［11］中的弊端。

高頻信息進行雙三次插值會使得代表圖像細節信息的高頻部分引入噪聲能量，對高頻信息的描述不精細，從而會模糊高頻信號。而文獻［13］提出的零填充重采樣方法對二維序列傅里葉變換后采用零填充處理，未加入任何多余能量。二維傅里葉變換公式為

式中，Ff為二維信號f的傅里葉變換;u、v分別為對應于x、y的傅里葉變換頻率。

該過程對各高頻分量利用式(6)分別進行傅里葉變換，然后將得到的二維序列放入到一個尺寸為其兩倍大小的空矩陣中心處，矩陣中的其他部分均取零值，接著對零填充處理后的信號進行IDFT(離散傅里葉逆變換)，其公式為

以上零填充重采樣操作可獲得二維序列信號的理想插值結果［13］，這相比于傳統的雙三次插值等插值方法都要優越。綜上所述，本文對原有方法進行改進，采用DFT零填充重采樣代替原有雙三次插值進行單幀圖像超分辨率重建高頻信號的處理過程，重建過程的低頻信號采用文獻［12］中用原圖乘以2倍系數的方法，改進方法流程如圖1所示。

圖1 改進的小波超分辨率重建方法流程

改進的小波超分辨率重建方法具體步驟如下:

1)二維小波分解。將原圖利用式(1)—式(4)進行二維小波分解，獲得一個方向的低頻與3個方向的高頻。

2)高低頻信息處理。用原圖乘以2倍系數作為下一步重建過程的低頻信息，3個方向高頻信息則依次利用上一步中二維小波分解得到的各高頻信息進行DFT零填充重采樣操作，得到對應方向上處理后的各高頻分量。

3)二維小波重構。將處理獲得的低頻信息與處理后3方向高頻信息利用式(5)進行二維小波逆變換，獲得最終的超分辨重建結果。

四、模擬試驗

為驗證方法的有效性，進行以下試驗。試驗用的原圖像選取某地區上空的遙感影像，從其中截取尺寸大小為500像素×500像素的圖像，如圖2(a)所示。對原圖進行隔行隔列降采樣，得到4幅大小為250像素×250像素的圖像。然后模擬圖像降質過程，將4幅圖像對應坐標的像素值進行求均值處理，得到圖2(b)。試驗分別采用文獻［15］中的DFT零填充重采樣、文獻［11］中的小波雙三次插值方法、文獻［12］中改進的小波雙三次插值方法，以及本文改進的小波超分辨率重建方法進行，各方法重建結果分別如圖2(c)、圖2(d)、圖2(e)、圖2(f)所示。采用峰值信噪比(PSNR)與均方根誤差(RMSE)對重建結果與原圖進行定量比較，所得結果見表1，峰值信噪比越大均方根誤差越小表示重建效果越好［16］，PSNR與RMSE的計算公式分別為

表1 各種超分辨率方法重建結果

表1說明了本文改進方法明顯優于各傳統方法。同時從圖2(c)中可得零填充重采樣方法的紋理細節較好，但過程中總能量并未增加，而整幅圖的尺寸由250像素×250像素擴大到500像素×500像素，導致重建后圖幅的平均能量是試驗用圖的一半左右，圖像變得暗淡。從圖2(d)中可得小波雙三次插值雖有一定的效果，但高頻分量采用雙三次插值使得細節部分增加了多余的能量，引入了噪聲，這反映在圖中可看出建筑物邊緣線條的不流暢性，且低頻用原圖會出現與圖2(c)中同樣的暗淡效果。從圖2(e)可得文獻［12］對小波雙三次插值方法進行改進，利用原圖乘以2倍系數后所得圖像作為重建過程的低頻，使得重建圖像的亮度與原圖保持一致，但高頻仍采用雙三次插值，使得圖像細節的重建效果不佳。從圖2(f)可得利用本文方法對圖像小波分解的高頻部分利用零填充重采樣處理，實現了高頻細節的理想插值，同時低頻采用原圖乘以2倍系數，這樣組合的重建效果最優。通過表1的定量對比證明了以上結論的正確性，說明本文方法是一種較傳統方法更好的單幀影像小波超分辨率重建方法。

圖2 各種超分辨率重建方法比較

五、結束語

本文在原有小波雙三次插值超分辨率重建的基礎上，利用零填充重采樣代替高頻重建過程的雙三次插值，低頻利用原圖乘以2倍系數;并通過試驗定性分析與定量對比，證明了改進方法重建效果較傳統方法更優。創新點如下:①將零填充重采樣引入到二維小波分解高頻信息的插值過程，保證高頻信息不引入噪聲的同時使得其重采樣結果最大限度地相似于高分辨率圖像的高頻部分;②將原有的低頻處理方法與改進的高頻處理方法相結合，使得重建得到的高分辨率圖像與原圖像具有同樣的亮度且高頻細節較原有方法更加清晰。

［1］ 孫濤，林立宇，孫夫雄，等．光學遙感影像復原與超分辨重建［M］．北京:國防工業出版社，2012．

［2］ GROSSMANN A，MORLET J．Decomposition of Hardy Functions into Square Integrable Wavelets of Constant Shape［J］．SIAM Journal on Mathematical Analysis，1984，15(4):723-736．

［3］ 楊建國．小波分析及其工程應用［M］．北京:機械工業出版社，2005．

［4］ MALLAT S G．A Theory for Multiresolution Signal Decomposition:the Wavelet Representation［J］．IEEE Transactions on Pattern Analysis and Machine Intelligence，1989，11(7):674-693．

［5］ DAUBECHIESI．Ten Lectures on Wavelets［M］．Philadelphia:Society for Industrial and Applied Mathematics，1992．

［6］ 寧津生，汪海洪，羅志才．小波分析在大地測量中的應用及其進展［J］．武漢大學學報:信息科學版，2004，29(8):659-663．

［7］ 劉偉，周懷軍，馬軍驥．基于超分辨分析方法的跳頻信號相對時延估計［J］．測繪通報，2012(S1):49-51．

［8］ 郝鵬威，朱重光．基于小波的圖像插值方法［J］．遙感學報，1998，2(2):98-102．

［9］ 劉笑宙，涂國防．小波雙線性插值應用于光學遙感圖像［J］．中國科學院研究生院學報，2003，20(1):39-43．

［10］ 陶洪久，柳健，田金文．基于小波變換和插值的超分辨率圖像處理算法［J］．武漢理工大學學報，2002，24(8):63-66．

［11］ 屈有山，田維堅，李英才，等．基于小波雙三次插值提高光學遙感圖像空間分辨率的研究［J］．光子學報，2004，33(5):601-604．

［12］ 趙秀影，蘇耘，董艷芹，等．一種基于小波與雙三次插值的CCD圖像超分辨方法［J］．計算機應用研究，2009，26(6):2365-2367．

［13］ SMITH J O．Mathematics of the Discrete Fourier Transform(DFT)［D］．Stanford University:Center for Computer Research in Music and Acoustics(CCRMA)，2002．

［14］ 周武，胡躍明．基于相位相關和重采樣的亞像素圖像配準算法［J］．華南理工大學學報:自然科學版，2010，38(10):68-73．

［15］ 周武．精密圖像配準方法研究及在精密電子組裝中的應用［D］．廣州:華南理工大學，2012．

［16］ 陶珂，朱建軍．多指標融合的小波去噪最佳分解尺度選擇方法［J］．測繪學報，2012，41(5):749-755．