基于小波域學習的單幅圖像超分辨率復原*

徐震寰,林茂松,張紅英

(西南科技大學 信息工程學院 特殊環境機器人技術四川省重點實驗室,四川 綿陽621010)

圖像超分辨率SR(Super Resolution)是指由一幅低分辨率圖像LR(Low Resolution)或圖像序列來恢復高分辨率圖像HR(High Resolution)。超分辨率復原不涉及硬件，成本相對較低，因此在軍事、醫學、交通等方面都有廣泛的應用前景。然而在現實生活中，多幀圖像序列的獲取是很困難的，因此單幅圖像的超分辨率復原技術顯得非常重要。

傳統圖像放大通常以近鄰插值法、雙線性插值法和三次樣條插值法[1]為主的插值法來實現。該類方法無法充分利用圖像的梯度信息，導致邊緣模糊或者鋸齒現象。為了能夠充分利用圖像的先驗信息，學者提出了基于學習的超分辨率復原方法。BAKERS和KANDAE T[2]首先提出了基于識別的重建算法，從同一幅圖像的不同分辨率構成的多尺度金字塔結構中提取特征矢量作為學習樣本來實現重建過程；FREEMAN W T等人[3]提出用Markov網絡描述輸入LR圖像中的圖像塊與實例樣本塊的匹配條件;WANG Q等人[4]對Markov網絡模型進行了拓展，提出了對像素傳感器的PSF參數進行估計的超分辨率盲復原算法。

另一方面，小波變換在超分辨率復原中的應用也越來越多，陶洪久等人[5]基于小波特性提出了小波變換與雙線性插值相結合的方法實現超分辨率；后期，李根[6]根據小波分解各部分高頻的相似性進行了小波變換的修正；Li Xin等人[7]利用Haar小波變換細節子塊之間相近的自相似性，運用LS方法來估計自相似關系，提出了基于Haar小波變換和LS的超分辨率算法。

雖然基于學習的復原方法被廣泛認為是一種很有前途的方法，但是其缺點在于創建一個訓練樣本庫需要足夠數量的樣本來進行高頻信息和低頻信息匹配。針對這一問題，GLASNER D等人[8]提出利用圖像的局部自相似性來實現超分辨率復原，從而消除訓練樣本庫部分的構造。

本文基于圖像的局部自相似性和小波變換細節子塊之間的自相似性，提出了一種基于小波域學習的圖像超分辨率復原方法。實驗證明，該算法能夠獲取更好的視覺效果，有效地保持圖像邊緣。

1 基于小波域學習的圖像超分辨率復原方法

1.1 小波變換

小波變換的優點在于頻域和時域都有良好的局部化性質。在小波變換域中進行超分辨率重建有利于保持高分辨率估計圖像的邊緣信息。

Haar小波變換屬于正交小波變換的一種，通過小波變換后圖像被分成4個子塊，其中L為其低頻信息塊，H、V、D分別為其水平高頻信息塊、垂直高頻信息塊和對角高頻信息塊，如圖1所示。

平穩小波變換是在正交小波變換基礎上所提出的，采樣過程中不采用下采樣處理，分解所得到的低頻近似圖像以及不同方向的高頻細節圖像與原始圖像大小相同。如圖2所示。

圖2 平穩小波變換

分解過程中，不同尺度下相同方向的高頻信息塊具有相似的特性，如圖3所示，H1和H2、V1和V2、D1和D2都具有相似性，這種小波高頻信息塊之間的相似特征正是實現本文超分辨率算法的重要條件。

超分辨率復原技術的關鍵是恢復成像系統截止頻率之外的信息，獲取高于成像系統分辨率的圖像，經過小波變換后，問題關鍵轉換成如何得到細節信息更豐富的高頻信息塊。

圖3 小波二級分解圖

1.2 圖像的局部自相似性

GLASNER D等人[8]在試驗中發現圖像是具有局部自相似性的，圖像塊的局部自相似性是指在單幅圖像或者在降尺度的圖像中，同一個圖像塊傾向出現很多次，如圖4所示。

圖4 圖像的局部自相似性

圖4中，兩個灰色圖像塊和兩個黑色圖像塊具有相似的視覺效果，卻又存在一定的細節差距，將這樣的圖像塊作為構造超分辨率圖像的相似塊，而圖4(b)中的圖像塊依然可以在圖4(c)中找到相似塊，并構成低分辨率/高分辨率圖像塊配對。基于這一理論，對低分辨率/高分辨率圖像塊進行配對，將這種高低分辨率圖像塊配對作為樣本庫中的先驗知識,這樣就可以消除樣本庫的建立過程，直接從單幅圖像中獲取先驗知識,實現超分辨率的復原過程。

本文中相似塊的搜索采用最近鄰搜索方法，將輸入圖像L0分成若干個5×5的圖像塊P0(p)，通過比較圖像塊的Gaussian-Weighted SSD，在降尺寸圖像中L-1找到最相近的圖像塊P-1()。圖像塊P-1()就是I0中圖像塊P0(p)的相似塊。

1.3 GLASNER D[8]方法實現超分辨率

基于學習方法實現超分辨率是一種非常有前景的實現方法。該算法主要分為建立樣本庫和匹配重建兩步。而GLASNER D等人[8]根據圖像局部自相似性提出一種聯合方法實現超分辨率復原，舍去了建立樣本庫的過程，從圖像自身尋找先驗知識，從而構造成對樣本實現超分辨率復原。具體框架如圖5所示。

圖5 本文基于示例部分學習框架

如圖5所示，L0為原始輸入圖像，而L-1為通過降采樣以后所得到的圖像，選取L0中的一個5×5的圖像塊P0(p)，在L-1中找到與之相似的5×5圖像塊P-1()，這樣就可以在L0中提取與P-1()同位置的圖像塊Q0(s,)作為P-1()的parent圖像塊。之后構造一對高分辨率/低分辨率圖像塊配對矢量[P Q]，將該矢量作為超分辨率圖像的先驗知識，通過對[P Q]矢量的拷貝，得到P0(p)在L1中的放大圖像塊Q(s,p)。該步驟流程如下式所述：

對L0圖像中的每一個圖像塊進行如上重建恢復，實現超分辨率圖像的復原過程。

2 算法描述

本文提出一種新的方法，將小波變換與基于示例學習的超分辨率復原方法相結合，得到超分辨率圖像。該實驗基于MATLAB 2009b，具體實現流程如下。

已知輸入圖像L，圖像大小為N×N。

(1)將圖像L進行小波分解，第一次平穩小波分解后得到高頻H1、水平高頻V1和對角高頻D1,圖像大小為N×N。

(2)將圖像進行降采樣的小波分解，得到高頻H2、水平高頻V2和對角高頻D2，圖像大小為N/2×N/2。

(3)將H1和H2、V1和V2、D1和D2作為樣本來構造 高分辨率/低分辨率圖像塊配對矢量，首先選取H1和H2作為樣本，通過基于示例學習的方法得到高分辨率圖像塊的豎直細節子塊H。圖像大小為2N×2N。

(4)依次選取V1和V2、D1和D2作為樣本得到各部分的細節子塊、V和D，圖像大小為2N×2N。

(5)由原始圖像L作為低頻信息塊，進行插值得到L′，與3個高頻信息塊H、V和D進行逆變換，得到高分辨率圖像L1，其大小為2N×2N。

(6)若要得到更高倍數的圖像，只需將步驟(5)所得結果作為輸入，重復步驟(1)～(4)。

(7)如果處理的是彩色圖像，就要先把該圖像從RGB轉換到YIQ，然后將其中Y通道部分按本文算法進行處理，而I和Q通道可直接進行插值放大，之后將這3個通道進行聯合得到最終結果。

3 實驗結果分析

為了證明本文算法的有效性，本文選出參考文獻[8]與小波雙線性插值法進行對比，選取Lena、old作為測試圖像。用如下所定義的峰值信噪比(PSNR)并聯合主觀視覺評價圖像質量：

試驗參數選擇兩組，第一組放大倍數factor=2,閾值threshold=0.000 8,相似塊的選擇采用最近鄰搜索法，匹配重建的過程采用最小二乘法。第一組實驗對小波進行一次平穩小波變換和一次一級小波變換，將一級小波變換所分解的高頻信息作為樣本，結果如表1所示,Lena圖像實驗結果比較如圖6所示。

表1 本文算法與其他算法重構圖像的PSNR值對比 (單位：dB)

第二組實驗參數factor=1.25,閾值threshold=0.000 8，與第一組不同的是，這次對小波進行3次分解，一次平穩小波分解，一次對小波的二級分解，將二級分解后的兩部分小波高頻信息作為樣本，所得結果如表2所示,old圖像實驗結果比較如圖7所示。

表2 本文算法與其他算法重構圖像的PSNR值對比 (單位：dB)

圖6 Lena圖像實驗結果比較

圖7 old圖像實驗結果比較

由第一組數據可看出,小波域雙線性插值所得到的結果具有明顯的模糊效應，尤其在邊緣位置的模糊和振鈴效應也很明顯。雙三次樣條插值得到的圖像雖然清楚了一些，但是邊緣上的振鈴效應更加明顯了，聯合方法所得到的圖像基本消除了振鈴效應，整體圖像效果較好。而本文提出的算法所得到的效果更加完善，帽檐位置等邊緣部分更加光滑，整體圖像質量更加清晰。相比于第一組，第二組通過聯合方法和本文算法所得到的效果比第一組的效果更好，PSNR值也相對提高，但是運行所需的時間比第一組運行時間長。

本文算法將圖像放在小波域通過基于學習的方法來復原，得到有效的高分辨率圖像，其在視覺效果和峰值信噪比上都得到了明顯的改善。一方面，根據小波變換的特性，結果所得到的圖像能夠有效地保持其邊緣信息；另一方面，利用圖像局部自相似的特性，能夠在沒有樣本庫的條件下，應用基于學習的方法來實現超分辨率的復原。把整幅圖像小波分解到3個高頻域依次進行處理，得到的細節子塊失真更小，重構的圖像在視覺效果上也有了更好的改善。但于此同時，由于算法要對3個高頻分別處理，而且尋找相似塊的過程復雜度較高，造成本文算法的計算量很大，實現效果時間較長。因此，如何降低計算量，也正是之后要處理的重要部分。

[1]WANG Q,WARD R K.A new orientation-adaptive interpolation method[J].IEEE Transations on Image Processing,2007,16(4)∶889-900.

[2]BAKER S,KANADE T.Limits on super-resolution and how to break them[C].IEEE Conference.on Computer Vision and Pattern Recognition，2000(2)∶372-379.

[3]FREEMAN W T,PASZTOR E C.Learning low-level vision[J].International Journal of Computer Vision,2000,40(1)∶25-47.

[4]WANG Q,TANG X,SHUM H.Patch based blind image super resolution[C].Tenth IEEE International Conference on Computer Vision,Beijing,China,2005(1)∶709-716.

[5]陶洪久,柳健,田金文.基于小波變換和插值的超分辨率圖像處理算法[J].武漢理工大學學報,2002,24(8)∶63-66.

[6]李根.基于小波變換修正的雙線性插值圖像放大方法[J].信息技術,2010(9)∶134-135.

[7]Li Xin，ORCHARD M T.Edge-directed prediction for loss less compression of natural images[J].IEEE Transactions on Image Processing,2001,10(6)∶813-817.

[8]GLASNER D,BAGON S,IRANI M.Super-resolution form a single image[C].2009 IEEE 12th International Conference on Computer Vision,2009∶349-356