基于保邊IBP和結(jié)構(gòu)相似性的超分辨率圖像重建算法

卜宇， 梁傳君

(新疆工程學院，計算機工程系，烏魯木齊 830052)

0 引言

最近的幾十年中，超分辨率[1](Super Resolution，SR)理論和技術(shù)發(fā)展非常迅速，應(yīng)用極其廣泛，如地形分類、礦物檢測和勘探、遙感制圖、環(huán)境監(jiān)測、以及軍事監(jiān)視等[2][3]。由于儀器限制和不完美成像光學器件，外界的影響，如大氣湍流，成像中的噪聲等造成傳感器相元分辨率變低，提高硬件上的成像技術(shù)代價比較高，不適用于民用和軍事領(lǐng)域所需要性能和價格，因此，如何提高成像的分辨率是一個重要的研究課題。

在實踐中，修改成像光學器件或傳感器陣列代價太大，而且傳感器陣列的密度已經(jīng)趨于飽和[4]，提升的可能性不大，從軟件算法角度提高分辨率是一種切實可行的方案[5][6]。超分辨率重建的主要思想是將多個低分辨率(Low Resolution, LR)圖像重建為一個或多個高分辨率(High Resolution, HR)圖像。

已經(jīng)有很多學者對超分辨率問題進行了研究。一般SR算法一般分為三大類：基于插值的算法，基于學習的算法和基于重建的算法。

基于插值算法的主要優(yōu)點是算法簡單，運行速度快，如文獻[7]提出了一種改進的插值算法，添加了更多的先驗知識，如平滑先驗和噪聲先驗，但邊緣，角點，使用簡單的平滑先驗來重建HR圖像將會產(chǎn)生振鈴、模糊、鬼影等效果。

基于重建的SR算法主要利用正則化對各種平滑先驗知識約束求解。如文獻[8]提出了一種利用自身實例圖像的SR問題，其中就用到了高斯先驗和L2正則化進行魯棒估計，不過病態(tài)問題，即許多HR圖像能產(chǎn)生相同的LR圖像，并沒有明顯得到緩解，對異常點(outlier)處理也比較乏力。

基于學習的SR算法中，細節(jié)紋理通過LR/HR訓(xùn)練圖像集搜索獲得。這些紋理細節(jié)需要訓(xùn)練圖像的精細選擇，否則將匹配錯誤的紋理細節(jié)。文獻[9]提出了基于多尺度結(jié)構(gòu)自相似性的單幅圖像超分辨率算法，充分利用結(jié)構(gòu)自相似性在多尺度上的應(yīng)用，效果也不錯，但實例比較理想化，從LR圖像塊到HR圖像塊的映射病態(tài)問題沒有很好的解決。

考慮到任何觀察到的場景中經(jīng)常有許多重復(fù)的物體和自然圖像的結(jié)構(gòu)相似性屬性，本文引入一個新的超分辨率重建算法，將結(jié)構(gòu)相似性結(jié)合改進的具有保邊效果的迭代反投影(iterative back projection, IBP)，提出的算法既有IBP算法的快速特性，又有較高的重建效果。

1 具有保邊效果的IBP

1.1 迭代反投影算法IBP

迭代反投影的SR重建方法[10]類似于在斷層攝影中使用的背投影。在這種方法中，HR圖像估計由模擬LR圖像之間的差值估計得到，終止迭代的條件是成像模糊圖像和觀察LR圖像的誤差最小，其簡要示意圖，如圖1所示。

圖1 IBP算法流程的示意圖

IBP估計HR圖像表示如式(1)。

gk(m,n)=σk(h(f(x,y))+ηk(x,y))

(1)

式(1)中，gk表示第k個觀察圖像幀；f表示潛在的高質(zhì)量圖像；h表示模糊算子；ηk是加性噪聲項，一般用高斯白噪聲表示；σk是一個圖像像素抽樣離散化的非線性函數(shù)。σk還包括第k幀的位移;(x,y)高質(zhì)量圖像f的中心。

一般先初始化一個高分辨率圖像HR，即先將LR圖像通過插值的方式將其分辨率上采樣為所要的分辨率，模擬圖像降質(zhì)的過程，以獲得一組對應(yīng)于所觀察到的輸入圖像的模擬LR圖像。模擬LR圖像應(yīng)該與原始LR圖像相減，即獲得差分圖像，這種模擬誤差隨著HR的更新而變化，重復(fù)該迭代過程最小化誤差函數(shù),如式(2)。

(2)

式(2)中，gk的第n次迭代模擬成像過程,如式(3)。

(3)

式(3)中，↓s表示下采樣因子為s的下采樣操作，Tk是σk的逆運算，HR圖像的迭代更新為式(4)。

(4)

式中，K是低分辨率幀的數(shù)量，↑s是上采樣因子為s的上采樣操作，*是卷積運算符，hBP是一種“反投影”內(nèi)核，取決于模糊算子h和Tk確定。

1.2 具有保邊效果的IBP

各向異性擴散的目的是結(jié)合邊緣增強，保持圖像亮度的邊界，因此各向異性擴散可以從幾個重疊模糊LR圖像重建一個HR圖像，而且保留和增強邊緣，同時減少在恢復(fù)過程中圖象噪聲[11]。其擴散過程,表示如式(5)。

(5)

式中，X表示濃度，D表示擴散張量，即一個正定對稱矩陣，式(2)可以被改寫為式(6)。

(6)

式(6)中，gk(x)是SR圖像X.在這種情況下的變換后的圖像時，相應(yīng)的梯度下降方程,表示為式(7)。

(7)

與傳統(tǒng)的低通濾波和線性擴散相比，摻入的邊緣增強各向異性擴散到SR中的特性具有明顯的提升效果，其中標量由2×2彌散張量D上進行如下替換，即式(7)可以改寫為式(8)、式(9)。

(8)

(9)

2 結(jié)合結(jié)構(gòu)相似性的保邊IBP

為了得到更多先驗知識，完全可以考慮結(jié)構(gòu)相似性，自然圖像都擁有大量的自相似小圖像塊，這是局部圖像結(jié)構(gòu)在不同尺度下的重現(xiàn)[9][12]，即在某個自然圖像上取一個4×4的小圖像塊，一定能在這幅圖像上找到和這一圖像塊最匹配的圖像塊。這是自然圖像非常重要的屬性，將其先驗性運用到圖像重建中將非常有益[14]。

本文在保邊IBP的基礎(chǔ)上，引入圖像塊相似性作為圖像重建的新的先驗知識。于是修改式(6)得到式(10)。

(10)

(11)

式中，h是歸一化因子，t是控制相似度的標量。式(10)可以簡化為式(12)。

(12)

式中，I是單位矩陣，A是N×N的矩陣，N是原始超分辨率圖像維數(shù)。矩陣A中[14]元素滿足式(13)。

(13)

對初始的高分辨率圖像分塊處理，可求出矩陣A。整個算法流程圖,如圖2所示。

圖2 算法流程圖

3 實驗與分析

仿真實驗在配置為Win7操作系統(tǒng)、intel酷睿II處理器、1.86 GHz主頻、2.95 GB RAM的筆記本計算機進行。使用MATLAB 7.1平臺。

3.1 算法參數(shù)設(shè)置及評價函數(shù)

本文選擇的小圖像塊尺寸為a=6，判斷塊與塊之間關(guān)系閾值T取3，控制相似度的標量t取0.02。IBP迭代最高次數(shù)為8次，IBP的內(nèi)核的σ值選擇在0.8到1.5之間。經(jīng)過6次迭代就已經(jīng)收斂了,如圖3所示。

圖3 IBP的迭代次數(shù)與誤差關(guān)系圖

本文使用圖像的峰值信噪比(Peak Signal to Noise Ratio, PSNR)和結(jié)構(gòu)相似性指標(Structural Similarity Index Measurement, SSIM)表征估計得到HR圖像的好壞，其中PSNR可以表征圖像高頻成分損失情況，越高越好，SSIM是一種衡量兩幅圖像的相似程度，最大值為1，越接近1表示越相似，SSIM非常符合人眼對圖像品質(zhì)的判斷。

圖像亮度分量均值表達形式為式(14)。

(14)

其中bins(i)代表亮度為i的直方圖條塊的高度，PSNR的形式為式(15)。

(15)

SSIM定義為式(16)。

(16)

式中，ux及uy、σx及σy分別為圖像x，y的平均值和標準差，σxy為x，y的共變異數(shù)，C1,C2,C3都為常數(shù)。一般情況下，取圖像局部性視窗，遍歷整個圖像，直到整個圖像的SSIM計算完畢，將全部的SSIM平均起來為x，y圖像的結(jié)構(gòu)相似性指標。

3.2 定量分析

實驗所用圖像大多采自文獻[8][14][15]，圖2為用于比較測量的圖像，比較的算法是文獻[8]提出Huber函數(shù)雙變分重建算法(HBTV)，文獻[15]提出的一種實例回歸的算法(IPER)和單純的IBP。

為了獲得客觀的測量結(jié)果，首先使用SSIM表征結(jié)果，如表1所示。

表1 分辨率增強因子為2時各算法SSIM結(jié)果

從表1可以看出立方插值的結(jié)果最差，因為立方插值假設(shè)圖像總是平滑先驗的。IPER，IBP和HBTV的效果明顯好于立方插值，SSIM都比立方插值的大。本文算法大多數(shù)情況下?lián)碛凶罡叩腟SIM值，這是由于該方法組合了更多的先驗知識，獲得更好的結(jié)果。

表2是PSNR的值測量結(jié)果，PSNR值越高表示圖像的高頻成分越多，如表2所示。

從表2可以看出本文算法的PSNR值最高，與原始圖像的PSNR值相差最少，效果最好。

3.3 定性分析

不同算法在“Wall”，“Nestling”和“Cameraman”的結(jié)果，可以看出，從“Wall”圖像上，IBP、HBTV和IPER算法都有鬼影和振鈴效應(yīng)，造成了視覺的不舒服，石頭的層次和紋理不是非常差明朗，而本文算法石頭的層次感強，在“Nestling”圖像中，本文算法能顯示出更細膩的雛鳥的毛發(fā)。另外其他三種算法在“Cameraman”圖像上的細節(jié)都有些模糊。從對比可以看出，本文算法重建的結(jié)果最自然準確,圖4，圖5和圖6分別所示了。

圖像原PSNR值立方插值HBTVIBPIPER本文算法Wall33.8125.1529.2728.1529.4731.41Lena32.9024.8529.0429.7430.0731.29Peppers33.1024.9630.0130.7532.0332.12Cameraman33.9225.2829.0430.7630.8432.47Building32.1925.6529.4129.8929.1331.75Baboon32.4724.4728.9828.9430.8731.89Nestling33.4525.1230.1028.4730.1932.03Boy33.5625.4731.0228.9831.4732.34

3.4 處理速度比較

一個好的SR算法應(yīng)該滿足以下三大方面：圖像紋理，圖像自然性和算法處理的速度。本文算法具有IBP的快速特性，添加的先驗知識可以被快速計算,如表3所示。

表3 各算法的平均運行時間比較(s)

從表3可以看出，插值算法依然最快，因為插值算法最簡單。對于256×256的圖像“Wall”，“Nestling”和“Cameraman”，在matlab7.1平臺上，比較平均運行時間，可以看出本文算法運行時間比IPER和HBTV的短，與純IBP差不多。

4 總結(jié)

超分辨率圖像重建可以克服成像系統(tǒng)固有分辨率的限制，改善成像性能。本文提出一種混合算法，即改進的IBP結(jié)合結(jié)構(gòu)相似性的先驗知識，該算法可以提高圖像對比度，同時恢復(fù)退化的細節(jié)，相比于其他優(yōu)秀算法，擁有更多的先驗，從實驗結(jié)果看，重建的圖像更準確自然，運行速度更快。

未來將重點研究使用數(shù)據(jù)庫較少的學習方法，結(jié)合適當正則化，建立聯(lián)合字典的SR方法，討論如何快速準確地LR圖像對HR圖像塊的映射病態(tài)問題。

[1] 楊宇翔. 圖像超分辨率重建算法研究[D]. 合肥:中國科學技術(shù)大學, 2013.

[2] 蘇衡, 周杰, 張志浩. 超分辨率圖像重建方法綜述[J]. 自動化學報, 2013, 39(8):1202-1213.

[3] 楊文波. 航空圖像超分辨率重構(gòu)技術(shù)研究[D]. 長春:中國科學院研究生院(長春光學精密機械與物理研究所), 2014.

[4] 江毅, 黃俊斌. 基于波分復(fù)用器的光纖光柵振動傳感器陣列[J]. 中國激光, 2005, 32(11):1525-1528.

[5] Zhang H, Zhang L, Shen H. A super-resolution reconstruction algorithm for hyperspectral images[J]. Signal Processing, 2012, 92(9): 2082-2096.

[6] Zhang L, Zhang H, Shen H, et al. A super-resolution reconstruction algorithm for surveillance images[J]. Signal Processing, 2010, 90(3): 848-859.

[7] Mallat S, Yu G. Super-Resolution With Sparse Mixing Estimators[J]. IEEE Transactions on Image Processing, 2010, 19(7):2889-2900.

[8] 梁風梅, 邢劍卿, 羅中良,等. 基于Huber函數(shù)雙邊全變分的多幀文檔圖像超分辨率重建[J]. 中山大學學報(自然科學版), 2014, 21(4):74-78.

[9] 潘宗序, 禹晶, 胡少興,等. 基于多尺度結(jié)構(gòu)自相似性的單幅圖像超分辨率算法[J]. 自動化學報, 2014, 40(4):594-603.

[10] 首照宇, 廖敏璐, 張彤. 基于IBP改進和稀疏表示的圖像超分辨率重建[J]. 計算機工程與設(shè)計, 2014, 35(3):934-938.

[11] Ma J, Plonka G. Combined Curvelet Shrinkage and Nonlinear Anisotropic Diffusion[J]. IEEE Trans Image Process, 2007, 16(9):2198-2206.

[12] 吳煒, 鄭成林, 張瑩瑩,等. 廣義非局部均值和自相似性的超分辨率算法[J]. 西安電子科技大學學報, 2014, 27(4):100-107.

[13] 王素玉, 卓力, 沈蘭蓀,等. 一種用于動態(tài)視頻超分辨率的多尺度最小二乘仿射塊匹配圖像配準方法[J]. 電子與信息學報, 2009, 31(3):542-545.

[14] Dong W SH, SHI G M, and Zhang L, Super-resolution with nonlocal regularized sparse representation [C]//Proc. SPIE Visual Communications and Image Processing, 2010: 1-10.

[15] Yang J, Lin Z, Cohen S. Fast Image Super-Resolution Based on In-Place Example Regression[J]. IEEE Conference on Computer Vision & Pattern Recognition, 2013, 9(4): 1059-1066.