基于ANNF和結構相似性的單幀超分辨率圖像重建算法

徐燕華，李榮，王華君，徐平平

基于ANNF和結構相似性的單幀超分辨率圖像重建算法

徐燕華，李榮，王華君，徐平平

針對相似最近鄰算法ANNF較差的穩定性，提出了一種字典學習和簡單正則化相結合的算法，在ANNF處理之后，運用結構相似性對其進行簡單正則化操作。首先解決單一圖像的SR字典學習問題；然后利用k-d樹對輸入的圖像特征匹配進行運算，得到ANNF映射；最后將ANNF結果進行相似性正則化處理，只需要幾次迭代就能完成后續處理，得到最終的高分辨率圖像。采用峰值信噪比PSNR和均方誤差RMSE比較各算法效果。從實驗結果數據可以看出，算法具有最高的PSNR值和最低的均方誤差，從實驗結果圖像可以看出，其算法的紋理保留的最好，效果最自然，另外從對高斯模糊的魯棒性分析來看，算法魯棒性完全優于其他算法。

相似最近鄰；正則化；k-d樹；結構相似性；魯棒性

0 引言

超分辨率（super-resolution，SR）[1]是通過軟件算法的方法來提高圖像的分辨率，從而給用戶更多的圖像細節，SR也是機器視覺領域非常熱門的研究課題。在軍事、地球衛星、醫學圖像領域都有涉及[2,3]。由于硬件設備上提高分辨率已經基本到了極限，從軟件上獲得高分辨率（High Resolution，HR）圖像比較實際可行[4]，然而，至今商業用途的SR非常少，主要是由于獲得實際需要的低分辨率（low resolution，LR）圖像比較難，用于學習的數據庫并不完善。

一般SR算法一般分為三大類：基于插值的算法，基于學習的算法和基于正則化重建的算法。基于插值算法的主要優點是簡單直接，但插值結果可能會模糊一些尖銳的紋理細節，如文獻[5]提出了一種改進的插值算法，添加了更多的先驗知識，如平滑先驗和噪聲先驗，但結果依然有振鈴和模糊等效果。

基于正則化重建的SR算法經常需要多幀信息以提供更多的額外信息，用正則化對這些信息進行約束。如文獻[6]提出了一種利用自身實例圖像的SR問題，用高斯先驗和L2正則化進行魯棒估計，然而，對異常點（outlier）處理依然比較乏力。文獻[7]提出了基于實例圖像回歸的快速SR算法，即In-Place Example Regression，簡稱IPER，所使用的圖像塊數據庫不需要大量的實例學習，擁有比較快的運行速度，效果不錯，然而，該算法對先驗知識的依賴性比較強，而且輸入圖像不能有任何其他模糊，如運動模糊。

基于學習的SR算法近幾年才興起，主要是基于稀疏表達，將信號的稀疏表達運用到HR圖像的線性表示，在壓縮傳感中應用較多。文獻[8]提出了基于多尺度結構自相似性的單幅圖像超分辨率算法，充分利用結構自相似性在多尺度上的應用，該算法不需要較大的數據庫，然而，在字典數據的構建上并不完善。

文獻[9]提出了廣義相似最近鄰域（Approximate Nearest Neighbor Field, ANNF），即源圖像塊與目標圖像塊周圍區域也匹配，并將其運用到SR算法中，其優勢是速度快，但表現得并不穩定，因為自然圖像的復雜性并不總是滿足ANNF。

本文給出一種新的單幀圖像SR算法，在文獻[9]的基礎上，使用相似最近鄰算法ANNF結合結構相似性進行單幀超分辨率，其中ANNF用于單幀SR的字典學習和初步重建，結構相似性正則化提供自然圖像結構相似的先驗知識和穩定的估計，實驗結果表明本文算法具有更好的穩定性和效果，是ANNF的有效改進。

1 學習階段

為了求解目標圖像與源圖像的ANNF映射關系，令每個p×p的圖像塊的特征匹配（Feature Match, FM）計算如下：

平均顏色值；

x，y方向的梯度平均值；

圖像塊的最大值。

選用以上這些特征，作為k-d樹[10]的輸入，FM計算目標圖像到源圖像最近鄰的每個圖像塊。根據初步ANNF的映射，FM利用圖像間“相關性”屬性來提高ANNF映射。圖像之間的“相關性”體現在區域的相關性[11]。即如果目標圖像在(xtar,ytar)處圖像塊與源圖像塊在(xorg,yorg)處的圖像塊匹配，則它們各自的鄰域也能相互匹配。

為了重建最終的HR圖像，需要使用一般源圖像的高分辨率形式SHR，即如果(x,y)=ANNFmap(i,j)，使用SHR的p×p的圖像塊去重建最終輸出的高分辨率圖像OHR。由于采樣的密集性，對DHR的每個位置(i,j)中p×p個值與輸出圖像(i,j)處的值相關聯，這些重疊圖像塊的均值可用于去除異常值，獲輸出圖像OHR在該處的像素值。例如，為了獲得像素值OHR(i,j)，需要獲取所有映射到該點處的圖像塊，經驗上去除最大和最小的異常值，其他值取平均。學習階段的算法如算法1所示：

?

值，其他值取平均。End

2 超分辨率重建

雖然ANNF計算起來比較簡單，效果也可以接受，但穩定性并不好，為此，利用一些先驗知識對其進行簡單正則化增強其穩定性。眾所周知自然圖像都擁有大量的自相似小圖像塊，這是局部圖像結構在不同尺度下的重現[8-12]，例如在某個自然圖像上取一個8×8的小圖像塊，一定能在這幅圖像上找到和這一圖像塊最匹配的圖像塊。引入圖像塊相似性作為圖像重建的新的先驗知識，其能量函數如式（1）：

式（2）中，h是歸一化因子，t是控制相似度的標量。式（2）可以簡化為式（3）：

式（3）中，I是單位矩陣，A是N×N的矩陣，N是原始超分辨率圖像維數。矩陣A中元素滿足[14]式（4）：

這里迭代可以采用簡單的最速下降法，迭代公式如式（5）：

式（5）中，med為中值函數，中值函數在SR數值運算中具有非常好的魯棒性和穩定性[15]。迭代直至滿足前一次迭代值和當前值的絕對值差在給定閾值內，公式表示如式（6）：

式（6）中，α值為預設的閾值。

提出的重建算法可以簡要描述為算法2。

算法2：輸入：初始低分辨率圖像S L R，縮放因子s，閾值α，t，T，β，μ，變換算子F；輸出: 輸入圖像的S R形式，O H R；

SHR是一般源圖像的高分辨率形式；DLR=upscale（downscale（SHR，s），s）；IPbic=upscale（IPbic，s）；upscale和downscale是采用立方插值的放大和縮小的函數k-d樹計算；ANNFmap=；W，H分別是IPbic的寬高。For 0＜ i ＜W, 0 ＜ j ＜H For i-p/2 ＜ k＜ i+p/2, j-p/2 ＜ l ＜ j+p/2FM{DLR} IPbic,x=ANNFmap(k);y=ANNF ,lmap(k);,l v=SHR[x+i -,y+j-]; kl End去除v的異常值，即在p×p的圖像塊范圍內去除最大最小值，其他值取平均。End設置迭代次數loopnum = 4；If 迭代次數未達到loopnum且不滿足式（6）的條件將OHR作為X?代入式（5），n X?1FsignX-X)) =?-Xβ(med(T～n+n(F?n+(I u-)I-)X) A(TA?nOtherwise End loop

4 實驗結果與分析

仿真實驗在配置為Windows XP操作系統、intel酷睿II雙核處理器、1.86 GHz主頻、4 GB RAM的筆記本計算機進行。實驗平臺是MATLAB 7.0。

4.1 參數設置及評價標準

選擇的圖像塊尺寸為a= 5，迭代縮放因子為r= 2。輸入的LR圖像X0立方插值生成目標HR圖像X，閾值α取0.6，μ取1，β取1，代表相似度的閾值T取4，控制相似度的標量t取8。

使用圖像的峰值信噪比（Peak Signal to Noise Ratio, PSNR）和均方根誤差（root-mean-square error, RSME）表征估計得到HR圖像的好壞。

4.2 實驗結果比較

實驗所用圖像大多采自文獻[6][7]，用于比較測量的圖像如圖1所示：

圖1 用于SR效果比較的圖像

用于對比的算法是文獻[9]提出的ANNF算法，文獻[8]提出的IPER算法和文獻[6]提出基于局部實例圖像上采樣算法，ULSE。

為了獲得客觀的評估結果，首先使用均方誤差RMSE和峰值信噪比PSNR評估結果，如表1所示：

表1 分辨率增強因子為2時各算法RMSE結果

從表1可以看出立方插值的結果最差，因為立方插值假設圖像是平滑先驗的。IPER的效果明顯好于立方插值，RMSE明顯低于立方插值的RMSE值。ANNF和MSS的結果差不多，RMSE的值相差不大。本文算法擁有最低的RMSE，這是由于本文算法在ANNF之后，對其進行簡單的結構相似性正則化的結果。

表2是PSNR的值測量結果，PSNR值越高表示圖像的高頻成分丟失得越少，從表2可以看出本文算法的PSNR值最高，與原始圖像的PSNR值相差不多，丟失的高頻紋理信息最少。

表2 分辨率增強因子為3時各算結果的PSNR值（/dB）

4.3 輸出圖像比較

不同算法在Parthenon上的結果如圖2所示：

圖2 第一層左起原始圖像、立方插值圖像、ULSE，第二層左起ANNF、IPER和提出的算法（4倍）

從圖中可以看出，ULSE和IPER算法獲得了很多尖銳效果，會引起視覺上的不舒服，在眼睛周圍有鬼影和振鈴效應，提出的算法獲得的重建效果更佳自然，體現了ANNF算法結合結構相似性正則化后的優勢。

4.4 對高斯模糊的魯棒性

討論前提是輸入圖像沒有模糊，若有較大的運動模糊，字典匹配將無法進行。因此本文這里討論常見的高斯模糊，用3×3或者5×5等高斯核卷積模擬高斯模糊，然后進行SR操作。

高斯卷積核的大小與PSNR的關系如圖3所示：

圖3 高斯核尺寸與PSNR關系

可以看出隨著卷積核的逐漸變大，提出算法的PSNR值下降最慢，高斯卷積核大小與RMSE關系圖如圖4所示：

圖4 高斯核尺寸與RMSE關系

可以看出本文算法的RMSE值上升最慢。所以本文算法對于高斯模糊是具有一定魯棒性的，優于其他算法對高斯模糊的魯棒性。也可以看出，在ANNF算法后應用結構相似性正則化的必要性，可以很好提高其穩定性。

5 總結

在ANNF算法的基礎上，將結構相似性巧妙結合在一起，ANNF算法結束后進行相似性正則化，充分運用了自然圖像的相似性屬性，使ANNF算法更加穩定有效。仿真實驗表明本文算法結果更接近真實HR圖像，紋理更加清晰自然，而且對一些高斯模糊具有一定魯棒性。

未來將重點研究帶有模糊的字典學習方法用于處理低分辨率同時有一定運動模糊SR問題，擴大算法適用性，而不僅僅是壓縮傳感層面的。

[1] 蘇衡, 周杰, 張志浩. 超分辨率圖像重建方法綜述[J].自動化學報, 2013, 39(8): 1202-1213.

[2] 楊文波. 航空圖像超分辨率重構技術研究[D]. 長春:中國科學院研究生院長春光學精密機械與物理研究所, 2014.

[3] 曾蕾. 圖像稀疏表示及圖像超分辨應用研究[D]. 電子科技大學, 2014.

[4] 江毅, 黃俊斌. 基于波分復用器的光纖光柵振動傳感器陣列[J]. 中國激光, 2005, 32(11):1525-1528.

[5] S Mallat. and G.Yu, Super-resolution with sparse mixing Estimators[J]. IEEE Trans on Image Processing, 2009, 19(11):2889 - 2900.

[6] Freedman G, Fattal R. Image and video upscaling from local self-examples.[J]. ACM Transactions on Graphics, 2011, 30(2):474-484.

[7] Yang J, Lin Z, Cohen S. Fast image super-resolution based on in-place example regression[J]. ieee conference on Computer Vision & Pattern Recognition, 2013, 9(4):1059-1066.

[8] 潘宗序, 禹晶, 胡少興,等. 基于多尺度結構自相似性的單幅圖像超分辨率算法[J]. 自動化學報, 2014, 40(4): 594-603.

[9] Ramakanth S A, Babu R V. Featurey match: A general ANNF estimation technique and its applications.[J]. IEEE Transactions on Image Processing, 2014, 23(5):2193-220 5.

[10] 錢銀玲, 梁曉, 張嚴辭. 基于Bin的高質量k-D樹構建算法[C]// 第九屆中國計算機圖形學大會. 2012, 24(7): 984-989.

[11] 浦劍, 張軍平. 基于詞典學習和稀疏表示的超分辨率方法[J]. 模式識別與人工智能, 2010, 23(3): 335-340.

[12] 吳煒, 鄭成林, 張瑩瑩等. 廣義非局部均值和自相似性的超分辨率算法[J]. 西安電子科技大學學報, 2014, 27(4):100-107.

[13] 張曼, 沈旭昆. 一種基于尺度空間的三維點云數據配準算法[J]. 系統仿真學報, 2009, 24(9):131-135.

[14] 蘭誠棟, 陳亮, 盧濤. 利用位置權重稀疏表示的人臉超分辨率算法[J]. 武漢大學學報：信息科學版, 2013, 38(1):27-30.

[15] Farsiu S, Robinson D, Elad M, et al. Fast and robust multi-frame super-resolution[J]. IEEE Transactions on Image Processing, 2003, 13(10): 1327-1344.

A Single Frame Super Resolution Algorithm Based on ANNF and Structural Similarity

Xu Yanhua1, Li Rong1, Wang Huajun1, Xu Pingping2
(1. Taihu University of Wuxi, Wuxi 214064, China; 2. School of Information Science and Engineering, Southeast University, Nanjing 211189, China)

For the issue of the poor stability of the algorithm of approximate nearest neighbor field ANNF, a new algorithm based on dictionary learning and simple regularization is proposed. After ANNF process, simple structural similarity regularization operation is applied. Firstly, single image dictionary learning must be solved. Then k-dimensional tree is used to deal with the input feature matching, giving ANNF mapping. Finally results from ANNF are regularized by similarity process. The process only needs a few iterations with following up a final high resolution image. In this paper, PSNR and MSE are used to compare the results of the algorithms. The data results show that the proposed algorithm has the highest PSNR value, and the lowest RMSE value. The experimental image results show that the image’s texture can be reserved best, the nature of the images is best. In addition, from the robustness analysis of gauss blur, the robustness of the proposed algorithm is much better than other algorithms.

Approximate nearest neighbor field; Regularization; k-dimensional tree; Structural similarity; Robustness

TP391

A

1007-757X(2016)10-0026-04

2016.01.05）

江蘇省高校自然科學研究項目（No.14KJD460004）

徐燕華（1979-），女，無錫人，無錫太湖學院，講師，碩士，研究方向：圖像處理、智能算法等，無錫 214064

李 榮（1978-），女，淮安人，無錫太湖學院，講師，碩士，研究領域：目標跟蹤、圖像處理等，無錫 214064

王華君（1979-），男，宜興人，無錫太湖學院，講師，碩士，研究領域：圖像處理、圖像重建等，無錫 214064

徐平平（1957-），女，南京人，東南大學，信息科學與工程學院，教授，博導，博士，研究領域：圖像處理、目標跟蹤等，南京 211189