基于擴(kuò)散的自適應(yīng)超分辨率重建

付龍　呂曉琪　李婷　谷宇

摘 要： 從各向異性角度分析了P?M模型、L1范式（TV模型）、L2范式（調(diào)和模型）的不足，通過擴(kuò)散模型建立超分辨率重建的偏微分方程，提出一種非線性各向異性和超分辨率重建組合的模型。該模型在圖像平坦區(qū)域具有線性各向同性擴(kuò)散，能夠有效消除噪聲，在圖像邊緣區(qū)域具有非線性各向異性擴(kuò)散保留邊緣，有效減少了濾波產(chǎn)生的階梯效應(yīng)和P?M模型過渡平滑忽略細(xì)節(jié)的現(xiàn)象。仿真結(jié)果表明，該模型能夠有效地提高圖像重建質(zhì)量，能在消除噪聲的同時保留邊緣，具有很好的魯棒性。

關(guān)鍵詞： P?M模型； L1范式； 各向同性； 各向異性； 超分辨率重建

中圖分類號： TN911?34； TP391 文獻(xiàn)標(biāo)識碼： A 文章編號： 1004?373X（2017）10?0107?04

Abstract： The disadvantages of P?M model， L1 norm （TV model） and L2 norm （harmonic model） are analyzed in the aspect of anisotropy. The partial differential equation for super?resolution reconstruction is established with diffusion model. A model combining the nonlinear anisotropy and super?resolution reconstruction is proposed. The model has the characteristics of linear isotropic diffusion in the flat area of the image， which can eliminate the noise effectively， and has nonlinear anisotropic diffusion preserving edge in the edge area of the image， which can effectively reduce the staircase effect produced by filtering and avoid the phenomenon that the details of P?M model is neglected due to transition smooth. The simulation results show that the model can improve the image reconstruction quality effectively， eliminate the noise while remaining the edge， and has good robustness.

Keywords： P?M model； L1 norm； isotropy； anisotropy； super?resolution reconstruction

0 引 言

隨著高清顯示技術(shù)的發(fā)展，人們對圖像清晰度以及圖像所含信息量的要求越來越高，超分辨率（Super?Resolution，SR）重建在不提升硬件設(shè)備的基礎(chǔ)上通過單幀或者多幀序列低分辨率（Low?Resolution，LR）圖像重建出一幀或者多幀高分辨率（High?Resolution，HR）圖像。SR重建使用軟件技術(shù)，通過像素之間的亞像素位移形成互補(bǔ)信息來提高分辨率，更詳細(xì)地展示圖像信息，減少了硬件的投資，在軍事圖像、遙感圖像、視頻監(jiān)控以及醫(yī)療診斷等領(lǐng)域有著廣泛的應(yīng)用。SR技術(shù)是從低分辨率圖像得到高分辨率圖像，是圖像退化的逆過程，表現(xiàn)為病態(tài)反問題，需要正則化技術(shù)將它變成一個適定問題，再通過最小化目標(biāo)泛函數(shù)實現(xiàn)正則化超分辨率重建。

近幾年，國內(nèi)外超分辨率技術(shù)的研究不斷取得新的進(jìn)展。近年來，基于變分偏微分方程的去噪算法成為圖像處理領(lǐng)域的重要部分，其中具有代表的方法是基于L1范數(shù)的TV模型和L2范數(shù)的調(diào)和模型。從擴(kuò)散角度分析，TV模型在圖像邊緣區(qū)域方向一致性較好，只沿切向擴(kuò)散，具有各向異性擴(kuò)散，可以很好地保護(hù)圖像的邊緣細(xì)節(jié)，在圖像平坦區(qū)域得到的邊緣方向并不一定真實存在，此時仍沿邊緣方向擴(kuò)散無疑會導(dǎo)致在平坦區(qū)域的噪聲抑制不充分甚至出現(xiàn)虛假邊緣，無法準(zhǔn)確濾除噪聲，從而導(dǎo)致階梯效應(yīng)的存在[1?2]，這將直接影響圖像處理和分析。調(diào)和模型從濾波角度考慮與高斯濾波等價，在梯度方向和邊緣方向具有同等擴(kuò)散和各向同性擴(kuò)散，但該模型在平滑去噪時會導(dǎo)致圖像細(xì)節(jié)模糊，存在平滑過度的現(xiàn)象[3]。雙邊濾波考慮空域信息和灰度相似性，能有效保留邊緣特征。低尺度雙邊濾波能有效地保留邊緣細(xì)節(jié)，但去噪效果差，高尺度雙邊濾波能有效消除噪聲但會模糊邊緣[4]，而且雙邊濾波需要人工預(yù)先設(shè)定參數(shù)。Perona和Malik提出了P?M擴(kuò)散方程模型[5]，P?M模型根據(jù)圖像梯度特征設(shè)計合適的擴(kuò)散系數(shù)，具有各向異性擴(kuò)散性能。但P?M模型在平坦區(qū)域有強(qiáng)噪聲存在時，不能有效區(qū)分噪聲邊緣和圖像邊緣，容易出現(xiàn)階梯效應(yīng)，造成偽邊緣并且無法濾除邊界上的噪聲，有不適定性問題的出現(xiàn)。王歡等利用[L1L2]正則化對序列圖像進(jìn)行基于學(xué)習(xí)的超分辨率重建[6]，根據(jù)訓(xùn)練庫建立低分辨率圖像和高分辨率圖像之間的對應(yīng)關(guān)系，利用學(xué)習(xí)得到的字典重建高分辨率圖像。Song提出一種基于 Lp范數(shù)（1

根據(jù)TV模型、調(diào)和模型、P?M模型的特點(diǎn)和不足，本文從擴(kuò)散角度分析，提出一種保存細(xì)節(jié)和抑制噪聲的超分辨率重建算法，能很好地結(jié)合上述三種方法，在圖像平坦區(qū)域具有線性各向同性擴(kuò)散，能夠有效消除噪聲；在圖像邊緣區(qū)域具有非線性各向異性擴(kuò)散，能夠有效保護(hù)邊緣細(xì)節(jié)，能在去噪的同時保護(hù)邊緣細(xì)節(jié)，自適應(yīng)重建出高質(zhì)量的圖像。

1 超分辨率重建模型

1.1 擴(kuò)散模型

PM模型是Perona和Malik于1990年提出，對原始圖像[Iox，y]的多尺度濾波可表示為：

1.2 超分辨率重建

20世紀(jì)80年代，Tsai和Huang提出多幀圖像超分辨率重建，其思想是在不改變現(xiàn)有成像系統(tǒng)的前提下，利用多幅可用場景，去噪、去模糊、放大，最終得到高分辨率圖像。超分辨率模型首先要解決的問題是如何通過高分辨率圖像生成序列低分辨率圖像。通常使用的退化模型是：高分辨率圖像經(jīng)過模糊、變形、降采樣以及加入噪聲得到低分辨率圖像。

圖像以矩陣的形式存儲，原高分辨率圖像X用大小為[N=L1N1×L2N2]的矩陣表示。其中[L1]和[L2]分別表示水平方向和垂直方向的下采樣因子。[Y]是通過退化模型得到的序列低分辨圖像，矩陣大小為[N1×N2]，第[k]幀低分辨率圖像[yk=yk，1，yk，2，…，yk，MT]，[M=N1×N2]，則低分辨率圖像降質(zhì)模型如下：

一般將低分辨率圖像的獲取看作正問題，即系統(tǒng)輸出低分辨率圖像。如果系統(tǒng)輸入低分辨率圖像輸出高分辨率圖像，那么重建過程就是正問題的逆過程[10]。L2范數(shù)是將圖像病態(tài)問題轉(zhuǎn)換為適定問題的約束條件，能量泛函最小化也就是調(diào)和最小化問題，文獻(xiàn)[11]最小化噪聲：

式（14）從左到右依次順序：第一項為超分辨率模型，為病態(tài)問題轉(zhuǎn)化為適定問題提供了良好的約束條件，調(diào)和能量泛函最小化；第二項為正則項，能夠有效濾波使圖像趨于平滑；第三項為保真項，能有效保持圖像的細(xì)節(jié)輪廓，保留邊緣。

2 實驗結(jié)果分析

為了驗證擴(kuò)散方程和超分辨率重建算法結(jié)合的有效性，本文進(jìn)行了大量的仿真實驗，在圖像中隨機(jī)加入不同強(qiáng)度的高斯噪聲，分別采用雙邊全變差（Bilateral Total Variation，BTV）重建模型（參數(shù)設(shè)置）、基于L1和L2范式的混合范式重建模型和本文方法進(jìn)行對比，并通過峰值信噪比（PSNR），均方誤差（MSE）和邊緣強(qiáng)度等客觀評價指標(biāo)進(jìn)行比較。

實驗一：采用text低分辨率序列圖像，低分辨率圖像像素為（50×50），放大因子為2，實驗結(jié)果如圖1所示，圖1（a）為序列低分辨圖像中的一幀；圖1（b）為BTV重建效果；圖1（c）為L1和L2混合范式重建效果；圖1（d）為本文方法。表1給出了相應(yīng)模型的性能指標(biāo)比較結(jié)果。

從主觀評價上看，圖2（a）～圖2（c）重建效果都較理想，但圖2（a）、圖2（b）在圖像平坦區(qū)域存在明顯的階梯效應(yīng)，畫面整體不夠平滑，存在嚴(yán)重的噪聲。圖2（c）相較圖2（a）、圖2（b）減少了階梯效應(yīng)，畫面整體平滑，自然柔和。從客觀評價上看，本文方法取得的峰值信噪比較BTV和文獻(xiàn)[12]高，均方誤差相對較小。實驗數(shù)據(jù)表明，重建后圖像的質(zhì)量明顯增強(qiáng)，較好地減少階梯效應(yīng)，重建出的結(jié)果質(zhì)量更好。此算法邊緣強(qiáng)度較BTV低，是由于邊緣處存在擴(kuò)散，有模糊情況出現(xiàn)。

實驗二：隨機(jī)加入高斯噪聲和脈沖噪聲，低分辨率圖像像素（75×75），放大因子為2，實驗結(jié)果如圖3所示，圖3（a）序列低分辨圖像中的一幀；圖3（b）為BTV重建效果；圖3（c）為L1和L2混合范式重建效果；圖2（d）為本文方法。表2體現(xiàn)了相應(yīng)的性能指標(biāo)比較結(jié)果。

從主觀評價上看，圖4（a）～圖4（c）重建效果都較理想，但從圖4（a）、圖4（b）在圖像平坦區(qū)域存在明顯的階梯效應(yīng)，畫面整體不夠平滑，存在嚴(yán)重的噪聲。圖4（c）相較圖4（a）、圖4（b）減少了階梯效應(yīng)，畫面整體平滑，自然柔和。從客觀評價上看，本文方法取得的峰值信噪比較BTV和文獻(xiàn)[12]高，均方誤差相對較小。實驗數(shù)據(jù)表明，重建后圖像的質(zhì)量明顯增強(qiáng)，較好地減少階梯效應(yīng)，重建出的結(jié)果質(zhì)量更好。此算法邊緣強(qiáng)度較BTV低，是由于邊緣處存在擴(kuò)散，有模糊情況出現(xiàn)。

3 結(jié) 語

本文針對TV模型和調(diào)和模型的不足提出噪聲抑制和邊緣保存的超分辨率重建模型，通過與擴(kuò)散方程相結(jié)合能自適應(yīng)在平滑噪聲保存邊緣和輪廓等細(xì)節(jié)信息。試驗結(jié)果表明，本文算法可以有效地濾除噪聲保留邊緣細(xì)節(jié)，而且重建出的圖像，均方誤差小、峰值信噪比高、圖像質(zhì)量更好。

參考文獻(xiàn)

[1] 王益艷.基于局部結(jié)構(gòu)信息的自適應(yīng)混合變分模型[J].陜西科技大學(xué)學(xué)報，2014，32（6）：170?174.

[2] 張紅英，吳亞東，吳斌.基于變分PDE的非線性數(shù)字混合濾波器[J].計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報，2007，19（9）：1089?1093.

[3] GUICHARD F， MOISAN L， MOREL J M. A review of PDE models in image processing and image analysis [J]. Journal de physique IV： 2002， 12（1）： 137?154.

[4] 余博，郭雷，錢曉亮，等.一種新的自適應(yīng)雙邊濾波算法[J].應(yīng)用科學(xué)學(xué)報，2012，30（5）：517?523.

[5] PERONA P， MALIK J. Scale?space and edge detection using anisotropic diffusion [J]. IEEE transactions on pattern analysis and machine intelligence： 1990， 12（8）： 629?639.

[6] 王歡，王永革.基于L1/2正則化的超分辨率圖像重建算法[J].計算機(jī)工程，2012，38（20）：191?194.

[7] SONG B. Topics in variational PDE image segmentation， in?painting and denoising [D]. Los Angeles： University of California， 2003.

[8] 陳遠(yuǎn)旭，羅予頻，胡東成.基于PDE正則化的超分辨率圖像重構(gòu)方法[J].計算機(jī)工程，2007，33（22）：4?5.

[9] MAISELI B J， ALLY N， GAO H J. A noise?suppressing and edge preserving multiframe super resolution image reconstruction method [J]. Signal processing： image communication， 2015， 34： 1?13.

[10] 楊宇翔.圖像超分辨率重建算法研究[D]. 合肥：中國科學(xué)技術(shù)大學(xué)，2013.

[11] YUAN Jianhua. Adaptive regularization for super?resolution image reconstruction based on local structures [J]. Journal of computer applications， 2009， 28（3）： 11?15.

[12] 李銀輝.基于L1和L2混合范式的序列圖像超分辨率重建[J].計算機(jī)應(yīng)用，2015，35（3）：840?843.