基于L1—L2混合噪聲模型的圖像超分辨率重建方法

李浚魁　劉輝

摘要：文章提出了一種基于L1-L2混合噪聲模型（HNM）方法用于圖像、視頻的超分辨重建，該方法有效利用L1范數在突變區域較好保持圖像邊緣信息的特點，同時兼顧了L2范數對圖像平坦區域的噪聲抑制特性。針對求解過程中噪聲分布的改變，L1、L2范數的選擇問題，提出一種自適應隸屬度（AMD）方法，該方法不僅能達到理想的實驗效果，而且大大地減少了迭代次數與運算時間。

Abstract： L1-L2 hybrid noise model （HNM） method is proposed in this paper for image/video super-resolution. This method has the advantages of both L1 norm minimization （i.e. edge preservation） and L2 norm minimization （i.e. smoothing characterization）. In view of noise distribution changing and selecting L1 norm minimization or L2 norm minimization， the paper propose an efficient adaptive membership degree （AMD） method， which get the ideal result but the proposed AMD method can reduce the number of iterations and save much computational cost.

關鍵詞：混合噪聲模型；超分辨率；L1范數；L2范數；自適應隸屬度

Key words： hybrid noise model；super-resolution；L1 norm；L2 norm；adaptive membership degree

中圖分類號：TP751 文獻標識碼：A 文章編號：1006-4311（2016）06-0192-03

0 引言

超分辨率重建技術，利用拍攝目標的先驗信息、單幅圖像的信息以及多幅圖像間的補充信息，以時間帶寬換取空間分辨率，提取出低分辨率圖像中的高頻信息，使重建結果更接近于理想未退化的圖像，廣泛地應用于圖像視頻處理領域，如遙感圖像，醫學圖像，視頻監控和高清電視等。但由于其利用空域先驗信息的能力的局限性，當前的研究多集中在空域。空域法主要有迭代反投影（Iterative back projection， IBP）[1]、凸集投影（Projection on to convex sets， POCS）[2]、最大后驗概率估計（Maximum a posteriori，MAP）[3]以及最大似然估計（Maximum likelihood，ML）。其中，迭代反投影運算量小，收斂速度較快，但是難以利用先驗約束信息，超分辨率結果不唯一。凸集投影和最大后驗概率估計是目前研究最多的方法，其成像模型可以方便地利用先驗信息，但是運算量大，收斂速度慢。最大似然估計可以看作最大后驗概率估計在等概率先驗模型下的特例[4]。

通常情況下，低分辨率圖像需要預先進行運動估計，點擴散函數（PSF）估計以及亮度校正等[5-7]。在現實世界中，許多真實的圖像、視頻序列中，低分辨率圖像、視頻序列下觀測模型中的噪聲服從拉普拉斯分布（如椒鹽噪聲）[5，7]，由于高斯噪聲分布通常被看作是均值濾波器，它能夠使圖像具有更好的平滑效果，而拉普拉斯噪聲分布通常被看作中值濾波器，它能夠使圖像保持良好的邊緣效果[5]。

在本文中，我們提出了一種基于高斯分布和拉普拉斯分布的混合噪聲模型。由于在超分辨率重建迭代過程中，噪聲的分布會發改變，因此，我們提出了一種自適應隸屬度（AMD）方法，該方法不僅能達到有效的實驗效果，而且大大地減少了迭代次數與運算時間。

1 圖像模型

1.1 觀測模型

超分辨率重建圖像序列的退化模型可用一個線性過程來描述，該觀測模型可由下面的退化過程表示[7-8]：

yk=DkHkFkx+Nk，k=1，…，K （1）

其中，K是低分辨圖像的個數，x是高分辨率圖像，yk代表著第k幅低分辨率圖像，Dk和Hk各代表下采樣算子和模糊算子（系統的點擴散函數PSF），Fk表示第k幅低分辨圖像的幾何運動算子，NK表示第k幅圖像的隨機加性噪聲。

1.2 運動模型

對于低分辨率圖像的幾何運動算子Fk的獲取，本文采用平面投影運動模型（8DoF）[6]來獲取，8DoF是從不同視角捕捉到的平面和近平面運動目標，乃至攝像機沿光軸旋轉情況下進行運動建模的最佳方法。對于小范圍、短時目標運動（如連續視頻幀之間），8DoF變換能夠在場景整體運動未知的情況下獲得運動目標模型的足夠的逼近精度。

1.3 模糊算子（PSF）

因此，從式（8）我們可得，如果比值v>0.7602，則噪聲更傾向于高斯分布，反之，噪聲更傾向服從拉普拉斯分布。

L2處理高斯噪聲時圖像能夠保持更好的平滑特性，L1范數處理拉普拉斯噪聲時圖像能夠更好地保持邊緣特性。為了使圖像能夠同時具有更好的平滑特性與更好的邊緣特性，在本文中，我們定義了一個關于v的拉普拉斯的隸屬函數H（v）（圖1灰線所示）。由于通過式（8）我們可知v=0.7602時，兩種噪聲分布趨于相等，即為0.5，則H0.7602=0.5，我們利用式（3）中的尺度權重因子α來約束H0，即

2.4 自適應隸屬度方法（AMD）

我們使用SCG（scaled conjugate gradient）方法[8]來優化式（12）。隨著迭代過程的進行，我們會發現式（12）中的數據誤差項中的噪聲分布會發生改變，因此在每次完成迭代過程后根據此時的數據誤差項中的噪聲分布更新H（v）的值，并且根據v的變化，我們提出了一種自適應隸屬度方法（AMD），該方法的偽代碼如表1所示。

3 實驗與分析

本文分別將以L1范數和L2范數結合的BTV的超分辨率重建方法，記為L1BTV[5]和L2BTV[6]，本文采用了實驗圖像為合成圖像，分別加入了高斯噪聲和椒鹽噪聲，并假設PSF和運動算子可知。為了驗證本文提出的L1-L2混合噪聲模型圖像超分辨率方法（在下文中，稱為HNM）的有效性，以及在保持圖像平滑和保持圖像邊緣的優越性，本文將與L1BTV和L2BTV超分辨重建方法作實驗對比。為了客觀評估方法的性能，本文采用峰值信噪比（Peak signal to noise ratio，PSNR）和結構相似度（Structural similarity，SSIM ）[6]超分辨重建圖像客觀質量的定量評價方法。

圖2（a） 是其中一幅Lena退化后的低分辨率圖像加入方差σ2為0.08高斯噪聲，圖2（b）是HNM方法重建的結果，圖2（c）是L1BTV方法重建的結果，圖2（d）是L2BTV方法重建的結果。從表2中可以看出，此時的HNM重建的Lena的峰值信噪比（PSNR）為36.41，結構相似度索引（SSIM）為0.9855，而L1BTV，L2BTV重建Lena的峰值信噪比（PSNR）分別為34.35和32.79，結構相似度索引（SSIM）分別為0.9842和0.9836。另外，從圖3可以看到隨著尺度權重因子α的變化，HNM方法與L1BTV，L2BTV方法重建圖像的結構相似度索引（SSIM）變化趨勢圖也說明了本文方法要比L1BTV，L2BTV方法重建效果較理想。

4 結論

文章提出一種基本L1-L2混合噪聲模型對圖像進行超分辨重建方法，該方法結合了高斯模型與拉普拉斯模型的優點，我們設計一種關于這高斯模型與拉普拉斯模型關系的隸屬函數，根據該隸屬函數，在迭代過程中，我們可以很好的選擇噪聲模型分布。由于迭代過程中，噪聲分布會發生改變，我們提出了一種自適應隸屬度（AMD）方法，該方法可以很有效地結束迭代。通過以上實驗結果，文章方法與L1BTV、L2BTV方法相比較，在處理不同噪聲的時候具有較高的峰值信噪比（PSNR）和結構相似度（SSIM），而且在平滑、邊緣保持等細節區域具有更好的重建效果。具有更好優越性。

參考文獻：

[1]Irani M， Peleg S. Improving resolution by image registration[J]. CVGIP： Graphical models and image processing， 1991， 53（3）： 231-239.

[2]禹晶，蘇開娜，肖創柏. 一種改善超分辨率圖像重建中邊緣質量的方法[J].自動化學報，2007，33（6）：577-582.

[3]Lee E S， Kang M G. Regularized adaptive high-resolution image reconstruction considering inAMDurate subpixel registration[J]. Image Processing， IEEE Transactions on， 2003， 12（7）： 826-837.

[4]安耀祖，陸耀，趙紅.一種自適應正則化的圖像超分辨率方法[J].自動化學報，2012，38（4）：601-608.

[5]Farsiu S， Robinson M D， Elad M， et al. Fast and robust multiframe super resolution[J]. Image processing， IEEE Transactions on， 2004， 13（10）： 1327-1344.

[6]Pickup L C. Machine learning in multi-frame image super-resolution[D]. Oxford University， 2007.

[7]Farsiu S， Robinson D， Elad M， et al. Robust shift and add approach to super-resolution[C] Optical Science and Technology， SPIE's 48th Annual Meeting. International Society for Optics and Photonics， 2003： 121-130.

[8]Nabney I. NETLAB： methods for pattern recognition[M]. Springer， 2002.