基于局部約束的人臉圖像超分辨率重構算法

朱華生，徐晨光

（南昌工程學院信息工程學院，江西南昌330099）

基于局部約束的人臉圖像超分辨率重構算法

朱華生，徐晨光

（南昌工程學院信息工程學院，江西南昌330099）

基于超完備稀疏表示理論，并根據人臉圖像的特征，提出一種基于局部約束的人臉圖像超分辨率重構算法。該算法首先通過樣本訓練出一對高、低分辨率相關聯的冗余字典；再根據局部范圍內人臉圖像的相關性，重構出高分辨率圖像；最后對圖像進行全局優化。為驗證算法的有效性，本文利用ORL標準圖像庫進行了對比實驗，實驗結果表明，該算法能夠有效提高峰值信噪比，同時能夠更好地恢復人臉圖像的高頻信息，有一定的實用價值。

超分辨率重構；稀疏表示；局部約束；人臉圖像；K－SVD

1 引 言

隨著視頻監控系統和數碼攝像產品的普及，人臉圖像在安全防范、刑事偵察和法庭取證等領域發揮了越來越重要的作用。在實際應用中人們總希望獲得高分辨率（High Resolution，HR）人臉圖像，因為人臉圖像的分辨率越高，可以提供的圖像細節越多，對實際應用的價值就越高。但在現實生活中往往獲得的是低分辨率（Low Resolution，LR）人臉圖像，例如：在視頻監控系統中獲得的圖像，尤其是拍攝距離較遠的人物時。因此，如何將低分辨率圖像通過圖像超分辨率（Super Resolution，SR）重構技術［1－3］構建出高分辨率圖像是一個有價值的研究內容。

圖像超分辨率重構算法主要分為3種類型，即：基于插值、基于重建和基于學習的重構方法［4－5］。基于插值方法的主要思路是：先對各幀圖像之間的相對運動信息進行估計，以獲得HR圖像在非均勻間距采樣點上的像素值，下一步通過非均勻插值得到HR柵格上的像素值，最后通過圖像恢復去除模糊以及降低噪聲。基于重建方法的主要思路是：假設超分辨率圖像在適當的變形、平移和子采樣及噪聲干擾下，利用多幀低分辨率圖像作為數據一致性約束，并結合圖像的先驗知識進行求解。基于學習的方法是利用給定的訓練圖像集來計算測試樣本patch與訓練圖集patch之間的鄰域關系，然后構造最優權值約束來獲得先驗知識，最后逼近測試樣本的高分率圖像。

基于學習的方法是近期的研究熱點。基于學習的典型算法包括：Freeman［6］等人提出的Examplebased方法；Chang［7］等人提出的領域嵌入方法（neighbor embedding）；Yang［8］等人提出的基于超完備稀疏（spars representation）表示理論的圖像超分辨率重建算法。基于學習的算法能夠彌補重建算法的很多不足，具有廣泛的應用前景。其中，基于超完備字典的信號稀疏表示［9－10］又是信號稀疏表示的研究熱點。

人臉圖像是一類特定領域的圖像。在人臉圖像超分辨率重建方面，Baker［11］等人第一次提出“虛幻臉（face hallucination）”算法，引入圖像的梯度先驗信息，即圖像的拉普拉斯金字塔、高斯金字塔的一階和二階梯度作為特征空間進行訓練。Liu［12］等人提出全局信息和局部信息相結合的算法；Wang［13］等人提出了特征變換的重構算法；張雪松［14］等人提出了特征子空間規整化的算法；蘭誠棟［15］等人提出了魯棒性人臉超分辨率算法；李濤［16］等人提出了基于學習的人臉圖像超分辨率重構算法等等。

盡管目前已有大量文獻提出了人臉圖像超分辯率重建算法，但很少考慮圖像局部間的相關性，從而導致重構圖像在某些輪廓部分產生不規則邊緣，使得圖像清晰度下降。本文提出一種基于局部約束的人臉圖像超分辨率重構算法，該算法利用周邊圖像小塊的權值相加來優化中心小塊圖像，優化后的圖像能夠很好地恢復人臉圖像的高頻細節信息。

2 人臉超分辨率重構算法設計

人臉圖像超分辯率重構算法的主要任務是：利用觀察到的低分辨率圖像，重構出一個與之對應的理想的高分辨率圖像。低分辨率圖像與高分辨率圖像之間的關系可以表示為：

其中，Y表示觀察到的低分辨圖像；X表示理想的高分辨率圖像；M表示退化模型。

已知Y，求解X，這是一個欠定問題，X具有無數種可能取值，所以不能直接求解。本文使用冗余字典的方法對公式（1）進行求解。本算法主要包括3部分，即：冗余字典構建、局部約束的人臉圖像重構和圖像的全局優化等。

2.1 冗余字典構建

冗余字典的構建是人臉圖像超分辨率重構算法的關鍵技術之一。冗余字典的構建方式主要有三種：一是采用已有的變換矩陣，如：非抽樣小波、可控小波、Curvelet變換等。二是采用參數可調的方式，如小波包、Bandelet變換等。三是采用樣本訓練的方法。因為樣本訓練的方法適應性強、效果佳，所以本文采用樣本訓練的方法。

樣本訓練的方法是：通過對樣本的學習建立低分辨率圖像和高分辨圖像之間的關系，最終生成一對冗余字典Dh和Dl。Dh是高分辨率圖像冗余字典，Dl是低分辨率特征圖像冗余字典。冗余字典構造包括樣本采集和字典學習兩部分。

樣本具體采集方法參見文獻［8］。訓練樣本集Y＝｛y1，y2，…，yN｝，N表示樣本的個數。每個樣本yi都是由高分辨率圖像塊hi和低分辯率圖像特征塊li聯合生成，如圖1所示。

圖1 訓練樣本

hi用于生成Dh，li用于生成Dl。hi直接由高分辨率圖像塊組成；li是由低分辨率圖像放大后的一階和二階梯度信息組成。用于提取圖像一階和二階梯度信號的濾波器如下：

常用的字典學習方法有：最大似然法、最優方向法、最大后驗概率法和K－SVD法［17］等。因為KSVD法能夠提高稀疏字冗余典編碼的計算速度，加快稀疏冗余字典的建立，所以本文選用該方法。

令D∈Rn×K，y∈Rn，α∈RK分別代表字典、訓練樣本以及訓練樣本的稀疏表示系數向量，Y＝{y}為訓練樣本的集合，A＝{α為Y的解向ii量集合。n是訓練樣本圖像塊的長度，N是訓練樣本集的總個數，K是字典D的原子個數，N＞＞K，并且K＞n。則K-SVD訓練算法的目標方程可表示為：

其中，T是稀疏度，表示系數中非零分量的數目的上限。

對公式（3）可以采用迭代方法進行求解。首先，假設字典D是固定的，采用OMP算法估計出樣本集Y的稀疏表示系數矩陣A；然后根據系數矩陣A，更新字典中的原子，從而找到更好的字典D。

假設矩陣A是固定的，則更新字典D的過程如下：

令di為字典D的第i列，αiT為系數A的第i行，假設要更新D的第k個原子。可以將公式（3）變形為：

公式中的DA被分解成K個秩1的矩陣的和。假設其中的（K－1）項是固定的，所以只要處理一項，即第k項。矩陣Ek代表的是去掉原子dk的成分在所有樣本中造成的誤差。令ωi記錄｛yi｝中使用原子di的那些圖像小塊，即：

定義矩陣Ωk大小為N×｜ωi｜，其在（ωk（i），i）處為1，其他地方全為0，并令＝Ωk，＝EkΩk。對公式（4）乘以Ωk得到：

對ERk進行SVD分解，得到ERk＝UΔVT，利用矩陣U的第一列去更新原子dk。如此循環不斷地對所有原子都進行更新，最終求得學習后的字典D。在圖像超分辨率重構時，再將字典D拆分為Dh和Dl一對字典。

2.2 局部約束的人臉圖像重構

局部約束的人臉重構由人臉圖像重構和局部約束優化兩部分組成。

人臉圖像重構方法是：首先將輸入的低分辨率圖像使用插值算法放大，然后再利用公式（2）對圖像進行濾波，得到特征圖像Y。再將Y分割成N個圖像塊，Y＝｛y1，y2，…，yn｝，對每個圖像塊y單獨進行稀疏分解，求得圖像塊y在低分辨率字典Dl的分解系數α。求解稀疏分解系統的公式如下：

目前，求解公式（7）中的稀疏分解系數α的算法主要有：匹配追蹤算法（MP）、正交匹配追蹤算法（OMP）、基追蹤算法（BP）等。其中OMP算法是對MP算法的一種改進算法，在精度要求相同的情況下，OMP算法的收斂速度更快。所以本文采用OMP算法求解公式（7）中的稀疏分解系數α。得到y的稀疏系數α后，再利用高分辨率字典Dh，計算出對應的高分辨率圖像塊x，計算公式如下：

將所有的低分辨率圖像塊y，都重構出對應的高分辨率圖像塊x，再將這些高分辨率圖像塊x組合成一幅完整的高分辨率圖像X。

以上每個圖像小塊都是單獨進行超分辨率重構，并沒有考慮人臉圖像局部范圍內整體結構，所以會導致重構圖像在某些輪廓部分會產生一些不規則的邊緣。為了解決這個問題，需要對重構出來的高分辨率圖像X進行局部約束優化處理。

局部約束優化的基本原理是：將人臉圖像分割成若干圖像小塊，則每一個圖像小塊，都可以通過其局部范圍內的周邊圖像小塊的權值相加來獲得。如圖2所示。人臉圖像X可以看成由若干個圖像小塊xi組成，每一個圖像小塊xi都可以通過周邊的圖像小塊xj的權值相加得到。

圖2 局部約束優化原理圖

局部約束優化的計算公式如下：

xi為待優化的圖像小塊，xj是以xi為中心，局部范圍內的圖像小塊，w（i，j）是權值，它的大小由xi和xj之間的相似度決定，權值w（i，j）的計算公式如下：

其中，參數h為控制權值隨著歐式距離增加的下降速度。

2.3 人臉圖像的全局優化

為了提高圖像的整體效果，還需要對圖像進行全局優化，優化公式如下：

其中，X0為原始高分辨率圖像；X為求得的高分辨率圖像；Y為觀察到的低分辨率圖像；M為降質矩陣；X*為最終的目標圖像。

可以利用迭代返向投影法（iterative back projection，IBP）求解以上優化問題。求解見公式（13）：

其中，Xn＋1、Xn分別是第（n＋1）次和第n次迭代求得的高分辨率圖像；MBP是為返投影矩陣。

3 實驗結果與分析

為了驗證本文算法的有效性，作者對低分辨率人臉圖像進行放大3倍的實驗。實驗時的具體參數如下：

在冗余字典構建中。樣本采集時，采集高分辨率圖像塊的大小為9×9像素，所以樣本中hi的長度為81。低分辨率圖像是由高分辨率圖像進行1／3下采樣獲得，然后再將低分辨率圖像使用插值算法放大2倍，最后使用公式（2）提取特征圖像。采集特征圖像塊的大小為6×6像素，所以樣本中li的長度為144。樣本的采集數量為50000個。冗余字典的原子個數為1024個。

在局部約束重構模型中。圖像塊的大小為3× 3像素，局部搜索區域的大小為7×7圖像，h的取值為30。

在全局優化中，迭代次數為10。

測試圖像選用ORL標準圖像庫進行實驗。并將結果與插值算法和文獻［8］算法進行了比較。

首先，采用被廣泛使用的峰值信噪比（PSNR）將實驗結果進行量化描述，3種算法的結果如表1所示。由表1可以看到，本文的所有重構圖像的PNSR值都高于其他方法。

其次，比較重構圖像的視覺效果。幾種算法重構出來的人臉圖像，如圖3所示。圖3中（a）、（b）、（c）、（d）、（e）分別為輸入的低分辨率圖像、采用插值算法重構的高分辨率圖像、采用文獻［8］算法重構的高分辨率圖像、采用本文算法重構的高分辨率圖像和原始高分辨率圖像。

表1 各種算法PSNR值比較

圖3 幾種算法重構出的人臉圖像

對比發現，本文算法重構出來的人臉圖像的視覺效果要比其他兩種算法好一些。

4 結束語

超完備稀疏表示理論在圖像壓縮、去噪和超分辨率重構等領域受到廣泛關注，并成為當前的研究熱點。本文在此基礎上，結合人臉圖像的特征，提出一種基于局部約束的人臉圖像超分辯率重構算法。本算法能夠有效提高峰值性噪比，能更好地恢復人臉圖像的高頻信息。但是，本算法仍然存在一些需要改進之處，例如：本文訓練出來的字典只是一些原子的集合，沒有考慮原子之間的結構。如果能夠引入原子之間的相關性的先驗信息，這可以提高稀疏分解算法的精度。所以今后還需要對這一問題進行更深入的研究。

［1］ Kang M，Chaudhuri S.Super-resolution image reconstruction［J］.IEEE Signal Processing Magazine，2003，20（3）：19－20.

［2］ SFarsiu，D Robinson，M Elad，et al.Advanced and challenges in super-resolution［J］.International Journal of Image System and Technology，2004，14（2）：47－57.

［3］ Tsai R Y，Huang T S.Multiframe image restoration and registration［J］.Advances in Computer Vision and Image Processing，1984，（1）：317－339.

［4］ Pu Jian，Zhang Junping，Huang Hua.A survey of super resolution algorithms［J］.Journal of Shandong University：Engineering Science，2009，39（1）：1－7.（in Chinese）浦劍，張軍平，黃華.超分辨率算法研究綜述［J］.山東大學學報：工學版，2009，39（1）：1－7.

［5］ Wan Xuefen，Yang Yi，Cui Jian.Research on Super-resolution Image Reconstruction［J］.Laser＆Infrared，2011，41（11）：1278－1281.（in Chinese）萬雪芬，楊義，崔劍.圖像超分辨率重建處理算法研究［J］.激光與紅外，2011，41（11）：1278－1281.

［6］ Freeman W T，Jones TR，Pasztor E C.Example based super resolution［J］.IEEE Computer Graphics and Application，2002，22（2）：56－65.

［7］ Chang G，Yeung D Y，Xiong Y.Super-resolution through

neighbor embedding［C］／／Proceeding of IEEE Conf CVPR.Washington，DC：IEEE Press，2004：275－282.［8］ Yang JC，Wright J，et al.Image super-resolution as spars representation of raw image patches［J］.Proc.of International Conference on Computer Vision and Pattern Recognition（CVPR），2008，2：729－736.

［9］ Li Min，Cheng Jian，Le Xiang，et al.Super-resolution based on sparse dictionary coding［J］.Journal of Software，2012，23（5）：1315－1324.（in Chinese）李民，程建，樂翔，等.稀疏字典編碼的超分辨率重建［J］.軟件學報，2012，23（5）：1315－1324.

［10］Rubinstein R，Zibulevsky M，Elad M.Double sparsity：Learning spare dictionaries for sparse signalapproximation［J］.IEEE Trans.on Signal Processing，2010，58（3）：1553－1564.

［11］Baker S，Kanada T.Hallucinating face［C］／／Proceedings of the 4th International Conference on Automatic Face and Gesture Recognition，Washington D C，2000：83－89.

［12］Liu C，Shum H，Zhang C.A two-step approach to hallucinating face：Global parametric model and local nonparametric model［C］／／Proceedings of IEEE Int Conf on Computer Vision and Pattern Recognition（CVPR）.Hawaii，USA：［s.n.］，2001：192－198.

［13］Wang X G，Tang X O.Hallucinating face by eigentransformation［J］.IEEE Transactions on Systems，Man，and Cybernetics，Part-C，2005，35（3）：425－433.

［14］Zhang Xuesong，Jiang Jing，Peng Silong.Eigen-subspace regularized face image super-resolution reconstruction［J］.Journal of Computer-Aided Design＆Computer Graphics，2010，22（3）：487－493.（in Chinese）張雪松，江靜，彭思龍.特征子空間規整化的人臉圖像超分辨率重建［J］.計算機輔助設計與圖形學學報，2010，22（3）：487－493.

［15］Lan Chengdong，Hu Ruimin，Lu Tao，et al.Robust superresolution algorithm for low-quality surveillance face images［J］.Journal of Computer-Aided Design＆Computer Graphics，2011，23（9）：1474－1480.（in Chinese）蘭誠棟，胡瑞敏，盧濤，等.低質量監控圖像魯棒性人臉超分辨率算法［J］.計算機輔助設計與圖形學學報，2011，23（9）：1474－1480.

［16］Li Tao，Wang Xiaohua，Zhang Chao，et al.Face image super-resolution reconstruction based on learning［J］.Transactions of Beijing Institute of Technology，2012，32（4）：386－389.（in Chinese）李濤，王曉華，張超，等.基于學習的人臉圖像超分辨率重構算法［J］.北京理工大學學報，2012，32（4）：386－389.

［17］Rubinstein R，Zibulevsky M，Elad M.Double sparsity：learning spare dictionaries for spare signal approximation［J］.IEEE Trans.On Signal Processing，2010，58（3）：1553－1564.

Face image super-resolution reconstruction based on local constraint

ZHU Hua-sheng，XU Chen-guang
（School of Information Engineering，Nanchang Institute of Technology，Nanchang 330099，China）

Based on the overcomplete sparse representation theory，a face image super-resolution reconstructionmethod based on local constraint is proposed.First，a pair of associated redundant dictionary，including high-resolution（HR）and low-resolution（LR），are calculated through sample training.Based on the correlation in local scope of face image，the high-resolution image is reconstructed.Then，the image is optimized globally.To verify the validity of the algorithm，the contrast experiment ismade by using ORL standard image，the results show that the algorithm can work well in the actual conditions，and can recover the high-resolution information perfectly.

super-resolution reconstruction；sparse representation；local constraint；face image；K-SVD

TP391

A

10.3969／j.issn.1001-5078.2014.02.0

1001-5078（2014）02-0217-05

江西省教育廳科研項目（No.GJJ13762）資助。

朱華生（1965－），男，教授，主要研究工作是圖像處理。E-mail：zhuhuasheng＠sohu.com

2013-07-04