圖約束字典和加權稀疏表示人臉超分辨率算法

黃克斌，胡瑞敏，王 鋒，韓 鎮，盧 濤，江俊君

(1.黃岡師范學院數字媒體技術系，湖北黃岡438000;2.武漢大學國家多媒體軟件工程技術研究中心，湖北武漢430072)

視頻監控具有實時、可視、可記錄及信息量大等特點，在安防、交通、生產管理等各應用領域發揮重大作用。監控視頻中的人臉圖像是辨識關鍵人物最直接的線索。但是在實際監控應用中，由于攝像頭和人臉距離通常較遠，視頻監控系統的帶寬和存儲資源有限等原因，往往導致監控視頻中人臉圖像的分辨率較低，難以達到辨識要求。人臉超分辨率技術也叫做人臉幻象技術(Face Hallucination)［1］，它能夠在不改變硬件環境的情況下，從一幅或多幅低分辨率輸入人臉圖像中，重建出一幅高分辨率的人臉圖像，達到改善人臉圖像的清晰度的目的。該技術在安防監控、計算機視覺等領域中具有重要的應用。

自Baker和Ce Liu等人提出“人臉幻象”的概念之后，人臉超分辨率的研究就受到了廣泛的關注，出現了一系列的人臉超分辨率算法，如基于子空間的方法［2-4］、基于流形的方法［5-6］和基于稀疏表示的方法［7-9］等。本研究中主要關注基于稀疏表示的人臉超分辨率方法。

稀疏表示(Sparse Representation)被認為是一種新型、有效而且魯棒的特征表示方式，成功地應用于一系列實際問題中，是目前最熱門的研究課題之一［10］。Yang等首次將壓縮感知的思想應用到超分辨率領域，提出了基于稀疏表示的自然圖像超分辨率算法［7］。該方法充分利用稀疏表示符合人眼感知特性的優勢，自動選取近鄰個數，避免了人為指定近鄰塊個數會導致合成信息不足或過擬合的弊端，取得了較好的超分辨率效果。在Yang的基礎上，Chang等提出基于稀疏表示和雙字典學習的人臉素描圖像合成方法［8］，Jung等提出了基于稀疏表示和原始樣本塊字典的人臉超分辨率算法［9］。

盡管基于稀疏表示的人臉超分辨率方法比其他方法取得了更好的效果，但是，已有的基于稀疏表示的方法較少考慮樣本數據內在的幾何結構，這影響了冗余字典的表達能力。最近研究表明，保持數據內部的局部拓撲結構能有效改善稀疏編碼的效果［11-13］。因此，本文提出了一種基于圖約束字典和加權稀疏表示的人臉超分辨率算法，算法包括訓練和重建兩個階段。在訓練階段，三方面措施被用于提高冗余字典的表達能力:一是利用人臉的位置信息對樣本進行聚類，保持人臉塊的全局信息;二是利用圖約束稀疏編碼進行字典的學習，保持人臉塊的局部信息;三是利用聯合訓練高低分辨率冗余字典，保持高低分辨率字典對在內部流形結構上的一致性。在重建階段，加權稀疏編碼均值被用于消除超分辨率重建過程中的稀疏編碼噪聲，以提高高分辨率人臉圖像重建系數的精度。實驗結果證明了該方法的有效性。

1 圖約束稀疏編碼

1.1 圖的構建

譜圖理論［14］和流形學習理論［13］的研究表明，散布點的局部幾何結構可以通過近鄰圖進行有效地建模。這里簡要介紹近鄰圖的構建過程。

假設 X= ［x1，x2，…，xN］∈ RM×Q是一個數據集，M表示數據維數，Q表示數據集中元素的個數。基于數據集X構建的圖表示為G=(V，W)，其中，V=Q表示該圖中頂點的個數，每個數據點作為圖的一個頂點。每兩個頂點之間用無向邊 wi，j連接，wi，j表示頂點 i和頂點 j之間的相似性，則數據集 X 的權重矩陣表示為 W= ［wi，j］Q×Q。計算頂點之間權重的方法主要有三種，分別是:0-1權重法、熱核權重法和點積權重法［12］。由于熱核權重法更適合于圖像處理，這里采用熱核權重法計算頂點之間的相似性權重。歐幾里德距離空間的熱核權重表示為

式中:h為常數，h＞0，其值取決于期望的稀疏編碼系數權重的分布幅度，期望的稀疏編碼系數權重的分布幅度大，則h取值大;ci為歸一化。權重矩陣W表示為

式中:Nk(xi)表示數據點xi的K近鄰數據集合。權重矩陣W包含了整個數據空間的幾何結構信息。基于以上圖模型，將每個人臉圖像塊作為一個數據點，從而可以實現訓練樣本庫的幾何圖的構建。

1.2 圖約束稀疏編碼

假設 X= ［x1，x2，…，xN］∈ RM×Q表示原始數據矩陣，D= ［d1，d2，…，dL］∈ RM×L表示字典矩陣，S= ［s1，s2，…，sN］∈RL×Q表示數據集X在字典D上的稀疏編碼系數矩陣。對數據集X進行稀疏編碼的目的在于找到一個字典矩陣D和一個稀疏系數矩陣S，使得二者的乘積能夠盡可能地逼近原始數據矩陣。稀疏編碼的目標函數表示為

式中:第一項為逼近誤差項;第二項為稀疏性約束項;λ為正則化參數，用于平衡逼近誤差和稀疏性之間的權重。

為了實現原始數據集內部的幾何圖結構向稀疏編碼系數空間的映射，通常假設在歐幾里德距離空間近鄰的兩個原始數據點xi和xj，在稀疏編碼系數空間的表示系數si和sj也是近鄰的。該假設得到了大量實踐的驗證［11-13］。因此，K近鄰圖約束可以表示為

式中:I為單元矩陣;L=(I-W)(I-W)T。將K近鄰圖約束結合到原始的稀疏編碼框架中，新的優化問題可以表示為

式中:常數β用于平衡K近鄰圖約束項在優化過程中的比重。式(5)同時擁有兩個變量D和S，是一個非凸優化問題，無法正常求解。對上式通常采用迭代方法求解，即先固定一個變量，求解另一個變量。

2 基于圖約束字典和加權稀疏表示的人臉超分辨率算法

2.1 圖約束位置塊字典的學習

由于人臉較之自然圖像更具有規則性。人臉圖像分塊的位置，如眼睛、鼻子、嘴等，包含了人臉圖像重建的先驗信息。因此，在構建學習字典的過程中，首先根據位置信息，對人臉圖像分塊進行聚類。同一位置上的分塊作為一個訓練集。

假設 I={I}Q= ［I，I，…，I］∈ RM×Q和HH，qq=1H，1H，2H，Q分別表示對應的高低分辨率訓練圖像集矩陣，矩陣的列數Q表示訓練圖像數量，矩陣的行數M、N分別表示高低分辨率圖像向量的維數，其中M=s2N，s表示下采樣的倍數。訓練集中的每幅圖像分割成P個小塊。根據人臉圖像的位置信息，所有的訓練塊可以分為P個集合。高分辨率訓練塊集合表示為{I1}Q，{I2}Q，…，{IP}Q，低分辨率訓練塊集合表示為{I1}Q，{I2}Q，…，{IP}Q。由于L，qq=1L，qq=1L，qq=1人臉圖像事先進行了對齊操作，相同位置塊集合能提供更多的重建信息。

對于給定的位置P，對應的高、低分辨率塊集合IpH={IpH，q|1≤q≤Q}和IpL={IpL，q|1≤q≤Q}被用于訓練高、低分辨率字典DpH和DpL。基于圖約束位置塊的高、低分辨率字典分別可以通過式(6)、式(7)得到

為了保持高、低分辨率字典DpH和DpL中高、低分辨率圖像塊之間的映射關系，這里采用聯合字典學習方法進行字典對的學習。通過聯合字典學習，只需一次稀疏分解，可以同時訓練得到高、低分辨率兩個字典，并且兩個字典共享相同的稀疏編碼系數。圖約束聯合字典對學習的目標函數如下

因此，高、低分辨率訓練樣本集可以表示為IpH=DpHS和IpL=DpLS。采用圖約束位置塊聯合字典對訓練，保證了SH和SL的一致性。

2.2 重建系數的優化求解

在圖像超分辨率場景下，通常假設高低分辨率圖像塊擁有同樣的稀疏編碼系數。因此，低分辨率圖像塊的稀疏編碼系數可以被映射到高分辨率圖像塊字典上，從而生成高分辨率圖像塊，即

然而，實際超分辨率應用中，高、低分辨率圖像塊的稀疏編碼系數并不完全一致，之間存在稀疏編碼噪聲σS=SH-SL。通過抑制稀疏編碼噪聲，可以提高重建過程中，高、低分辨率編碼系數的一致性，即可提高超分辨率圖像重建的精確度。因此，在求解輸入低分辨率圖像塊的稀疏編碼系數時，可以加入稀疏編碼噪聲約束以提高重建系數求解的精確度。優化重建系數求解的目標函數為

式中:γ是正則化常量;lp范數用于表示SH和SL之間的距離。由于SH是未知的，因此，稀疏編碼噪聲無法直接計算。文獻［9］提出了利用SH的稀疏編碼均值E［SHN(k)］表示SH的思路。假設稀疏編碼噪聲近似于零均值隨機變量，那么高、低分辨率圖像塊的稀疏編碼均值非常接近，即。式(10)可表示為

這里采用加權的K近鄰塊的稀疏編碼均值來表示E［SLN(p)］，距離越遠的近鄰塊，權重越小，反之，權值越大。輸入圖像塊的K近鄰稀疏編碼均值，采用以下公式計算獲得

式中:Sp，k是第 k個近鄰塊的稀疏編碼系數;ωp，k是第 k個近鄰塊的稀疏編碼系數的權重;Np表示圖像塊p的K近鄰塊組成的集合，k∈Np。

2.3 基于圖約束字典和加權稀疏表示的人臉超分辨率算法

本算法主要包括字典學習和高分辨率圖像重建兩個階段。前者是離線完成，得到一系列高低分辨率人臉圖像塊冗余字典對;后者是在線完成，通過將重建高分辨率圖像塊進行交疊融合，得到最終的高分辨率人臉圖像。整個算法過程表示如下。

1)離線訓練階段

(1)輸入訓練集IH，IL，正則化參數λ，β。

(2)構建相似矩陣W，矩陣中的元素定義如下

(3)計算矩陣

(4)聯合訓練過完備字典對

(5)重復(2)～(4)，獲取所有位置的字典對序列。

(6)輸出高、低分辨率字典對序列

2)在線重建階段

(1)輸入高、低分辨率字典對序列

測試圖像IT，正則化參數λ，γ。

(2)For each LR patch IpTfrom IT

計算輸入圖像塊IpT的K近鄰稀疏編碼均值;計算輸入圖像塊IpT的稀疏編碼系數;生成高分辨率圖像塊I*pT=DpHSp。

(3)End for。

(4)交疊生成的高分辨率圖像塊，得到最終高分辨圖像塊I*T。

(5)輸出高分辨率圖像I*T。

3 實驗結果及分析

采用MATLAB 7.8(R2009a)作為仿真實驗平臺在PC 機上(雙核3.20 GHz CPU，4 Gbyte RAM ，Windows7 操作系統)實現了提出的算法。實驗中，采用AR［15］人臉數據庫作為訓練和測試圖像。AR數據庫有4 000多張正面人臉圖像組成，分別來自126個人，其中，男性70人、女性56人，每個人獲取26張不同表情、不同照度和不同遮擋程度的圖像。這些圖片分兩個時間段分別獲取。本實驗中，選取AR數據庫中同一時間獲取的100人(其中，男女各50人)不同表情、不同照度情況下的正面圖像用于實驗，每人選取7張圖像。所有的人臉圖像均被裁剪為120×160像素大小，選取12個特征點進行仿射變換對齊。部分對齊和歸一化處理后的AR人臉圖像如圖1所示。

圖1 部分AR人臉數據庫樣本圖像

將對齊后的人臉圖像，進行降質處理，得到與高分辨率圖像對應的低分辨率人臉圖像。降質過程如下

式中:X，y分別表示高、低分辨率人臉圖像;B表示模糊核為8×8的平均模糊操作;U表示4倍下采樣操作;n表示均方差為10的高斯加性噪聲。在高、低分辨率人臉圖像對中，隨機選取90個人的630對人臉圖像作為訓練樣本，剩下的10個人的70對人臉圖像作為測試圖像。圖像分塊的大小為8×8像素，相鄰塊交疊32像素。

為了驗證算法的有效性，將本算法重建圖像的主客觀質量，與雙三次插值算法、Jung提出的算法［9］進行比較。Jung方法中的正則化參數設置為0.05。本文提出方法中 λ =10，β =0.03，γ =0.05，K=5 。

圖2為主觀質量比較結果。從圖中可以看出，雙三次插值算法重建的結果非常平滑，但是不夠清晰，也難以辨識。這主要是由于雙三次插值算法在放大重建低分辨率圖像過程中，并沒有增加任何新的信息。Jung提出的方法都是基于塊位置的人臉超分辨率方法，較之雙三次插值方法，結果圖像的清晰度有了明顯的改進。但是，Jung提出的方法在重建圖像的輪廓邊緣都有明顯的鬼影效應，重建人臉圖像有或輕或重的眼鏡假象。較之參考算法，本文提出的基于圖約束稀疏編碼的人臉超分辨率方法明顯地改善了重建結果圖像的清晰度，也減少了重建帶來的人工效應和鬼影效果。本文方法取得了比參考算法更好的主觀質量。

圖2 主觀質量

表1為客觀質量比較結果。較之參照算法，本文提出的方法重建的結果圖像在客觀質量方面具有較高的峰值信噪比(PSNR)和結構相似性(SSIM)(PSNR和SSIM值均是越大越好)，這表明本文方法重建的結果圖像更接近于原始的高分辨率圖像。

表1 客觀質量比較結果

總之，無論從人眼視覺效果，還是客觀評價指標，均表明本文提出的方法可以更好地對人臉圖像進行超分辨率處理，獲得更好的圖像重建質量。

4 小結

本文提出了一種基于圖約束字典和加權稀疏編碼的人臉超分辨率算法。該算法在字典訓練階段引入圖約束正則項，利用加權稀疏表示提高重建系數精確度，從而改進了已有算法性能。主客觀仿真實驗結果證明了該方法的有效性。后續研究中，自適應正則化參數的選擇將有待進一步完善。

［1］BAKER S，KANADE T.Limits on super-resolution and how to break them［J］.IEEE Trans.Pattern Analysis and Machine Intelligence，2002，24(9):1167-1183.

［2］WANG X，TANG X.Hallucinating face by eigentransform［J］.IEEE Trans.Systems，Man and Cybernetics，2005，34(3):425-434.

［3］LIU C，SHUM H，ZHANG C.A two-step approach to hallucinating faces:global parametric model and local nonparametric model［C］//Proc.2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.［S.l.］:IEEE Press，2001:192-198.

［4］史云靜，虞濤，朱秀昌.基于訓練集分層的圖像超分辨率重建［J］.電視技術，2012，36(19):18-22.

［5］ZHANG Xuesong，PENG Silong，JIANG Jing.An adaptive learning method for face hallucination using locality preserving projections［C］//Proc.8th IEEE International Conference on Automatic Face＆Gesture Recognition.［S.l.］:IEEE Press，2008:1-8.

［6］CHANG H，YEUNG D，XIONG Y.Super-resolution through neighbor embedding［C］//Proc.IEEE Computer Society Conference on Computer Vision and Pattern Recognition.［S.l.］:IEEE Press，2004:275-282.

［7］YANG J，TANG H，MA Y，et al.Face hallucination via sparse coding［C］//Proc.2008 IEEE International Conference on Image Processing.［S.l.］:IEEE Press，2008:1264-1267.

［8］CHANG L，ZHOU M.Face sketch synthesis via sparse representation［C］//Proc.2010 IEEE International Conference on Pattern Recognition.［S.l.］:IEEE Press，2010:2146-2149.

［9］JUNG C，JIAO L，LIU B，et al.Position-patch based face hallucination using convex optimization［J］.IEEE Signal Processing Letters，2011，18(6):367-370.

［10］DONOHO D.Compressed sensing［J］.IEEE Trans.Information Theory，2004，54(4):1289-1306.

［11］YANG S，WANG M，CHEN Y，et al.Single-image super-resolution reconstruction via learned geometric dictionaries and clustered sparse coding［J］.IEEE Trans.Image Processing，2012，21(9):4016-4028.

［12］CAI D，BAO H，HE X.Sparse concept coding for visual analysis［C］//Proc.IEEE Computer Society Conference on Computer Vision and Pattern Recognition.［S.l.］:IEEE Press，2011:2905-2910.

［13］HE X，NIYOGI P.Locality preserving projections［C］//Proc.Advances in Neural Information Processing Systems 16(NIPS).［S.l.］:MIT Press，2003:290-307.

［14］BELKIN M，NIYOGI P.Laplacian eigenmaps and spectral techniques for embedding and clustering［C］//Proc.Advances in Neural Information Processing Systems.［S.l.］:MIT Press，2002:585-592.

［15］MARTINEZ A，BENAVENTE R.The AR face database［S］.1998.