基于在線字典學習的人臉超分辨率重建

劉芳華+阮若林+王建峰+倪浩

摘 要： 針對基于學習的人臉超分辨率算法噪點、偽影較多，且噪聲魯棒性較差的問題，提出一種基于在線字典學習的人臉超分辨率重建算法。以人臉圖集作為訓練圖庫，運用在線字典學習方法提高字典訓練的精度。獨立調整字典學習階段的正則化參數和求解重建稀疏系數階段的以獲取最優的超完備字典和稀疏系數用于圖像重建。實驗結果表明，目標圖像峰值信噪比比同一類型的稀疏編碼超分法平均提高了0.85 dB，結構相似性增加了0.013 3，有效地抑制了噪點和偽影。在含噪人臉圖像應用中，噪聲水平提高時，峰值信噪比下降相對較平緩，提升人臉超分效果的同時改善了算法的噪聲魯棒性。

關鍵詞： 在線字典學習； 超分辨率重建； 含噪人臉圖像； 稀疏編碼

中圖分類號： TN911.73?34； TP391.9 文獻標識碼： A 文章編號： 1004?373X（2017）13?0057?05

Abstract： Aiming at the problems of more noisy points and artifacts， and poor noise robustness existing in the learning?based human face super?resolution algorithm， a human face super?resolution reconstruction algorithm based on online dictionary learning is proposed. The human face image set is taken as the training library. The online dictionary learning method is used to improve the accuracy of dictionary training. The regularization parameter λt of the dictionary learning phase is regulated independently， and regularization parameter λr in the reconstruction stage of the sparse coefficients is solved to get the optimal overcomplete dictionary and sparse coefficients for image reconstruction. The experimental results show that the peak signal?to?noise ratio （PSNR） of the target image of the proposed algorithm is 0.85 dB higher and the structural similarity is 0.0133 higher than that of the same type sparse coding super?resolution algorithm averagely， which can restrain the noisy point and artifact effectively. The application result of noisy human face image shows that the PSNR is decreased smoothly when the noise level is increased， which can improve the robustness against noise while promoting the performance of face super?resolution.

Keywords： online dictionary learning； super?resolution reconstruction； noisy human face image； sparse coding

0 引 言

在安全監控、授權、生物測量等人臉圖像應用領域，人臉圖像獲取時的外部條件不盡相同，如大多數監控場景中，攝像頭離監控對象較遠，導致場景圖像中人臉分辨率很低。因此需通過超分辨率重建等技術增強人臉分辨率，改善識別、建模等后續處理任務的效果[1]。為充分挖掘臉部的特殊結構，人臉超分算法大多運用稀疏編碼方法，在局部圖像子空間利用非負矩陣分解等算法解決低分人臉超分問題[2]。文獻[3]將人臉相關的超分方法稱為“虛幻臉”，運用啟發式方法建立基于圖像金字塔的迭代預測模型，因先驗不夠準確和像素獨立預測會產生圖像不連續和偽影。文獻[4]中的兩步統計法整合了全局主成分分析（Principal Component Analysis，PCA）模型和局部塊模型，前者用到的啟發式模型對超分結果過度渲染，而后者又過于復雜。文獻[5]中基于張量塊和殘差補償的方法給人臉增加更多細節，但偽影也較明顯。文獻[6]從圖像樣本塊學習得到多級局部約束，利用圖像塊修復方法恢復高分圖像。文獻[7]結合變形人臉模型和基于PCA的超分框架，將基于PCA的超分方法應用到低分輸入圖像的紋理和形狀中，重建相應的高分紋理和形狀，這兩種方法與原圖相差較大。文獻[8]將人臉圖像分為器官和面部輪廓兩部分，前者通過精確的學習算法保留高頻圖像結構的連續性，后者用學習到的統計先驗來凸顯輪廓結構，超分效果較好。

許多常規圖像超分算法用于人臉超分辨率重建也能取得較好的效果。文獻[9]采用流形學習方法，利用局部線性嵌入通過樣本學習得到高、低分辨率圖像之間的關系用于恢復目標高分圖像。文獻[10]提出的稀疏編碼超分方法利用聯合字典訓練生成超完備字典，但邊緣偽影較明顯。在一定的重建約束條件下，有的算法利用多幀序列圖像結合求解最大后驗概率完成超分任務，還有一些利用在局部圖像塊對學習到的先驗知識用于單圖超分。由于這類算法未考慮到人臉圖像的特征，且受字典精度影響較大，當輸入低分圖像的分辨率非常低時，算法效果較差。本文針對常規圖像超分算法的不足，以基于學習的人臉超分算法為基礎，提出基于在線字典學習的人臉圖像超分辨率重建算法，通過引入在線字典訓練和優化稀疏系數來提高超分效果。

1 基于學習的人臉超分辨率重建

根據稀疏表示理論，人臉、自然圖像等信號可以表示為超完備字典中一系列基向量的稀疏線性組合[11]。通常，基于學習的人臉超分辨率重建框架中，需求解以下目標函數的最小值：

式中：為正則化參數；為圖像塊集中的第個圖像塊，可表示為超完備字典與其對應的的稀疏系數的稀疏線性組合；和分別為數據擬合項和稀疏懲罰項。

與一些典型的基于稀疏表示的單幅圖像超分辨率重建模型一樣，引入拉格朗日乘子后，基于學習的人臉超分辨率重建問題可以表述為[12]：

式（2）可以看成一個典型的基追蹤問題或Lasso問題，正則化參數用于平衡式中的兩項。和兩個變量中一個固定求另一個時為經典的凸優化問題。可以通過最優方向法、奇異值分解[13]等方法迭代直到收斂，更新得到和同時，如果字典過大，稀疏系數的值可能會過小，因此需要約束的列使其范數小于或等于1，即訓練得到的超完備字典必須滿足其中約束條件為：

根據上述稀疏表示模型，人臉超分辨率重建可分為四步：

第一步，圖像塊處理。根據重建圖像建立高分人臉訓練圖庫，按照字典訓練要求將訓練圖像和輸入低分人臉圖像劃分為圖像塊，再利用特征提取算子提取人臉圖像特征，通常使用的含4個一維濾波器：為轉置。每個圖像塊經過濾波器處理后得到4個描述特征的向量，將它們組合起來可以形成一個總體特征向量來表示圖像塊[9]。

第二步，字典訓練。根據式（2），通過隨機填充、離散余弦變換等簡單方法設定初始字典，再用正交匹配追蹤等算法解出稀疏系數然后用奇異值分解等方法對稀疏字典逐列迭代更新得到高分字典和低分字典

第三步，求解稀疏系數。結合輸入低分人臉圖像塊和已解出的通過式（4）解出用于圖像重建的稀疏系數

在Matlab中可以利用SPAMS工具箱中提供的函數順利解出。

第四步，圖像重建。稀疏表示理論認為高、低分辨率空間中稀疏系數近似相同，即存在則高分圖像塊的高頻部分可以通過下式計算：

再將所有預測到的重疊若干像素合并所有高分圖像塊得到目標高分圖像的高頻部分。在重疊區域，最終恢復值為各像素多次預測得到的加權平均值。最后，將低分輸入人臉與插值放大后得到與目標圖像大小相同的作為重建圖像的低頻部分，與計算得到的高頻部分疊加得到目標高分圖像：

式中：為從高分圖像的第個位置上提取圖像塊的窗函數。除上述直接重建模型外，為使重建圖像嚴格滿足重建約束其中和分別為下采樣和模糊操作數。一些重建模型除包含重建約束項和稀疏超分正則項外，還引入局部先驗、非局部先驗等正則項，通過梯度遞減迭代計算出目標高分圖像[14]。

2 改進算法

以基于學習的超分辨率重建技術為基礎，文中算法在字典訓練時引入在線學習方法訓練生成超完備字典對，并通過優化正則化參數、改善噪聲的魯棒性來進一步提升算法的超分效果和去噪能力。

2.1 引入在線字典學習

在基于學習的超分辨率重建過程中，字典訓練的結果是影響超分結果的關鍵因素。在線字典訓練時，可看作是的統計參數組合，利用圖像塊進行字典更新時，其結果只與當前字典和輸入的圖像塊數據有關，而與之前的圖像塊數據無關[15]。也就是說，在線學習得到的字典更新時并不需要完整的歷史圖像塊信息，它與傳統的字典學習方法的區別可表述為：

在線字典學習過程中并不需要每次都記錄、處理它將當前的和上一步迭代生成的結合起來，可以統計地表示為這種字典學習方法生成的字典更為準確，而且在視頻幀序列等大規模動態數據的應用方面應用廣泛，這是傳統的字典學習方法無法企及的。因此，文中采用在線字典學習算法分別進行高、低分人臉樣本訓練，先后得到和具體方法如下：

（1） 初始化訓練參數。設定字典訓練階段用到的正則化參數和圖像塊大小以圖像塊集作為輸入信號，利用隨機矩陣、離散余弦變換、稀疏編碼等方法對初始字典進行初始化。

（2） 稀疏編碼計算稀疏系數。從初始字典開始，利用最小角回歸算法迭代求解：

式中：表示字典訓練的迭代次數，根據已知輸入的圖像塊向量更新稀疏系數雖然用于訓練的人臉圖像集非常大，但圖片數量通常是確定的，即訓練集尺寸是一定的。因此，盡管在線字典學習算法也適用于不定尺寸訓練集和大規模訓練集，文中為了平衡算法時間消耗和訓練效果，與一些傳統字典訓練算法比較，還是采用確定大小的訓練集進行字典訓練。

（3） 迭代更新字典。用作為熱啟動，結合每次更新得到的稀疏系數根據下式迭代更新

為了使的列不會因過大而導致其不滿足約束條件這里引入約束最優化來解決這個問題。結合牛頓迭代法進行歸一化處理后得到：

（4） 生成字典。次迭代完成后，生成超完備字典根據已知的訓練高分圖像和插值縮小得到的低分訓練圖像按照上述步驟分別先后生成高分字典和低分字典

2.2 優化稀疏系數

當算法在字典學習階段引入在線字典學習等較為精確的學習方法時，可以得到最優的超完備字典對根據若要使重建的高分圖像塊足夠準確，除高分字典外，也必須足夠準確。而式（4）中根據輸入和求解的稀疏系數也只是一個用于圖像塊重建的近似值。而根據式（4），可以通過調整字典訓練階段的正則化參數來找到最適合的重建稀疏系數

在式（11）中第一行的字典訓練階段和第二行求解重建稀疏系數階段，許多算法都使用相同的正則化參數，即結合上述分析，當訓練和重建階段設置相同的正則化參數時，如果通過調整得到最優的則字典訓練階段的也同時被調整，就無法保證訓練生成的足夠精確。因此，文中改進算法在字典訓練階段和求解重建稀疏系數階段分別設置不同的正則化參數和實驗中可以通過靈活調整它們的值分別得到圖像塊重建時所需的最優高分字典和稀疏系數。

3 實驗結果

實驗中采用Multi?PIE[16]中大小為240×320的1 990幅人臉圖集作為訓練集，用雙三次插值法（Bicubic）將高分人臉源圖像縮小3倍作為測試圖像隨機選取。目標超分圖像放大3倍。采樣圖像塊數量取50 000，低、高分圖像塊大小分別為3×3和9×9，重建時高分圖像塊重疊1像素。Bicubic放大2倍后用特征提取算子提取特征，且只對人眼比較敏感的輸入彩色圖像亮度部分進行超分重建。

3.1 PSNR與視覺效果

實驗中將本文算法與Bicubic法、位置修補法[6]（Ma10）和稀疏編碼法[10]（Yang10）的超分效果進行對比，使用常用的峰值信噪比（Peak Signal to Noise Ratio，PSNR）和結構相似性（Structural Similarity，SSIM）兩項指標來評價。其中，Ma10和Yang10分別代表結構型和常規圖像型人臉超分算法，實驗中隨機選取了40幅人臉圖像，部分超分結果如表1所示。從整幅圖像的PSNR值來看，Ma10的超分效果最差，平均比最簡單的Bicubic法還要低3.04 dB。以自然圖像為訓練集的Yang10總體上與Bicubic處于同一水平，其中，測試圖像0146.png超分結果差距最大，比Bicubic法提高了0.3 dB。本文算法在四種方法中表現最好，所有圖像的PSNR和SSIM均為最大值，且比Yang10的PSNR平均提升0.85 dB，SSIM平均提升0.013 3。

從圖1中的視覺效果對比上來看，雖然Ma10超分結果的PSNR值比Bicubic低得多，但看起來更清晰。這是因為它所使用的位置修補法對圖像進行了“涂抹”： 將對比度大的高頻部分增強，如眼眶邊緣、眼神，光看起來最自然；將變化較為緩慢的低頻部分，如發絲、背景文字、皺紋、斑點等細節虛化。這種操作使其偏離源圖像較遠，PSNR值低，但“美顏”效果較好。Yang10與Ma10在視覺上的處理方向是相反的，整體上圖像更加清晰，皺紋、背景文字等邊緣細節表現更好，這是因為它增強的圖像高頻范圍比Ma10更大，缺點是圖像噪點增多，眼皮上方、背景文字等圖像邊緣偽影較明顯。本文算法的視覺表現最好，既不過分涂抹，也未過分銳化，最為自然，未產生明顯偽影。

3.2 正則化參數的影響

采用本文改進算法，將字典大小設置為設置不同的正則化參數對進行超分重建。實驗中隨機選取20幅輸入圖像，正則化參數從0.02～0.2每隔0.02取值形成正則化參數對部分結果如表2所示。從5組圖像的超分結果可以看出，當訓練和重建階段的正則化參數相同時，取（0.2，0.2）時的PSNR值最低，取（0.1，0.1）時PSNR提高 [10]0.64 dB。在字典訓練和求解稀疏系數兩個階段分別設置不同的正則化參數并進行獨立地調整，得到的超分結果與取（0.1，0.1）時處于同一水平，取（0.1，0.04）時超分效果最好，PSNR比取（0.1，0.1）時提升0.07 dB。因此，3.3節中的噪聲魯棒性以（0.1，0.04）作為參照，通過調整噪聲方差進行分析討論。

3.3 噪聲魯棒性

大多數單圖超分算法均假設輸入源圖像干凈、無噪聲污染，這種假設通常與超分算法的實際應用條件相背離。為了測試改進算法對于噪聲的魯棒性，實驗中在低分輸入圖像上疊加不同程度的0均值加性高斯噪聲進行超分辨率重建，高斯噪聲的標準差取var={1，2，…，10}。在進行含噪圖像超分時，正則化參數應隨噪聲標準差逐漸增大[10]。根據實驗人臉圖像大小，實驗參考同類型的Yang10中的稀疏編碼超分算法中的參數設置方法，將用于圖像重建的正則化參數均相應設置為經驗值0.03 var。

測試圖像001.png的不同程度加噪圖像超分結果的PSNR值對比如圖2所示。Yang10法在噪聲水平較低時比Bicubic法好，但噪聲較嚴重時，較嚴重的偽影使其噪聲也增強，PSNR值比Bicubic下降得更快。本文算法的PSNR值最大，同時隨噪聲方差增加而下降的趨勢比其他算法更為平緩，不同噪聲水平影響下PSNR值最穩定，噪聲魯棒性最好。

4 結 語

基于在線字典學習的人臉超分辨率重建算法以人臉數據集作為外部訓練圖像，引入在線字典學習方法，經過圖像訓練先后生成準確的超完備字典對。在字典訓練階段和求解重建稀疏系數階段設置不同的正則化參數并進行獨立地調整，以取得最佳的高分字典和稀疏系數用于目標圖像塊重建。本文算法比經典的稀疏編碼人臉超分算法在PSNR和SSIM上都有較大幅度的提升，圖像視覺上噪點和偽影更少、更自然，貼近原始高分圖像。而且，處理含噪圖像時，超分圖像的PSNR值更加穩定，噪聲魯棒性更好。但本文算法的不足之處在于，當訓練樣本增大時，訓練和重建階段的計算量呈線性增長，時間消耗和內存消耗更大，后續研究中將進一步優化在線字典學習中的稀疏編碼和字典更新模型，提高超分速度。

參考文獻

[1] WANG N， TAO D， GAO X， et al. A comprehensive survey to face hallucination [J]. International journal of computer vision， 2014， 106（1）： 9?30.

[2] LEE D D， SEUNG H S. Learning the parts of objects by non?negative matrix factorization [J]. Nature， 1999， 401（6755）： 788?791.

[3] S BAKER， T KANADE. Hallucinating faces [C]// Proceedings of the Fourth IEEE International Conference on Automatic Face and Gesture Recognition. Grenoble， France： IEEE， 2000： 83?88.

[4] LIU C， SHUM H Y， FREEMAN W T. Face hallucination： theory and practice [J]. International journal of computer vision， 2007， 75（1）： 115?134.

[5] LIU Wei， LIN Dahua， TANG Xiaoou. Hallucinating faces： TensorPatch super?resolution and coupled residue compensation [C]// Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Diego， USA： IEEE， 2005： 478?484.

[6] MA X， ZHANG J， QI C. Hallucinating face by position?patch [J]. Pattern recognition， 2010， 43（6）： 2224?2236.

[7] JEONG?SEON P， SEONG?WHAN L. An example?based face hallucination method for single?frame， low?resolution facial images [J]. IEEE transactions on image processing， 2008， 17（10）： 1806?1816.

[8] YANG C Y， LIU S， YANG M H. Structured face hallucination [C]// Proceedings of the 2013 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Portland， USA： IEEE， 2013： 1099?1106.

[9] CHANG H， YEUNG D， XIONG Y M. Super?resolution through neighbor embedding [C]// Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington DC， USA： IEEE， 2004： 275?282.

[10] YANG J C， WRIGHT J， MA Y. Image super?resolution via sparse representation [J]. IEEE transactions on image processing， 2010， 19（11）： 2861?2873.

[11] 盛帥，曹麗萍，黃增喜，等.基于改進稀疏編碼的圖像超分辨率算法[J].計算機應用，2014，34（2）：562?566.

[12] LEE H， BATTLE A， RAINA R， et al. Efficient sparse coding algorithms [C]// Proceedings of the 19th International Confe?rence on Neural Information Processing Systems. Vancouver： [s.n.]. 2007： 801?808.

[13] 張小丹，范九倫，徐健，等.K均值聚類和支持向量數據描述的圖像超分辨率算法[J].中國圖象圖形學報，2016，21（2）：135?144.

[14] ZHANG K， GAO X， TAO D， et al. Multi?scale dictionary for single image super?resolution [C]// Proceedings of the 2012 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Rhode Island， USA： IEEE， 2012： 1114?1121.

[15] MAIRAL J， BACH F， PONCE J， et al. Online learning for matrix factorization and sparse coding [J]. Journal of machine learning research， 2010， 11（10）： 19?60.

[16] GROSS R， MATTHEWS I， COHN J， et al. Multi?PIE [J]. Image & vision computing， 2010， 28（5）： 807?813.