關鍵點重建算法在人臉超分辨率重建中的應用

安婧　孫亮

摘 要

文中主要對基于關鍵點的人臉圖像逐點超分辨率重建算法進行研究。在該算法中，對人臉中局部部位的細節進行重建，通過在算法中對人臉關鍵點附近區域中的超分辨映射函數的分別訓練，實現了對人臉超分的逐層迭代重建。實驗結果表示，利用該方法可以有效減少目標圖像重建中的難度。

【關鍵詞】分層網絡 關鍵點 自編碼

1 引言

面向人臉圖像的超分辨率技術已經在多個領域廣泛應用，如身份認證、網絡化監控等應用更加深入和廣泛。在本文中，主要采用基于線性與非線性的學習方法，對上述的超分映射函數進行學習。這其中，基于線性方法中選擇采用主成分分析；而非線性方法在學習中則主要采用自編碼網絡，所有的方法均可以對人臉圖像的局部區域進行訓練超分映射函數的處理與學習。這其中，所提到的自編碼網絡學習方法，是神經網絡學習領域中進行深度學習的主要理論基礎。而在圖像的超分辨率重構過程中，則主要采用雙線性插值的方式來進行初始化處理；接著，將樣本學習過程中所獲得的超分辨率映射函數用于對人臉圖像中局部內容的計算與處理，并將處理結果疊加到全局的人臉圖像，從而實現整體圖像的超分處理過程。

2 基于局部細節的人臉圖像超分辨率重構

2.1 關鍵點與逐層訓練概念

文中所使用的關鍵點概念，是指人臉圖像中，具有一定語義特征的臉部區域，比如：人臉的鼻角、眼角以及嘴角等位置。對于算法中所采用的關鍵點定位方法，則采用已有的SDM方法，基于大量的人臉關鍵點訓練樣本；在對Hessian矩陣的求解中通過學習梯度下降的方式來實現，最終實現對關鍵點的定位效果。同時，利用常用的關鍵點提取方法，對存在于較低分辨率圖像中的人臉關鍵點進行提取。

考慮到從分辨率較低的圖像重構高分辨率圖像過程的難度不小，文中選用逐層訓練的方式來實現。具體操作過程為：

（1）采用雙線性插值的方式，對需要重構的原始圖像進行初始化操作；

（2）利用上述的關鍵點算法，對人臉圖像中所包含的局部特征進行定位處理；

（3）利用得到的關鍵點，獲得其相鄰的局部區域，對局部區域的大小，則需要以實驗的方式來確定，以便能夠獲得最佳的重構效果。

在具體的算法設計與實現中，文中針對所有的局部區域進行逐層訓練操作。首先，對存在于低分辨率圖像和次高分辨率圖像中的映射關系進行訓練；然后，對存在于次高分辨率圖像和高分辨率圖像中的映射關系進行訓練，以便能夠得到更好的重構效果。需要說明的是，在次高分辨率圖像的生成過程中，需要經過兩次降采用操作，即先將人臉圖像中的局部臨近像素值進行縮小，逾期大小為原來大小的一半；再利用線性插值的方法，對原始數值進行計算。

在對人臉圖像中的各個局部區域，在完成對其逐層的超分辨率重構處理后，將可以將重構得到的所有區域，以關鍵點位置為依據，將所有區域疊加到原來的全局因條件圖像中。對于疊加后的圖像，不可避免地存在重疊部分，而對這些重疊部分的處理，文中主要采用像素平均的方法，對重構后圖像中所存在的圖像灰度突變問題進行有效解決。

不過，對于經過疊加后所得到的全局圖像，其中的重疊部分，會產生多樣的塊狀區域，應該加以解決。本文中所采用的方法，主要為基于泊松編輯方法。在泊松編輯的過程中，首先應該完成的是對針對全局圖像進行卷積計算，通過采用拉普拉斯算子，可以得到如下的式子：

2.2 基于AE的自編碼技術

在如圖1中，給出了基于自編碼理論的非線性超分網絡結構。可以發現，該網絡中采用了三層的網絡結構體系。

在圖1中，輸入層所對應的包含于原始圖像的局部區域數據。可以利用設定的編碼器，來獲得相應的隱層，然后再經過設定的解碼層，對輸出層進行計算，即經過重構后的重構結果。

在具體的實驗過程中，對于微環節則主要采用誤差反向傳播，即BP的方式來實現。利用該方法，可以針對整個模型中所使用的連接權重，進行全局性的微調與優化，對其中所設置的價函數利用梯度下降算法進行最小代，使得存在于超分圖像與目標圖像之間的誤差得以縮減。在優化中所采用的代價函數中，包含了誤差項以及正則化項，這里，可以將正則化項理解為權重衰減項，可以實現對權重變化幅度的控制與調整。最后，再利用目標圖像與重建結果之間的誤差，對相應的權重進行重新調整。

3 實驗

3.1 數據準備

本實驗主要針對證件照中所常用的人臉圖像進行超分辨率運算，將大量的人臉圖像以及相應的高分辨率圖像作為樣本數據進行訓練。

3.2 參數設置

算法計算中所選用的人臉局部區域大小，會對整個算法的高分辨率重構效果產生更加直接的影響。在實驗中，對于所收集的人臉樣本數據，在N分別為20、30、40以及50的情況下，對得到的重構結果進行對比。根據所得到的實驗結果，發現在N的取值為30的情況下，所得到的圖像重構平均誤差的值最小，同時，重構后圖像的峰值信噪比的取值更高，所重構得到的圖像綠細節信息更優。

在采用的非線性方法中，對于其中的自編碼網絡的設置，其首層節點數量可以定為900，第二層相應的節點數定為1000，將計算過程中的權重誤差設置為0.0005，而算法中的學習率則可以設置為0.01。

需要補充的是，在自編碼網絡中，其第二層網絡還可以采用更深的網絡。這樣，在從次高清和高清圖像的重構過程中，實現的難度會增大，需要對網絡進行必要的加深學習處理。比如，在基于PCA的線性回歸計算方法中，對于維度為30*30的人臉局部圖像，可以將其維度進行降低處理下操作，并在此基礎上對經過降維處理后的高低分辨率人臉局部區域圖像進行相應的線性回歸操作與運算。

3.3 實驗結果分析

利用分層網絡所設計的逐層訓練方法，可以通過對圖像細節的重構，實現對計算誤差的控制與縮減。具體到人臉圖像的重構中，可以對其中的局部區域將其平均誤差控制到0.6～0.8的水平。利用低分辨率圖像，經過重構后所得到高分辨率圖像的效果，要比分層網絡訓練方法中所得到的人臉細節信息較差。通過采用基于關鍵點的處于方法，其效果相較于對全圖所進行的分層網絡重構效果更加較好，這主要是由于在人臉局部區域的訓練過程中，其中所設置的參數比較少，相應的網絡收斂性能更佳；同時，通過對人臉圖像數據每個部分所對應的重構網絡的分開訓練過程，使得訓練與重構過程的速度更快，進而實現對不同區域中圖像數據的超分辨率處理與運算。

對于文中實驗過程中所采用的逐層訓練方法，相較于直接訓練方法，所得到的人臉區域圖像的重構結果的效果更好?？紤]到在人臉的所有器官中，眼睛圖像所在區域所集中的信號能量更強，是整體人臉特征的重要表征，是更具有代表性的人臉器官，能夠作為人臉重構細節說明的目標圖像。通過對人臉重構效果的對比，可以對實驗中所采用的分步網絡算法的性能進行說明。具體如圖2中所示。在該圖中，a圖表示原始的人眼圖像，b圖為采用直接方法所得到的重構圖像，c圖為采用分層網絡方法所重構后得到的結果，而d圖則為目標圖像。

從圖2的實驗結果可以發現，c圖中的重構結果與目標圖像更加接近。對于皮膚上的細節信息，所重構得到的結果比較差；而眼皮上的細節信息，則是由低分辨率圖像中的信息量所決定的?？梢园l現，a圖和b圖中的細節重構結果不夠精細，且相應的輪廓也比較模糊。其中，b圖中主要利用多層網絡方法對眼皮進行直接重構，所得到的效果較差。

利用人臉圖像中的關鍵點，所提取得到的所有局部區域數據，在完成相應的分層訓練操作與處理后，就可以將經過重構后的人臉局部圖像數據疊加到原圖的對應位置上，對于重疊的局部位置，則主要采用增值的方式加以處理，從而得到整個人臉圖像的超分辨率重構結果。根據前文說明，還可以采用泊松編輯的過程，對結果中的塊狀效應進行消除，確保所得到重構結果的平滑性。

利用網絡上公開的人臉數據庫FERET中所提供的人臉數據，對文中所采用算法的有效性進行進一步驗證，通過選用實驗數據進行測試的結果，如果3中所示。其中，a圖為采用雙立方內插方法得到的結果，b圖為采用非負權重領域嵌入方法所得到的結果；c圖中圖像為文中所采用方法的實驗結果，在為原始的高清圖像；通過比較后可以發現，采用雙立方內插方法所得到的實驗結果為最差。

4 結束語

在本文中，主要利用基于關鍵點的圖像超分算法，對人臉中不同區域進行區別重建。這樣，可以確保所重建的人臉圖像更精細；利用對不同區域圖像的區別重建，可以對不同區域中人臉圖像的超分重建。不過，所采用的算法對人臉皮膚以及眼睛等細節信息的處理還不免夠理想。

參考文獻

[1]曹明明，干宗良，崔子冠，等基于司寺征描述的非負權重鄰域嵌入人臉超分辨率重建算法[J].電子與信息學報，2015，37（04）：777-783.

[2]李濤，王曉華，宋桂芹，等基于學習的彩色人臉圖像超分辨率重構研究[J].北京理工人學學報，2010，30（02）：193-196.

[3]李玉花，齊春.利用位置字典對的人臉圖像超分辨率方法[J].西安交通大學學報，2012（06）：7-11.

[4]鄭梅蘭，章品正，郭偉偉，鮑旭東.基于學習的人臉圖像超分辨率重建方法[J]. 計算機工程與應用，2009（01）：170-175.

作者簡介

安婧，女，甘肅省徽縣人。畢業于西北師范大學。碩士研究生學歷?，F為蘭州文理學院講師。研究方向為信號處理、模式識別。

孫亮，男，河北省玉田縣人。畢業于西北師范大學。碩士研究生學歷。現為蘭州文理學院副教授。研究方向為數據挖掘、多媒體信息處理。

作者單位

蘭州文理學院 甘肅省蘭州市 730000