關(guān)鍵點(diǎn)重建算法在人臉超分辨率重建中的應(yīng)用

安婧　孫亮

摘 要

文中主要對基于關(guān)鍵點(diǎn)的人臉圖像逐點(diǎn)超分辨率重建算法進(jìn)行研究。在該算法中，對人臉中局部部位的細(xì)節(jié)進(jìn)行重建，通過在算法中對人臉關(guān)鍵點(diǎn)附近區(qū)域中的超分辨映射函數(shù)的分別訓(xùn)練，實(shí)現(xiàn)了對人臉超分的逐層迭代重建。實(shí)驗(yàn)結(jié)果表示，利用該方法可以有效減少目標(biāo)圖像重建中的難度。

【關(guān)鍵詞】分層網(wǎng)絡(luò) 關(guān)鍵點(diǎn) 自編碼

1 引言

面向人臉圖像的超分辨率技術(shù)已經(jīng)在多個(gè)領(lǐng)域廣泛應(yīng)用，如身份認(rèn)證、網(wǎng)絡(luò)化監(jiān)控等應(yīng)用更加深入和廣泛。在本文中，主要采用基于線性與非線性的學(xué)習(xí)方法，對上述的超分映射函數(shù)進(jìn)行學(xué)習(xí)。這其中，基于線性方法中選擇采用主成分分析；而非線性方法在學(xué)習(xí)中則主要采用自編碼網(wǎng)絡(luò)，所有的方法均可以對人臉圖像的局部區(qū)域進(jìn)行訓(xùn)練超分映射函數(shù)的處理與學(xué)習(xí)。這其中，所提到的自編碼網(wǎng)絡(luò)學(xué)習(xí)方法，是神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)領(lǐng)域中進(jìn)行深度學(xué)習(xí)的主要理論基礎(chǔ)。而在圖像的超分辨率重構(gòu)過程中，則主要采用雙線性插值的方式來進(jìn)行初始化處理；接著，將樣本學(xué)習(xí)過程中所獲得的超分辨率映射函數(shù)用于對人臉圖像中局部內(nèi)容的計(jì)算與處理，并將處理結(jié)果疊加到全局的人臉圖像，從而實(shí)現(xiàn)整體圖像的超分處理過程。

2 基于局部細(xì)節(jié)的人臉圖像超分辨率重構(gòu)

2.1 關(guān)鍵點(diǎn)與逐層訓(xùn)練概念

文中所使用的關(guān)鍵點(diǎn)概念，是指人臉圖像中，具有一定語義特征的臉部區(qū)域，比如：人臉的鼻角、眼角以及嘴角等位置。對于算法中所采用的關(guān)鍵點(diǎn)定位方法，則采用已有的SDM方法，基于大量的人臉關(guān)鍵點(diǎn)訓(xùn)練樣本；在對Hessian矩陣的求解中通過學(xué)習(xí)梯度下降的方式來實(shí)現(xiàn)，最終實(shí)現(xiàn)對關(guān)鍵點(diǎn)的定位效果。同時(shí)，利用常用的關(guān)鍵點(diǎn)提取方法，對存在于較低分辨率圖像中的人臉關(guān)鍵點(diǎn)進(jìn)行提取。

考慮到從分辨率較低的圖像重構(gòu)高分辨率圖像過程的難度不小，文中選用逐層訓(xùn)練的方式來實(shí)現(xiàn)。具體操作過程為：

（1）采用雙線性插值的方式，對需要重構(gòu)的原始圖像進(jìn)行初始化操作；

（2）利用上述的關(guān)鍵點(diǎn)算法，對人臉圖像中所包含的局部特征進(jìn)行定位處理；

（3）利用得到的關(guān)鍵點(diǎn)，獲得其相鄰的局部區(qū)域，對局部區(qū)域的大小，則需要以實(shí)驗(yàn)的方式來確定，以便能夠獲得最佳的重構(gòu)效果。

在具體的算法設(shè)計(jì)與實(shí)現(xiàn)中，文中針對所有的局部區(qū)域進(jìn)行逐層訓(xùn)練操作。首先，對存在于低分辨率圖像和次高分辨率圖像中的映射關(guān)系進(jìn)行訓(xùn)練；然后，對存在于次高分辨率圖像和高分辨率圖像中的映射關(guān)系進(jìn)行訓(xùn)練，以便能夠得到更好的重構(gòu)效果。需要說明的是，在次高分辨率圖像的生成過程中，需要經(jīng)過兩次降采用操作，即先將人臉圖像中的局部臨近像素值進(jìn)行縮小，逾期大小為原來大小的一半；再利用線性插值的方法，對原始數(shù)值進(jìn)行計(jì)算。

在對人臉圖像中的各個(gè)局部區(qū)域，在完成對其逐層的超分辨率重構(gòu)處理后，將可以將重構(gòu)得到的所有區(qū)域，以關(guān)鍵點(diǎn)位置為依據(jù)，將所有區(qū)域疊加到原來的全局因條件圖像中。對于疊加后的圖像，不可避免地存在重疊部分，而對這些重疊部分的處理，文中主要采用像素平均的方法，對重構(gòu)后圖像中所存在的圖像灰度突變問題進(jìn)行有效解決。

不過，對于經(jīng)過疊加后所得到的全局圖像，其中的重疊部分，會(huì)產(chǎn)生多樣的塊狀區(qū)域，應(yīng)該加以解決。本文中所采用的方法，主要為基于泊松編輯方法。在泊松編輯的過程中，首先應(yīng)該完成的是對針對全局圖像進(jìn)行卷積計(jì)算，通過采用拉普拉斯算子，可以得到如下的式子：

2.2 基于AE的自編碼技術(shù)

在如圖1中，給出了基于自編碼理論的非線性超分網(wǎng)絡(luò)結(jié)構(gòu)。可以發(fā)現(xiàn)，該網(wǎng)絡(luò)中采用了三層的網(wǎng)絡(luò)結(jié)構(gòu)體系。

在圖1中，輸入層所對應(yīng)的包含于原始圖像的局部區(qū)域數(shù)據(jù)。可以利用設(shè)定的編碼器，來獲得相應(yīng)的隱層，然后再經(jīng)過設(shè)定的解碼層，對輸出層進(jìn)行計(jì)算，即經(jīng)過重構(gòu)后的重構(gòu)結(jié)果。

在具體的實(shí)驗(yàn)過程中，對于微環(huán)節(jié)則主要采用誤差反向傳播，即BP的方式來實(shí)現(xiàn)。利用該方法，可以針對整個(gè)模型中所使用的連接權(quán)重，進(jìn)行全局性的微調(diào)與優(yōu)化，對其中所設(shè)置的價(jià)函數(shù)利用梯度下降算法進(jìn)行最小代，使得存在于超分圖像與目標(biāo)圖像之間的誤差得以縮減。在優(yōu)化中所采用的代價(jià)函數(shù)中，包含了誤差項(xiàng)以及正則化項(xiàng)，這里，可以將正則化項(xiàng)理解為權(quán)重衰減項(xiàng)，可以實(shí)現(xiàn)對權(quán)重變化幅度的控制與調(diào)整。最后，再利用目標(biāo)圖像與重建結(jié)果之間的誤差，對相應(yīng)的權(quán)重進(jìn)行重新調(diào)整。

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)準(zhǔn)備

本實(shí)驗(yàn)主要針對證件照中所常用的人臉圖像進(jìn)行超分辨率運(yùn)算，將大量的人臉圖像以及相應(yīng)的高分辨率圖像作為樣本數(shù)據(jù)進(jìn)行訓(xùn)練。

3.2 參數(shù)設(shè)置

算法計(jì)算中所選用的人臉局部區(qū)域大小，會(huì)對整個(gè)算法的高分辨率重構(gòu)效果產(chǎn)生更加直接的影響。在實(shí)驗(yàn)中，對于所收集的人臉樣本數(shù)據(jù)，在N分別為20、30、40以及50的情況下，對得到的重構(gòu)結(jié)果進(jìn)行對比。根據(jù)所得到的實(shí)驗(yàn)結(jié)果，發(fā)現(xiàn)在N的取值為30的情況下，所得到的圖像重構(gòu)平均誤差的值最小，同時(shí)，重構(gòu)后圖像的峰值信噪比的取值更高，所重構(gòu)得到的圖像綠細(xì)節(jié)信息更優(yōu)。

在采用的非線性方法中，對于其中的自編碼網(wǎng)絡(luò)的設(shè)置，其首層節(jié)點(diǎn)數(shù)量可以定為900，第二層相應(yīng)的節(jié)點(diǎn)數(shù)定為1000，將計(jì)算過程中的權(quán)重誤差設(shè)置為0.0005，而算法中的學(xué)習(xí)率則可以設(shè)置為0.01。

需要補(bǔ)充的是，在自編碼網(wǎng)絡(luò)中，其第二層網(wǎng)絡(luò)還可以采用更深的網(wǎng)絡(luò)。這樣，在從次高清和高清圖像的重構(gòu)過程中，實(shí)現(xiàn)的難度會(huì)增大，需要對網(wǎng)絡(luò)進(jìn)行必要的加深學(xué)習(xí)處理。比如，在基于PCA的線性回歸計(jì)算方法中，對于維度為30*30的人臉局部圖像，可以將其維度進(jìn)行降低處理下操作，并在此基礎(chǔ)上對經(jīng)過降維處理后的高低分辨率人臉局部區(qū)域圖像進(jìn)行相應(yīng)的線性回歸操作與運(yùn)算。

3.3 實(shí)驗(yàn)結(jié)果分析

利用分層網(wǎng)絡(luò)所設(shè)計(jì)的逐層訓(xùn)練方法，可以通過對圖像細(xì)節(jié)的重構(gòu)，實(shí)現(xiàn)對計(jì)算誤差的控制與縮減。具體到人臉圖像的重構(gòu)中，可以對其中的局部區(qū)域?qū)⑵淦骄`差控制到0.6～0.8的水平。利用低分辨率圖像，經(jīng)過重構(gòu)后所得到高分辨率圖像的效果，要比分層網(wǎng)絡(luò)訓(xùn)練方法中所得到的人臉細(xì)節(jié)信息較差。通過采用基于關(guān)鍵點(diǎn)的處于方法，其效果相較于對全圖所進(jìn)行的分層網(wǎng)絡(luò)重構(gòu)效果更加較好，這主要是由于在人臉局部區(qū)域的訓(xùn)練過程中，其中所設(shè)置的參數(shù)比較少，相應(yīng)的網(wǎng)絡(luò)收斂性能更佳；同時(shí)，通過對人臉圖像數(shù)據(jù)每個(gè)部分所對應(yīng)的重構(gòu)網(wǎng)絡(luò)的分開訓(xùn)練過程，使得訓(xùn)練與重構(gòu)過程的速度更快，進(jìn)而實(shí)現(xiàn)對不同區(qū)域中圖像數(shù)據(jù)的超分辨率處理與運(yùn)算。

對于文中實(shí)驗(yàn)過程中所采用的逐層訓(xùn)練方法，相較于直接訓(xùn)練方法，所得到的人臉區(qū)域圖像的重構(gòu)結(jié)果的效果更好。考慮到在人臉的所有器官中，眼睛圖像所在區(qū)域所集中的信號能量更強(qiáng)，是整體人臉特征的重要表征，是更具有代表性的人臉器官，能夠作為人臉重構(gòu)細(xì)節(jié)說明的目標(biāo)圖像。通過對人臉重構(gòu)效果的對比，可以對實(shí)驗(yàn)中所采用的分步網(wǎng)絡(luò)算法的性能進(jìn)行說明。具體如圖2中所示。在該圖中，a圖表示原始的人眼圖像，b圖為采用直接方法所得到的重構(gòu)圖像，c圖為采用分層網(wǎng)絡(luò)方法所重構(gòu)后得到的結(jié)果，而d圖則為目標(biāo)圖像。

從圖2的實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn)，c圖中的重構(gòu)結(jié)果與目標(biāo)圖像更加接近。對于皮膚上的細(xì)節(jié)信息，所重構(gòu)得到的結(jié)果比較差；而眼皮上的細(xì)節(jié)信息，則是由低分辨率圖像中的信息量所決定的。可以發(fā)現(xiàn)，a圖和b圖中的細(xì)節(jié)重構(gòu)結(jié)果不夠精細(xì)，且相應(yīng)的輪廓也比較模糊。其中，b圖中主要利用多層網(wǎng)絡(luò)方法對眼皮進(jìn)行直接重構(gòu)，所得到的效果較差。

利用人臉圖像中的關(guān)鍵點(diǎn)，所提取得到的所有局部區(qū)域數(shù)據(jù)，在完成相應(yīng)的分層訓(xùn)練操作與處理后，就可以將經(jīng)過重構(gòu)后的人臉局部圖像數(shù)據(jù)疊加到原圖的對應(yīng)位置上，對于重疊的局部位置，則主要采用增值的方式加以處理，從而得到整個(gè)人臉圖像的超分辨率重構(gòu)結(jié)果。根據(jù)前文說明，還可以采用泊松編輯的過程，對結(jié)果中的塊狀效應(yīng)進(jìn)行消除，確保所得到重構(gòu)結(jié)果的平滑性。

利用網(wǎng)絡(luò)上公開的人臉數(shù)據(jù)庫FERET中所提供的人臉數(shù)據(jù)，對文中所采用算法的有效性進(jìn)行進(jìn)一步驗(yàn)證，通過選用實(shí)驗(yàn)數(shù)據(jù)進(jìn)行測試的結(jié)果，如果3中所示。其中，a圖為采用雙立方內(nèi)插方法得到的結(jié)果，b圖為采用非負(fù)權(quán)重領(lǐng)域嵌入方法所得到的結(jié)果；c圖中圖像為文中所采用方法的實(shí)驗(yàn)結(jié)果，在為原始的高清圖像；通過比較后可以發(fā)現(xiàn)，采用雙立方內(nèi)插方法所得到的實(shí)驗(yàn)結(jié)果為最差。

4 結(jié)束語

在本文中，主要利用基于關(guān)鍵點(diǎn)的圖像超分算法，對人臉中不同區(qū)域進(jìn)行區(qū)別重建。這樣，可以確保所重建的人臉圖像更精細(xì)；利用對不同區(qū)域圖像的區(qū)別重建，可以對不同區(qū)域中人臉圖像的超分重建。不過，所采用的算法對人臉皮膚以及眼睛等細(xì)節(jié)信息的處理還不免夠理想。

參考文獻(xiàn)

[1]曹明明，干宗良，崔子冠，等基于司寺征描述的非負(fù)權(quán)重鄰域嵌入人臉超分辨率重建算法[J].電子與信息學(xué)報(bào)，2015，37（04）：777-783.

[2]李濤，王曉華，宋桂芹，等基于學(xué)習(xí)的彩色人臉圖像超分辨率重構(gòu)研究[J].北京理工人學(xué)學(xué)報(bào)，2010，30（02）：193-196.

[3]李玉花，齊春.利用位置字典對的人臉圖像超分辨率方法[J].西安交通大學(xué)學(xué)報(bào)，2012（06）：7-11.

[4]鄭梅蘭，章品正，郭偉偉，鮑旭東.基于學(xué)習(xí)的人臉圖像超分辨率重建方法[J]. 計(jì)算機(jī)工程與應(yīng)用，2009（01）：170-175.

作者簡介

安婧，女，甘肅省徽縣人。畢業(yè)于西北師范大學(xué)。碩士研究生學(xué)歷。現(xiàn)為蘭州文理學(xué)院講師。研究方向?yàn)樾盘柼幚怼⒛Ｊ阶R別。

孫亮，男，河北省玉田縣人。畢業(yè)于西北師范大學(xué)。碩士研究生學(xué)歷。現(xiàn)為蘭州文理學(xué)院副教授。研究方向?yàn)閿?shù)據(jù)挖掘、多媒體信息處理。

作者單位

蘭州文理學(xué)院 甘肅省蘭州市 730000