基于最大間隔準則的魯棒多流形判別局部圖嵌入算法

楊洋 王正群 徐春林 嚴陳 鞠玲

摘 要：針對顯式形狀回歸（ESR）對于一些面部遮擋、面部表情過大樣本定位精度低的問題，提出一種自適應窗回歸方法。首先，應用先驗信息為每張圖片生成精確的人臉框，用人臉框的中心點對人臉進行特征映射，并進行相似變換得到多個初始形狀;其次，提出一種自適應窗口調整策略，基于先前回歸的均方誤差自適應地調整特征窗口大小;最后，基于互信息（MI）的特征選擇策略，提出新的相關性計算方法，在候選像素集中選出最相關的特征。在三個公開數據集LFPW、HELEN、COFW上，相較于ESR算法，所提方法的定位精度分別提升7.52%、5.72%和5.89%。實驗結果表明，自適應窗回歸方法可以有效提高人臉特征點定位精度。

關鍵詞：顯式形狀回歸;人臉特征點定位;相似人臉變換;自適應窗回歸;互信息

中圖分類號：TP391.4

文獻標志碼：A

3 實驗結果與分析

3.1 實驗環境

本實驗的運行環境為：Windows10 64位操作系統，8GB內存，Intel Core i74700MQ 2.4GHz中央處理器，Matlab R2016a工作站。實驗數據選用人臉特征點定位領域三大通用數據集：LFPW[18]、HELEN[19]、COFW[11]。LFPW是一個輕量級的圖片庫，圖片全部來源于網絡，包含各種姿態以及不同室外環境下的人臉圖片，共有1035張圖片。本文選擇其中811張圖片作為訓練集，224張圖片作為測試集，每張圖片上面標記了68個特征點坐標。HELEN圖片庫共有2330張圖片，同樣來源于網絡。本文選取2000張作為訓練圖片，其余330張作為測試圖片，每張圖片標注68個特征點。COFW數據集是一個高遮擋且大姿態的數據集，由現實世界中有挑戰性的幾類圖片組成，例如：戴墨鏡的圖片、戴帽子的圖片、夸張表情的圖片以及大角度的側臉圖片等。該數據集可用來測試算法的魯棒性，共有1852張圖片，本文選擇1345張圖片作為訓練集，剩余507張圖片作為測試集，每張圖片標記29個特征點坐標。

3.2 實驗細節

參數設置 人臉初始化形狀個數M設為10，初始特征選擇窗口的長度為0.3倍雙眼距離，第一級級聯回歸器的個數K設為10，第二級回歸器的個數L設為500，每次級聯回歸在人臉框范圍內選擇的候選像素點個數N1設為500，在候選像素點中選出最相關的像素差個數N2設為5，式（5）中的β設為1000，式（12）中的θ設為0.025。

衡量指標 為了衡量不同人臉定位的誤差，采用了一種對于不同尺寸人臉均適用的誤差評價指標：

3.3 實驗結果

3.3.1 與現存方法對比

為了驗證本文提出的改進算法是有效的，本文分別在LFPW、HELEN、COFW數據集上與ESR算法進行對比。為了綜合衡量本算法的效果，本文還選擇了當前特征點定位領域最先進的三個算法：RCPR算法、SDM算法、LBF算法進行對比。由表1可知：本文算法在LFPW和HELEN數據集上面的定位誤差都要小于上述四個算法，在COFW數據庫上面的定位誤差略大于RCPR算法。這是由于RCPR算法針對大面積遮擋與豐富面部表情的數據樣本進行算法優化，引入了樣本特征點是否遮擋這一先驗信息，而COFW數據集上面大多數都是帶有遮擋的樣本，故RCPR算法在COFW數據集上面效果很好。本文算法通過相似變換的人臉初始化，可以有效減小面部尺度大小、面部偏轉角度以及面部表情帶來的誤差;通過自適應由粗到細的窗口調節方法與基于互信息的特征選擇方法，可以有效地提取出面部最有代表性的特征，也可以在一定程度上對面部遮擋區域進行過濾，減少遮擋區域特征的提取，提高遮擋樣本的定位精度。

4 結語

本文對ESR算法進行了以下改進：首先，應用先驗信息為每張圖片生成人臉框，然后進行特征映射，再進行相似變換得到多個初始形狀;其次，提出一種自適應由粗到細的特征選擇方法，基于先前回歸的均方誤差自適應地調整特征窗口大小;最后，改進了相關性公式，使用基于互信息的特征選擇方法，在候選像素集中選出最相關的特征。在三個公開數據集LFPW、HELEN、COFW上的實驗結果表明，本文的改進算法相較于ESR算法定位精度有較大提升。

然而，本文算法對于大面積遮擋樣本的定位并不是十分精準，存在細小的誤差，并且，根據表1中的結果，本文算法的定位誤差在LFPW、HELEN、COFW數據集上是遞增的。這是因為三個數據集中遮擋樣本所占比例依次遞增。由此可見，本文算法對于遮擋樣本的定位能力還有提升空間。未來工作，將集中在提升遮擋樣本的定位精度上，設計一種方法，可以在不使用遮擋信息的情況下，提高定位精度。

參考文獻 （References）

[1] ??? VIOLA P， JONES M. Rapid object detection using a boosted cascade of simple features[C]// Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2001： 511.

[2] ??? 陳凱星， 劉赟， 王金海，等. 基于遺傳機制和高斯變差的自動前景提取方法[J]. 計算機應用， 2017， 37（11）： 3231-3237.（CHEN K X，LIU Y， WANG J H， et al. Foreground extraction with genetic and difference of Guassian[J]. Journal of Computer Applications， 2017， 37（11）： 3231-3237.）

[3] ??? 張歡歡， 洪敏， 袁玉波. 基于極端學習機的人臉特征深度稀疏自編碼方法[J]. 計算機應用，2018， 38（11）： 3193-3198.（ZHANG H H， HONG M， YUAN Y B. Deep sparse autoencoder using extreme learning machine for facial feature[J]. Journal of Computer Applications， 2018， 38（11）： 3193-3198.）

[4] ??? COOTES T F， TAYLOR C J， COOPER D H， et al. Active shape modelstheir training and application[J]. Computer Vision & Image Understanding， 1995， 61（1）： 38-59.

[5] ??? COOTES T F， EDWARDS G J， TAYLOR C J. Active appearance models[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2001， 23（6）： 681-685.

[6] ??? KAZEMI V， SULLIVAN J. One millisecond face alignment with an ensemble of regression trees[C]// Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2014： 1867-1874.

[7] ??? DOLLAR P， WELINDER P， PERONA P. Cascaded pose regression[C]// Proceedings of the 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2010： 1078-1085.

[8] ??? OZUYSAL M， CALONDER M， LEPETIT V， et al. Fast keypoint recognition using random ferns[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2010， 32（3）： 448-461.

[9] ??? CAO X， WEI Y， WEN F， et al. Face alignment by explicit shape regression[C]// Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2012： 2887-2894.

[10] ?? REN S， CAO X， WEI Y， et al. Face alignment at 3000 fps via regressing local binary features[C]// Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2014： 1685-1692.

[11] ?? BURGOSARTIZZU X P， PERONA P， DOLLAR P. Robust face landmark estimation under occlusion[C]// Proceedings of the 2013 IEEE International Conference on Computer Vision. Washington， DC： IEEE Computer Society， 2014： 1513-1520.

[12] ?? XIONG X， TORRE F D L. Supervised descent method and its applications to face alignment[C]// Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2013： 532-539.

[13] ?? SUN Y， WANG X， TANG X. Deep convolutional network cascade for facial point detection[C]// Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2013： 3476-3483.

[14] ?? ZHOU E， FAN H， CAO Z， et al. Extensive facial landmark localization with coarsetofine convolutional network cascade[C]// Proceedings of the 2013 IEEE International Conference on Computer Vision Workshops. Washington， DC： IEEE Computer Society， 2013： 386-391.

[15] ?? 賈項南， 于鳳芹， 陳瑩. 改進的顯式形狀回歸人臉特征點定位算法[J]. 計算機應用， 2018， 38（5）： 1289-1293. （JIA X N， YU F Q， CHEN Y. Improved explicit shape regression for face alignment algorithm[J]. Journal of Computer Applications， 2018， 38（5）： 1289-1293.）

[16] ?? YU L， LIU H. Efficient feature selection via analysis of relevance and redundancy[J]. Journal of Machine Learning Research， 2004， 5（12）： 1205-1224.

[17] ?? 黃玉琴， 潘華偉. 基于分類外形搜索的人臉特征點定位[J/OL]. 計算機應用研究， 2019， 36（5） [2018-09-20]. http：//www.arocmag.com/article/02201905056.html.（HUANG Y Q， PAN H W. Face alignment based on classified shape searching[J/OL]. Application Research of Computers， 2019， 36（5） [2018-09-20]. http：//www.arocmag.com/article/02201905056.html.）

[18] ?? BELHUMEUR P N， JACOBS D W， KRIEGMAN D J， et al. Localizing parts of faces using a consensus of exemplars[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2013， 35（12）： 2930-2940.

[19] ?? LE V， BRANDT J， LIN Z， et al. Interactive facial feature localization[C]// Proceedings of the 12th European Conference on Computer Vision. Berlin： SpringerVerlag， 2012： 679-692.