基于協作表示和正則化最小二乘法的多姿態人臉識別方法

諶湘倩　劉珂　馬飛

摘 要： 針對現有人臉識別方法不能很好地處理姿態變化的問題，提出一種基于協作表示和正則化最小二乘法的多姿態人臉識別方法。利用通用彈性模型（GEM）將圖庫中的人臉圖像構建成為一個3D模型，在3D人臉姿態的三個方向（偏航、俯仰和翻滾）上提取特征，構建一個三維協作字典矩陣（CDM），利用正則化最小二乘法（RLS）和協作表示（CR）分類法對人臉進行識別分類。在AR和視頻人臉數據庫上進行實驗，結果表明，該方法能夠有效地解決具有姿態變化的人臉識別，同時對表情和光照變化也具有魯棒性，且實時性高。

關鍵詞： 多姿態人臉識別； 3D模型； 協作表示； 正則化最小二乘法

中圖分類號： TN911.73?34； TP391 文獻標識碼： A 文章編號： 1004?373X（2017）05?0049?05

Abstract： Since the existing face recognition method can′t deal with the posture change better， a multi?pose face recognition method based on collaborative representation （CR） and regularized least square （RLS） method is proposed. The generalized elastic model （GEM） is used to construct a 3D model of the human face image in the image library. The features in three directions （yaw， pitching and rolling） of the 3D face posture are extracted to construct a three?dimensional collaborative dictionary matrix （CDM）. The RLS method and CR classification method are adopted to recognize and classify the human faces. The experiments were carried out with AR and video hunman face databases. The results show that the method can effectively solve the face recognition with posture variation， has the robustness for expression and illumination changes， and high real?time performance.

Keywords： multi?pose face recognition； 3D model； collaborative representation； regularized least square method

0 引 言

隨著生物識別技術的飛速發展，人臉識別（Face Recognition，FR）及其在生物特征識別、模式識別和計算機視覺上的應用成為研究的熱點[1]。盡管許多人臉識別算法能在約束環境下取得良好的識別效果，但在實際應用中，人臉圖像的不同光照條件、面部表情、頭部姿態對識別性能具有顯著的影響[2]。其中，無約束姿態變化人臉識別是最具挑戰性的任務[3]。

近期，學者們提出了許多用于姿態變化的人臉識別方法，例如，文獻[4]提出一種基于尺度不變特征融合的識別方法，利用尺度不變特征轉換算法提取尺度不變特征，在一定程度上能夠解決姿態變化的影響。文獻[5]提出一種基于姿態矩陣的聯合動態系數表示分類的人臉識別方法，將圖像構建成3D模型，然后生成姿態矩陣。然而，該方法對具有較大姿態變化人臉的識別率較低。文獻[6]提出一種基于特征庫矩陣（FLM）框架的姿態不變人臉識別方法，利用雙樹復數小波變換提取特征，并利用支持向量機進行迭代評分分類。文獻[7]提出一種基于稀疏字典矩陣框架的姿態不變人臉識別方法，采用局部二值模式和稀疏表示分類算法。該方法具有較高的姿態變化人臉識別率，但在構建稀疏字典矩陣時不能獲得有限且穩定的最稀疏解。

針對姿態變化的人臉識別，提出一種基于協作表示和正則化最小二乘法的快速人臉識別方法。在AR人臉數據庫上進行實驗，證明了提出的方法能夠很好地識別姿態變化的人臉，同時對表情和光照也具有魯棒性。此外，還在Biwi Kinect視頻數據庫上進行實時識別實驗，與現有方法相比，提出的方法具有更高的精確度和更快的速度。

1 協作表示

協作表示（CR） [8]是稀疏表示（SR）的一種改進算法，其在估計表示系數時，重點考慮表示的協作性，放松對稀疏性的要求。協作表示法利用范數作為約束條件，求得的稀疏矢量同樣可以很好地表示測試樣本[9]。

從[k]個離散類中收集帶有標簽的訓練樣本，然后通過確定新探測樣本屬于哪個類別來完成表示過程。設定[Ai=[vi，1，vi，2，…，vi，ni]]表示圖庫中第[i]類的一個[m×ni]大小的訓練矩陣，[ni]表示訓練矩陣的列集合。將矩陣[Ai]中的每一列[vi，j]矢量化為一個灰度圖像。可利用矩陣[Ai]的組織結構進行人臉識別，對單個類中的樣本進行建模并在一個線性子空間中對其進行表示。與此同時，如果第[i]類中含有足夠數量的樣本，對相同類中任何新測試樣本[y]進行估計來表示矩陣[Ai]中列的線性長度，即：

實際上，利用[l0]?最小化代替[l1]?最小化可以獲得最稀疏的解，但卻引入了一個NP難題。那么，式（4）中的最優化問題可作為一個基追蹤（BP），可以利用標準線性編碼技術在多項式時間內對其進行求解。

在一般人臉識別方法中，為了獲取優異的識別率，致使特征維度的定位過程較長。最新的協作表示分類（CRC）法比稀疏表示更有效且更快速。因此，本文不需要利用[l1]正則化對[x]進行稀疏，利用CRC法求解下面的最優化問題[10]：

設定[P=（ATA+λI）-1AT，]顯然[P]與[y]無關，因此可預先將[P]作為一個投影矩陣計算出來。當生成一個序列樣本[y]后，就可以利用[Py]對[y]進行投影，這樣可以使CR獲得非常快的運行速度。

利用[x]進行分類的過程類似于稀疏表示分類方法中的分類過程，除了類特定表示殘差[y-Ai?xi22]，其中[xi]表示與類[i]相關的系數向量，[l2]?正則化的“稀疏度” [xi22]可以引入作為用于分類的判別數據。

2 特征提取

利用協作表示（CR）在圖像姿態的三個方向上進行特征提取，然后構建成三維協作字典矩陣（CDM） [11]，特征提取及三維CDM構建的基本框架如圖1所示。

特征提取及三維CDM創建過程可以分為以下幾個步驟：

步驟1：輸入目標[i]的圖像信息。

步驟2：對于目標[i，]利用通用彈性模型（GEM）[12]方法構建3D人臉。

步驟3：對于目標[i，]根據人臉的所有姿態和可能視角合成3D人臉，在目標姿態矩陣[Si（Y，P，R）]的三個方向（偏航、俯仰和翻滾）提取出人臉的姿態特征。[Si（Y，P，R）]是一個尺寸為[x×x×x]的立方矩陣，[Si（Y，P，R）]總的數組長度為[x×x×x=x3。]實際上，目標[i]的[Si（Y，P，R）]矩陣中的數組是根據人臉姿態結構的三個角度進行設定的，其中[i]表示目標的個數，[Y，][P]和[R]表示[Si（Y，P，R）]矩陣中相應維度（偏航、俯仰和翻滾）數組的數量。為了能夠覆蓋所有的人臉姿態，偏航（yaw）、俯仰（pitch）和翻滾（roll）的角度范圍為[-90°～90°。]因此，[Si（Y，P，R）]的尺寸為[x=180°s=180°5=36°，]其中[s]表示步長，[180°]表示人臉姿態的每個方向上覆蓋的姿態角度。比如，[Si（Y=8，P=3，R=4）]表示人臉的姿態角度為[yaw=][8×5（s=5）=40°，][pitch=3×5=15°，][roll=4×5=20°]。

步驟4：在每個[Si（Y，P，R）]中，對于人臉姿態的每個特定三維角度[（y，p，r）]，在以[（y，p，r）]為中心點的周圍選取一個尺寸為[3×3×3]（[ni=27]，其中[n]表示[si（y，p，r）]總的數組個數）的子訓練矩陣[si（y，p，r）]。圖1給出了[si（y，p，r）]圖像的子訓練矩陣內置特定三維角度的例子，其表示如下：

[si（y，p，r）=Si（Y=y-1：y+1，P=p-1：p+1，R=r-1：r+1）] （7）

步驟5：協作表示方法要求字典[A]中的每個類都具有多個可利用的樣本。在本文中，根據人臉姿態的三維角度生成協作字典[A]的一個立方矩陣。將立方矩陣[A（Y，P，R）]定義為一個三維CDM，其中字典[A]保存在每一個數組中。因此，對于每個特定的姿態[（y，p，r）]，通過[si（y，p，r）]矩陣生成的協作字典[Ai]來構建[Ai（Y=y，P=p，R=r）]的數組，其中[Ai[vi，1，vi，2，…，vi，ni]=[si（y-1，p-1，r-1），…，si（y，p，r），…，][si（y+1，p+1，r+1）]]表示第[i]類中含有[ni=27（3×3×3）]個樣本的訓練圖像。實際上，[（y，p，r）]姿態處的[si（y，p，r）]中的協作字典[A]保存在[Ai（Y=y，P=p，R=r）]中。

對于所有姿態以及[Si（Y，P，R）]的數組重復執行這個處理過程。因此，利用基于協作表示和GEM的3D人臉構建，生成了每個目標的協作字典矩陣（三維CDM）。其中，每個三維CDM的尺寸與目標姿態矩陣[Si（Y，P，R）]的尺寸類似。

步驟6：最終輸出具有[Am×n（Y，P，R）=[A1（Y，P，R），][A2（Y，P，R），…，Ai（Y，P，R）]]的三維CDMs。其中根據式（2）可知，[i]表示數據庫中目標的個數，根據姿態的三維角可以生成式（2）中的立方矩陣。

綜上所述，提出的方法根據人臉姿態的三維角生成每個目標的三維CDM。比如，對于姿態角度[yaw=15°，][pitch=35°，][roll=40°，]步長[s=5]的[Ai（Y，P，R）]的數組數量為[Y=yaws=3，][P=pitchs=7，][R=rolls=8]。因此，為姿態角度選取的[Ai（Y=3，P=7，R=8）]的數組為[yaw=15°，][pitch=35°，][roll=40°]。本文中，當估計的姿態不是5的倍數時，可將其四舍五入為5的倍數。比如，可以將[yaw=32°]姿態四舍五入為[yaw=30°]。

3 基于RLS_CR的人臉識別

本文提出的方法中，需要為每個目標準備兩幅圖像，一幅作為訓練圖庫集，另一幅作為測試集。本文基于CDM和RLS_CR方法的人臉識別系統的流程圖見圖2。

本文系統操作分為線下和線上兩個階段。在線下階段，對2D數據庫中每個人的正面人臉圖像進行登記，然后，對于每個登記過的人臉，利用GEM構建3D人臉。接著，執行特征提取。最后，根據每個人臉生成三維CDM。

在線識別階段，首先，利用文獻[13]提出的CLM方法對每個探測圖像進行預處理和人臉檢測。然后，再利用CLM姿態估計方法對人臉的姿態角度進行估計。接著，對于每個人，根據姿態估計角度選取三維CDM的一個數組[Ai（Y=yaw，P=pitch，R=roll）]。最后，對每個面部部分進行獨立識別過程：給定一個測試樣本[y]和訓練矩陣[A（Y=yaw，P=pitch，R=roll）=[A1（Y=yaw，P=pitch，R=roll），][A2（Y=yaw，P=pitch，R=roll），…，Ai（Y=yaw，P=pitch，R=roll）]，]

作為算法1中的輸入項[y]和[A=A（Y=yaw，P=pitch，R=roll）。]實際上，在三維CDM中存在許多學習字典，利用姿態估計從中選取一個字典，然后利用本文提出的RLS_CR分類法進行分類。

算法1 RLS_CR分類算法

（1） 輸入：訓練矩陣[A]和探測矩陣[y。]

（2） 標準化：對[A]的列進行單元[l2]正則化。

（3） 編碼：通過[A]對[y]進行編碼：[x=Py，]其中[P=][（ATA+λI）-1AT。]

（4） 計算：將計算的正則化殘差作為誤差表示：

[ei（y）=y-Ai?xi2xi2]

（5） 輸出：[y]的身份：

[身份（y）=argmini{ei（y）}]

4 實驗及分析

在FETET，AR，LFW和視頻數據庫上對提出的姿態變化人臉識別方法進行性能評估，并與現有的先進方法進行對比，分別為：尺度不變特征融合法（FSIF）、姿態矩陣的聯合動態系數表示分類法（DSRC）、特征庫矩陣法（FLM）和稀疏字典矩陣分類法（SDM）。實驗使用MATLAB 7.0在個人計算機上實現，計算機配置為：Windows 7操作系統、酷睿i5處理器、2.53 GHz主頻、4 GB RAM。

4.1 AR數據庫上的實驗

本文提出的方法主要是用來應對姿態變化，為了檢測提出的方法對表情和光照的魯棒性，在AR人臉數據庫中進行實驗。AR人臉數據庫包括70個男性、56個女性的4 000幅圖像，這些圖像包含有六類差異：臉部表情變化（無表情、微笑、生氣、尖叫）、不同的光照變化。本文從原始AR數據庫選擇100個對象（50個男性和50個女性）用于實驗。本文對臉部表情變化和不同光照條件情況分別進行實驗。圖3描述了AR數據庫中不同表情和不同光照的人臉圖像。

在AR數據庫中，對不同臉部表情變化和光照的圖像進行識別實驗。對于表情變化圖像，將包含三個不同的表情200幅圖像作為訓練樣本，剩余的表情圖像作為測試樣本。AR數據庫中共包括四種光照條件：柔光、左側光、右側光和強光，實驗中，不同光照條件的每個人4幅圖像用于訓練，其余的圖像用于測試。各種方法在AR數據庫中的實驗結果如表1所示。

從表1可以看出，提出的方法對所有臉部表情都能達到很高的識別率。另外，提出的方法在左側光和右側光條件下的識別率達到了100%。結果表明，提出的方法同樣能夠應對表情和光照變化的人臉。

4.2 視頻數據庫上的實驗

對提出的方法處理視頻人臉識別的性能進行評估。實驗中采用了Biwi Kinect頭部姿態[14]數據庫中的30個人的30個視頻，在每個視頻中，每個目標超過1 000幀。這些視頻中頭部姿態的變化范圍為：傾斜方向上為[±60°]，偏航方向上為[±75°]。將本文CDM+RLS方法與SDM+RLS方法、FLM方法、SDM方法進行比較。并分別計算CDM+RLS和SDM+RLS在稀疏表示中的最小化表示誤差值，對每一幀中呈現的所有姿態的最小化表示誤差進行跟蹤。

圖4表明提出的方法在對每個姿態的每個探測幀進行人臉識別的過程幾乎為實時識別，平均每秒處理8～13幀（FPS=8～13）。此外，圖5表明提出的方法比SDM+RLS方法具有較低且穩定的表示誤差。這是因為CRC中的正則項使三維CDM更加穩定，其能夠生成有限量的稀疏度用于決策。因此，不僅具有最稀疏的解，而且還具有有限并穩定的表示，并通過計算表示誤差做出最后的決策。

根據表2中的結果，可以看出，提出的方法識別率和平均時延均優于其他方法。這是因為，提出的方法采用正則化項使最小二乘解穩定，并將有限量的“稀疏度”引入到解[x]中，其中，這個稀疏度遠遠弱于[l1]正則化，從而證明，通過生成最稀疏的解能夠提高識別率。

5 結 語

本文提出一種基于協作表示和正則化最小二乘法的姿態變化人臉識別方法。利用通用彈性模型（GEM）將圖庫中的人臉圖像構建成3D模型，并在三個方向上提取特征，構建一個三維協作字典矩陣（CDM），利用RLS_CR分類算法對人臉進行識別分類。在AR數據庫上進行實驗，結果證明提出的方法對于具有姿態變化的人臉具有很高的識別率，同時，對表情和光照變化也具有魯棒性。在Biwi Kinect視頻人臉數據庫的實驗表明，提出的方法具有很高的實時性，能夠滿足實時識別的要求。

在今后的研究中，將對提出的方法進一步擴展，使其能夠對具有遮擋的人臉進行有效識別。

參考文獻

[1] 周旭東，陳曉紅，陳松燦.半配對半監督場景下的低分辨率人臉識別[J].計算機研究與發展，2012，49（11）：2328?2333.

[2] PEDDIGARI V R， SRINIVASA P， KUMAR R. Enhanced ICA based face recognition using histogram equalization and mirror image superposition [C]// Proceedings of 2015 International Conference on Consumer Electronics. [S.l.]： IEEE， 2015： 625?628.

[3] 周凱汀，鄭力新.基于改進ORB特征的多姿態人臉識別[J].計算機輔助設計與圖形學學報，2015，27（2）：287?295.

[4] 李根，李文輝.基于尺度不變特征變換的平面旋轉人臉檢測[J].吉林大學學報（工學版），2013，43（1）：186?191.

[5] MOEINI A， MOEINI H， FAEZ K. Real?time pose?invariant face recognition by triplet pose sparse matrix from only a single image [C]// Proceedings of 2014 22nd International Conference on Pattern Recognition. Tehran： IEEE， 2014： 465?470.

[6] MOEINI A， MOEINI H. Real?world and rapid face recognition toward pose and expression variations via feature library matrix [J]. IEEE transactions on information forensics & security， 2015， 10（5）： 969?984.

[7] MOEINI A， MOEINI H， FAEZ K. Unrestricted pose?invariant face recognition by sparse dictionary matrix [J]. Image & vision computing， 2015， 36（C）： 9?22.

[8] 魏冬梅，周衛東.近鄰樣本協作表示的人臉識別算法[J].西安電子科技大學學報，2015，42（3）：115?121.

[9] 詹曙，臧懷娟，相桂芳.基于協作表示殘差融合的三維人臉識別[J].中國圖象圖形學報，2015，20（5）：115?121.

[10] YANG C， LIU C， WU N， et al. Collaborative representation with reduced residual for face recognition [J]. Neural compu?ting & applications， 2014， 25（8）： 1741?1754.

[11] KHAJI R， LI H， HASAN T M， et al. Relaxed collaborative representation for face recognition based low?rank matrix recovery [C]// Proceedings of 2014 IEEE International Confe?rence on Wavelet Analysis and Pattern Recognition. [S.l.]： IEEE， 2014： 50?55.

[12] RAYMOND S T. Elastic face recognizer： invariant face recognition based on elastic graph matching model [J]. Internatio?nal journal of pattern recognition & artificial intelligence， 2011， 16（4）： 463?479.

[13] SARAGIH J M， LUCEY S， COHN J F. Deformable model fitting by regularized landmark mean?shift [J]. International journal of computer vision， 2011， 91（2）： 200?215.

[14] MIN R， KOSE N， DUGELAY J L. KinectFaceDB： a kinect database for face recognition [J]. IEEE transactions on systems man & cybernetics systems， 2014， 44（11）： 1534?1548.