基于深度學(xué)習(xí)特征的多模態(tài)人臉快速識別研究

雷燕，李 杰，董 博，孫 艷，袁敬

（中共國網(wǎng)甘肅省電力公司黨校（培訓(xùn)中心），甘肅蘭州 730070）

三維數(shù)據(jù)采集技術(shù)飛速發(fā)展，已經(jīng)被廣泛應(yīng)用在人臉識別領(lǐng)域，三維數(shù)據(jù)的質(zhì)量和精確度要求越來越高。多模態(tài)人臉識別過程中會受到不同因素影響，導(dǎo)致人臉識別速度緩慢，因此對于人臉快速識別的研究成為了人臉識別領(lǐng)域的研究方向之一。

文獻[1]提出基于Hadoop 平臺的多模態(tài)人臉識別方法。該方法將改進后的開源人臉識別庫與Hadoop 平臺結(jié)合，在確保識別準確率的前提下提升人臉檢測速度，實現(xiàn)大規(guī)模多模態(tài)人臉圖像識別。但該方法只能識別存在于人臉識別庫中的人臉，局限性高。文獻[2]提出基于彩色和深度信息的多模態(tài)人臉識別方法。采集人臉彩色和深度圖像，采用三維點云實現(xiàn)彩色圖片人臉特征提取和逐點卷積操作，實現(xiàn)人臉識別。但是該方法的識別效率較低。

為了彌補傳統(tǒng)方式的不足，提出基于深度學(xué)習(xí)特征的多模態(tài)人臉快速識別方法。

1 基于深度學(xué)習(xí)的多模態(tài)人臉特征提取

利用3D 結(jié)構(gòu)光三維掃描管理系統(tǒng)獲取人臉樣本圖像[3-4]，使用基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)提取淺層人臉數(shù)據(jù)的物理與視覺特征。為保證網(wǎng)絡(luò)結(jié)構(gòu)清晰，幾何、模型、統(tǒng)計三個通道都使用同樣的結(jié)構(gòu)。

卷積神經(jīng)深度學(xué)習(xí)網(wǎng)絡(luò)包括卷積運算、非線性變換和池化操作三部分，各個步驟的輸入與輸出為特征矢量，下一階段的輸入特性可以看作上一步驟輸出。多模態(tài)人臉的深層特性是由人臉特征信息提取網(wǎng)絡(luò)中第五個池化操作層提供的幾何、模型和統(tǒng)計信號所構(gòu)成的。假設(shè)Cj(i∈{1,…,5})、Pj(j∈{1,…,5})分別表示在卷積層和池化層上的特征映射，在第五個池化操作層的特征圖可利用下列公式得到：

式中，P5為池的操作層函數(shù)；W5為卷積內(nèi)核；C4表示模型可訓(xùn)練參數(shù)；b5表示偏置參數(shù)。

文中將分別通過幾何、建模和統(tǒng)計的數(shù)據(jù)得到三條特征曲線Ft、Fe和Fs[7-8]，得到的特征曲線如圖1所示。

圖1 特征曲線

根據(jù)特征曲線[5-6]和式（1）可以得到非線性函數(shù)，具體描述如下：

式中，x為函數(shù)自變量。在特征池化方法中，文中應(yīng)用的是pooling 方法，該函數(shù)可以保持小區(qū)域內(nèi)的特征不變。

2 多模態(tài)人臉提取特征深度分析

在提取多模態(tài)人臉特征后，結(jié)合三個特征曲線進行深度分析，定位人臉特征點，如圖2 所示。

圖2 多模態(tài)人臉提取特征深度分析

具體步驟為：

第一步：進行三維人臉建模，其Z軸與人臉平面相同，可以將三維點云數(shù)據(jù)中在Z軸位置值較大的頂點作為鼻尖節(jié)點[9-10]。根據(jù)鼻尖點的定位結(jié)果，可得到在水平和垂直方向上的兩條等值線和九個重要特征點，用Q1-Q9表示。

第二步：分析點Q1的水平等值線變化規(guī)律，將梯度值按等值線的深度變化分為四個點，記為雙眼特征點，將這四個點標記為Q10-Q13。

第三步：水平方向的分析中，鼻子的特征點位于鼻子兩側(cè)，記為Q8和Q9，其相對位置距離相同，鼻子上方和下方的邊界點為Q1和Q3[11-12]。

第四步：眼內(nèi)角點和Q8與Q9的水平線交點記為Q5，該點為嘴部區(qū)域的最高點，控制著嘴部的水平高度，其連線交叉的其他點依次標記為Q14-Q15。在垂直方向的分析中，Q4與Q7為嘴部區(qū)域的平均高度[13-14]。

3 基于深度特征分析的多模態(tài)人臉快速識別

得到人臉特征點后，從一張人臉圖片中提取多模態(tài)的人臉并對其進行表示。這些表示包括完整人臉圖片、人臉特征點及3D 基準模型得到的正面人臉、人臉特征點周圍的局部圖像塊。一方面利用完整人臉圖片確定人臉的全局特征；另一方面根據(jù)人臉特征點及3D 基準模型得到的正面人臉表示結(jié)果確定具有姿態(tài)不變性的特征，通過人臉特征點周圍的局部圖像塊確定局部特征。

文中通過深度特征分析方法得到姿態(tài)不變性的人臉表示結(jié)果，將貝塞爾人臉模型的平均形狀作為通用3D 模型。根據(jù)3D 模型得到2D 人臉圖像。其中深度特征分析模型包括兩種結(jié)構(gòu)：第一種為卷積神經(jīng)網(wǎng)絡(luò)，可對全局特征進行提取；第二種為局部特征提取網(wǎng)絡(luò)，該網(wǎng)絡(luò)只能對局部特征進行提取，并且卷積神經(jīng)網(wǎng)絡(luò)對于高度非線性的人臉姿態(tài)變化更具魯棒性。與局部特征提取網(wǎng)絡(luò)相比，卷積神經(jīng)網(wǎng)絡(luò)有著數(shù)量更多的參數(shù)，因此更容易過擬合，因此文中使用數(shù)據(jù)增強和早停止策略來減少過擬合現(xiàn)象。

將卷積神經(jīng)網(wǎng)絡(luò)提取到的特征表示為{x1,x2,xK},其中，xi∈Rd，1≤i≤K，K=8，d=512，用于人…,臉識別的多模態(tài)信息。文中通過融合這些特征，得到一個更長的特征向量，表示為：

由于X的維度太高，識別速度過于緩慢，因此文中采用自動編碼器對X進行降維，以此極大提升人臉識別速度[15-16]。

使用一個三層自動編碼器進行編碼，各層自動編碼器的神經(jīng)元數(shù)分別為2 048、1 024、512，自動編碼器最后的輸出即為人臉圖像的緊密特征。將sigmoid函數(shù)作為激活函數(shù)，每一個連接層可以表示為：

其中，，bf和xi分別為全連接模式下輸入的數(shù)值、權(quán)重值、偏置值。在決策階段，使用聯(lián)合貝葉斯模型作為分類器，減去均值后的臉部特征是由兩個獨立的高斯變量組成的，具體如下：

其中，μ表示人臉的身份信息，ε代表人臉表情變化參數(shù)。

假設(shè)類內(nèi)變化概率為P(x1,x2∣H1)，而類間變化概率為P(x1,x2∣HE)，優(yōu)化目標為“使類內(nèi)變化盡可能小而類間變化盡可能大”。由上述計算得出，這兩種概率仍然服從高斯分布，采用EM 算法對兩種高斯變量進行數(shù)據(jù)學(xué)習(xí)，得到似然率，有效地對人臉特征進行快速識別，以此完成基于深度學(xué)習(xí)特征分析的多模態(tài)人臉快速識別方法設(shè)計。

4 實驗研究

為了驗證文中提出的基于深度學(xué)習(xí)特征的多模態(tài)人臉快速識別方法的實際應(yīng)用效果，設(shè)定實驗，選用傳統(tǒng)的基于Hadoop 平臺的多模態(tài)人臉識別方法和基于彩色和深度信息的多模態(tài)人臉識別方法進行實驗對比。

選用的數(shù)據(jù)庫為三維人臉數(shù)據(jù)庫，數(shù)據(jù)庫共包含10 組人臉。其中，男性人數(shù)為4 人，女性人數(shù)為6 人。通過掃描儀對人臉進行識別，在識別過程中需要注意被選擇的對象不能佩戴任何飾品，也不能戴眼鏡。

在進行實驗時，根據(jù)五個人臉特征點將2D 人臉圖像映射到3D 模型上，根據(jù)人臉特征點及3D 基準模型得到正面人臉表示，將3D 模型上預(yù)先標好的15個特征點映射回2D 圖像。在每個映射后的2D 特征點周圍截取100×100 的像素塊，并選擇其中六塊作為人臉特征點周圍的局部圖像塊。得到人臉表示后，將這些圖片作為輸入，分別送入多個深度特征分析模型中進行訓(xùn)練，得到多個深度特征向量。將這些特征向量連接，并作為深度特征分析模型的輸入進行降維處理，分析實驗結(jié)果。

設(shè)定驗收時間為24 h，得到的識別率實驗結(jié)果如圖3-4 所示。

圖3 男性識別率實驗結(jié)果

圖4 女性識別率實驗結(jié)果

根據(jù)圖3-4 可知，三種識別方法對于男性和女性所表現(xiàn)出的識別效果不同。基于Hadoop 平臺的多模態(tài)人臉識別方法在識別男性人臉時，識別率更高，而基于彩色和深度信息的多模態(tài)人臉識別方法在識別女性人臉時，具有較強的識別能力，但是這兩種方法在識別另一種性別的人臉時，都顯現(xiàn)出較高的局限性。而文中提出的基于深度學(xué)習(xí)特征的多模態(tài)人臉快速識別方法通過同時采集數(shù)據(jù)特征完成信息分析，因此針對男性和女性都具有較強的識別能力。

多模態(tài)人臉快速識別錯誤率實驗結(jié)果如表1所示。

表1 識別錯誤率實驗結(jié)果

由表1 可知，傳統(tǒng)的識別方法在識別過程中容易受到光線和其他外界環(huán)境因素的影響，識別錯誤率較高，識別能力較差，無法進行精準識別。文中方法具有很強的識別能力，能夠在短時間內(nèi)完成人臉精準識別。

識別速度實驗結(jié)果如表2 所示。

表2 識別速度實驗結(jié)果

觀察表2 可知，文中方法通過深度學(xué)習(xí)縮短三維數(shù)據(jù)的獲取時間，在分析特征后迅速生成圖像，完成人臉識別。文中的三維圖像資料是由3D 結(jié)構(gòu)光三維掃描管理系統(tǒng)獲得，該系統(tǒng)對于人臉特征的定位是對人臉特征進行多個角度的拍照，并在短時間內(nèi)完成拼接，得到三維彩色人臉特征樣本，同時針對得到的三維圖像資料進行一定的剪切、校對、補漏以及噪音消除等處理。經(jīng)過該系統(tǒng)獲得的三維人臉數(shù)據(jù)位置具有很強的穩(wěn)定性，通過分析人臉數(shù)據(jù)的結(jié)構(gòu)信息便可得到人臉關(guān)鍵特征點的定位，因此識別時間更短，更適合于實際應(yīng)用。

5 結(jié)束語

文中根據(jù)深度學(xué)習(xí)理論提出了一種新穎的多模態(tài)人臉快速識別方法，利用三條不同的特征曲線，對信息進行深度分析，通過深度學(xué)習(xí)特征提取實現(xiàn)快速識別。實驗結(jié)果表明，文中提出的人臉快速識別方法相比于傳統(tǒng)方法，能夠更加快速地實現(xiàn)多模態(tài)人臉識別，并提高識別精度，在人臉識別領(lǐng)域具有很好的應(yīng)用效果。