一種非限制性條件下人臉識別的方法

林椹尠,李相宇,惠小強

(1.西安郵電大學 理學院， 陜西 西安 710121；　2.西安郵電大學 通信與信息工程學院,陜西 西安 710121；3.西安郵電大學 物聯網與兩化融合研究院， 陜西 西安 710061)

人臉識別作為生物特征識別領域的重要方法之一，因其具有非接觸性和不易竊取性的特點，已經被廣泛的應用于安全監控、人機交互、人工智能以及電子商務安全中。人臉識別受到數據中面部姿態、圖片顏色、圖像大小、背景環境等條件的影響，通常可將人臉識別分為限制性條件下和非限制性條件下的兩種識別類型。在限制性條件下，人臉數據多為單一背景下，正面姿態的單人灰度頭像的識別。在非限制性條件下，人臉數據大多是從真實環境中采集，并綜合了臉部的姿態、光照、表情、背景等多種影響因素，更具有實際應用價值[1-3]。

基于支持向量機(Support Vector Machine，SVM)算法[4-5]，基于主成份分析法[6-7](Principal Component Analysis，PCA)和基于方向梯度直方圖(Histogram of Oriented Gradient，HOG)算法[8-9]，是較為常用的人臉識別算法。SVM算法通過對核函數的優化和分類算法的改進來進行人臉識別，由于其提取圖像的全部特征，計算量較大，故不適用于大數據的快速識別；PCA是對全局進行特征提取，降低了特征的維度，但識別準確率受光照的影響較大；基于HOG特征提取的方法，不受光照和幾何形變的影響，其計算量依然較大。在限制性條件下，如同一背景下的人臉識別和單一表情下的人臉識別，上述3種算法均具有較高的識別準確率。在非限制條件下的人臉識別問題，由于數據中保留較多的冗余信息，使得算法的計算量較大，尤其是在樣本量較少的情況下，這三種算法的識別準確率不高。

針對非限制性條件下人臉識別算法計算量大及識別準確率較低的問題，本文將Haar特征分類器[10]引入到原始數據的預處理過程中，結合HOG特征提取、快速PCA降維處理和SVM分類算法，構建了一種針對非限制性條件下的人臉識別方法。

1　原始數據預處理

圖1是在非限制性條件下獲取的部分人臉圖像數據。從中可見部分人臉數據的背景、人臉的偏轉角度、面容姿態和表情等都存在著較大的差別，并且存在數據成像效果較差或人臉不完整的情況，這些數據均不能用做人臉識別中分類模型的訓練樣本。

圖1　非限制性條件下的人臉圖像

為了減小圖像中存在的噪聲對人臉識別準確率的影響，使得特征提取和人臉識別具有較高的魯棒性，在訓練樣本進行特征提取之前，需要對原始數據先進行預處理。原始數據的預處理包括從人臉數據庫中讀取原始數據和人臉區域的檢測與提取兩個部分，其流程如圖2所示。

圖2　原始數據預處理流程

1.1　讀取原始數據

非限制性條件下，原始數據因其采集方式不同，部分人臉圖像無法用于分類模型的訓練，在讀取數據之前，需要將這部分數據舍棄。考慮到人臉數據庫中樣本命名方式不同，為了實現樣本數據的大批量的讀取以及有序化保存，本文采用OpenCV跨平臺計算機視覺庫，通過C++編程實現原始數據的批量讀取與有序化保存[11]。經過有序化保存后的樣本數據方便于人臉的檢測與提取快速實現。

1.2　人臉的檢測與提取

考慮到在非限制性條件下，人臉識別中原始的樣本數據存在著大量的冗余信息和干擾信息。為了優化實驗樣本，在原始數據預處理階段引入Haar特征分類器，去除人臉區域外冗余信息和干擾信息，并對讀取的數據進行人臉的檢測和人臉區域的提取。在提取過程中，考慮到原始數據為彩色圖像，直接讀取將得到較大的數據量并且容易出現誤檢或漏檢的情況。首先，為了降低圖像的數據量，對原始數據進行灰度化處理。然后，為了弱化光照的影響，增強圖像的對比度，對灰度化處理后的圖像進行直方圖均衡化處理[12]，其效果如圖3所示。再利用Haar特征分類器，對處理后的數據進行人臉的檢測與提取，圖4為人臉檢測和人臉區域的提取結果。

經過預處理后的數據統一保存為64×128像素，每一類樣本均以從小到大的序列命名并存儲。這樣就得到了用于特征提取的樣本圖像數據。

圖3　灰度化及直方圖均衡化的圖像

圖4　人臉區域的檢測與提取

2　特征提取與降維處理

2.1　HOG特征提取

方向梯度直方圖(HOG)是由Dalal等在2005年提出，用于對行人進行檢測[13]。HOG特征具有較強的魯棒性，其對光照變化和幾何變化都不敏感，并且HOG特征的計算量較少。因此，采用方向梯度直方圖對樣本圖像數據進行特征提取。

假設I(x,y)表示樣本圖像像素點的位置；Gx(x,y)和Gy(x,y)分別表示像素點梯度向量在水平和垂直方向上的分量；G(x,y)表示梯度向量的大小；θ(x,y)表示梯度向量的與水平方向的夾角，像素點梯度向量在水平和垂直方向上的分量梯度分量定義[13]為

Gx(x,y)=I(x+1,y)-I(x-1,y),

(1)

Gy(x,y)=I(x,y+1)-I(x,y-1).

(2)

則

(3)

(4)

式(1)(2)可分別計算出各像素點(x,y)在水平及垂直方向上的梯度分量，式(3)(4)分別計算出各像素點的梯度幅值及梯度方向。

根據實驗樣本的像素大小，在HOG特征提取的過程中，選用8×8像素的單元對64×128像素的窗口進行劃分，共形成了128個單元，其中相鄰的單元不重疊。然后，把4個單元組成16×16像素的塊，共組成105個塊，其中塊的步進大小為8個像素，水平方向的塊數為7,垂直方向的塊數為15。最后，對每個單元統計方向梯度直方圖，將所有梯度方向劃分為9個角度區間，作為直方圖的橫軸，角度范圍所對應的梯度值累加值作為直方圖縱軸，每個角度區間劃分如圖5。這樣，一個塊就具有36個特征值，然后，將105個塊的特征值串聯起來，得到了一個樣本的3780維HOG特征。

圖5　角度區間劃分

2.2　快速PCA降維處理

對于人臉識別問題，其樣本特征維度往往遠高于樣本數。本文的樣本數據為8192(64×128)維，即使是所提取的HOG特征，也達到3780維。對于PCA算法中協方差矩陣的求解，其計算數據量為3780×3780維，這將導致運算數據量很大，程序運行時間較長[7]。為了快速有效地降低樣本維度，使用快速PCA的方法[14]來求解樣本HOG特征矩陣的特征值及特征向量。

設Z為樣本HOG特征矩陣，ZT為樣本特征矩陣的轉置，構造矩陣T=Z×ZT。設T的前k個特征值D和特征向量W，其中k為樣本數。對非正定矩陣P，若

P-1×(Z×ZT)×Z=S，

則等價于

P-1×(ZT)-1×ZT×Z×ZT×P=S，

所以，

(ZT×P)-1×ZT×Z×(ZT×P)=S，

可以看出，ZT×Z的特征向量為ZT×P，而Z×ZT的特征向量矩陣為P，即W=P。由ZT×Z和Z×ZT的特征向量相同可得，快速PCA算法中協方差矩陣的特征向量[14]為V=ZT×W，其中V表示協方差矩陣的特征向量。

對提取的HOG特征進行快速PCA降維處理之前，需要先對數據進行零均值歸一化預處理[14]。再利用快速PCA降維算法求出樣本矩陣的特征值及特征向量。為了使特征向量V作為低維空間的基向量，則需要特征向量V進行歸一化處理，使特征向量V′滿足正交化和歸一化條件。由樣本矩陣Z和低維空間基向量V′得到樣本的PCA最終值為Zpca=Z×V′，其中Zpca表示最終的樣本矩陣。

可以看出，經過PCA降維處理后的數據維度，由3780維減少到了k維，即維數與樣本數相等。這樣，就有效地減少了數據量，能加快運行速度。

3　人臉識別

3.1　數據歸一化處理

經HOG特征提取和PCA降維處理后得到特征數據，但同一樣本中不同特征分量的數值大小存在著較大的差異性。為了更方便地應用支持向量機(SVM)分類識別，使數據具有可比較性，在進行分類和識別之前，對數據再進行歸一化處理。

采用中值歸一化方法[15]把同一樣本的數據歸一化到[-1，1]之間，即

其中，Xfinal為歸一化處理后的數據，X為原始數據，Xmax為原始數據中的最大值，Xmin為原始數據中的最小值。經中值歸一化處理后的樣本數據，將用于人臉識別的最終數據，但是樣本數據特征量較多，且樣本數量不多。

3.2　基于SVM的人臉識別

根據SVM算法對小樣本、高維度的數據具有強大的分類能力特點，在人臉識別階段選用SVM算法對樣本進行分類并識別。

SVM算法通過尋找不同樣本間的最優超平面，將不同的類別區分而進行分類。最優超平面可以表示[16]為

其中，sign為符號函數，αi為Lagrange乘子，yi為分類標志，φ(x)為x的高維映射函數。通過核函數k(x·xi)代替φ(x)·φ(xi)，上式變為

最終得到最優分類超平面。

基于SVM的人臉識別包括模型的訓練和樣本的測試兩個部分。本文采用線性核函數，對訓練樣本進行訓練并對SVM算法中的參數進行優化，得到最終的訓練模型。然后，用訓練好的模型對測試樣本進行測試，得到人臉識別的準確率和測試時間。

4　實驗與結果分析

4.1　實驗環境

實驗環境分別為硬件環境和軟件平臺兩個部分。硬件環境包括一臺PC機，Windows 7_64位操作系統，處理器為Intel(R) Core(TM) i5-2450M CPU @ 2.50GHz，內存為4.0G等；軟件平臺為Visual Studio 2015，OpenCV 3.2.0，MATLAB R2015b等。

在MATLAB平臺中使用libsvm工具包，是由臺灣大學林智仁(Lin Chih-Jen)教授等開發所設計的SVM模式識別與回歸的軟件包[17]。

4.2　實驗數據庫

實驗數據選用非限制性條件下的LFW人臉庫。LFW人臉庫中包含5749人，共13233幅圖像，圖像像素為250×250。實驗過程中以數據量大于40張的人臉圖像作為實驗樣本，共選出14個實驗樣本，如圖6所示。

圖6　實驗樣本

通過以下4種方式進行模型的訓練和樣本的測試：

(1)選擇各類中的10張作為實驗樣本，其中，5張作為訓練樣本，5張作為測試樣本；

(2)選擇各類中的20張作為實驗樣本，其中，10張作為訓練樣本，10張作為測試樣本；

(3)選擇各類中的30張作為實驗樣本，其中，15張作為訓練樣本，15張作為測試樣本；

(4)選擇各類中的40張作為實驗樣本，其中，20張作為訓練樣本，20張作為測試樣本。

4.3　實驗過程

實驗仿真包括實驗樣本的預處理和分類識別兩個階段。首先，在OpenCV搭建的實驗平臺上完成原始數據的灰度化和直方圖均衡化處理、人臉特征區域的提取和數據的有序化保存，預處理后的數據如圖7所示。然后，在MATLAB平臺上，對分類提取的4種不同數量的實驗樣本進行HOG特征提取、快速PCA降維處理、數據歸一化和SVM分類等過程，記錄下4種不同數量的樣本的識別準確率，同時，記錄5次測試階段的識別時間并取平均值作為最終的識別時間。

在預處理階段的數據有序化保存時，對64×64像素和64×128像素兩種格式的識別準確率進行對比。測試結果顯示，64×64像素的識別準確率為89.28%，低于64×128像素的93.57%，所以，把預處理后的數據全部保存為64×128像素。

圖7預處理后的部分樣本

4.4　實驗結果對比分析

為了驗證本文方法的有效性，采用比較的方法，分別把本文方法與SVM算法、PCA+SVM算法、HOG+SVM算法在相同實驗條件下人臉識別的效果進行了對比。分別取4種算法在4種不同數量實驗樣本情況下的人臉識別率，實驗結果如表1所示，測試識別時間對比結果如圖8所示。

由表1可見，4種算法的識別準確率都隨著訓練樣本數的增加有明顯的提高。在相同數量的訓練樣本和測試樣本的情況下，直接對原始數據使用SVM算法的識別準確率最低，PCA+SVM算法和HOG+SVM算法的識別率雖然有所提高，但是其識別率依然較低。本文方法在實驗樣本數較多和較少的情況下，其識別準確率均優于其他3種算法，在最大樣本量的識別準確率可以達到93.57%。從圖8中可知，本文方法不僅提升了識別準確率，而且其識別用時較小，提高了識別的速度。SVM算法在測試階段的識別時間隨著實驗樣本數的增加而增大，雖然，HOG+SVM算法識別時間有所減少，但是，其識別時間仍受到實驗樣本數的影響。本文方法和PCA+SVM算法的用時基本相同，而且受實驗樣本數的影響不大。

表1　不同算法的識別準確率

圖8測試識別時間對比

5　結束語

為了改善非限制性條件下的人臉識別準確率較低的問題，提出了一種結合Haar特征分類器、HOG特征提取和快速PCA降維處理的人臉識別改進方法。通過與SVM算法、PCA算法以及HOG算法的對比實驗表明，該方法相較于其他3種算法具有較高的識別率，較短測試識別時間，且在較少樣本下情況下，識別率相對較高。但是，在有遮擋物和偏轉角度較大情況下，本文算法的人臉識別率不理想，算法還需做進一步的改進。