基于Haar-like T 和LBP 特征的人臉識別方法

胡宇晨，李秋生

（1.贛南師范大學 智能控制工程技術研究中心，贛州 341000；2.贛南師范大學 物理與電子信息學院，贛州 341000）

人臉識別技術[1]起源于上世紀60 年代，現在由于計算機硬件性能的不斷增強，使得如今的人臉識別技術得以推廣，同時安全性能也較之前有了大幅提升。人臉識別技術的發展有以下3 個階段：

第1 階段在1960 年初到1990 年初。該時期由于受到計算機性能的限制，主要的研究方法為人臉的幾何構造，缺點為收集面部信息的幾何點個數較少，精度不足，導致識別率較低，此時的人臉識別技術還處于理論階段；第2 階段是在1990 年初到本世紀初，此時應用數學水平的不斷提高，同時計算機硬件的發展，計算機采集人臉信息的問題得到了長足進步，可獲得的人臉幾何點數有了大幅的提升，但是最后的結果卻不盡如人意；第3 階段為本世紀初至今，此階段計算機視覺、深度學習、人工智能[2]等技術的高速發展，使得人臉識別的精確度和安全性能得到大幅的提升，廣泛運用于人類生活和工作的各個方面，如人臉支付、身份識別、公共交通、信息安全等領域。

現在人臉識別領域應用最為廣泛的方法為深度神經網絡，尤其是卷積神經網絡（convolutional neural network，CNN）[3]，該網絡提取圖片特征的能力極其強大，具有很高的準確率，但是要訓練一個成熟的神經網絡需要上千張圖片，在現實的場景中，少有同一個人有幾千張的照片來訓練，而需要從少量的圖像中得到識別人臉的模型。

針對上述問題，本文結合Haar-like T[4]和LBP[5]特征的算法進行人臉識別的研究。首先采集人臉圖像，對采集的圖像進行特征提取，之后對提取的特征進行訓練，旨在從較少的樣本準確地識別出人臉。

1 Haar-like 和LBP 特征的提取

1.1 Haar-like 特征

Haar-like 特征最先是由Viola 提出，該特征在人臉和車輛識別的應用中取得了很好的效果[6]，其本質是通過構建簡單的黑白矩陣來實現對面部灰度特征變化的表示。Haar-like 特征可分為4 類：邊緣、線性、中心以及對角線特征[7]，具體如圖1 所示。

圖1 邊緣、線性、中心以及對角線特征Fig.1 Edge，linear，center，and diagonal features

Haar-like 特征的計算積分圖由面部圖像形成，其圖像矩形區域中從起點到每個點的像素之和存儲為陣列的元素，當要計算區域中的像素之和時，即調用該陣列元素，不需重新計算，因此也提高了檢測的速度。其計算公式[8]為

而后構建積分圖算法，用s（a，b）表示行方向的累加，初始為s（a，-1）=0；之后使用ii（a，b）表示積分圖像，初始化ii（-1，b）=0；通過掃描人臉圖像的各個像素點，迭代計算每個像素在行方向上的累加和積分圖像的值，即有：

當人臉圖像掃描完成時，積分圖像ii（a，b）構建完成，而后圖像中所有矩陣通過運算得到，如圖2所示。

圖2 矩形計算圖Fig.2 Rectangular calculation chart

假設圖2 中，D 這一點左右上下4 個點分別為a，b，c，d，則圖中D 點的像素和可以表示為

由此一個區特征值，就可以通過各個特征端點的積分圖計算得出。

1.2 Haar-like T 特征

在人臉五官的分布中，人臉圖像信息可以找到大量的T 字型結構特征。在Haar-like 的基礎上，T字型結構特征與Haar-like 特征相結合，可得到4 類Haar-like T 特征[9]，該特征更為符合人臉的幾何分布特征。分別為T-down、T-right、T-up、T-left，如圖3所示。

圖3 四類Haar-like T 特征Fig.3 Four types of Haar-like T features

T 特征與人臉五官的結合如圖4 所示。以圖4（a）所示人臉為例，圖4（b）為T-up 與人臉眼睛和鼻子區域相結合，人的眼睛和眉毛所在區域的灰度值大于以鼻子作為交點的倒立T 字型包含區域的灰度值，圖4（c）和圖4（d）則是人左眼和右眼與T-left、T-right 相結合，圖4（e）與圖4（f）圖類似。從上述分析可知，Haar-Like T 特征理論上較符合人臉的幾何分布。

圖4 T 特征與人臉五官結合圖Fig.4 T-feature and facial features

1.3 LBP 特征

局部二元特征（LBP）算子是描述人臉圖像紋理特征的算子，該算法對紋理特征具有旋轉不變性和灰度不變性。初始的LBP 算子構建一個3×3 的矩形區域[10]，該區域的中心像素值設為閾值，相鄰的8 個小矩形區域的像素灰度值與中心像素值經行比較，比它大的標記為1，反之為0。如此操作，將這8 個經過標記的像素塊按順序排列，即得到八位二進制數。用公式則表示為

式中：（Xc，Yc）為該正方形區域的中心點像素；ic為中心區域的灰度值；ip是各相鄰區域的灰度值；S（x）為定義函數，即：

其簡單計算如圖5 所示。

圖5 LBP 計算流程Fig.5 LBP calculation flow chart

該算法可以較為簡單高效地識別人臉圖像中各種細節，但不足之處在于當遇上規模較大的人臉紋理變化時，算法會遇到效率較低的問題。

1.4 LBP 算法的改進

基礎的LBP 算法只能夠適應固定半徑范圍的小區域，而人臉識別對圖像的尺寸和頻率紋理有著較高地要求。改進的LBP 算法[11-12]在原有的基礎上，將3×3 鄰域拓展到任意鄰域，并且用圓形鄰域代替，以適應不同尺度的紋理特征，如圖6 所示。

圖6 改進后的LBP 算法Fig.6 Improved LBP algorithm

圖7 原始圖像與LBP 特征圖Fig.7 Original image and LBP feature map

對于新的圓形鄰域內的中心點（Xc，Yc），其鄰域范圍內的任意一點（Xp，Yp），p∈P 其采樣點（Xp，Yp）值為

式中：R 為圓形區域的半徑大小；p 表示第p 個采樣點；P 表示檢測樣本點的個數。

通過上述對于普通LBP 算法的改進，圖像區域內的每個像素點都可以得到一個LBP 編碼。一幅人臉圖像在提取其LBP 特征之后，得到的LBP 特征圖任然與人臉相似。

同時LBP 對光照具有很強的魯棒性，在不同的光照條件下，LBP 方法對人臉圖像紋理特征的提取未發現明顯的變化，不同光照條件下的人臉照片與LBP 圖像，如圖8 所示。

圖8 不同光照條件下的人臉圖像與LBP 圖像Fig.8 Face image and LBP image under different lighting conditions

2 Adaboost 分類器的設計

在1990 年，由SChapire 等人提出了Boosting 算法。其旨在將弱學習算法提升為強學習算法。在1995 年，研究者在原算法的基礎上，提出了改進的Adaboost 算法，該算法較之前的Boosting 算法有著較大地提升。

Adaboost 算法是一種基于級聯分類模型的分類器[13]，它將采集到的人臉圖像用Harr-like T 特征表示，并應用積分圖對人臉圖像進行表達。系統構建了一個快速分類器，其具有極低的錯誤率（對于人臉的識別率接近100%）。該檢測器可更準確將人臉分類。當圖像的“非面部”區域被標記，即可將其丟棄，而“面部”區域時，則需要進一步的分類工作。級聯分類模型如圖9 所示。

圖9 級聯分類模型Fig.9 Cascade classification model

Adaboost 算法通過對不同的人臉圖像進行不同的賦值與加權計算，以此來分別是否為人臉圖像。在不斷學習了多種不同的樣本時，分類器不斷的學習迭代，其準確率將到達一個較高的值。在多次訓練之后選擇一個準確率最高的分類器，如此就得到一個弱分類器。弱分類器將每個分類器進行不同的賦值計算，再將若干個分類器進行級聯合成強分類器。經過級聯算法之后，會得到最終的人臉級聯分類器，通過每一級的賦值加權，形成人臉分類器。Adaboost級聯分類器如圖10 所示。

圖10 Adaboost 級聯分類器Fig.10 Adaboost cascade classifier

3 實驗結果與分析

為檢測本文算法的性能，人臉識別的實驗環境為CPU 是Intel（R）Core（TM）i5-9500 CPU，頻率為3.00 GHz，內存為8 GB，電腦的操作系統為Win10。

3.1 Haar-like T 算法檢測

為測試Haar-like T 檢測人臉的性能，本文用該方法與Haar-like 方法做比較，數據集為FERET 人臉數據庫、Yale 人臉數據庫、ORL 人臉數據庫中所提取的6000 張人臉圖像，和網絡收集的2000 張非人臉圖像，再從數據集中選取部分圖片作為測試圖片。當檢測樣數較少時，Haar-like T 與Haar-like 的檢測率相近，當樣本數逐漸增大時，檢測率開始出現差別，Haar-like T 方法檢測率較高，檢測精確度更高，相同條件下Haar-like T 所用的時間更短。實驗結果匯總如表1 所示。

表1 檢測性能Tab.1 Test performance

表2 算法識別率Tab.2 Algorithm recognition rate

表3 算法識別率Tab.3 Algorithm recognition rate

3.2 Yale 人臉庫及實驗

該數據集由耶魯大學計算視覺與控制中心創建，包含15 個個體，每個個體包含11 張不同姿態的人臉圖像，共165 張圖片，包含光照、表情和姿態的變化。Yale 人臉數據庫中每個個體采集的樣本包含明顯的光照、表情和姿態以及遮擋變化。該數據集的樣圖如圖11 所示。

圖11 Yale 人臉數據庫樣本圖Fig.11 Sample image of Yale face database

本文取該數據集中每人的前5 張作為訓練集，剩余的樣本作為測試集。在該數據集上本文對HOG+SVM、LBP+KNN、LBP、ULBP、Haar-like+LBP、CNN 方法與本文方法進行對比，結果如2 表所示。

通過以上7 種不同的方法進行對比，不難看出Haar-like T 與LBP 特征結合的方法在Yale 人臉庫上較HOG+SVM、LBP+KNN 方法的準確率有著較高地提升，與LBP、ULBP、CNN、Haar-like+LBP 方法相比較有著略微的優勢，且本文方法比Haar-like+LBP 方法所用的時間更少，Haar-like T 方法有著更符合人臉幾何分布的特征提取方式，且速度更快，效率更高。CNN 由于受到訓練數據較少的影響，對人臉特征提取不足，而導致識別率較本文方法偏低。這說明Haar-like T 在面對訓練數據較少的數據集時，有比HOG+SVM 與LBP+KNN 方法更好的互補性，以提升識別率。相比于LBP 和ULBP 方法受到的光照和姿態等方面的影響更少，具有更好的魯棒性。

3.3 ORL 人臉庫及實驗

該數據集由英國劍橋大學AT&T 實驗室創建，其圖像規格為92×112，灰度值最高為256。包含40種不同性別的，不同人的人臉圖像，每個個體包含13 張不同姿態的人臉圖像，有不同表情，睜眼閉眼，是否戴眼鏡，拍攝角度的不同，并且每個個體增加部分遮擋圖片，共400 余張面部圖像。ORL 人臉數據庫樣圖如圖12 所示。

圖12 ORL 人臉數據庫樣本圖Fig.12 ORL face database sample image

在數據集的分配上，本文將每人的前5 張作為訓練樣本，其余作為測試樣本。在該數據集本文對HOG+SVM、LBP+KNN、LBP、ULBP、Haar-like+LBP、CNN 方法與本文方法進行對比，結果如3 表所示。

在數據集數量較為充裕且加入了部分遮擋圖片的ORL 人臉庫中，以上7 種方法方法識別率對比，Haar-like T+LBP 方法比CNN 方法的識別率稍低，由于ORL 人臉庫有著較多的數量的圖片，卷積神經網絡對于人臉特征的提取更加精確，以致卷積神經網絡在ORL 人臉庫上的識別率比本文方法稍高，也表明在訓練圖片較多時，CNN 網絡在識別率方面有著比本文方法稍好地表現，但卷積神經網絡也存在網絡的過擬合，泛化能力不足的問題，本文方法相較于CNN 網絡的訓練時間較短，識別率相近，有其自身優勢。在此數據集上本文方法與HOG+SVM、LBP+KNN 方法相比較任然有較好的識別率，有著更好的互補性，而與LBP 和ULBP 方法的比較中，體現出了本文方法在面對不同光照和姿態時，有著較好的魯棒性，比Haar-like+LBP 方法所用時間更少，識別率更精確。

4 結語

針對卷積神經網絡運用于人臉識別，在訓練數據較少而造成訓練特征不足，同時也可能出現網絡的過擬合，泛化能力不足等缺陷，本文結合Haarlike T 和LBP 特征的算法進行人臉識別的研究。實驗結果表明，Haar-like T 在人臉的檢測上有著較高的檢測率與精度，Haar-like T 和LBP結合的方法在Yale 和ORL 人臉庫中有著較好的識別效果，對光照具有較強的魯棒性，對光照不敏感，同時對人臉的識別時間更短，具備良好的可行性。