視頻人臉識別系統中的最佳人臉捕獲

孟繁靜，王連明

（東北師范大學物理學院，吉林長春130024）

視頻人臉識別系統中的最佳人臉捕獲

孟繁靜，王連明

（東北師范大學物理學院，吉林長春130024）

基于視頻的自動人臉識別系統自動選取用于后續識別的最佳人臉圖像.設計并實現了一個最佳人臉捕獲模塊，該模塊主要由人臉檢測、人臉跟蹤和姿態判定環節組成.在實現對視頻中的人臉進行檢測和跟蹤的基礎上，可自動截取并保存一張大小合適、清晰度高且姿態最佳的人臉，用于后續的人臉識別.

人臉檢測；人臉跟蹤；姿態判定；人臉捕獲

隨著社會的發展，人臉識別作為一種高效、友好、安全的身份識別方式在眾多領域被廣泛應用.基于視頻的自動人臉識別系統因其不需要人工干預、自動化程度高等優點而受到了人們的廣泛關注.

基于視頻的自動人臉識別系統主要包括視頻采集環節、人臉檢測環節、人臉跟蹤環節和人臉識別環節.現有的研究大多是針對其中的單個環節，如人臉檢測［1－5］、人臉跟蹤［6－9］、姿態判定［10－11］和人臉識別［12－13］等，沒有把它們集成一個完整的系統.而一些完整的基于視頻的自動人臉識別系統大多是將視頻中隔幾幀檢測到的人臉進行識別［14－15］，或將提取的關鍵幀中的人臉進行識別［16］，或將檢測到人眼的人臉進行識別［17］.這些系統都有可能出現同一個人被重復識別的問題，也不能保證被用于識別的幀中具有大小合適、清晰度高且姿態最佳的人臉，從而增加了后續人臉識別環節的難度.針對基于視頻的自動人臉識別系統，本文集成了人臉檢測、人臉跟蹤、姿態判定等環節，設計并實現了一個最佳人臉捕獲模塊，可以為人臉識別環節提供一張大小合適、清晰度高且姿態最佳的人臉.

1 人臉捕獲模塊整體框架

人臉捕獲模塊主要由視頻采集、人臉檢測與跟蹤、人眼檢測和姿態判定等環節構成.模塊具體流程如圖1所示.

模塊運行過程：攝像頭采集視頻，經人臉檢測后，對檢測到的人臉進行跟蹤，并根據新一幀圖片中檢測窗口與跟蹤窗口的位置，判斷檢測與跟蹤的是否為同一人；判斷檢測到的人臉是否滿足實際人臉識別中對于圖片大小的要求，對滿足大小的人臉進行清晰度檢測；對其中清晰的人臉進行人眼檢測，確定人眼坐標，并據此對人臉進行轉正；對轉正后的人臉進行姿態判定，并判斷其是否滿足限定的姿態范圍；對一定數量的滿足姿態范圍的人臉進行姿態比較，截取保存其中姿態最佳且轉正時旋轉角度最小的人臉，用于后續的人臉識別.

圖1 模塊流程圖

2 模塊功能實現

2.1 視頻采集與人臉檢測

模塊采用安泰科公司的AT-8202點陣式紅外攝像機進行視頻采集，并通過大恒圖像采集卡DHCG400連接到PC機上.

模塊的人臉檢測部分采用的是膚色分割與Adaboost算法相結合的方法［4－5］.首先利用膚色檢測提取可能包含人臉的區域，然后針對膚色區域使用由Adaboost算法訓練的基于Haar-like特征的級聯分類器進行人臉檢測和定位，最后實現視頻內快速實時的人臉檢測.

（1）膚色分割.利用皮膚顏色在色度空間的聚類性，提取膚色區域，排除背景對檢測的干擾.由于Ycrcb空間具有色度與亮度分離、膚色聚類特性較好的特點，因此，模塊首先將視頻圖片由RGB空間轉到Ycrcb空間，對圖片進行膚色區域判斷.色彩空間轉換公式［4］如下：

經實驗得到，滿足75≤Cb≤125且135≤Cr≤165的區域可認為是膚色區域.然后，將圖片中的非膚色區域設置為黑色，膚色區域保持不變，完成膚色分割.最后，把處理后的圖片用于人臉檢測.

（2）Adaboost算法.針對得到的圖片，采用Viola和Jones提出的基于Haar-like特征的Adaboost算法［1］進行人臉檢測.該算法魯棒性強且具有較高的檢測速率和精度，能夠實現快速實時的人臉檢測.Adaboost算法過程如下：

（a）給定一個訓練集.其中，xi是輸入的訓練樣本向量，yi∈｛0，1｝，yi＝0表示非人臉樣本，yi＝1表示人臉樣本.

（b）初始化樣本權重為

（c）進行T次訓練，t＝1，2，…，T，歸一化權重為

（d）對每個特征f，訓練一個簡單分類器hf，并計算所有簡單分類器的加權錯誤率為

選出分類錯誤率最低的簡單分類器為弱分類器ht，將其錯誤率記為εt，調整所有樣本權重為

（f）通過分析，選擇錯誤率最低的T個弱分類器，優化成一個強分類器.強分類器為

其中αt＝－logβt.

根據上述Adaboost算法，用正負人臉樣本訓練基于Haar-like特征的強分類器，并將強分類器串聯成級聯分類器，實現快速實時的人臉檢測.

2.2 人臉跟蹤

模塊的人臉跟蹤部分采用的是Camshift跟蹤算法［9］.將第一個檢測到的人臉窗口作為Camshift算法的初始跟蹤窗口來進行人臉跟蹤.同時，利用每幀圖片中檢測窗口和跟蹤窗口的位置，判斷檢測到與跟蹤著的人是否為同一人，避免重復剪裁.

Camshift算法是一種運動跟蹤算法，主要通過視頻圖像中運動目標的顏色信息來實現跟蹤，具有良好的魯棒性和實時性.算法運行時首先對視頻圖像進行反向投影，將視頻圖像轉換為顏色概率分布圖.然后，根據Meanshift算法通過迭代尋找目標顏色概率分布的極值點來定位目標.最后，把Meanshift算法擴展到連續圖像序列中，把上一幀的跟蹤結果作為下一幀的搜索窗口，如此迭代，實現對人臉的跟蹤.

Meanshift算法運行過程如下：

（1）在顏色概率分布圖中選取搜索窗W.

（2）計算零階矩

以及x和y一階矩

（3）計算搜索窗的質心（xc，yc）為

（4）調整搜索窗口大小.

（5）移動搜索窗的中心到質心，重復（2）—（4），直至質心變化小于給定閾值.

2.3 清晰度檢測

由于攝像頭采集的是運動目標的視頻，難免會出現模糊的圖片.為了排除其中模糊的人臉，模塊在選取人臉時對圖片進行了清晰度檢測.圖片的清晰度評價方法有很多種，由于模塊旨在簡單地判斷圖片是否清晰，所以采用較為簡單的能量梯度函數方法［18］對人臉進行清晰度檢測.

能量梯度函數是采用相鄰點的差分來計算一個點的梯度值，其評價函數為

其中I（x，y）為圖像在點（x，y）處的灰度值.

根據實際的視頻情況，自主設定閾值T.若評價函數f（I）的值大于T認為是清晰圖片，否則為模糊圖片.

2.4 人眼檢測

模塊的人眼檢測部分也采用了基于Haar-like特征的Adaboost算法.即根據Adaboost算法用正負人眼樣本訓練基于Haar-like特征的級聯分類器實現人眼檢測.為了提高人眼檢測的速率和準確率，模塊在人眼檢測前對人臉圖片進行了預處理.首先根據膚色信息對人臉圖像進行二值化處理，將其中的黑色區域，諸如瞳孔、頭發等在原人臉圖片中設為黑色，使人眼更為突出.然后，采用水平積分投影的方法找到人眼的縱坐標，限定人眼區域.最后，在加黑后的人臉圖片上截取人眼區域用于人眼檢測.預處理過程如圖2所示.針對截取到的人眼區域，使用訓練好的級聯分類器進行人眼檢測.如此處理可有效地提高模塊檢測到人眼的速率和可能性，降低誤檢率.

圖2 人眼檢測預處理過程

2.5 姿態判定

由于姿態判定環節旨在比較視頻內若干幀數的人臉姿態，從中選取姿態最佳的人臉.所以，不需要對人臉姿態有嚴格的估計，僅需實現姿態的簡單判定即可.因此，本文采用了較為簡單的基于邊緣統計特征的人臉姿態估計方法［10］.

基于邊緣統計特征的人臉姿態估計方法是通過人臉的中心線和對稱線的位置關系來實現姿態估計的.中心線是指雙眼的中心線，如圖3中黑線所示.對稱線是指人臉部器官的對稱線，如圖3中白線所示.當人臉左右旋轉時，人臉的中心線和對稱線間的距離會隨著人臉的旋轉角度發生變化，旋轉越大，距離越大，如圖3d—f所示.因此，根據這一距離來估計人臉是否發生旋轉，以及旋轉角度的大小.并通過比較該距離實現對視頻中各幀人臉姿態的比較，選擇若干幀中距離最小（姿態最好）且人臉轉正時旋轉角度最小的人臉圖片截取保存.

在計算人臉中心線和對稱線時，人臉圖片必須是根據人眼坐標實現轉正后的人臉.在進行人臉轉正時，要保證雙眼處于同一水平線.根據雙眼的坐標計算人臉需要旋轉的角度和方向；根據旋轉的角度、方向和圖像對角線的長度計算旋轉后圖像的最大寬度、高度，并生成相應大小的緩沖區；將圖片繞圖像中心按照旋轉公式進行旋轉.旋轉公式［19］為

人臉的中心線可由人臉轉正后的雙眼坐標計算得到，對稱線可通過垂直積分投影尋找人臉的左右邊緣，如圖3所示，計算左右邊緣的中心線得到.

圖3 中心線和對稱線與姿態變化的關系

3 實驗結果

本文采用Visual C＋＋6.0作為開發環境，使用開源計算機視覺庫OpenCV來提高編程效率，在PC機上實現并測試該人臉捕獲模塊.在自然情況下通過攝像頭采集實驗室內人員對模塊進行測試.測試系統如圖4所示.

模塊在實現對人臉進行檢測和跟蹤的同時，也對檢測到的人臉進行姿態判定，比較并選擇姿態最佳的人臉.測試結果如圖5所示，前7列是從檢測到的人臉中抽取的7張不同姿態的人臉，最后一列為模塊比較了30幀姿態較好的人臉后，截取保存的最佳人臉.

實驗結果表明，模塊中對人臉大小的限制排除了距離較遠或較小的誤檢的人臉，對清晰度的檢測排除了視頻中因快速運動而產生的模糊人臉，對人眼的檢測排除了閉著眼或沒有檢到人眼的人臉，對姿態范圍的限定排除了偏轉較大的人臉，經過比較一定幀數得到滿足上述條件的人臉姿態，模塊最終實現了保存一幀大小合適、清晰度高且姿態最佳的人臉，用于后續的人臉識別.

圖4 測試系統

圖5 實驗結果

4 總結

本文設計實現了一個最佳姿態人臉捕獲模塊，模塊中的算法均簡單、易實現且具有較好的魯棒性和實時性.該模塊不僅能夠對視頻中的人臉進行檢測和跟蹤，還為后續的人臉識別提供一張大小合適、清晰度高且姿態最佳的人臉，為實現快速、實時、高效的基于視頻的自動人臉識別系統提供了新思路.

［1］ PAUL VIOLA，MICHAEL JONES.Robust real-time face detection［J］.International Journal of Computer Vision，2004，57（2）：137-154.

［2］ 梁路宏，艾海舟，肖習攀，等.基于模板匹配與支持矢量機的人臉檢測［J］.計算機學報，2002，25（1）：22-28.

［3］ 蒲東兵，塔娜，馬志強，等.一種實用監控系統的人臉檢測定位算法［J］.東北師大學報：自然科學版，2009，41（1）：40-43.

［4］ 付煒，孔祥棟.基于膚色和Adaboost算法的人臉檢測［J］.現代電子技術，2010，6：131-134.

［5］ 翟中華.基于膚色和Adaboost算法的人臉檢測方法研究［D］.廣州：華南理工大學，2012.

［6］ 田卉，沈庭芝，趙三元，等.綜合顏色和紋理特征的粒子濾波人臉跟蹤算法［J］.北京理工大學學報，2010，30（4）：469-473.

［7］ 何志勇，蔡樂才，許繼家.基于Meanshift算法跟蹤視頻中運動目標［J］.鄭州大學學報：理學版，2010，42（1）：38-42.

［8］ 梁娟，項俊，侯建華.基于Camshift和Kalman濾波的自動跟蹤算法［J］.微型機與應用，2011，30（24）：28-31.

［9］ 佘九華，王敬東，李鵬.基于Camshift的人臉跟蹤算法［J］.計算機技術與發展，2008，18（9）：12-15.

［10］ 王燕群，童衛青，張昌明.基于邊緣統計和特征定位的人臉姿態估計方法［J］.計算機系統應用，2011，20（4）：86-90.

［11］ 劉淼，郭東偉，馬捷，等.基于橢圓模型和神經網絡的人臉姿態估計方法［J］.吉林大學學報：理學版，2008，46（4）：687-690.

［12］ 劉延喜.Stein損失下BP神經網絡分類方法在人臉識別中的應用［J］.東北師大學報：自然科學版，2010，42（1）：27-31.

［13］ 陳海霞，崔茜.基于Gabor小波和PCA的人臉識別［J］.東北師大學報：自然科學版，2014，46（4）：77-80.

［14］ 張鞠鵬.一種基于視頻的實時人臉識別系統的研究與實現［D］.廣州：華南理工大學，2006.

［15］ 林天威.基于視頻流的人臉識別系統研究［D］.哈爾濱：哈爾濱工程大學，2010.

［16］ 李新濤.基于加權投票和關鍵幀提取的視頻流人臉識別方法研究［D］.蘇州：蘇州大學，2011.

［17］ 朱苗.基于視頻的智能人臉識別系統設計［D］.廣州：華南理工大學，2013.

［18］ 高楊.視頻質量診斷算法研究與實現［D］.沈陽：東北大學，2011.

［19］ 李海彥，徐汀榮，張立曉，等.基于仿射變換的多姿態人臉人臉矯正和識別［J］.計算機應用技術，2014，31（4）：1215-1219.

Optimal face capture in video-based face recognition system

Meng Fan-jing，WANG Lian-ming
（School of Physics，Northeast Normal University，Changchun 130024，China）

Different from the video-based face recognition systems which needs select faces manually，video-based automatic face recognition systems should be able to automatically pick out an optimal faces for subsequent face recognition.Therefore，a capture module for best face is designed and implemented.The module mainly consists of face detecting，face tracking and attitude determination links.Based on the detection and tracking of human face in video，an optimal face with appropriate size，high definition and best attitude can be captured automatically for the face recognition.

face detection；face tracking；attitude determination；face capture

TP391.41 ［學科代碼］ 520·6040

A

（責任編輯：石紹慶）

1000-1832（2015）03-0090-06

10.16163／j.cnki.22-1123／n.2015.03.019

2015-02-06

國家自然科學基金資助項目（21227008）；吉林省科技發展計劃項目（20130102028JC）.

孟繁靜（1991—），女，碩士研究生；通訊作者：王連明（1972—），男，博士，教授，主要從事智能信息處理及嵌入式系統領域研究.