基于卷積神經網絡的視頻監控人臉識別方法

晏鵬程 張一鳴 童光紅 黃鋒 歐先鋒

摘要：視頻監控中的人臉識別算法主要包含人臉檢測、預處理、特征提取和特征匹配（人臉識別）4個部分，其中最重要的是人臉檢測和特征匹配。視頻監控圖像中的人臉可能有多姿態、多尺度和局部遮擋等問題，對人臉的提取和識別有較大影響。采用基于Haar特征的AdaBoost算法實時檢測出視頻中的人臉區域，獲取人臉圖像，通過卷積神經網絡（CNN）訓練得到人臉圖像的深層特征，進而進行人臉識別。實驗結果表明：該方法可以滿足識別準確率和實時檢測的要求，對視頻圖像中光照變化、姿態變化、尺度變化和局部遮擋等問題具有較好的魯棒性。

關鍵詞：視頻監控，人臉識別，卷積神經網絡，人臉檢測，Haar，AdaBoost

中圖分類號：TP391?文獻標志碼：A?文章編號：2095-5383（2020）01-0026-06

Abstract：The face recognition algorithm in video surveillance mainly includes four parts：face detection，preprocessing，feature extraction and feature matching （face recognition），and the two most important parts are face detection and feature matching.?Faces images in video surveillance may have problems such as multi-pose，multi-scale，and local occlusion，which have a greater impact on face extraction and recognition.In this paper，the AdaBoost algorithm based on Haar feature was used to detect the face regions in real time，and the face image was obtained.?The deep features of the face image were obtained through the convolutional neural network （CNN） training，and then face recognition were performed.?The simulation results indicate that the proposed algorithm meets the requirements of recognition accuracy and real-time detection，and is robust to problems such as illumination change，attitude change，scale change and partial occlusion.

Keywords：video surveillance，face recognition，Convolutional Neural Networks，face detection，Haar，AdaBoost

隨著視頻監控技術的發展，視頻監控系統在許多公共場合得到了廣泛應用，為公共安全的保障提供了技術基礎[1-2]。但是，現有的視頻監控系統大都只具備視頻傳輸和視頻儲存的功能，需要人工跟進或者后續進行查閱，占用了安全人員的大部分時間和資源。如果視頻監控系統具備智能分析的功能，能夠對視頻監控場景中的目標進行智能分析，將大幅度減少安全人員在后續查閱視頻上的時間。如果能夠提前預警，在危情尚未發生時將其扼殺，將達到進一步提升監控區域安全的目的。

由于視頻監控中人臉分辨率較低、經常快速移動、尺度變化范圍大、光照和姿態等變化不定等因素的影響，視頻監控人臉識別面臨更多的困難和更大的挑戰。視頻監控中的人臉識別主要包含人臉檢測、預處理、特征提取和特征匹配（人臉識別）4個部分，其中最重要的2個部分是人臉檢測和特征提取[3]。要做到實時人臉檢測，要求算法的檢測速度快，檢測效果準確。而特征提取直接影響人臉識別的準確率。本文在人臉檢測部分采用基于Haar特征[4]的AdaBoost算法[5]實時檢測出視頻中的人臉區域，人臉區域圖像經過預處理后得到人臉目標圖像，然后采用卷積神經網絡（Convolutional Neural Networks，CNN）來提取人臉目標圖像的特征[6]，網絡經過訓練后得到預訓練模型作為人臉的分類器，通過fine-tuning[7]可以減少網絡模型的訓練時間。

1?人臉檢測

視頻圖像采集完成后，需要通過人臉檢測算法對視頻圖像中的人臉區域進行截取。本文采用基于Haar特征的Adaboost分類器進行人臉區域的檢測。

1.1?Haar特征

Haar特征是一種矩形特征，通常用來進行目標檢測。其值表示為黑色矩形所表示區域的灰度值之和與白色矩形所表示區域的灰度值之和的差，這樣就可以反映該圖像局部區域的灰度變化。Haar特征的基本原型[8]如圖1所示。

在人臉檢測中，人臉的眼睛、鼻子、嘴巴為人臉目標的重要面部特征，通過檢測這些特征可以極大概率地檢測出圖像中是否存在人臉目標，因此在算法中引入了兩種擴展的Haar特征原型[9]：眼睛與眉毛組成的Haar特征、眼睛與鼻子組成的Haar特征，如圖2所示。

1.2?基于Haar特征的AdaBoost算法

AdaBoost算法[10-12]的原理是通過訓練得到多個不同的弱分類器，并將這些弱分類器通過疊加、級聯得到強分類器。AdaBoost算法流程如圖3所示。

[2]薛曉利，胡蓉，朱金陵.?一種改進的Gabor算法及其在人臉識別中的應用[J].?成都工業學院學報，2011，14（2）：6-8.

[3]曾青松.?多核支持向量域描述在基于圖像集合匹配的人臉識別中的應用[J].?中國圖象圖形學報，2016，21（8）：1021-1027.

[4]MA S，BAI L.?A face detection algorithm based on Adaboost and new Haar-Like feature[C]// IEEE International Conference on Software Engineering and Service Science.?IEEE，2017：651-654.

[5]GUDIPATI V K，BARMAN O R，GAFFOOR M，et al.?Efficient facial expression recognition using adaboost and haar cascade classifiers[C]// Industrial Electronics，Technology & Automation.?IEEE，2017.

[6]盧宏濤，張秦川.?深度卷積神經網絡在計算機視覺中的應用研究綜述[J].?數據采集與處理，2016，31（1）：1-17.

[7]歐先鋒，向燦群，湛西羊.基于CNN的車牌數字字符識別算法[J].?成都工業學院學報，2016，19（4）：26-30.

[8]楊秋芬，桂衛華，胡豁生，等.?局部二元Haar特征Kadane多閾值AdaBoost面部分類識別[J].?小型微型計算機系統，2016，37（11）：2582-2587.

[9]糜元根，陳丹馳，季鵬.?基于幾何特征與新Haar特征的人臉檢測算法[J].?傳感器與微系統，2017，36（2）：154-157.

[10]李晶惠，葉學義，夏胡云，等.?基于“大T”型區域的AdaBoost人臉檢測算法[J].?軟件導刊，2017，16（10）：22-26.

[11]SONG X，RUI T，ZHA Z，et al.?The AdaBoost algorithm for vehicle detection based on CNN features[C]//International Conference on Internet Multimedia Computing and Service.?ACM，2015：5.

[12]王慶偉，應自爐.?一種基于Haar-Like T特征的人臉檢測算法[J].?模式識別與人工智能，2015，28（1）：35-41.

[13]李勇，林小竹，蔣夢瑩.基于跨連接LeNet-5網絡的面部表情識別[J].自動化學報，2018，44（1）：176-182.