一種基于視頻的人臉檢測及識別方法

李有乘

摘 要：基于視頻的人臉檢測及識別是一個比較熱門的研究方向。本文使用了一種方法對視頻中的人臉進行檢測。在收集檢測后的人臉模型后，本研究訓練了一個輕型的深度神經網絡模型，并使用該模型來進行人臉識別。試驗結果表明，該模型可以較為高效地檢測出人臉。

關鍵詞：視頻監控;人臉檢測;人臉識別;CNN

中圖分類號：TP389.1文獻標識碼：A文章編號：1003-5168（2020）20-0027-03

Abstract： Face detection and recognition based on video is a popular research direction. This paper used a method to detect faces in the video. After collecting the detected face models， this study trained a lightweight deep neural network model and used this model for face recognition. The experimental results show that the model can detect faces more efficiently.

Keywords： video surveillance;face detection;face recognition;CNN

近年來，深度學習是計算機領域發展最為迅速的一個方向，人臉識別也是目前非常熱門的研究方法。與傳統的一些認證方法相比較（如密碼認證、指紋認證等），人臉識別具有可以輕易采集相關信息（監控）、不需要接觸目標等優勢。人臉識別流程一般分為兩個部分：一是人臉檢測，即在一張圖片里面正確檢測人臉的具體坐標;二是人臉識別，即把不同的人臉信息進行認證對比，從而識別哪個是真正的目標。有別于深度學習，傳統的人臉檢測主要是基于統計和知識的。例如，江偉堅等[1]基于Haar-like特征和積分圖的方法進行人臉檢測。而深度學習則不一樣，是通過對圖片的底層特征（像素級別）進行抽取從而得到高維的特征[2]，這樣抽取得到的特征，不會受到其他因素的影響，如信道干擾等，具有很強的抗噪性。王瑋等[3]提出了一種基于高斯拉普拉斯算子得到人臉邊緣進而進行人臉檢測的方法。Zhang等[4]提出了MTCNN（Multi-task Convolutional Neural Networks），MTCNN是一種基于多個檢測框級聯的卷積神經網絡，這個網絡可以同時檢測人臉的特征點，從而大幅提高檢測的成功率。而人臉識別就是對人臉的信息進行一個多分類的判斷。鄭德偉[5]提出了一種基于機器學習的人臉識別方法。

本文基于Zhang等[4]提出的想法，設計了一個人臉檢測模型，對視頻中的人臉信息進行檢測，在檢測出人臉信息之后，構建了一個輕型的CNN（Convolutional Neural Networks，卷積神經網絡）來對人臉的信息進行識別分類。結果表明，該模型在識別視頻中的人臉信息時具有較快的速度。

1 流程設計

本文使用OpenCv來進行視頻文件的讀取，OpenCv是一個開源的跨平臺計算機視覺庫，具有高效、易于使用的特點。在使用OpenCv讀取視頻文件之后，視頻會被分解為一個一個的圖片，因為視頻本身就是由多個圖片構成的，1 s的視頻有24張圖片信息，將這些圖片信息進行處理，放入MTCNN中進行人臉檢測，檢測結果放入單獨的文件夾中。然后對這些圖片進行手動標注，標注之后構建一個輕型的CNN網絡，對這些人臉圖片進行訓練。

2 CNN及MTCNN網絡結構

CNN是具有一定深度的前饋神經網絡（Feedforward Neural Networks），是計算機視覺方向最具代表性的算法之一。其主要思想就是使用卷積層（Convolutional Layer），對輸入的數據進行卷積運算，通過使用多個卷積核將圖片信息提取成多個淺層的特征圖（Feature Map）。從特征圖上面，CNN可以得到該圖片在某個卷積核大小上面的特征圖像，使用該特征圖像就可以賦予CNN一定的泛化能力。然后，對于得到的特征圖，還可以進一步進行卷積運算，從而得到深層的特征圖。一般來說，淺層的特征圖是目標的一些比較通用的特征，如顏色、邊緣等，而深層的特征圖則是學習一些目標獨有的特征，人臉識別中可以學習人臉特征，如五官在整張圖片的大概位置。

MTCNN是一種基于級聯架構的多任務CNN網絡，該網絡由三個網絡構成：P-Net、R-Net和O-Net[4]。P-Net主要作用是把圖像進行初分類，得到一系列的Archer BOX（選定的區域），將這些Archer BOX里面準確度不達標的去掉，從而得到一些準確度較高的待選Archer BOX。而R-Net和O-Net的主要作用，一個是進一步對Archer BOX進行篩選，將不合格的去掉，另一個是把人臉的五官作為監測點來判斷是否合格。這樣經過這三個網絡共同的判斷，最后可以得到一個準確率比較高的結果。

3 基于CNN的人臉識別模型

3.1 網絡結構

本文的模型基于VGG16的思想，即將一個大的卷積核轉換為多個小卷積核共同工作，這樣有兩個優點：一是可以減少大卷積核的參數數量過多的問題，加快訓練速度，二是卷積核減小，大大減少了內存的占用空間，從而可以減少訓練平臺的要求。

在接收經過MTCNN檢測的人臉信息后，進行統一裁剪，將圖片都轉換成為128×128×3的規格，然后輸入網絡中。該網絡一共有5個con層，每一個包含三個部分，即一個3×3的卷積層、一個BN（Batch Normalization，批標準化）層、一個池化層（Max Pooling，最大池化層）。卷積層的作用是提取圖片的特征，BN層的作用是把經過卷積之后的參數標準化，從而加快訓練速度，池化層的作用是進行降維操作，將關聯較小的元素去掉，減少干擾。經過5層con后，會有3個全連接層，全連接層的作用是將數據打平變成一維數據，然后將它們放入softmax中進行分類，從而得到圖片分屬于哪個分類的概率，其中概率最高的就是模型預測的結果。

3.2 樣本標注

CNN需要一定分好類的數據才可以進行模型訓練。剛開始，從視頻中檢測的人臉信息是雜亂無章的，沒有進行分類。所以，這里只能暫時使用手動方式進行分類操作。在進行大約1 000張的圖片分類后，先使用1 000張的圖片進行模型訓練，訓練完后將其他圖片放入模型進行預測。當然會有很多的圖片被預測錯誤。然后，需要將部分預測錯誤的數據放入正確的分類，再訓練，然后繼續預測。一直這樣重復進行，并根據預測結果微調模型。

3.3 模型訓練

將經過多輪手動標注后的數據集整合起來，劃分為訓練集、測試集和驗證集三部分，三者的比例大約是6∶3∶1，其中，訓練集和測試集主要用于訓練和驗證模型的性能，測試集用于訓練完模型后，測試模型的準確度。將數據剪裁成128×128大小，使用Adadelta優化器，Adadelta的優點是不需要設置初始的學習率，會自動調整學習率，可以得到更好的訓練結果。使用categorical_crossentropy作為優化函數。BatchSize是128，一共訓練了約30 000次，共300個Epoch，達到了收斂。

4 試驗結果及分析

4.1 試驗結果

經過多輪數據標注的迭代后，筆者把訓練好的模型放在驗證集上進行測試。從結果來看，正臉的預測效果非常好，但是，側臉表情變化比較劇烈，當光線條件不好時，結果并不是太好。這種結果并不理想。

4.2 數據增強及試驗結果

按照李新葉等人提出的方法，使用數據增強（Data augmentation）的方法，對數據進行擴充。數據增強就是模擬現實環境中的圖片，將已有圖片進行各種各樣的處理，如翻轉、傾斜、調整明暗度等（見圖1），從而達到擴充訓練數據、提高模型泛化能力的結果。

4.3 數據增強后的試驗結果

經過數據增強后，從結果來看，正臉和側臉的驗證效果很好，但是側臉角度較大或者是遮蔽較多的效果很不好，因為從CNN的原理來看，遮蔽較多的話，這張圖片提取的特征就和普通的人臉特征不一樣，如圖2所示，圖片下面的數字表示該圖片分類的概率。

4.4 性能分析

本試驗使用Python3.6+Keras2.2.2，臺式機配置為i7-7700（3.6 G），16 G內存。性能分析如圖3所示，性能分析包含訓練性能和實時監測性能。作為試驗對比的VGG19，ResNet50和Xception V3都是經過ImageNet預訓練的模型，在訓練本文的數據時都會將這些模型的低層訓練權重解鎖，重新訓練。由圖3可以看出，相較于VGG、ResNet等常見網絡，本模型在訓練速度和檢測性能有一定的優勢。該視頻編碼格式為h264，幀率為23.98，色彩空間為bt709。

5 結論

本文設計了一種基于OpenCv+MTCNN+輕型CNN的人臉檢測識別方法。使用OpenCv截取視頻圖片，使用MTCNN截取人臉圖像，再使用輕型CNN訓練人臉識別。主要工作是提出了一種輕型的CNN網絡結構用來進行人臉識別。和傳統的VGG等模型相比，其具有訓練速度塊、檢測性能好的優點。從試驗結果來看，其對遮蔽物或側臉的檢測效果仍然不理想，此外，手動進行數據標注太麻煩，未來可以進一步探討更加便捷的標注方式。

參考文獻：

[1]江偉堅，郭躬德，賴智銘.基于新Haar-like特征的Adaboost人臉檢測算法[J].山東大學學報（工學版），2014（2）：43-48.

[2]Kivinen J，Szepesvári C，Ukkonen E，et al.On the Expressive Power of Deep Architectures[C]//International Conference on Algorithmic Learning Theory.2011.

[3]王瑋，閔衛東，樊夢丹，等.基于擇優檢測和多尺度匹配的實時人臉識別[J].計算機工程與設計，2018（9）：2957-2960.

[4]Zhang K，Zhang Z，Li Z，et al.Joint Face Detection and Alignment Using Multitask Cascaded Convolutional Networks[J].IEEE Signal Processing Letters，2016（10）：1499-1503.

[5]鄭德偉.基于機器學習的人臉面部疲勞表情識別[D].北京：北京郵電大學，2019.