基于Yolov5s和Dlib的視頻人臉識別

黃振龍 吳林煌

摘要：文章實現了基于Yolov5s和Dlib的視頻實時人臉識別。基于開源的人臉數據集CelebA重新訓練Yolov5s網絡，使得Yolov5s能夠檢測并標記出圖像中的人臉位置。將Yolov5s檢測到的人臉區域圖像輸入到第三方人臉識別模塊Dlib中，首先提取出68點人臉面部關鍵點，再將關鍵點生成人臉特征向量，同時通過Dlib模塊提取事先準備好的需要識別的人臉圖像的特征向量，并保存到相應的人臉數據庫中。由于同一個人的人臉特征向量映射到高維空間的距離是接近的，基于此引入更高效Annoy算法對人臉特征向量創建索引，提高人臉識別速度。

關鍵詞： 人臉識別; Yolov5s; Dlib; Annoy; OpenCV

中圖分類號：TP391 ? ? ? ?文獻標識碼：A

文章編號：1009-3044（2021）32-0094-03

Video Face Recognition based on Yolov5s and Dlib

HUANG Zhen-long，WU Lin-huang

（College of Physics and Information Engineering， Fuzhou University， Fuzhou 350108， China）

Abstract：This paper realizes video real-time face recognition based on yolov5s and Dlib.yolov5s network is retrained based on the open source face data set celebA， so that yolov5s can detect and mark the face position in the image. The face region image detected by yolov5s is input into the third-party face recognition module Dlib. Firstly， 68 face key points are extracted， and then the key points are generated into face feature vector. At the same time， the feature vector of the prepared face image to be recognized is extracted through the Dlib module and stored in the corresponding face data database. Because the distance between the face feature vector of the same person and the high-dimensional space is close， based on this， a more efficient annoy algorithm is introduced to index the face feature vector to improve the speed of face recognition.

Key words：face recognition; yolov5s; Dlib; annoy; OpenCV

1 背景

近年來隨著機器學習的興起和飛快發展，傳統的應用已經將機器學習與之相結合，來提高應用的智能化和用戶體驗感，如人臉考勤、人臉閘機通道、刷臉支付等人臉識別應用已經在生活中屢見不鮮了[1]。

人臉識別是基于人臉面部的特征信息進行身份識別，是目前應用范圍最廣泛和最易被接受的生物特征識別方法之一。相比較于靜態圖片而言，視頻提供了更加豐富的空間與時間信息，實際的現實應用場景也更加廣泛，如在安防領域中，針對監控攝像頭采集到的視頻流，將人工智能和攝像頭相結合，能夠自動在圖像中檢測和跟蹤人臉，進而進行人臉識別[2-3]。

本文實現了基于視頻流的人臉識別，通過OpenCV每隔若干幀獲取圖像，利用重新訓練的Yolov5s模型提取出人臉區域圖像，通過Dlib第三方深度學習開源庫將人臉區域圖像轉換為人臉特征向量，與建立好的本地人臉數據庫中特征向量進行歐式距離的比較，小于設定的閾值則認為是同一個人，否則標記為未知人臉。基于相同人臉在高維空間映射的距離都是相近的，引入近似最近鄰算法Annoy對人臉特征向量創建索引提高人臉匹配速度。

2 系統總體設計

系統的總體設計框架如圖1所示。通過OpenCV逐幀讀取視頻，每隔若干幀進行人臉檢測和識別。采用基于開源的人臉數據集CelebA重新訓練的Yolov5s網絡作為人臉檢測的模型提取出人臉區域圖像，人臉識別采用了Dlib第三方模塊，首先通過人臉關鍵點標記模型標記出68個面部關鍵點，再將獲取到的68個關鍵點轉換成128維人臉特征向量，通過計算人臉的特征向量與本地人臉數據庫的特征向量的歐氏距離來判斷是否同為一個人，當距離小于特定閾值時，認為是同一個人，打上人物姓名標簽，否則打上unKnown標簽。最后將打上標簽的圖像以及視頻輸出到本地。

3 人臉檢測

目前從圖片中檢測并提取出人臉區域有Dlib、OpenFace、OpenCV等諸多成熟可用的方法。傳統目標檢測算法并沒有將特征提取與分類訓練結合起來，當提取的特征丟失了部分有用信息時，將無法再次從訓練中恢復，導致目標檢測成功率降低，阻礙了傳統檢測方法獲得更加詳盡的特征描述。近年來基于深度學習的目標檢測方法相比較于傳統方法體現出了各方面的優勢，其中YOLO目標檢測算法利用卷積神經網絡回歸目標的位置并得到類別，實現了端到端的實時目標檢測，具有較快的速度與泛化性。相對于傳統的檢測方法，YOLO有更好的魯棒性，模型的體積更小，能夠更好達到實時的需求[4-5]。

3.1 YOLOv5S

人臉檢測是人臉識別的第一個步驟，從具有復雜背景的圖像處檢測出人臉的位置，這一個步驟對于后續的人臉特征提取和識別的準確性具有重大的影響。人臉區域檢測采用了YOLOv5S模型。YOLOv5目標檢測算法憑借著其優秀的檢測速度和精度，已經在醫學圖像，行人檢測和車輛識別等眾多領域應用廣泛。與基于Darknet架構的yolov4相比，模型大小減少了近90%，在準確度方面與其不相伯仲，也是目前最為先進的目標檢測技術，高達140FPS的目標識別速度是目前推理速度最強的檢測模型之一[6-7]。

官方提供的預訓練模型能夠檢測出80種類別，實際我們通常需要檢測的是具體的某一項類別，不適合我們的應用場景，而且官方的預訓練權重只能在圖片中識別出整個人，要想檢測出人臉區域只能在其基礎上用人臉數據集重新訓練[8]。選用了開源人臉數據集CelebA人臉數據集在YOLOv5s的官方源碼和它的權重上重新訓練，使得YOLOv5s能夠實現的檢測并檢測出圖像中的人臉位置，檢測效果如圖2所示。本次的實驗運行環境是：CPU是 Inter i5-1035G1，GPU為 NVIDIA GeForece MX350，操作系統為Win 10，使用了CUDA10.2庫文件。訓練結果曲線圖如圖3所示，橫坐標為迭代次數200，縱坐標其中Box是Bounding Box的GIoU損失函數均值，值越小邊界框就越準;Objectness是目標檢測loss均值，越小代表目標檢測的正確率越高;Precision衡量的是分類器得出的正類并且確實屬于正類的比例;Recall是召回率，衡量的是分類器是否能識別出正類樣例的能力。mAP@0.5和mAP@0.5：0：0.95是用精度Precision和召回率Recall作為兩軸作圖后圍成的面積，@0.5代表IoU為正負樣本的閾值，@0.5：0.95表示閾值取0.5：0.95后取均值。一般主要觀察Recall和Precision的波動情況判斷網絡的訓練效果，從圖3可以判斷波動不大，網絡的訓練效果良好。

4 人臉識別

Dlib是一個基于C++開發的深度學習開源工具，也提供了對python語言的開發接口，對于人臉特征提取有著良好的支持，提供了很多已經訓練好的成熟人臉面部特征提取模型供開發者使用，相對于其他深度學習開源框架，其具有更好的優越性和通用性[9]，因此人臉識別模塊采用了Dlib第三方模塊。將YOLOv5s網絡檢測出的人臉區域圖像作為Dlib模塊的輸入獲取到128維人臉特征向量，采用對比歐式距離的方法來計算人臉相似度。

4.1 人臉特征向量提取

將YOLOv5s模型檢測到的人臉區域圖像作為第三方Dlib模塊的輸入，首先加載shape_predictor_68_face_landmarks模型來對輸入的圖像完成人臉面部的68個關鍵特征點的提取，68個特征點主要分布在眉毛、雙眼、鼻子以及嘴的位置。

通過加載dlib_face_recognition_resnet_model_v1模型來將提取到的68個面部關鍵特征點轉換成128維人臉特征向量。Dlib人臉識別主要是基于深度殘差網絡，對于普通的網絡，當網絡深度逐漸增大的時候，誤差也會隨之增大，而殘差網絡相比較于誤差較小，能夠有效地減少梯度爆炸和梯度消失的問題[10-11]。

4.2 基于Annoy算法的人臉檢索

通過Dlib模塊將事先準備好的人臉圖像Embedding獲取到128維人臉特征向量，保存到Imdb文件中，創建好本地人臉數據庫。為了提高識別的準確率，對于單人提供了多張不同角度和光線的人臉圖像，通過歐式距離求平均值來降低誤差。建立本地數據庫的過程如圖4所示。

人臉識別是基于已知的人臉本地數據庫識別或者驗證一個或者多個人臉，可以使用目前常用的機器學習分類算法如SVM、KNN等。如果針對數據庫每個人臉都進行距離計算比較得出結果，效率低下。由于同一個人的人臉特征向量在高維空間映射點距離都是相近的，基于此使用了Annoy算法對本地人臉數據庫建立索引，創建一個二叉樹實現快速檢索距離最近的人臉特征向量。

下面實現了對KNN算法和ANN的Annoy算法進行了識別準確率和數據庫人臉檢索速度的對比。KNN算法的時間復雜度是線性增長的，面對大規模數據檢索以及人臉特征向量高維的數據信息無法獲得理想的檢索結果，而Annoy算法通過縮小遍歷空間犧牲精度來提高檢索速度，具有查找效率高和存儲空間小的優點[12]。在有限的本地人臉數據集大小的情況下，由表1的數據可得Annoy算法比KNN算法能夠得到實現較高的準確率以及更快的檢索速度，而如果KNN算法若要達到更高的準確率則要求更大的數據集去訓練模型。整體網絡結構的人臉識別效果如圖5所示。

5 人臉識別測試

測試環節提供了五個人的人臉圖片，每個人準備了各20張共100張圖片，不屬于人臉本地數據庫的人臉圖像50張，由表2試驗結果可知識別出正類的正確率有96%，識別出反類的正確率有90%，表明該人臉識別的方案可實現實際應用的需求。

參考文獻：

[1] 吳昊，陳虎，李俊波.淺析人工智能技術的發展與應用[J].信息系統工程，2020（6）：69-70.

[2] 孫鵬.人臉識別技術研究與應用進展概述[J].科技傳播，2019，11（24）：130-131.

[3] 林星翰，張帥.人臉識別技術發展與應用[J].家庭科技，2020（5）：13-15.

[4] 王鑫，王忠舉，李銳.基于神經網絡的人臉識別研究綜述[J].信息與電腦（理論版），2020，32（23）：56-58.

[5] 許德剛，王露，李凡.深度學習的典型目標檢測算法研究綜述[J].計算機工程與應用，2021，57（8）：10-25.

[6] 李阿娟.YOLOv5算法改進及其現實應用[D].太原：中北大學，2021.

[7] 肖博健，萬爛軍，陳俊權.采用YOLOV5模型的口罩佩戴識別研究[J].福建電腦，2021，37（3）：35-37.

[8] Shi F F，Zhou H，Ye C Y，et al.Faster detection method of driver smoking based on decomposed YOLOv5[J].Journal of Physics：Conference Series，2021，1993（1）：012035.

[9] 徐浩浩.基于Python深度學習的人臉識別方法探究[J].現代信息科技，2019，3（17）：88-90.

[10] 劉兆豐.Dlib在人臉識別技術中的運用[J].電子制作，2020（21）：39-41，7.

[11] 王曉紅，韓嬌，李珊珊.基于人臉檢測器的實時視頻人臉檢測與跟蹤[J].信息通信，2019，32（2）：56-57.

[12] Linhao Li，Qinghua Hu.Optimized high order product quantization for approximate nearest neighbors search[J].計算機科學前沿，2020，14（2）：259-272.

【通聯編輯：代影】

收稿日期：2021-06-20

作者簡介：黃振龍（1999—），男，福建福州人，碩士，主要研究方向為多媒體技術;吳林煌（1984—），男，福建漳州人，博士，副研究員，主要研究方向為AI智能信號處理、視頻編碼、FPGA與嵌入式系統設計。