基于人臉識別技術的智能視頻監控系統設計與實現

吳松偉

摘 ?要： 基于人臉識別技術的智能視頻監控系統是安防領域的研究熱點。針對現有安防產品使用場景受限，部署和使用不夠靈活，性能受限等問題，設計并實現了一套基于人臉識別技術的智能視頻監控系統。文章介紹了智能視頻監控系統總體框架和算法流程的設計;分析了系統核心算法——人臉檢測和人臉識別，做出了有針對性的優化設計;闡述了系統的實現方案。實驗結果表明，該系統在人臉檢測、人臉識別等的各類指標上均具有很強的競爭力，能滿足具有前后門的會堂、劇院、倉庫等大型場所的安防需求。

關鍵詞： 視頻監控; 人臉檢測; 人臉識別; 人臉屬性

中圖分類號：TP391.4 ? ? ? ? ?文獻標志碼：A ? ? 文章編號：1006-8228（2019）11-62-05

Abstract： The intelligent video surveillance system based on face recognition is a hot research issue in the security field. Aiming at the problems of existing security products， which have limited use scenarios， inflexible deployment and use， and limited performance， an intelligent video surveillance system using face recognition technology is designed and implemented. This paper introduces the design of overall framework and algorithm flow of intelligent video surveillance system， analyses the core algorithm of the system， the face detection and face recognition， makes targeted optimization design， and expounds the implementation scheme of the system. The experimental results show that the proposed system has strong competitiveness in various aspects， such as face detection and face recognition， and meets the security requirements of large venues such as warehouses， theaters， and halls with front and rear doors.

Key words： video monitoring; face detection; face recognition; face attribute

0 引言

智能視頻監控系統無需監控人員持續地盯著屏幕，減輕了工作人員的負擔，并具有主動性和實時性的優勢。智能視頻監控系統的主要職責是利用計算機視覺技術從視頻圖像中檢測、跟蹤、識別人臉，并對該主體的行為進行理解與描述[1]。

目前，國內外智能人臉視頻監控技術在公共安防領域已經得到了廣泛的應用。在國際上，比較有代表性的有美國Identix公司研制的ARGUS人臉監控系統，以及為英國警方開發的Premier Electronics人臉識別系統等。在國內，實力較強的相關企業有上海的銀晨，香港的鈦極，以及海康、漢邦等安防公司。

現有的基于人臉的智能視頻監控系統已經有了比較成熟的產品，但是還存在以下的問題。一方面，現有的產品使用場景在設計時已經做了提前預設，部署和使用不夠靈活，無法有效地貼近安全需求和靈活地應用于具體的實際場景。另一方面，人臉的細節結構十分復雜多變，人臉監控的應用環境也有光照、姿態、背景等的不同，這對人臉檢測、識別算法提出了嚴苛的要求。

為了解決以上問題，針對具有前后門的倉庫、劇院、會堂等大型場所的安防需求，本文設計并實現了一整套基于人臉識別技術的智能視頻監控系統，對從系統架構的設計到具體算法的實現都做了比較詳盡的闡述，同時針對具體實現過程中遇到的問題進行了分析，并提出了相應的解決方案。

1 人臉識別監控系統總體設計

1.1 系統總體架構設計

本系統由二路人臉卡口IPC網絡攝像機、智能算法服務器、Web前端服務器、大數據服務器等硬件以及運行在這些服務器平臺上的算法及軟件組成。總體的系統架構如圖1所示。

該系統總體采用模塊化設計，不同的服務器上部署有不同功能的軟件模塊。算法服務器提供可供調用的智能算法庫，算法調度模塊調用算法并保證算法運行的實時穩定，拉推流模塊負責拉取前端IPC的視頻流，以及將處理完成的視頻流推送至總體調度模塊。總體調度模塊負責數據的傳輸與調度工作，Web頁面模塊負責產品前端展示部分，此兩者均可運行在Web服務器上。同時，在大數據服務器上加入分布式計算與分布式存儲的內容，分布式計算模塊負責人臉檢索過程中的快速比對計算，分布式存儲模塊負責注冊數據庫與歷史信息數據庫的維護。

智能人臉監控系統設計的原則是盡量保證各模塊的低耦合，并為各模塊預留較多的擴展接口，以使整個系統具備良好的可擴展性，在提出針對性需求設計開發時，能夠快速的利用現有的框架進行算法改良以及功能的擴充，保障可持續發展。

在以上的系統框架下，數據在各模塊之間流動，實現了整個智能人臉監控系統的功能。總體的數據流向如下：2路人臉卡口IPC采集前端視頻流，智能算法服務器拉取視頻流并進行人臉算法處理，算法處理后原始視頻流加處理結果流至Web及調度服務器中的總體調度模塊進行調度;最后，總體調度模塊對Web展示和大數據計算及存儲進行調度，完成算法處理結果的存儲、計算、展示。

1.2 算法總體流程設計

人臉識別與其他生物特征識別技術相似，應用過程的基本流程分為離線注冊和在線識別。人臉識別系統通過離線注冊存儲大量不同人臉及其身份信息，在系統運行時將待識別人臉與庫中人臉做比對，找到匹配人臉，識別人員身份。

本項目系統算法流程圖如圖2所示，人臉注冊的具體實現步驟為：先利用成像設備采集注冊用的人臉圖像;再利用人臉檢測技術從圖像中定位并分割出人臉圖像;最后利用特征提取技術抽取能夠表征人臉圖像的特征向量，形成特征模板并存儲至數據庫中。人臉識別的基本流程（特征抽取過程）與人臉注冊相似，包括人臉檢測、人臉跟蹤、人臉質量評測、人臉優選、人臉特征提取，不同的是，在識別過程中，提取到的人臉特征向量不再存儲，而是與注冊時提取的人臉特征向量進行比對，最終返回比對結果。人臉識別過程經歷了從人體物理空間到人臉局部圖像空間，再到人臉特征數據空間，最后到類別空間的轉換。在這個轉換過程中，人臉檢測、人臉優選、特征提取分別起到了關鍵作用，這也是人臉識別中三項最為關鍵的技術，這三部分的實現優劣直接關系到人臉識別精度。

算法總體的業務邏輯如下：當程序啟動后，先根據相機ID創建進程，然后初始化四個主要功能模塊：視頻拉推流功能模塊，以臉搜臉功能模塊，人臉注冊功能模塊，人臉檢測及識別模塊。算法框架中除視頻拉推流模塊外，其余三個模塊互斥。因此，模塊初始化完成后，根據條件啟用相應的功能，程序運行邏輯如下：判斷是否啟動以臉搜臉功能。若是，則暫停人臉注冊和人臉檢測功能模塊，啟動以臉搜臉功能模塊，待任務完成后返回。人臉注冊和人臉檢測及識別功能以此類推。

2 人臉識別算法原理與設計

智能人臉視頻監控系統的算法庫包括若干算法，以支撐整個系統功能的實現，這些算法分別是人臉檢測、人臉跟蹤、人臉質量評測、人臉優選、人臉特征提取、人臉識別等，本節針對其中最重要的兩個算法——人臉檢測與人臉識別，分別進行分析與闡述，并針對本文系統進行了針對性的設計。

2.1 人臉檢測算法

所謂人臉檢測，就是給定一張圖像，找到其中是否存在一個或多個人臉，并返回人臉置信度和人臉框位置。它是從待識別圖像上獲取有用信息的第一步，是實現實時、高精度人臉識別系統的前提和基礎。在智能人臉視頻監控應用場景下，人臉檢測的難點在于應用場景中人臉的多尺度、多角度、部分遮擋、光照不均等的不可約束狀態和環境，這為人臉檢測的實時性、魯棒性、準確性帶來不小的挑戰。本系統采用一種由快速消化卷積層和多尺度卷積層構成的即輕量又強大的網絡結構，結合類SSD的特征分層預測技術和多尺度多角度訓練方法，采用錨點密度均衡策略，實現端到端、多尺度、多角度、部分遮擋等非約束條件下的實時人臉檢測。

圖3為項目中采用的人臉檢測算法架構，它主要由快速消化卷積層和多尺度卷積層構成。在網絡前期，使用快速消化卷積層快速縮小特征圖大小。如圖4所示，conv1，pooling1，conv2和pooling2的步長分別為4，2，2和2，使特征圖大小迅速縮小為原來尺寸的1/32;卷積核太大速度就慢，太小覆蓋信息又不足，權衡之后將conv1，pooling1，conv2和pooling2卷積核大小分別設為7*7，3*3，5*5，3*3;同時，激活函數使用CRelu來保證輸出維度不變的情況下，減少卷積核數量，如圖4（a）。在網絡后期，使用多尺度卷積層更好地檢測不同尺度人臉，主要設計原則是，類似于SSD在網絡不同特征層進行檢測，采用Inception模塊進一步豐富感受野，如圖4（b）。SSD和Faster R-CNN等方法對小目標檢測效果欠佳[3-4]，主要是因為小目標對應的錨點少，訓練不足，為了解決這個問題，采用錨點密度均衡策略，對密度不足的錨點框以其中心進行偏移加倍，增加小人臉的錨點數量，提高小人臉的召回率。

快速消化卷積層可以讓算法實現實時，多尺度卷積層則在不同層上豐富感受野，以便處理不同尺度的人臉;此外，錨點密度均衡策略可以讓不同類型的錨點具有相同的密度，可以顯著提升小臉的召回率。由此，本項目采用的人臉檢測算法可以在CPU上處理速度達到25FPS，在NVIDIATitanX上的處理速度達到125FPS，而且處理時間不會因人臉的數量發生改變。

2.2 人臉識別算法

人臉識別往往是1：N比對（N>=1），即判斷待識別人臉為注冊庫中的哪個人，為此需要事先存儲不同人臉特征及其身份信息，系統運行時將待識別人臉與庫中人臉進行特征比對，找出匹配人臉[5]。其理論基礎是不同人臉由不同的特征組成，同一個人在不同照片里的臉，在特征空間中非常接近，不同的人臉在特征空間中相距較遠，因此進行人臉識別的關鍵是提取出泛化能力強的特征。但是，在人員監控應用場景下，受到光照較差、遮擋、形變、側臉等諸多非約束條件的影響，神經網絡很難提取出與“標準臉”相似的特征，異常臉在特征空間中落到錯誤的位置，導致識別錯誤。影響人臉識別性能的因素包括網絡模型的設計、訓練數據的規模和損失函數的設計，本項目采用清洗后的大規模人臉數據集VggFace2[6]，結合基于角度的損失函數，訓練Resnet50[7]，實現準確率高、魯棒性好的實時人臉識別。

在監督學習中，損失函數是用來監督模型的預測值與真實值的不一致程度，損失函數越小，模型的魯棒性越好，模型與訓練數據分布的擬合程度越好。在人臉識別中，損失函數設計的最終目的是要使人臉分布實現類內距離足夠小，類間距離足夠大。本項目中通過將特征和權值進行歸一化，在Cosine內部加入常量，實現一種基于角度的損失函數，并通過該損失函數訓練網絡。

3 系統實現與問題分析

在系統具體實現時，分模塊進行針對性的開發。在人臉檢測和識別時，首先創建視頻拉流線程，通過RTSP協議從IPC拉取H.264編碼的視頻流并對得到的視頻流進行解碼，將視頻圖像緩存到隊列中，然后創建4個線程，分別用于獲取圖像，提取人臉特征并傳輸，人臉檢測，傳輸疊加結果圖像。其中，傳輸線程通過RabbitMQ消息隊列將Base64編碼的結果和圖片發送給大數據和Web模塊;在人臉注冊時，從后端接收Base64編碼的圖片，對圖片進行Base64解碼，并調用人臉特征提取算法提取人臉特征向量，以作為后續人臉識別比對的依據，將人臉特征向量發送至后端存入注冊數據庫;在以臉搜臉時，待搜索圖片經過人臉檢測和人臉特征提取操作后，得到表征人臉的特征向量，通過與存儲于大數據服務器中人臉的特征比對，得到比對的結果，最終將以臉搜臉的結果在前端展示。

系統具體實現時，遇到了一些技術問題，本文針對這些問題進行了分析，找出合理的解決方案。

⑴ 人臉檢測框與人臉圖像不同步問題

目前人臉檢測算法模塊耗時較長，會出現視頻卡頓的現象。實際測試中發現這是由于將人臉檢測與檢測結果視頻疊加兩個功能放在同一個線程中順序執行造成的，為此，在算法框架設計中將它們放在兩個不同的線程中并發執行，解決了該問題。

此外，人臉檢測結果的更新速率無法與視頻幀更新速率相匹配，造成了人臉檢測結果滯后的問題。具體表現為，當人體運動時，Web界面展示的結果會出現“框追人”的現象，如圖5所示。預期的人臉框位置應該為實線框的位置，而實際的人臉框位置為虛線框位置。針對上述問題，在檢測結果視頻疊加線程中加入視頻幀緩存，分別取不同的視頻幀用于人臉檢測和檢測結果視頻疊加，以錯開處理時間，達到緩解人臉與檢測框不匹配的效果。

⑵ 算法指標難提升問題

本系統中，算法指標提升上主要面臨兩個難點：①人員監控場景下，人臉遮擋、光照不均、人臉尺度大小不一，導致人臉召回率低;②人臉姿態、人臉遮擋、光照條件不佳、形變、側臉，造成人臉識別率低。

針對第一個問題，對訓練樣本進行剪切、縮放、旋轉等樣本增廣操作，通過在不同特征層進行預測，以錨點均衡策略來提高小目標的召回率;針對第二個問題，在Resnet50結合基于角度的損失函數的網絡結構上訓練大規模人臉識別數據集VggFace2。通過上述方法有效提高了召回率和識別精度。

4 實驗與分析

人臉檢測模型在NVIDIATitan X的前向時間僅為8ms，加上圖像預處理和檢測結果解析，人臉檢測需耗時30ms左右，滿足實時性要求。標注實際場景圖像約300張，測試得AP為90.57%，滿足預設指標。圖6為實測檢測結果。由圖6可見，人臉檢測效果良好，并且即便在人臉大面積遮擋的情況下，仍然能夠有效地檢測到人臉。

人臉識別模型輸入圖像大小為112*112，識別模型NVIDIATitan X上的前向時間為18ms，滿足實時性要求。實際采集人臉圖像并標注35人的70張圖像，在有2400多張干擾圖像的情況下，人臉識別準確率大于95%，滿足預設指標。

其他一些測試結果包括：人臉屬性準確率>90%，滿足項目指標，滿足實時性;實際測試框架穩定運行72小時以上。以上的結果都表明本系統具有一定的先進性。

5 結束語

本文設計并實現了一整套基于人臉識別技術的智能視頻監控系統。首先，設計了智能人臉視頻監控系統的總體框架和算法流程，主要由運行在三個服務器上的六個功能模塊實現;然后，分析了系統核心算法——人臉檢測和人臉識別，設計了由快速消化卷積層和多尺度卷積層構成的人臉檢測神經網絡，并基于Softmax為人臉識別改進得到了新的損失函數，通過Resnet50來訓練大規模人臉數據集VggFace2，實時準確地識別人臉;最后，闡述了系統的實現方案，并對實現過程中遇到的召回率和準確率低的問題進行了分析，給出了合理的解決方案。

參考文獻（References）：

[1] 嚴杰.支持人臉檢測的智能視頻監控系統的設計與實現[D]. 重慶大學.

[2] 李苗在，谷海紅.人臉識別研究綜述[J].電腦知識與技術：學術交流，2011，07（8X）：5992-5994

[3] 汪濟民.基于卷積神經網絡的人臉檢測和性別識別研究[D]. 2015.

[4] Liu W，Anguelov D，Erhan D，et al.SSD： Single Shot MultiBox Detector[C].European Conference on Computer Vision. 2016.

[5] Ren S，He K，Girshick R，et al.Faster R-CNN：Towards Real-Time Object Detection with Region Proposal Networks.[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence， 2017， 39（6）：1137-1149.

[6] Cao Q，Li S，Xie W，et al.VGGFace2：A Dataset for Recognising Faces across Pose and Age[C].2018.

[7] Akiba T，Suzuki S，Fukuda K.Extremely Large Minibatch SGD：Training ResNet-50 on ImageNet in 15 Minutes[J]. 2017.