基于自適應人臉識別的出入人員管理系統設計

馬缽濤

摘? 要： 結合云端數據庫技術與前沿人臉識別技術，優化模型參數調節策略，設計出一種基于自適應人臉識別的出入人員管理系統。系統提供分布式信息錄入、云端數據匯總與存儲、人臉識別、數據分析等功能。在使用Arcface深度人臉識別模型的前提下，設計使用多層次多進程并行溝通互聯模式，對出入人員實施系統化、自動化的管理，實現管理流程的高效運行。

關鍵詞： 人員管理; 自適應; 數據庫技術; 人臉識別技術; 多進程

中圖分類號：TP391.4TP183C931.6? ? ? ? ? 文獻標識碼：A? ? ?文章編號：1006-8228（2022）06-66-05

Design of access management system based on adaptive face recognition technique

Ma Botao

（College of Computer Science and Technology， Hangzhou Dianzi University， Hangzhou， Zhejiang 310018， China）

Abstract： Combining cloud database technology， cutting-edge face recognition technology and optimization model parameter adjustment strategy， an access management system based on adaptive face recognition is designed. The system includes functions such as distributed information input， cloud data collection and storage， face recognition， data analysis， etc. Using the Arcface deep face recognition model， a multi-level and multi-process parallel communication and interconnection mode is designed to implement systematic and automated management of entry and exit personnel. It successfully reduces the manual burden and enables the efficient operation of the management process.

Key words： personal management; self-adaption; database; face recognition; multiprocessing

0 引言

本文構建一種基于自適應人臉識別的出入人員管理系統，在云端共享、數據同步的支持下，管理者可對多出入口人員流動進行統一管理、分析、優化，并可通過手機端應用，實現管理者與流動人員的信息溝通;在疫情時期盡最大可能避免因管理失誤而導致的人群聚集場景的出現;在節約人力的基礎上，充分提升管理效能。

1 系統結構設計

1.1 功能模塊設計

按照大體功能劃分，基于自適應人臉識別的出入人員管理系統可以分為三大模塊（如圖1）。

⑴ 管理者終端模塊，此模塊又可分為交互層、中間層、處理層這樣的三層結構體系，通過多進程并行運轉。

⑵ 云端數據庫模塊，該模塊的服務器上運行著一個匯總數據的SQL，其上用規定的格式存儲注冊用戶的相關信息及每個人對應的人臉圖片，而所有信息匯總而成的簡化表將返回并提供給各個管理者終端，以確保人臉信息的同步與快速識別。

⑶ 手機端信息模塊，該模塊以App形式安裝于各個流動人員的手機中，以實現用戶的分散注冊，用于接收通知信息、調度信息。

1.2 技術架構設計

1.2.1 架構總覽

系統的總體架構為兩層C/S模式[1]，包含云端數據庫服務總機和單一/多個管理者終端（以下簡稱終端）（如圖2）。在此模式下，云端數據庫服務器只負責各種數據的存儲和維護，而終端則進行主要的處理工作。

此架構是一種較為典型的“胖客戶機（Fat Client）”、“瘦服務器（Thin Server）”網絡結構模式[2]。在信息交互上，手機客戶端和云端服務器都分別與終端進行信息交流。

1.2.2 三層架構

終端程序的結構設計類似于MVC模式（Model-View-Controller），三個層次其中包括交互層、中間層、處理層（如圖3），對應于MVC模式[3]中的視圖（View）、控制器（Controller）、模型（Model）三個部分。交互層是與用戶聯系最緊密的部分，管理者使用程序的UI界面方便地查看畫面、發布命令和傳遞消息。中間層是數據接收、數據處理、數據發送的真正執行者，中間層接收原始視頻信息，將視頻信息分為兩部分，一部分進行預處理，提供處理層的模型使用，另一部分等待與處理層返回的識別信息結合，向交互層傳輸處理后的視頻信息;同時，中間層會實時同步云端數據，以確保系統的可靠性。處理層主要運行系統的核心——人臉識別模型。模型針對堆棧視頻取出每一幀圖像，將其輸入帶有邊緣夾角附加損失函數（Additive Angular Margin Loss， AAML）的深度卷積神經網絡，將識別結果（即目標人臉的名稱），反饋回中間層進行整合。三個層級分別運行于各自的進程中，進程互相獨立，之間依靠進程鎖同步通訊，以減小不必要的交互卡頓。設計模式上的三層架構與程序模式上的多進程共同確保系統內的管理者終端高效、健壯地運行。

2 系統具體實現

2.1 視頻預處理過程

監控視頻或網絡攝像機視頻經過格式轉換后形成的輸入視頻需要進行一定的預先處理。若視頻中并不存在人臉，人臉識別模型將不需要進行運轉，目的是為了節省系統的資源消耗。因此，視頻幀圖像應先通過三步預處理。第一步，將RGB圖像轉換為HSI圖像，并對I通道進行均衡化處理，對圖片的明暗程度進行調整，再轉換回RGB圖像[4];第二步，調用Dlib開源工具包中的人臉追蹤定位函數，對圖片中存在的人臉進行定位;第三步，圖片存在人臉時，使用獲取的人臉坐標信息，定位人臉中心，截取正方形區域內的人臉頭像，調整其至112×112像素大小。最后，預處理程序將圖片放入進程間的共享堆棧。三步預處理過程，確保模型接收到的輸入圖片一定存在可識別的人臉信息，使得計算資源得以高效利用。

2.2 系統核心——人臉識別模型

2.2.1 模型優勢

Arcface模型[5]是基于ResNet網絡[6]進行損失函數優化改進的人臉識別模型。在人臉識別的四個過程：人臉檢測、人臉對齊、特征提取、特征匹配中，優化損失函數是除優化網絡結構外提升模型性能的第二條道路。傳統的損失函數Softmax[7]存在很大的類內距離，缺乏對此的約束;于是Center Loss損失函數孕育而生，但其卻不能使類間可分;在新的SphereFace模型研究中發現，模型學習的特征角分布大小，決定著決策邊界的明顯程度;進而，Arcface模型中提出了新的Angular Margin Loss約束。通過實驗證明，加入該損失函數能夠壓縮同一類別至更緊湊的空間，使得模型學習到的特征具有更加明顯的角分布，決策邊界也更明顯。此外，Arcface模型對網絡結構也進行了優化，替換ResNet中第一個7×7卷積層為3×3卷積層、采用Option-E輸出、使用改善后的殘差塊，這些改進對準確度的提升也有很大作用。最終Arcface模型在MegaFace數據集上的測試結果證明，其在Rank1指標（即第一次命中率）上較第二名有近1個百分點的提升。

2.2.2 訓練過程

基本學習Arcface原作的訓練過程，使用VGGFace2外加一部分自行采集的素材制作人臉數據集，其中運用模型整合的MTCNN網絡[8]對其中的人臉圖片進行對齊處理，并在預訓練模型上進一步訓練并驗證后使用。

2.3 UI界面

終端的交互層運行著操作界面，使用QT公司的圖形用戶界面應用程序開發框架進行實現。在框架布局上共分為四個區域（如圖4）。左上角的區域是標題區，主要用于設置路徑和展示視頻數據;右上方的區域是畫面區，視頻畫面會以最大范圍展示于此，下方的提示信息欄會提供一些輔助人臉居中的提醒信息，右側提示欄顯示識別人物的身份，若人物為未注冊人物時，則提示“未知人物”。左下的區域是具體的操作區，用于對中間層進行發號施令。最后，右下角的區域是綜合的反饋區，在此會顯示一系列系統運行過程中發出的提示、記錄的數據、出現的錯誤等，需要管理者在有需要時進行應對處理。

2.4 云端存儲

注冊人員的相關信息，數據量龐大，包括文字、圖片，我們將其存儲在一個可由任意終端訪問的云服務器上。

2.4.1 數據庫文字信息

經過終端審核，并注冊成功的用戶，其文字數據包括：注冊時生成的惟一標識編號、姓名、電話號碼等基礎信息，而基于使用場景的不同，需求表格可以進行自定義設計，但一切文字數據均需保存于云服務器中的數據庫內，以表格形式存在，并于最后一個地址屬性列，指明其人臉圖片的存放路徑，方便查找。

2.4.2 存儲區圖片信息

人物錄取的圖片信息單獨存儲在服務器的內部存儲中，根據人物姓名或者惟一ID號以文件夾形式分隔開，若錄入圖片存在多張屬于同一人物的臉部圖片，圖片命名應以“姓名”+“_”+“序號”表示，方便匯總程序調取使用。

2.4.3 信息互聯與匯總

每個人都有自己獨立的身份證，身份證上記錄的信息基本包含了可以證明你個人身份的所有數據，基于此，我們為每個注冊人員設計出一張數字化的“身份卡”（如圖5），將每個人的文字信息與其圖片信息關聯。需要搜索查找一個人時，只需要查詢名字或ID就可以獲取全部的注冊信息。并且，對于存儲在云端的所有圖片信息，服務器端還會運行一個獨立程序，用于將人臉信息的特征進行提取，匯總成CSV文件。此數據文件，由各個終端的中間層在需要的時候獲取并傳遞給處理層人臉識別模型，進行對比使用。

2.5 手機端通訊

手機端App的主要使用對象是需要被管理者所管理的流動人員，手機端服務主要包含兩個功能：信息收集和消息通知（如圖6）。

用戶首先需要下載應用并注冊。成功注冊后，用戶會收到通知，并成為管理區域內的可通行人物，通過進出口的攝像頭識別人臉即可進出管理區域，這是手機端的信息收集功能。

消息通知功能面向App的用戶。管理者發表調度信息和管理提示，例如在高峰時間對于某一進出點人流過大而出現擁堵的問題，管理者可以通過消息滾動條或手機短信提示，讓用戶提前知曉并改變策略，將人流分散到其他出入口，避免擁堵的產生。

兩項功能的存在可以幫助管理者較為方便地溝通管理對象，并根據系統反饋數據，及時對管理進行調整。

3 功能優化

3.1 模型參數自適應調整

在系統的使用過程中，系統內集合的人臉圖片數量始終處于變化中。一段時間內，注冊用戶可能增加也可能減少，但通常模型的訓練會取某一固定數據集的圖片進行訓練，針對此特定狀態設定的模型參數值，是當前條件下模型準確度最高的狀態，但其并不一定在其他場景中適用。于是，考慮到實際應用場景下模型的識別處于變化的數據集當中，我們應當設定一種對策，使得模型可以根據變化后的數據集來調整自己的某些參數，以保持準確度處于較高位置。

在Arcface模型中存在一個特定閾值，該閾值在人臉比對時起到一種類似選擇器的作用，模型在訓練過程中會根據學習率以一定步長不斷改變該數值，直至測試結果準確度到達可以接受的范圍內，訓練完成后會不再嘗試改變此數值。

由此，我們思考一種更新方式，即在一特定時段（夜間或特定日期）對模型進行更新，在兩次更新操作的真空期，注冊用戶會產生變化，影響模型的準確度。通過將訓練過的模型在新數據集上進行新訓練，或是在數據龐大時進行挑選訓練等手段，產生新閾值并覆蓋原閾值，使模型在注冊用戶這個相對原初訓練集更小的范圍內精確度始終處于最高狀態。這種方法稱作模型的自適應方法。

3.2 視頻堆棧回收機制與識別機制優化

攝像頭記錄的視頻信息在輸入終端的中間層后，會先進行視頻的預處理，而經過預處理的視頻會壓入一個共享堆棧，共享堆棧由處理層取用，此過程是使視頻信息得以在兩個并行進程間同時得到使用的解決方法，但是其在初期產生了極大的系統資源消耗，甚至導致系統崩潰。為了解決這個問題，共享堆棧的大小有了重新限定，并在系統中引入GC垃圾回收器，在堆棧堆積滿時，自動回收緩存。同時也對模型的識別過程進行優化處理，模型并不需要對視頻每一幀持續地進行識別，那將導致視頻流的輸入速度遠大于識別幀提取的速度。在模型識別并給出判斷后，通過使用預處理時用到的Dlib人臉追蹤器，系統將追蹤已識別人員的面部在畫面中的位置，直至人物面部離開畫面或發生切換前，模型將不再對已經識別的對象進行無用的反復識別操作。此改進可顯著提高畫面幀率，提升39.4%，并極大減少畫面卡頓現象的出現。

4 結束語

本文論述了基于自適應參數設置人臉識別模型的出入人員管理系統的設計、實現及優化過程。展示了該系統所使用的C/S架構模式及其獨特的“三層結構”程序設計思路;著重介紹了人臉識別視頻的預處理過程和模型優勢及訓練過程;緊接著對系統UI的設計、云端數據服務器的使用、手機端通訊的作用進行了介紹;并闡述了針對環境變化、運行卡頓等問題的優化措施。本系統利用前沿人臉識別模型，結合自適應參數調節策略，提升了出入管理流程的自動化水平，成功減輕了管理人員的數量需求，在應對人力資源短缺問題上有長遠效益。

在后續的改進中，應著重于模型輕量化的研究，以減輕管理員終端的計算處理負擔，或是整合重復資源嘗試進行云端統一處理的可能。

參考文獻（References）：

[1] 李敏.C/S和B/S模式及混合模式研究[J].西華師范大學學報（自然科學版），2006（2）：198-201

[2] 彭洵，李軍，廖兆曙.基于Windows的瘦（胖）客戶機-終端服務器模式設計及應用[J]. 武漢職業技術學院學報，2006（5）：73-75

[3] 陳樂，楊小虎.MVC模式在分布式環境下的應用研究[J].計算機工程，2006

[4] 鄒宏偉.基于OpenCV的數字圖像處理技術研究與實現[J].無線互聯科技，2019，16（22）：2

[5] Deng Jiankang，Guo Jia，Yang Jing，Xue Niannan，Cotsia Irene，Zafeiriou Stefanos P. ArcFace： Additive Angular Margin Loss for Deep Face Recognition[J].IEEE transactions on pattern analysis and machine intelligence，2021

[6] Kaiming He，Xiangyu Zhang，Shaoqing Ren，Jian Sun 0001.Deep Residual Learning for Image Recognition[J].CoRR，2015，abs/1512.03385

[7] Weiyang Liu，Yandong Wen，Zhiding Yu，Meng Yang.Large-Margin Softmax Loss for Convolutional Neural Networks[J].CoRR，2016，abs/1612.02295

[8] Kaipeng Zhang，Zhanpeng Zhang，Zhifeng Li，Yu Qiao 0001. Joint Face Detection and Alignment Using Multitask Cascaded Convolutional Networks.[J].IEEE Signal Process. Lett.，2016，23（10）