自助通關系統中人臉認證的應用

申文濤，丁曉青，劉長松，梁亦聰

（1.清華大學 智能技術與系統國家重點實驗室，北京100084；2.清華大學 信息科學與技術國家實驗室，北京100084；3.清華大學 電子工程系，北京100084）

0 引 言

姿態與光照問題是影響人臉識別應用的重要影響因素。清華THFaceID 人臉認證系統作為公安部出入境自助通關系統的人臉認證核心算法已經有近9年的大規模應用，但由于人臉受光照、姿態、飾物及年齡等因素的影響，人臉認證過程中出現了拒真現象，需要人工處理。為實現一定認假率下較低的人工干預率，認證系統需要提高在復雜環境下對人臉快速、魯棒的檢測和鑒別的能力。

為提高系統性能，需要在系統運行的各個環節實現快速而高效：在人臉檢測［1］、光照預處理［2，3］、各種原始特征和鑒別特征的提取［4］、分類器的選擇與設計［5，6］等方面已經有研究者提出多種方法。針對自助通關系統的具體應用，本文提出了若干改進老系統的方法：提出多形狀局部二值模式 （MS－LBP），能夠有效描述人臉特征，有助于提高系統對多姿態人臉的檢測能力；由于圖像采集光照環境和角度的不同，使備案照片與現場照片存在較大差異。可以看作是一類異質人臉的識別問題［7］，文本提出采用異方差方法的方式，對兩類圖像的鑒別特征進行提取。實驗和現場測試結果表明升級后的系統在認證速度、準確度上有較大提高，驗證了算法的有效性。

1 自助通關系統中人臉認證系統及問題分析

1.1 自助通關系統架構

自助通關系統流程如圖1所示，適用于經常過關的旅客人群。通過預先對旅客的人臉、指紋信息等的數據采集，建立了旅客生物特征數據庫。旅客過關時，將證件放入閱讀機，系統自動讀取資料，再通過證號提取數據庫中的人臉圖像／指紋信息，與持續拍攝的靜態人臉圖像／采集的指紋進行比對，規定時間限制內雙認證通過即可通關，否則紅燈告警，提示人工處理。此模式已在多地通關口岸、機場、火車站等地取得成功應用，目前系統備案的港澳及內地旅客近500萬人，僅深圳羅湖口岸采用自助通關方式進出境的旅客可達10萬人次／天。

1.2 THFaceID人臉認證系統及性能

自助通關系統中的人像認證核心算法為清華的THFaceID 系統，它采用基于統計的方法進行人臉認證，將每幅人臉圖像視為高維特征空間中的一個點，將人臉識別的問題轉化為高維特征空間中點的距離的問題。認證系統主要由人臉檢測和特征點定位、圖像預處理、人臉特征提取和分類決策4個主要部分構成。

人臉認證系統框架如圖2所示。

圖1 自助通關系統運行

圖2 人臉認證系統框架

人臉檢測和特征點定位是系統中所有后續步驟的基礎，該步驟的主要目的是找到人臉范圍并比較精確的獲得人臉圖像上預先定義好的關鍵點坐標。預處理步驟的目的是利用特征點定位結果，對探測集和目標集圖像中的人臉進行配準，為后續的特征提取步驟提供相對 “標準化”的人臉圖像環境。并通過對預定義不同特征位置的人臉原始圖像進行仿射變換完成尺度歸一化。

系統采用5尺度8方向的Gabor特征、局部二值模式（LBP）特征 以 及 方 向 梯 度 直 方 圖 （histogram of oriented gradient，HOG）特征提取高維人臉原始特征。通過這幾種特征的互補性，在復雜的實際環境中最大限度獲取對分類有用的人臉信息。然后分別采用主分量分析 （principle component analysis，PCA）和調整子空間線性判別分析（modified subspace linear discriminant analysis，MSLDA）壓縮特征維數［8］，采用歐式距離 （Euclidean distance，EU）和歸一化相關系數 （normalized correlation coefficient，NC）分類器進行身份鑒別。

在可用性方面，通過測試對比了人工和算法對人臉認證的效率。采用近4萬個ID 的人臉圖片對。每人有一張掃描的證件照作為目標集，另一張由監控攝像機在實際通關通道中采集到的人臉圖像作為測試集。對預先劃分了難易程度的不同組圖像，測試了人工和算法的受試者工作特征曲線 （receiver operating characteristic curve，ROC）［9］。可以看出算法的使用可以實現絕大部分人的認證。由于機器速度比人工快很多倍，并且可以在同一標準下持續工作，因此可以大大增強通關認證效率。

專業查驗人員和算法對人臉認證的ROC 曲線對比如圖3所示。

圖3 專業查驗人員和算法對人臉認證的ROC曲線對比

實際運行時，檢查員人工實際驗放速度30s／人左右，而自助通關系統大約只需要10～15s／人，若每位檢查員看管10條通道，可以大大節約人力，并且提高了通關口岸的總體通行能力。

1.3 存在的問題

隨著系統運行，發現了很多需要解決的問題。除了軟硬件系統配合之外，旅客在通關過程中還存在配合度不夠，姿態變化大等問題。另外，由于現場的光照條件惡劣，加上圖像采集設備采用的是上下搖擺的方式，如圖4 所示，導致現場采集到的圖像存在光斑、陰影、模糊、部分區域缺失等問題。系統需要提高在此類復雜環境下對人臉進行有效檢測和認證的能力。

圖4 復雜環境下的現場圖像與備案圖像對比

更重要的是在人臉認證技術上，原系統的性能還有較大提升的空間，需要在提高認證率的同時，降低認假率。此外，隨著使用自助通關的人數的增加，單次通關時間的提升也是改進的目標之一。

2 系統改進方案

為提高系統認證性能，提高通關效率，降低人工干擾率。除了圖像采集設備需要升級硬件外 （采用雙攝像頭，按一定角度分別固定鏡頭）。更重要的是對軟件系統的升級，提高認證系統的魯棒性，以保證在當前運行環境下比原系統有較大的性能提升。軟件系統升級可以從人臉檢測算法的準確度、原始特征和鑒別特征的提取、分類器性能等方面進行改進。

1.2.1.1 患者評估 入院當天即由專責護士進行評估，主要評估內容有:①患者的一般情況，包括年齡、職業、文化程度和生活習慣，評估患者接受新知識的能力和心態，制定相應的護理和健康教育計劃;②自覺癥狀包括肩背部酸脹不適、頸部僵硬不靈活、眩暈和頭痛等;③日常生活情況，包括枕頭高度及軟硬、睡眠時間、睡眠質量和用電腦習慣等;④學習習慣，包括看書時間、背包方式和上網習慣等;⑤平時運動情況，包括外傷和體育活動習慣等。

2.1 基于多形狀局部二值模式的人臉檢測

局部二值模式 （LBP）是采用中心點與其周圍鄰域像素變化進行的編碼方法，它和一些相關改進方案都是采用了3×3的方形區域［10］。欠缺對一些不規則區域的描述能力。本文提出一種改進的LBP，如圖5所示，在原來方形算子的基礎上，結合Haar－like特征，增加了橫向算子和豎向算子。它的鄰域計算與普通LBP 方法不同，采用所有相關像素的平均灰度值作為參考值，并與每個像素的灰度值大小進行比較，具體計算方法如式 （1）和式 （2）所示

圖5 多形狀局部二值模式

為比較MS－LBP特征的有效性，對比了LBP改進系統的幾個特征，其中稀疏粒度特征 （sparse granular feature，SGF）使用與MS－LBP 特征相同的粒子。圖6 為在固定召回率為0.99的情況下，各特征隨著弱分類器個數增加，虛警率的變化情況。可以看出MS－LBP特征的性能最好，在人臉檢測中具有一定的優勢。

在多姿態人臉檢測性能上，采用可控風險的AdaBoost（CCS－AdaBoost）算 法［11］，在FDDB［12］數 據 庫 上 進 行 了 測試。其中總共2845張圖片，包含5171個非受控 （多視角、復雜背景和光照條件下）的人臉。所比較的算法為在FDDB數據庫的主頁上列出的性能最好的幾種方法。如Li等［13］，IlluxTech［14］，Jain等［15］的VJGPR，以及Olaworks的人臉檢測器等［16］。如圖7所示，我們的檢測器在使用MS－LBP特征具有較好的人臉檢測能力，在虛警降到2000以后，平均每張圖片的虛警已經下降為了不到1個，此時本算法性能最優，系統能夠有效檢測出復雜環境下的多姿態人臉區域。

圖6 固定召回率0.99虛警率變化情況

圖7 FDDB多姿態人臉檢測結果

2.2 異方差投影的異質人臉認證

同一人臉的圖像因外界環境及自身變化會出現多種變化，例如光照，姿態，表情，飾物等。圖像獲取方式也可以分為可見光，近紅外或熱紅外，或者3D 臉型等類型，這些引起圖像不同特征的類型被稱為異質。在系統運行過程中，如圖8所示，由于圖像采集光照環境、和角度的不同，使得現場照片與備案照片存在較大差異，可以看作為異質圖像的認證問題［17］。我們提出了采用異方差投影的方式，實現現場照與備案照在特征空間上的有效投影。

在完成原始高維特征的提取之后，每種特征 （Gabor，LBP，HOG）的鑒別特征可以通過乘以投影矩陣的方式實現維數壓縮并提高鑒別性。具體可以通過以下3步完成：

步驟1 將現場照的特征向量Fea1與全局均值向量μ1連接成一個2倍大小的新特征Feanew1＝ ｛Fea1，μ1｝；將備案照均值向量μ2與備案照特征向量Fea2連接成一個2倍大小的新特征Feanew2＝ ｛μ2，Fea2｝；

圖8 異方差投影

步驟2 將備案照片的均值向量μ2與全局均值向量μ1連接成一個2倍大小的新均值向量μnew＝ ｛μ2，μ1｝；

步驟3 采用式 （3）和式 （4）求出現場照與備案照的新投影向量Fp，Fg

式中：Matrixp——訓練數據經PCA 和LDA 訓練得到的降維和特征壓縮的投影矩陣。

最后，我們得到了3種特征在新投影空間的特征向量，分別通過歐式距離分類器和歸一化相關系數計算向量間的距離，得到6個認證分數，通過分數融合的方式得到最終的認證分數，按照系統訓練的ROC 曲線，可以根據FAR的值確定一個閾值，認證分數大于此閾值時，即被認為是同一個ID，認證通過。

3 性能測試

3.1 總體性能對比

采用預先整理好的2.87萬組ID （1備案照，多張現場照）的通關現場－備案人臉數據，對新老版本系統的性能進行了測試。結果的ROC 曲線下面積 （area under the ROC curve）如圖9所示，升級后系統的認證性能比原系統有較大提高，在FAR＝0.001 處，新系統比老系統V3.06 高20%。在更高FAR 精度的區域，新系統也具有很好的性能。

圖9 新老系統認證性能ROC曲線下面積比較

在保證新系統與老系統同樣的FAR 情況下，對比了升級前后的FRR，由表1可以看出，新系統在保證誤識率較低的前提下，進一步提高了拒真的能力。

表1 新老系統固定FAR 時FRR 對比

此外，新系統的鑒別特征長度比原來小了80%，比對速度上也由原來的5.749次／s，提高到7.274次／s。單次比對速度的提高也可以增加系統通關效率。

3.2 現場測試

將升級后的系統與原系統在通關口岸現場進行了現場測試，分別用新老算法各自在4條通道上進行了通關測試。根據系統自動日志記錄，可以統計出某通道在一定時間段內的通關人數以及因人臉認證不通過引起的工作人員的人工干預次數。見表2，在人工干預率上新系統比老系統也有一定的降低。說明新系統在實際運行中的有效性。

表2 新老系統現場測試結果統計

4 結束語

自助通關系統通過生物識別技術提高了出入境管理的檢查精度和工作效率。針對系統運行過程中面臨的復雜光照和多姿態導致的認證失敗問題。本文提出了幾條改進通關系統性能的軟硬件升級方法。在特征提取上通過提出一種多形狀LBP算子，實現了光照魯棒的多姿態人臉檢測。進而采用異方差投影的方式，將現場照片與備案照片按不同均值的方式投影到一個特征空間中，提高系統認證率。測試和現場運行統計表明，改進后的算法具有較高的認證性能，驗證了本文升級策略的有效性。

［1］Yan Junjie，Zhang Xucong，Lei Zhen，et al.Structural models for face detection ［C］／／10th IEEE International Conference and Workshops on Automatic Face and Gesture Recognition，2013：1－6.

［2］Chen CP，Chen CS.Intrinsic illumination subspace for lighting insensitive face recognition ［J］.IEEE Trans Syst，Man，Cybern，2012，42 （2）：422－433.

［3］Grother P，Quinn GW，Ngan M.Face recognition vendor test：Still image and video concept，evaluation plan and API.［EB／OL］.［2012－09－20］.http：／／biometrics.nist.gov／cs＿links／face／frvt／frvt2012／NIST＿FRVT2012＿api＿Aug15.pdf.

［4］Meytlis M，Sirovich L.On the dimensionality of face space［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2007，29 （7）：1262－1267.

［5］Phillips PJ，Jiang F，Narvekar A.An other－race effect for face recognition algorithms［EB／OL］.［2012－09－01］.http：／／www.nist.gov／customcf／get＿pdf.cfm？pub＿id＝904972.

［6］Asthana A，Jones MJ，Marks TK.Pose normalization via learned 2Dwarping for fully automatic face recognition ［C］／／22nd British Machine Vision Conference，2011：1－11.

［7］Klare BF，Jain AK.Heterogeneous face recognition using kernel prototype similarities［J］.IEEE Trans Pattern Anal Mach Intell，2013，35 （6）：1410－22.

［8］WANG Zhenger.Research on statistics based robust face recognition［D］.Beijing：Tsinghua Univ，2009 （in Chinese）. ［王爭兒.基于統計的魯棒人臉識別關鍵問題的研究 ［D］.北京：清華大學，2009］.

［9］Ding Liu，Shu Chang，Fang Chi，et al.Computers do better than experts matching faces in a large population ［C］／／IEEE International Conference on Cognitive Informatics，2010：280－284.

［10］Pu Xiaorong，Wang Yongtao.Face detection on partial and holistic LBP features［C］／／International Conference on Electrical and Control Engineering，2011：1071－1074.

［11］HE Zhixiang，DING Xiaoqing，FANG Chi，et al.Face detection based on controlled－cost sensitive AdaBoost ［J］.Tsinghua Univ（Sci ＆Tech），2012，52 （12）：1703－1708 （in Chinese）.［何智翔，丁曉青，方馳，等.基于可控風險敏感AdaBoost算法的人臉檢測［J］.清華大學學報 （自然科學版），2012，52（12）：1703－1708］.

［12］Vidit Jain，Erik Learned－Miller.FDDB：A benchmark for face detection in unconstrained settings ［R］.Technical Report UM－CS－2010－009，Dept of Computer Science，University of Massachusetts，Amherst，2010.

［13］Li J，Wang T，Zhang Y.Face detection using SURF cascade［C］／／ICCV BeFIT Workshop，2011：2183－2190.

［14］Illuxtech，IlluxTech frontal face detector［EB／OL］.http：／／illuxtech.com，2014.

［15］Vidit Jain，Erik Learned－Miller.Online domain adaptation of apre－trained cascade of classifiers［C］／／IEEE Conference on Computer Vision and Pattern Recognition，2011：577－584.

［16］Ryu Jung－hee.Olaworks face detector ［EB／OL］.http：／／eng.olaworks.com／olaworks／main／，2013.

［17］Zheng Hao，Xie Jianchun，Jin Zhong.Heteroscedastic sparse representation based classification for face recognition ［J］.Neural Processing Letters，2012，35 （3）：233－244.