基于人臉的活體檢測系統①

張高銘,馮 瑞

(復旦大學 計算機科學技術學院,上海 201203)

基于人臉的活體檢測系統①

張高銘,馮 瑞

(復旦大學 計算機科學技術學院,上海 201203)

人臉識別技術由于其成本低、用戶友好、效率高等特點被廣泛應用,同時也出現了針對人臉識別的身份偽造攻擊,主要包括照片人臉攻擊、視頻人臉攻擊、三維人臉模型攻擊等方式,對于這些攻擊方式的防范方法都是圍繞著基于人臉的活體檢測這個中點進行展開. 本文著重研究的活體檢測方法為眨眼檢測與背景分析算法,通過區域增長算法進行人眼定位、形態學操作進行人眼張合判斷、感知Hash 算法進行背景差異對比,構造出一個復合的活體檢測系統. 基于復合的眨眼檢測與背景分析算法,本文設計了一個包含眨眼檢測模塊與背景分析模塊的活體檢測系統,使用OpenCV2.4.9 與vs2012 的MFC 架構實現了一個可以抵御照片攻擊與視頻攻擊的活體檢測系統,并對系統進行實驗與評估,在與其它同類型的系統進行比較的結果來看,本文實現的系統性能表現優異.

人臉識別; 活體檢測; 眨眼檢測; 人眼定位; 環境背景分析

隨著計算機視覺技術的飛速發展,基于人臉識別的身份驗證系統正在被廣泛地應用在各個場所[1],包括門禁系統,軟件登錄系統,人群監測系統等. 在人臉識別技術廣泛應用的背景下,針對人臉識別系統的身份偽造攻擊也相應地逐漸出現,最主要的攻擊手段包括照片人臉攻擊與視頻人臉攻擊. 對于這些身份偽造攻擊手段,主要采用的防治方法為基于人臉的活體檢測技術. 比如分析人臉旋轉時的面部光流分析法[2],通過分析人臉旋轉時產生的光流特征判別活體與照片視頻;傅利葉頻譜與紋理分析法[3],通過分析活體人臉與照片、視頻人臉的傅利葉頻譜以及紋理特征的差異來區分活體用戶與偽造攻擊; 動態紋理分析法[4],通過動態分析人臉的紋理特征來區別活體人臉與二維人臉. 以上介紹的基于特征的檢測方式對特征提取方式的依賴較大,當環境變化時,特別是光照條件差異懸殊時,特征提取效果就較為不理想,從而影響活體檢測的結果,所以本文另辟蹊徑,從行為方面著手進行活體檢測. 對人對于照片人臉攻擊,可以使用基于眨眼檢測的方式進行判別; 對于視頻人臉攻擊,則可以使用背景分析的方式判別. 使用眨眼檢測與背景分析法,構造一個復合的活體檢測系統,只有當待檢測用戶同時通過眨眼檢測模塊與背景分析模塊,才認為待檢測用戶通過活體檢測系統,否則不通過. 在實際的應用中,這樣的活體檢測系統可以有效地檢測照片人臉攻擊與視頻人臉攻擊.

1 系統概述

復合活體檢測系統主要分成兩個大的模塊,一個是環境背景分析模塊,一個是眨眼檢測模塊,各模塊的功能與系統框架如圖1所示.

圖1 系統流程圖

環境背景分析模塊: 分析人臉環境與系統環境背景的區域圖像是否一致,一致,則環境背景分析檢測通過,否則拒絕.

眨眼檢測模塊: 分析待檢測對象在規定時間內是否完成眨眼動作,若在一定時間內未眨眼,則認為待檢測對象為照片攻擊.

2 系統各模塊的設計與實現

本系統的實現主要基于表1和表2的硬件與軟件系統

表1 硬件配置

表2 軟件配置

2.1 環境背景分析模塊

環境背景分析[5,6]的原理是,系統初始化時先保存攝像頭前的圖像作為系統背景,當檢測到人臉時,提取人臉周圍區域的圖像,并提取系統環境對應區域的圖像,進行比較,判斷人臉背景與系統背景的一致性.

環境背景分析模塊主要包括幾個子模塊:

① 讀取視頻模塊.

② 系統背景更新模塊.

③ 人臉環境截取與系統環境截取模塊.

④ 感知Hash值對比模塊.

2.1.1 讀取視頻

OpenCV2.4.9提供的類庫屏蔽了繁雜的硬件層的工作,使用其封裝的類可以輕松完成讀取視頻的工作,其中主要用到的類:

cv::VideoCapture;

這個類封裝了讀取視頻流的方法,包括讀取文件視頻流以及攝像頭視頻流,在類構造函數中傳入0,則可以獲取默認攝像頭的視頻流. 之后每隔一段時間就調用該類的方法:

VideoCapture::bool read(cv::Mat& image);

就可以將視頻流的一幀讀入到cv::Mat類型的image變量中,將圖像繪制到系統界面上,則可以顯示視頻流圖像.

2.1.2 系統背景更新模塊

對于系統環境背景,設置一個變量cv::Mat background表示,系統剛啟動時,將視頻的第一幀賦值給background變量,此后每一幀判斷是否檢測到人臉,若未檢測人臉,判斷距離上次更新環境背景的時間是否超過60秒,是,則將當前幀圖像拷貝給background:

background=img.clone();

其中img表示當前幀.

2.1.3 人臉環境截取與系統環境截取

當攝像頭傳來的當前幀檢測到人臉時,提取人臉周圍區域的圖像,并提取系統背景相對應區域的圖像.如圖2,由于在人臉照片或人臉視頻中,人臉的背景與系統的背景不相同,所以通過檢測背景的一致性,就可以判斷是否遭受到照片人臉攻擊或視頻人臉攻擊了.

圖2 人臉環境背景與系統環境背景

2.1.4 感知 Hash 值比對

提取出系統與人臉的背景圖像,接下來就要進行圖像的相似度比較,這里使用感知Hash算法[7,8],算法的主要過程如下:

① 將圖像縮小到8×8尺寸,目的是為了去除圖像的細節,只保留大體的結構以及明暗等信息.

② 將縮小尺寸后的圖像轉換為64級灰度級.

③ 計算64個像素的平局值.

④ 將每一個像素與平均值進行比較,大于平均值則記為1,否則記為0.

⑤ 按照像素的位置順序排列64個0或1數字,得到一個64位的二進制數,被稱為圖像的“指紋”.

比較兩張圖像Hash值的漢明距離,如圖3,距離越小,圖像相似度越高; 距離越大,圖像相似度越低.

圖3 相似圖像與不相似圖像的Hash值差異

2.2 眨眼檢測模塊

眨眼檢測模塊的主要工作原理是,活體人眼會進行不自覺的眨眼動作,而照片等靜態人眼圖像是無法進行眨眼動作的,所以進行眨眼檢測,可以有效地區分照片攻擊與合法的用戶登錄.

眨眼檢測主要有以下幾個子模塊:

① 人眼定位模塊.

② 人眼張合狀態判斷模塊.

③ 張合狀態序列分析模塊.

2.2.1 人眼定位

使用區域增長算法[6,7]進行人眼定位,該算法的主要流程:

① 通過人臉檢測模塊首先估計出鼻尖的坐標位置(x0,y0),估計鼻尖-瞳孔的矩形框初始大小為w0、h0,并定義閾值D.

② 設矩形框初始的左下角為(x0,y0),矩形框的初始寬度為w0,初始高度為h0,計算初始平局灰度值Imean(0).

③ 進行迭代,在i+1步,矩形框保持寬高比例進行固定,左下角坐標固定,進行向右、向上增大,計算每次迭代新的平均灰度值.

2.2.2 人眼張合狀態判斷

提取人眼區域中的人眼圖像,做灰度值轉化、自適應閾值二值化后,就得到一個人眼區域的二值圖像,分析人眼張開與閉合時的形態: 當人眼張開時,眼珠露出,二值圖像中黑色區域較大; 人眼閉合時,人眼二值圖像只有一條狹窄的眼縫黑色區域.

先對人眼圖像做一次形態學開操作[11],消除眼珠中的高亮區域; 再做一次閉操作,消除狹窄的眼縫區域;如圖4,形態學操作后圖像中黑色像素的個數,根據人眼張合狀態的不同呈現出巨大的差異,所以可以統計操作后黑色像素的個數來判斷人眼的張合狀態.

圖4 不同狀態人眼形態學操作后

2.2.3 張合狀態序列分析

通過對一系列幀人眼圖像的張合狀態判斷,得到一個人眼張合狀態的序列.

定義一個人眼張合狀態的集合Q:

其中,O代表睜眼狀態,C代表閉眼狀態. 則兩次眨眼動作包含以下序列:

在規定時間內若檢測到張合狀態序列中包含以上子序列,則認為眨眼檢測通過,否則不通過.

3 系統展示及性能評估

3.1 系統展示

通過將系統各個模塊組織起來,利用VS2012與OpenCV庫,實現了一個基于Windows系統的活體檢測

系統應用程序,其主界面如圖5所示,界面上有包括顯示實時視頻圖像區域、背景分析區域以及眨眼檢測區域,其中背景分析區域與眨眼檢測區域包含參數設置以及中間結果顯示的功能. 兩個模塊任一個檢測結果為拒絕則活體檢測結果為拒絕,兩個模塊檢測結果均為通過活體檢測為通過.

3.2 活體檢測系統行為實驗

3.2.1 照片攻擊

架好攝像頭并開啟活體檢測系統,調整參數后,將包含人臉的靜態照片放在攝像頭前,觀察系統的反饋行為(圖6).

圖5 系統界面

如圖6,當數碼照片放置在攝像頭前時,首先觀察背景分析的結果,通過系統界面可以看到,人臉環境背景與系統環境背景的對比值為13,超過閾值5,所以背景分析模塊給出了拒絕的檢測結果.

圖6 數碼照片攻擊

對于眨眼檢測模塊,從直方圖上可以看出,由于靜態照片的人眼不發生眨眼行為,所以直方圖上沒有表現出明顯的波谷,所以眨眼檢測模塊也給出了拒絕的檢測結果.

綜合眨眼檢測模塊與背景分析模塊,活體檢測系統的檢測結果為拒絕.

另一種照片攻擊的方式是使用實體照片,將照片打印出,并沿著人臉輪廓剪下,用裁剪下的人臉進行攻擊,如圖7 所示.

圖7 裁剪人臉攻擊

由于使用裁剪的人臉,不同于數碼照片,人臉周圍的環境圖像與系統環境圖像相同,環境分析給出了接受的檢測結果,同時眨眼檢測的結果為拒絕,所以活體檢額的綜合結果為拒絕.

3.2.2 視頻攻擊

將活體檢測系統啟動后,將帶有眨眼動作的人物視頻在攝像頭前播放,觀察系統的反饋行為(圖8).

圖8 視頻攻擊

如圖8,當包含眨眼動作的視頻放置在攝像頭前時,首先觀察背景分析的結果,通過系統界面可以看到,人臉環境背景與系統環境背景的對比值為35,超過閾值10,所以背景分析的結果為拒絕.

再觀察眨眼檢測的結果,由于視頻人臉擁有眨眼行為,通過觀察直方圖可以看出,直方圖上有許多低谷,代表人眼閉合的瞬間. 通過分析人眼狀態,眨眼檢測模塊給出了接受的結果.

由于背景分析與眨眼檢測有一個模塊給出了拒絕的結果,所以活體檢測系統給出的整個檢測結果為拒絕.

3.2.3 合法登錄

活體檢測系統啟動后,合法的活體用戶在攝像頭前保持幾秒,觀察系統的反饋行為(圖9).

如圖9,當合法活體用戶站在攝像頭前時,首先觀察背景分析的結果,通過系統界面可以看到,人臉環境背景與系統環境背景的對比值為0,低于閾值,所以背景分析的結果為接受.

圖9 合法登錄

再觀察眨眼檢測的結果,由于活體用戶擁有眨眼行為,通過觀察直方圖可以看出,直方圖上有許多低谷,代表人眼閉合的瞬間,通過分析人眼狀態,眨眼檢測模塊給出了接受的結果.

背景分析與眨眼檢測均給出了接受的結果,所以活體檢測系統給出的整個檢測結果為接受.

3.3 性能評測

為了測試結合了眨眼檢測與環境背景分析的復合活體檢測系統,使用100張照片、20段視頻以及20次合法登錄,記錄并分析結果,如表3所示.

通過實驗,對活體檢測系統進行120次照片、視頻攻擊,116 次正確拒絕,4 次錯誤接收,錯誤接受率(FAR): 3%. 對活體檢測系統進行 20 次合法登錄,1 次錯誤拒絕,19 次正確接受,錯誤拒絕率 5%. 故系統的等錯誤率 (EER): 4%. 總體來說,本算法在能以較低的錯誤接受率來識別照片攻擊與視頻攻擊的同時,能以較低的錯誤拒絕率來辨別合法的人臉識別登錄,性能良好.

表3 照片攻擊、視頻攻擊及合法登錄對比

為了測試系統的魯棒性,在不同光照條件下對系統進行實驗,結果如表4所示.

表4 不同光照條件下的等錯誤率

可以看出,系統在光線較為充足的情況下表現良好,而對于光線很暗的環境里,系統無法工作.

為了對本系統的性能有個具體的了解,與同類型的其它文獻所提出的方法進行比較,情況如表5.

表5 各系統等錯誤率對比

表5中,文獻[4]使用的是動態紋理法,文獻[3]采用傅利葉頻譜與紋理分析結合的方法,文獻[2]采用的是面部光流法,文從對比中可以看出,本系統的等錯誤率比文獻[2]、文獻[3]都要高,而與文獻[4]相同,在同類系統中處于相對優秀的水平.

4 結語

本文探討了對人臉識別的攻擊手段,并針對照片攻擊與視頻攻擊設計、實現了一個活體檢測系統,包括背景分析與眨眼檢測模塊.

對于背景分析模塊,關鍵技術有背景更新、背景提取、背景比對,對于眨眼檢測模塊,關鍵技術包括人眼定位、人眼張合判斷、張合狀態序列分析等. 利用VS2012以及OpenCV開源庫,實現了一個基于Windows操作系統的桌面應用程序,在對系統的實驗測評結果來看,本系統在同類系統中表現較好.

1Chellappa R,Wilson CL,Sirohey S. Human and machine recognition of faces: A survey. Proc. of the IEEE,1995,83(5): 705–741. [doi: 10.1109/5.381842]

2Smiatacz M. Liveness measurements using optical flow for biometric person authentication. Metrology and Measurement Systems,2012,19(2): 257–268.

3Kim G,Eum S,Suhr JK,et al. Face liveness detection based on texture and frequency analyses. 2012 5th IAPR International Conference on Biometrics. New Delhi,India. 2012.67–72.

4de Freitas Pereira T,Komulainen J,Anjos A,et al. Face liveness detection using dynamic texture. EURASIP Journal on Image and Video Processing,2014,2014: 2.

5Yan JJ,Zhang ZW,Lei Z,et al. Face liveness detection by exploring multiple scenic clues. 2012 12th International Conference on Control Automation Robotics & Vision.Guangzhou,China. 2012. 188–193.

6Komulainen J,Hadid A,Pietik?inen M,et al. Complementary countermeasures for detecting scenic face spoofing attacks. 2013 International Conference on Biometrics.Madrid,Spain. 2013. 1–7.

7Buldas A,Kroonmaa A,Laanoja R. Keyless signatures’infrastructure: How to build global distributed hash-trees.Proc. of the 18th Nordic Conference on Secure IT Systems.Ilulissat,Greenland. 2013. 313–320.

8Phash POHO. pHash.org: Home of pHash,the open source perceptual hash library. Phash.

9Yuille AL,Hallinan PW,Cohen DS. Feature extraction from faces using deformable templates. International Journal of Computer Vision,1992,8(2): 99–111. [doi: 10.1007/BF 00127169]

10Deng JY,Lai FP. Region-based template deformation and masking for eye-feature extraction and description. Pattern Recognition,1997,30(3): 403–419. [doi: 10.1016/S0031-3203(96)00086-6]

11Mohammed AA,Anwer SS. Efficient eye blink detection method for disabled-helping domain. International Journal of Advanced Computer Science & Applications,2014,5(5):202–206. [doi: 10.14569/IJACSA.2014.050530]

Liveness Detection System Based on Human Face

ZHANG Gao-Ming,FENG Rui

(School of Computer Science and Technology,Fudan University,Shanghai 201203,China)

The face recognition technology is widely used for its low cost,user-friendly and high efficiency. At the same time,identity forgery attack has also been the corresponding occurrence. The face recognition system attacks include photo face attacks,video face attacks and three-dimensional face model attacks,etc. For these attacks,prevention methods are carried out around the midpoint of in liveness detection based on human face. This paper focuses on the blink detection and background analysis algorithm,and carries out eye location with regional growth algorithm. The morphological operation is used to judge the human eye state,and the Hash algorithm is used to compose the background difference. These methods construct a Liveness Detection Systems. Based on the blink detection and background analysis algorithm,this paper designs a liveness detection system including blink detection module and background analysis module; uses the MFC architecture and OpenCV2.4.9 to build a liveness detection system which can resist photo attack and video attack; makes the experiment and evaluation of the system. In comparison with other similar types of systems,the system performance of this paper is excellent.

face recognition; liveness detection; blink detection; eye localization; environmental background analysis

張高銘,馮瑞.基于人臉的活體檢測系統.計算機系統應用,2017,26(12):37–42. http://www.c-s-a.org.cn/1003-3254/6100.html

臨港地區智能制造產業專項(ZN2016020103)

2017-03-07; 修改時間: 2017-03-27; 采用時間: 2017-04-07