人臉活體檢測綜述

蔣方玲 劉鵬程 周祥東

人臉活體檢測是指辨別當前獲取的人臉圖像是來自活體人臉還是假體人臉的過程,其中活體人臉指有生命的真實人臉,假體人臉指冒充真人身份的人臉仿冒品[1].隨著人臉識別技術的廣泛應用,人臉活體檢測作為保障人臉識別技術安全性的關鍵環節,逐漸成為計算機視覺、模式識別、人臉識別領域非常活躍的研究方向.

人臉活體檢測研究具有重要的應用價值.深度學習的發展使人臉識別技術的性能有了質的提升,人臉識別技術具有自然、直觀、易用等優點,目前已廣泛應用于智能安防、公安刑偵、金融社保、智能家居、電子商務、人臉娛樂、醫療教育等領域,應用場景豐富,應用市場潛力巨大.然而,人臉識別技術的廣泛應用亦使得人臉識別技術的安全性問題日益凸顯.傳統的人臉識別研究專注于整體識別性能的提升,如圖1 所示,整體處理流程一般包含人臉檢測、人臉對齊、特征抽取、特征比對等環節,其并不判斷當前獲取的人臉圖像是來自活體人臉還是假體人臉.隨著智能手機和社交網絡的蓬勃發展,不法分子收集合法用戶的人臉圖像,制作假體人臉的渠道廣、成本低.文獻[2] 利用合法用戶在社交網絡上發布的照片輕松地經過了6 個商業人臉識別系統Face Unlock,FacelockPro,Visidon,Veriface,Luxand Blink 以及FastAccess 的認證.目前人臉識別技術廣泛應用于對安全性有較高要求的人員身份鑒定場景,若不法分子利用傳統人臉識別技術的這個安全性隱患,使用假體人臉成功冒用合法用戶身份,從短期來看,侵犯了合法用戶的權益,較大可能造成生命財產損失;從長遠來看,亦會影響人臉識別技術的進一步廣泛深入應用.因此,如何準確識別活體人臉與假體人臉,保障人臉識別技術的安全性成為一個亟待解決的問題.

圖1 傳統人臉識別技術的安全性缺陷Fig.1 Vulnerability of conventional face recognition system

人臉活體檢測研究具有重要的學術價值.近年來,國內外對人臉活體檢測的研究活躍.瑞士Idiap研究所、密歇根州立大學、奧盧大學、南洋理工大學、中國科學院自動化所、清華大學、上海交通大學等都有團隊從事人臉活體檢測的研究.CVPR(IEEE Conference on Computer Vision and Pattern Recognition)、ECCV (Europe Conference on Computer Vision)、IEEE Transactions on Information Forensics and Security 等重要國際會議期刊上發表的人臉活體檢測相關論文數量大幅度增長.人類的智慧是無窮的,假體人臉亦是各種各樣,層出不窮.通過尋找活體人臉與假體人臉之間的可區分線索,研究出準確率高、通用性強的人臉活體檢測算法,不僅能夠服務于人臉識別技術,對于類似的紋理分類,皮膚檢測,掌紋、靜脈、虹膜等生物識別領域亦能夠提供思路啟發.

鑒于人臉活體檢測的重要研究價值,相關研究者對人臉活體檢測方法進行了綜述.文獻[3] 根據算法使用的技術對2014 年前的人臉活體檢測方法進行了綜述.文獻[4－5] 對2017 年已有的人臉活體檢測方法進行了綜述.這些文獻詳細列舉了目前存在的假體人臉類別,對于假體人臉的特性所造成的人臉活體檢測問題沒有更深入的分析,而問題的剖析更有利于后期有效方法的提出.因此,有必要對假體人臉特性所造成的人臉活體檢測的難點進行深入剖析.除此之外,這些文獻主要對基于手工特征的方法進行了分析綜述,對于基于深度學習的方法少有涉及.隨著深度學習方法的發展,不少研究者提出了基于深度學習的人臉活體檢測方法.相對于2017 年前已有的人臉活體檢測算法,近年來出現的基于深度學習的人臉活體檢測算法很大程度上提升了人臉活體檢測的性能.雖然目前基于深度學習的人臉活體檢測算法也存在一定的問題,但是鑒于深度學習方法在人臉識別、物體分類等其他計算機視覺領域的應用經驗,利用深度學習方法進行人臉活體檢測的前景是可觀的.因此,有必要對基于手工特征以及基于深度學習的人臉活體檢測方法進行全面地綜述和討論,以期為進一步的人臉活體檢測研究奠定一定的基礎.

本文系統地綜述了人臉活體檢測相關研究進展,并對未來發展趨勢進行了展望.本文首先從人臉活體檢測的問題出發,從個體、類內、類間三個層面分析了假體人臉給人臉活體檢測帶來的難點和挑戰,繼而根據人臉活體檢測算法的主要應用形式將主流算法分為交互式人臉活體檢測與非交互式人臉活體檢測兩大類進行梳理和總結,詳述了代表性方法的原理、優勢與不足.之后,對人臉活體檢測方面的主流數據庫進行了整理,對數據庫的特點、數據量、數據多樣性方面進行了比較分析,對算法評估常用的性能評價指標進行了闡述,總結分析了代表性人臉活體檢測方法在照片視頻類數據集CASIA-MFSD、Replay-Attack、Oulu-NPU、SiW 以及面具類數據集3DMAD、SMAD、HKBU-MARsV2 上的性能數據,最后對人臉活體檢測算法未來可能的發展方向進行了思考和探討.

1 人臉活體檢測的難點與挑戰

人臉活體檢測已經發展為保障人臉識別系統安全性的一個基本問題,逐漸成為了人臉識別整個處理流程中的一個重要環節,亦是一個非常具有挑戰性的問題.目前常見的假體人臉有以下幾種:

1) 照片類假體人臉

照片類假體人臉是指用照片紙、普通打印紙打印的黑白(如圖2(a) 所示)、彩色人臉照片或者電子設備顯示的電子照片.照片類假體人臉是二維人臉,有完整照片假體人臉(如圖2(b) 和圖2(c) 所示)和挖去部分臉部區域的照片假體人臉(如圖2(d) 和圖2(e) 所示) 兩類,挖去的區域通常是眼部(如圖2(d) 所示) 或者嘴部(如圖2(e) 所示) 區域.照片類假體人臉可以平鋪在攝像頭前(如圖2(b) 所示),亦可彎曲地放在攝像頭前(如圖2(c) 所示).社交網絡的發展使得假體人臉的制造者能夠快速、方便地收集他人的人臉圖像,打印機的普及也使得打印照片方便且成本低廉.因此,照片類假體人臉是最常見的假體人臉.

圖2 不同類別假體人臉示例Fig.2 Examples of spoofing faces

2) 視頻類假體人臉

視頻類假體人臉是指通過手機、平板電腦或者其他電子顯示設備播放的預先錄制好的人臉視頻(如圖2(f)所示).這些視頻通常包含眨眼、點頭、抬頭、張嘴、唇部微運動等一些動作信息,用于迷惑人臉識別系統.

3) 面具類假體人臉

面具類假體人臉是指各類材質的三維人臉面具.此類假體人臉通常有塑料、乳膠、硅膠材質的人臉面具、人臉模具等.塑料硅膠人臉面具有根據商家設計的人臉制作的面具(如圖2(h) 和圖2(f) 所示),亦有根據用戶提供的照片定制的人臉面具(如圖2(j) 和圖2(k) 所示),其中,圖2(j) 的制作方是ThatsMyFace (thatsmyface.com),圖2(h) 的制作方是REAL-F (real-f.jp).人臉模具指三維立體人頭模塊(如圖2(l) 所示),一般不可以戴在臉上.

4) 合成的三維人臉模型類假體人臉

合成的三維人臉模型類假體人臉是指利用合法用戶照片使用三維人臉軟件合成的三維人臉模型(如圖2(m) 所示).此類人臉模型通常以電子設備為媒介,通過電子設備顯示后攻擊人臉識別系統.

人臉活體檢測的難點與挑戰究其原因,主要是假體人臉以假亂真的高質量以及假體人臉的多種多樣導致的,具體可以從個體、類內和類間三個層面來看.

a) 個體.人臉活體檢測的任務是要識別當前獲取的人臉圖像是否來自有生命力的活體人臉.基本解決思路是抽取活體人臉圖像與假體人臉圖像的差異作為分類線索.目前很多假體人臉的制造工藝優良,制造出來的假體人臉質量高,經人臉檢測對齊處理后的假體人臉圖像與活體人臉圖像看起來非常相似.如圖3 所示,人眼幾乎很難分辨出這些人臉圖像不是采集于活體人臉而是照片類假體人臉.個體層次以假亂真的高質量使得人臉活體檢測的難度大大增加.

圖3 Replay-Attack 數據集中的假體人臉Fig.3 Spoofing faces of Replay-Attack

b) 類內.同一類別的假體人臉雖然有共同的本質特征,但是同一類別的不同假體人臉也存在著較大差異.假體材質、制造方式、制造者、外界環境的不同都會導致同類別的不同假體人臉的差異.比如說,照片類假體人臉的材質有打印紙、照片紙、電子顯示屏等.面具的材質有塑料、乳膠、硅膠等.不同材質的同類別假體人臉成像時反射屬性、紋理方面會存在較大差異.不同的打印機、不同的電子顯示設備、不同的生成廠家及其制造方式都會導致同類別不同假體人臉在顏色分布、分辨率、外觀質量等方面存在差異.同類別不同假體人臉的成像效果也會根據人臉識別系統的攝像頭、外界環境的差異而多種多樣.這些類內的差異給人臉活體檢測算法帶來了極大的困難.

c) 類間.假體人臉的種類多種多樣,具體來說其品類有照片、視頻、面具之分,其材質有紙質、電子顯示屏、塑料、硅膠之分,其結構有二維和三維之分.目前大部分人臉活體檢測算法都是根據具體的假體人臉類型設計具體的算法.假體人臉的類間差異使得抽取有效而通用的特征同時去準確識別各類假體人臉與活體人臉的難度大大增加,給人臉活體檢測算法帶來了極大的挑戰.不僅目前常見的假體人臉多種多樣,隨著假體人臉制造技術的發展,未來的假體人臉更是可能多種多樣.人臉活體檢測算法如何對這多種多樣的未知假體人臉有效而通用更是一個有挑戰的問題.

2 人臉活體檢測方法

現有的人臉活體檢測方法從多種不同的角度致力于將活體人臉圖像與假體人臉圖像區分開來.關于人臉活體檢測方法的分類,根據不同的分類依據可以得到不同的分類體系.如以信號源為依據,可以分為基于可見光的人臉活體檢測、基于紅外的人臉活體檢測、基于多光譜的人臉活體檢測、基于光場相機的人臉活體檢測、基于深度攝像頭的人臉活體檢測、基于可見光圖像與語音混合的人臉活體檢測.以輸入信息的模態為依據,可以分為基于單幀圖像的人臉活體檢測、基于視頻的人臉活體檢測、基于三維深度坐標點的人臉活體檢測、基于視頻語音混合的人臉活體檢測.人臉活體檢測方法一般將人臉活體檢測問題作為一個活體人臉圖像和假體人臉圖像的二分類問題來處理.分類問題的性能很大程度上由算法是否使用了區分性足夠強的特征以及是否使用了合適的分類策略.考慮到特征的重要性,本文擬以人臉活體檢測方法所利用的特征種類為線索詳述各類人臉活體檢測算法.本文根據當前主流人臉活體檢測方法的應用形式,將其分為交互式人臉活體檢測與非交互式人臉活體檢測兩大類,針對每類方法,進而以特征種類為線索,具體闡述各類人臉活體檢測算法[6-102].整體分類體系如圖4 所示,表1對相應類別方法進行了概括性的對比分析.下面將對各類方法進行具體闡述.

表1 主流人臉活體檢測方法總覽Table 1 Brief overview of face anti-spoofing methods

圖4 人臉活體檢測方法分類Fig.4 Classification of face anti-spoofing methods

2.1 交互式人臉活體檢測

活體人臉的宿主是有生命力的人類.人類可以按照要求做出動作或者發出聲音,但是假體人臉卻難以做到.基于這個考慮,人們提出了交互式人臉活體檢測方法.交互式人臉活體檢測利用動作指令與用戶交互,系統通過判斷用戶是否準確完成了指定動作來辨別攝像頭前的人臉是活體人臉還是假體人臉[6-14].常見的動作指令有點頭、抬頭、眨眼、閉眼、遮擋眼睛、揚眉、皺眉、笑臉、吐舌頭、張嘴、朗讀一段文字等.

早期的交互式人臉活體檢測動作指令的設計是固定的,這使得預先錄制完成動作指令的視頻就能攻破這類人臉活體檢測算法.為了解決這個問題,基于隨機動作指令的交互式人臉活體檢測應運而生.動作指令的隨機性使得攻擊者難以預先錄制視頻來攻破活體檢測算法.交互式人臉活體檢測算法的性能如檢測準確率、檢測時間很大程度上依賴于動作指令識別算法的性能.動作指令的識別是交互式人臉活體檢測算法的核心部分.文獻[8] 對連續多幀人臉圖像中的動作執行區域進行二值化處理,通過分析二值化圖像的變化是否大于指定閾值來判斷用戶是否完成了隨機指定的動作.文獻[10] 通過檢測人臉嘴部區域的變化幅度進行唇語識別,輔以語音識別獲取用戶響應的語音信息共同判斷用戶是否按要求朗讀了系統隨機給出的語句.文獻[11] 抽取嘴部區域的光流特征繼而用支持向量機(Support vector machine,SVM) 進行分類來識別用戶是否朗讀了系統給出的一串數字.文獻[12] 指導用戶完成隨機表情動作,通過計算多幀圖像的尺度不變特征變換(Scale-invariant feature transform,SIFT) 流能量值來判斷用戶是否完成了指定表情.

交互式人臉活體檢測通過精心設計的交互動作,有效減弱了假體人臉類內類間差異對算法性能的影響,因此識別率高,通用性較好,目前廣泛應用于金融、醫療等實際業務場景中.交互式人臉活體檢測需

要從多幀圖像中識別用戶是否完成了動作,相對基于單幀的算法計算量大、所需時間長,而且其需要用戶在指定區域內完成多個指定動作,檢測過程繁瑣,對用戶的限制和要求較高,用戶體驗不佳,違背了人臉識別技術方便自然識別的優點.除此之外,交互式人臉活體檢測需要用戶配合的特點決定了其只能用于用戶主動配合的業務場景,不適用于視頻監控人臉分析之類的用戶處于自然行為狀態的業務,應用范圍相對窄.

2.2 非交互式人臉活體檢測

非交互式人臉活體檢測在用戶無主動感知條件下辨別活體人臉和假體人臉,無需與用戶進行交互.非交互式人臉活體檢測分析攝像頭捕獲的活體人臉圖像和假體人臉圖像間的差異來區分活體人臉和假體人臉.從利用的差異特征方面分析,非交互式人臉活體檢測可以分為基于紋理的方法、基于圖像質量的方法、基于生命信息的方法、基于其他硬件的方法、基于深度特征的方法和混合特征類方法.

2.2.1 基于紋理的方法

常見的基于紋理的方法主要關注照片、視頻類攻擊[15-35],也有少量文獻處理面具類攻擊[36-38].照片、視頻中的人臉二次成像時面部的紋理會帶有照片紙或者電子顯示屏的紋理,與活體人臉皮膚的紋理有一定差異.照片類假體人臉不同的打印質量,視頻類假體人臉顯示設備不同的顯示分辨率也會造成假體人臉的紋理與活體人臉不同.除此之外,活體人臉有復雜的三維立體結構,照片、視頻類攻擊是二維的平面結構,光在三維結構和二維結構表面不同的反射會形成臉部顏色明暗區域的差異.基于紋理的方法主要利用這些差異為線索進行活體人臉和假體人臉的分類.

局部二值模式 (Local binary patterns,LBP)[103]考慮了像素及其相鄰像素間的關系,作為一種局部紋理描述符,能夠抽取高判別力的紋理特征且理論簡單、計算復雜度低,已廣泛應用于基于紋理的人臉活體檢測方法.鑒于LBP 描述符在人臉活體檢測領域的基礎地位,這里對LBP 描述符簡單地進行介紹.原始的LBP 算子定義了一個3×3的矩陣鄰域,以中心點像素值為閾值將鄰域像素值二值化,鄰域的像素值大于或者等于中心點像素則設為1,鄰域的像素值小于中心點像素則設為0,之后以逆時針方向遍歷鄰域一周得到一個表示中心點的像素值二進制模式.圖像中的每一個像素點按照此計算方法得到一個表示局部紋理信息的二進制模式.統計各個二進制模式出現的頻率得到LBP 直方圖作為特征向量用于分類.3×3 的鄰域設計使得原始的LBP 描述符不能獲取其他尺度的紋理信息,Ojala 等[103]采用圓形鄰域擴充了3×3 的矩陣鄰域,使得其能夠自定義使用指定半徑圓上的指定個鄰域點的信息.如此改進后卻依然存在問題:同一尺度下的LBPP,R的各個模式出現的頻率不均勻致使抽取的紋理特征效果不能讓人滿意,同時會產生2P種不同的二進制模式,對計算和存儲帶來了挑戰.為了解決這個問題,Ojala 等[103]提出了均勻LBP.均勻LBP 模式是指二進制串里從0 到1 或者從1 到0 的變化不超過U次.每一個均勻LBP 模式分為獨立的一類,非均勻的LBP 模式全部歸為一類.均勻LBP 起到了降維的作用,改進計算效率的同時提升了特征抽取的效果.

文獻[15－17] 將采集的圖像轉化為灰度圖之后抽取圖像的灰度紋理信息用于活體人臉和假體人臉的分類,屏蔽了顏色光照因素的影響.文獻[15] 利用多個不同尺度的均勻LBP 算子從灰度圖的局部塊以及全局圖像中抽取紋理特征直方圖,之后將所有特征直方圖連接形成一個531 維的特征直方圖送入以徑向基函數(Radial basis function,RBF) 為內核的SVM 分類器中進行活體人臉和假體人臉分類的訓練和測試.基于灰度圖的紋理分析算法對于高分辨率、紋理清晰的假體人臉圖像比較有效,但是對于一些低分辨率的假體人臉圖像,則很難分辨準確.一般用于制造照片視頻假體人臉的打印機或者電子設備的色域是人眼可視色域的子集,其顏色沒有人眼能感知的顏色豐富.因此,打印機或者電子設備制造的照片、視頻類假體人臉在顏色分布上與活體人臉有一定差異.考慮到這個因素,文獻[20] 將圖像從RGB 顏色空間轉化為YCbCr 顏色空間,從亮度、色度通道抽取LBP 紋理特征,結合顏色、紋理兩方面的差異線索進行人臉活體檢測.除了LBP 特征,LBP 的一些變種,如tLBP[16],dLBP[16],mLBP[16],CLBP[21],CSLBP[21],LBPV[22]等也被用于抽取圖像中的紋理信息.

除了LBP 及其變種,研究者們也提出了諸多其他的特征描述符用于人臉活體檢測紋理特征的抽取.文獻[23] 將人臉分成12 個小塊,利用局部相位量化(Local phase quantization,LPQ) 抽取紋理特征.文獻[21,24] 利用二值化統計圖像特征(Binarized statistical image features,BSIF) 抽取臉部局部塊和臉部全局的紋理特征送入SVM 用于分類.方向梯度直方圖(Histogram of oriented gradient,HOG) 計算局部區域的梯度方向直方圖構成特征被用于分類[23,26-29].文獻[28,31－32] 使用灰度共生矩陣(Gray-level co-occurrence matrix,GLCM)[104]統計像素間灰度值的分布規律抽取紋理特征.文獻[33－34] 利用高斯差分函數(Difference of Gaussian,DOG) 抽取紋理特征識別差光照條件下的活體人臉和假體人臉.文獻[15,26,32] 利用Gabor 濾波器提取不同尺度不同方向上的紋理特征.文獻[39] 利用加速穩健特征(Speeded-up robust features,SURF) 從HSV、YCbCr 顏色空間的圖像中抽取顏色紋理特征.文獻[40] 利用一個附加的閃光燈以便拍攝的圖像紋理更清晰,活體人臉圖像和假體人臉的紋理差異更明顯.不少研究者們混合使用多種特征描述符從圖形中抽取特征,繼而連接不同描述符的特征送入分類器SVM 進行訓練和測試,如LPQ 與LBP 混合[23,41],BSIF 與LBP 混合[24],HOG 與LPQ 混合[42],Gabor、LBP、GLCM的混合[32].不同特征的混合有利于人臉活體檢測性能的提升,但是同時也增加了計算復雜度.

總體來說,基于紋理的方法計算量少,計算復雜度低,容易實現.基于紋理的方法著重利用紋理顏色方面的差異進行分類,要求輸入圖像的分辨率高,能夠保存清晰的顏色紋理細節信息,對采集設備有高要求.采集條件如光照、攝像頭質量的差異,假體人臉制造設備的差異造成的假體人臉類內差異皆會導致同類別假體人臉抽取的紋理模式不同,因此,基于紋理的方法普遍存在跨數據集通用性不夠強的問題.文獻[35] 也利用豐富的實驗驗證了采集條件差異和假體人臉類間差異對于基于紋理的人臉活體檢測算法的跨數據集通用性存在明顯的削弱.

2.2.2 基于圖像質量的方法

假體人臉的呈現需要一定的媒介,無論是照片紙、打印紙、電子設備、硅膠、塑料等各類媒介的材料屬性與活體人臉的五官、皮膚材質都有差異.材質的差異會導致反射屬性的差異,如照片紙、手機顯示屏會有一些鏡面反射而活體人臉基本不會存在這種現象.假體人臉的制造工藝雖然優良,但是大部分假體人臉二次成像后的圖像質量與活體人臉還是存在一定距離,如顏色分布的失真、假體人臉圖像的模糊感等.基于圖像質量的方法主要利用圖像失真、反射屬性方面的差異分辨真假人臉.

文獻[43] 設計了25 種圖像質量評估指標用于評估假體人臉的失真程度.文獻[44] 針對人臉活體檢測設計了14 種通用特征用于抽取圖像質量方面的差異.文獻[45] 利用鏡面反射、圖像模糊、顏色分布等圖像失真方面的分析提取了針對照片假體人臉的特征.圖像的質量很大程度上依賴拍攝設備以及外界條件.低質量的拍攝設備以及差的光照等外界條件亦會使得活體人臉的圖像存在失真的問題.文獻[46] 考慮了不同質量拍攝設備的影響,首先利用聚類的方法將圖像以圖像質量維度聚類,然后針對每一種質量等級的圖像預訓練一個基于圖像質量特征的活體人臉和假體人臉分類指導模型,對于測試圖像,首先判斷其圖像質量等級,利用回歸的方法映射圖像到其對應圖像質量等級的分類指導模型,之后利用映射得到的分類指導模型進行活體人臉和假體人臉分類.文獻[47] 選取圖像質量差異明顯的人臉塊用于人臉活體檢測,他們首先將檢測到的人臉圖像分成小塊,利用圖像質量評價、圖像強度分析等方法將小塊人臉圖像根據其判別能力進行排序,最后從判別能力強的小塊人臉圖像中抽取特征,送入SVM、二次判別分析(Quadratic discriminant analysis,QDA) 等分類模型中進行活體人臉和假體人臉分類.

基于圖像質量的方法計算復雜度低,檢測速度較快,有利于在線實時檢測.此類方法使用了一些通用的圖像質量評估特征,能夠較好地應對假體人臉的類內差異問題,對于單類假體人臉的跨數據通用能力相對較強.目前基于圖像質量的方法主要關注于照片、視頻類假體人臉的識別,對面具類假體人臉的研究較少.此類方法不能很好地應對假體人臉的類間差異,需要針對每一類假體人臉的特點設計其圖像質量方面的特征,識別照片、視頻類假體人臉的圖像質量特征不能簡單地遷移使用到面具類假體人臉的識別.算法雖然對于打印照片、手機顯示的照片視頻假體人臉比較魯棒,但是難以準確識別一些高清啞光的照片、視頻攻擊[44].從基于圖像質量的方法的本質來看,其需要高質量的活體人臉和假體人臉圖像作為輸入以便能夠抽取足夠好的圖像質量特征,對人臉圖像采集設備要求高.

2.2.3 基于生命信息的方法

活體人臉和假體人臉之間一個明顯的區別是活體有心跳、血液流動、眨眼、臉部肌肉不自主地微運動等生命特征,而大部分類別的假體人臉難以完美模仿此類生命特征.基于生命信息的方法主要利用這些生命特征方面的差異來進行活體人臉和假體人臉的分類.

文獻[48－49] 利用條件隨機場檢測輸入圖像序列中的人眼是否存在睜眼閉眼的切換來判斷是否是活體人臉.文獻[50] 分析眼部區域多個尺度、多個方向的Gabor 響應信號來判斷是否存在眨眼行為.文獻[51] 分析活體人臉唇部不自主地微動作進行活體檢測.此類利用眼睛和唇部信息的方法能夠比較好地識別照片類假體人臉,但是不能很好地識別視頻、面具類假體人臉.活體人臉具有三維立體結構,其運動模式和照片、視頻類二維假體人臉存在差異.文獻[52－54]利用光流線(Optical flow of lines,OFL) 從水平方向和垂直方向兩個維度計算人臉圖像的時空差異,獲取人臉的運動信息來檢測照片、視頻之類的平面假體人臉攻擊.文獻[55] 利用歐幾里得運動放大的方法增強人臉不自覺的微運動信息并用HOOF（Histogram of oriented optical flow）算子抽取運動特征.文獻[56] 利用運動成分分解的方法從圖形中分解出眨眼、唇部動作、臉部肌肉動作等運動信息用于活體檢測.基于運動信息的檢測方法利用了假體人臉難以模擬的生命特征,對于活體人臉和假體人臉來說差異大.同時,假體人臉的類內類間差異對于此類方法有效特征的抽取影響較少.在約束條件下,特征能夠穩定抽取時此類方法檢測準確率高,但是其需要人臉視頻作為輸入,計算量相對大,假體人臉的一些模擬微運動能夠迷惑此類算法.

遠程光學體積描記術(Remote photoplethysmography,rPPG)[105]是一種利用普通攝像頭拍攝的人臉視頻計算人體心率的方法.活體人臉面部有豐富的毛細血管,活體心臟跳動會導致血管中血液流量和流速的變化,而血流的變化又影響面部光線的吸收和反射情況,最后這種血液的變化就導致了人臉顏色的變化.通過抽取人臉毛細血管豐富區域的顏色變化即可得到心率的變化.活體人臉的宿主有心率,而假體人臉沒有心率,利用這個線索,文獻[57－60] 利用rPPG 信號檢測待測對象是否具有心率并以此判斷待測對象是否是活體人臉.文獻[61]從圖像的R 和G 通道中抽取血流信息來進行活體檢測.此類抽取心率、血流信息的方法多用于三維面具類假體人臉的檢測上,在良好不變光照條件下,待測對象保持姿態、表情不動的情況下方法準確率較高,但是它們的計算過程需要足夠長的高清人臉視頻以便能夠抽取到足夠好的rPPG 信號,同時rPPG 信號受外界環境光照、待測對象運動的影響大,方法魯棒性不強.

2.2.4 基于其他硬件的方法

除了利用傳統的可見光攝像頭捕獲人臉圖像,研究者們也利用了其他多元化的硬件如紅外攝像頭、多光譜攝像頭、光場相機、深度攝像頭等捕獲相應類型的人臉圖像進行活體檢測.

1) 紅外攝像頭、多光譜攝像頭

紅外攝像頭、多光譜攝像頭是最常用的一種.不同波段的紅外如近紅外、短波紅外、熱紅外都有相關研究工作.假體人臉的材質與活體人臉的皮膚、眼睛、嘴唇、眉毛等部位的材質不同,而材質的不同就會造成反射屬性有差異.雖然假體人臉在可見光條件下看起來和活體人臉非常相似,但是在紅外光譜下,活體人臉的皮膚、眼睛、鼻子等區域看起來和假體人臉都有較大差異.一些研究者利用Gabor、HOG、朗伯模型等抽取近紅外攝像頭圖像中活體人臉和假體人臉的反射差異進行活體檢測[62-68].在近紅外光譜下,照片和視頻攻擊與活體人臉的差異較大,此類方法準確率高,跨數據通用能力強,但是制作精良的面具卻與活體人臉的差異較少.為了識別面具攻擊,文獻[69] 利用短波紅外來區分人臉皮膚和面具.熱紅外圖像中包含了受測對象散發的熱輻射信息.活體人臉有一定溫度能夠散發熱輻射,但是照片、視頻等假體人臉卻不能散發此類信息.文獻[70] 利用熱紅外圖像進行活體人臉以及照片、視頻類假體人臉的分類.文獻[71－72] 利用了400 nm～1 000 nm 的多個波段圖像來抽取反射特征區分活體人臉和照片攻擊.

2) 光場相機

光場相機能夠記錄光在空間中的方向與位置等信息[106],文獻[21,73－74] 利用光場相機拍攝光場照片用于人臉活體檢測.原始的光場照片是由很多個小的微透鏡圖像組成的.隨著焦距的不一樣,微透鏡圖像表示不同的光分布.這些不同光分布的圖像能夠用于估計輸入圖像中深度的存在.文獻[73] 利用LBP 從光場照片的兩種可視化圖像:微透鏡圖像和光場子孔徑圖像中抽取人臉邊緣特征以及射線差異特征用于假體人臉與活體人臉的分類.

3) 深度攝像頭

活體人臉有復雜的三維立體結構,照片、視頻類假體人臉卻是二維平面結構.深度攝像頭拍攝的深度圖像能夠記錄下物體間的深度信息,三維活體人臉和二維假體人臉結構的差異導致人臉離深度攝像頭的深度信息會存在較大差異.文獻[75－76] 利用Kinect 與可見光攝像頭錄制人臉深度圖和可見光圖像,繼而從人臉可見光圖像和深度圖中抽取紋理特征以及人臉結構特征進行活體人臉和照片、視頻類假體人臉的分類.活體的三維人臉結構有明顯變化的表面曲率,但是二維的假體人臉卻沒有.文獻[77]利用三維掃描儀獲取待測對象的三維模型,通過分析待測對象的表面曲率來判斷三維活體人臉和二維假體人臉.面具類假體人臉雖然也有三維立體結構,但是因為工藝原因,大部分面具類假體人臉的三維結構還是沒有活體人臉精細.基于幾何屬性的三維形狀分析能夠很好地刻畫人臉的表面結構與形狀.常用的幾何屬性包括主曲率、高斯曲率、平均曲率及其方差.文獻[78] 利用主曲率測量以及meshSIFT特征描述符從待測對象的三維人臉模型中抽取活體人臉和面具間的幾何形狀差異來進行活體人臉和面具假體人臉的分類.

基于其他硬件的方法利用的特征區分度大,假體人臉的類內差異對方法的影響較少,整體識別準確率高,但是其需要增加新的硬件,這不僅意味著新的昂貴的硬件投入,而且也意味著人臉識別系統的硬件改造,費時費力.新增硬件在一定程度上也會限制算法的使用范圍,如智能手機之類的移動端人臉活體檢測可能會因為新增其他攝像頭不方便而舍棄這種解決方案.

2.2.5 基于深度特征的方法

早期的人臉活體檢測算法一般抽取手工設計的特征,繼而利用SVM、線性判別分析(Linear discriminant analysis,LDA) 等分類器訓練分類模型進行活體人臉和假體人臉的分類.手工設計特征作為淺層特征,表達能力一般,不能有效表征活體人臉和假體人臉之間的差異.深度學習方法能夠抽取高層語義的特征表達,近年來大大提升了人臉識別、物體分類等計算機視覺任務的性能.隨著深度學習方法的發展,人們也逐漸利用深度學習的方法來處理人臉活體檢測的問題.基于深度特征的人臉活體檢測方法一般融合考慮了多方面的信息進行活體人臉與假體人臉的分類,如顏色紋理、圖像質量、背景邊框信息、時序變化信息等.針對深度學習技術,數據和網絡模型訓練至關重要,本節將從網絡輸入數據源和深度特征學習兩個方面來分析基于深度特征的人臉活體檢測方法.

1) 網絡輸入數據源

最初人們借鑒深度學習方法在其他領域的應用方法,使用端到端的深度學習方法進行活體人臉和假體人臉分類.文獻[79] 利用5 個卷積層、5 個池化層、3 個全連接層組成的卷積神經網絡從包含不同尺度背景信息的可見光RGB 人臉圖像中抽取深度特征,并使用Softmax 進行活體人臉和假體人臉的預測.由于假體人臉的類內類間差異大以及假體人臉的造價昂貴導致的人臉活體檢測數據集中個體數量少、數據總量少、數據間的多樣性不如常規的人臉識別數據集豐富的問題,方法的識別準確性和跨數據集通用性仍有待提高.

為了提取區分度更大的特征,研究者們對傳統的RGB 人臉圖像進行各類處理,使得要利用的特征更加明顯,之后再利用卷積神經網絡抽取分類特征[80-82].文獻[80] 將人臉圖像從RGB 顏色空間轉換成HSV,YCbCr 顏色空間并分割成小塊,利用端到端的卷積神經網絡從分割的小塊圖像中抽取特征進行分類.顏色空間轉換讓活體人臉和假體人臉的顏色紋理差異更明顯.小塊的分割一方面讓卷積神經網絡更專注于局部塊的信息抽取,另一方面也從數據增強的角度提升了方法的性能.文獻[81] 將非線性擴散[107]和卷積神經網絡進行了結合.考慮到二維的假體人臉經非線性擴散后人臉五官的邊界會退化而活體人臉則會保留邊界信息,他們首先使用非線性擴散處理活體人臉和假體人臉圖像,繼而利用卷積神經網絡從擴散后的圖中抽取深度特征.文獻[82] 采取類似rPPG 的思路,以心臟跳動會帶來活體面部顏色的變化為差異線索,為圖像中的每一個像素點進行頻率分析,得到能夠表征生命信息的相對高低能量值,之后利用卷積神經網絡從人臉圖像的這種能量表示圖抽取分類特征進行分類.除了對RGB 圖像進行各類處理,研究者們也綜合利用了其他硬件設備錄制的圖像.文獻[83] 利用卷積神經網絡從常規的可見光人臉圖像以及Kinect 錄制的人臉深度圖中抽取特征用于活體人臉和假體人臉分類.深度圖中包含的人臉結構信息對于三維活體人臉和二維假體人臉的高區分性有利于提升算法的準確率與通用性.

2) 深度特征學習

深度學習的方法能否學習到有效而通用的特征很大程度上依賴數據量是否足夠大,數據多樣性是否豐富.人臉活體檢測的小數據集問題導致基于深度學習的人臉活體檢測方法容易陷入過擬合的困境.很多研究者們利用在其他數據更豐富的數據集上預訓練深度神經網絡模型的思路來解決過擬合的問題[84-87].文獻[84] 首先在ImageNet 上預訓練ResNet50 模型[108],利用得到的模型從連續多幀人臉圖像中抽取空間深度特征,之后將抽取的特征送入長短期記憶網絡(Long short-term memory,LSTM)[109]中抽取幀間的時序變化信息用于活體人臉和假體人臉的分類.LSTM 與卷積神經網絡(Convolutional neural network,CNN) 的結合綜合了雙方從連續多幀人臉圖像中抽取空間信息、時序信息的能力,利用預訓練的殘差網絡模型減少了人臉活體檢測數據集上過擬合的影響.文獻[87]在MSU-MFSD(Michigan State University mobile face spoofing database)[45]數據集上通過大量實驗對比了Inception-v3、ResNet50,ResNet152 用于人臉活體檢測的性能.實驗中考慮了模型的深度、微調預訓練模型或者從頭訓練、不同學習速率等方面的對比因素.

除了利用預訓練的模型外,研究者們也從訓練方法方面進行了研究.文獻[75－83] 利用深度卷積神經網絡抽取特征,之后利用SVM 進行分類,在一定程度上可以降低過擬合的影響,提升算法性能.文獻[88] 針對人臉活體檢測數據集數據量少的問題,提出了一種訓練策略提高算法的通用能力.常規的深度學習模型訓練方法是將訓練集隨機化排序一次后劃分小批量數據集用于訓練,文獻[88] 在模型的訓練階段每一次迭代都從整個訓練集中隨機地選取一個小批量數據用于訓練,通過這種隨機的選取小批量訓練數據的方法減少過擬合的影響.一般的基于深度學習的人臉活體檢測方法利用活體人臉和假體人臉的類別為標簽,文獻[89] 認為簡單的類別標簽包含的信息過于簡單,研究者們利用活體人臉和假體人臉的深度信息圖以及rPPG 信號為指導標簽訓練深度神經網絡進行分類預測.深度信息圖中蘊含了三維活體人臉和二維假體人臉的結構差異,rPPG 信號蘊含了活體人臉與假體人臉的生命信息差異,兩種信息皆對活體人臉與假體人臉的區分度大.使用這兩種信息明確地作為指導信息,有利于提升方法的通用性.假體人臉的種類多且類間差異大,為了減少類間差異對活體檢測算法性能的影響,文獻[90] 針對照片和視頻類攻擊分別訓練對應類別的ResNet50 分類模型,然后利用堆棧泛化[110-111]的方法訓練一個模型組合不同類別假體人臉的分類模型.單類假體人臉分類模型減少了不同假體人臉間的差異對分類性能的影響,使模型專注于某一類假體人臉的分類,有利于模型性能的提高.使用堆棧泛化組合模型一方面能夠進一步提高分類準確率,另一方面也使得一個模型能夠處理多種假體人臉,提升模型的通用性.

針對目前人臉活體檢測算法跨數據集通用性不強的問題,文獻[91] 引入領域自適應的方法進行活體人臉與假體人臉分類,提升深度模型的跨數據集通用性.文獻[92] 將貪婪深層字典學習用到了人臉活體檢測.一般基于深度學習的方法利用二維的卷積神經網絡抽取圖像層面的信息,并沒有利用到連續多幀人臉活體檢測圖像中的時序信息.文獻[93－94] 利用三維卷積神經網絡[112]從連續多幀人臉圖像中抽取時空深度特征,相對于基于二維卷積神經網絡的人臉活體檢測方法,增加了時間維度的差異信息,更有利于提高算法的識別性能與通用性.

很多研究者將深度學習的方法和手工設計特征的方法進行了融合[85,95-97],以結合兩種方法的優點,減少過擬合的影響,提升算法性能.文獻[95] 將神經網絡、Shearlet、光流法進行了結合,設計了一個分層神經網絡,融合學習圖像質量以及運動信息用于人臉活體檢測.他們首先利用Shearlet 抽取圖像質量方面的特征,利用光流法從裁剪后的人臉以及包含背景的人臉圖像中抽取光流幅度運動特征,然后將抽取的運動特征送入一個兩層的神經網絡中抽取分類特征進行分類.文獻[85] 將CNN 與LBP結合起來,利用人臉活體檢測數據集微調預訓練好的VGG-face 模型[113],之后從微調的VGG-face 模型抽取的卷積特征圖中抽取LBP 特征并送入SVM進行活體人臉和假體人臉的預測.文獻[96]將CNN與LBP-TOP (Local binary patterns from three orthogonal planes)[114]結合起來,利用LBP-TOP從卷積特征圖中抽取時空特征,在減少過擬合情況的發生的同時,為活體檢測算法增加了時間維度的分類線索.文獻[97] 將CNN 與光流法進行了結合,學習連續多幀人臉圖像中的動態紋理信息.他們首先利用一個預訓練的VGG (Visual geometry group) 網絡從每一幀圖像中抽取卷積特征圖,然后利用光流法計算每一個卷積特征圖的微運動特征,最后在通道可分辨性約束下,從所有卷積通道的微運動特征中提取深層卷積動態紋理特征并送入SVM 進行分類.文獻[98] 將微紋理描述符與SSD(Single shot multibox detector)[115]結合,首先在人臉檢測的過程中同時進行活體人臉和假體人臉的分類,然后對于SSD 給出的預測結果置信度高的人臉圖像,取SSD 的預測結果,對于SSD 給出的預測結果置信度低的人臉圖像,利用設計的微紋理描述符抽取紋理特征并送入SVM 進行分類,取得SVM的預測結果.利用深度學習方法與手工設計特征的方法組成的層級結構,融合了兩類方法的判別能力提升活體人臉與假體人臉的識別性能.

總體來說,越來越多的研究者傾向于利用基于深度特征的人臉活體檢測方法去解決人臉活體檢測面臨的問題.一些端到端的基于深度特征的方法相對于基于手工特征的方法實現起來更方便.基于深度特征的方法針對假體人臉個體以假亂真的高質量、類內類間差異、數據量少的問題從網絡輸入數據源和深度特征學習等方面做了相關研究,抽取的深度特征相對來說有效性和通用性較好,在公開數據集上,目前基于深度特征方法也取得了最好的性能,但是其模型參數多、訓練時間長、計算量大,對數據量和數據豐富性上有較高要求.

2.2.6 混合特征類方法

基于單一差異線索進行活體人臉與假體人臉分類,可能會面臨識別準確率以及算法通用性方面的瓶頸.為了提高人臉活體檢測方法的性能,人們提出了融合多個差異線索進行人臉活體檢測的方法,也就是混合特征類方法.常見的混合有紋理信息和運動生命信息的混合[17-19,25,85,93-94,97,99-101]、紋理信息和人臉結構信息的混合[76,80,83,98,102]、人臉結構信息與運動生命信息的混合[89]、圖像質量與運動生命信息的混合[95]、背景信息[27]和其他特征的混合[79,81,84,87,93,98,100]等.照片、視頻類假體人臉存在的邊框等背景信息能夠提供有效的分類線索,經常被融合利用到各類方法中.

為了利用時序上的微運動生命特征差異,文獻[17－19] 利用LBP-TOP 從時空兩個維度抽取動態紋理信息進行活體人臉與假體人臉的分類.LBP主要抽取空間上的局部紋理信息,LBP-TOP 從時間維度擴充了傳統的LBP,從而可以抽取時空兩方面的紋理信息.LBP-TOP 考慮了三個正交平面,即傳統LBP 處理的xy平面、圖像每一行沿時間軸形成的xt平面以及圖像每一列沿時間軸形成的yt平面.三個平面以中心點正交.xy平面記錄著空間紋理,xt平面、yt平面記錄著動態紋理.計算每一個平面的LBP 特征,然后連接三個平面的LBP 特征形成LBP-TOP 特征.文獻[17－19]考慮了不同長度的時間窗口,抽取LBP-TOP 動態紋理信息,繼而利用以RBF 為內核的SVM 進行分類.類似于LBP-TOP,研究者們也從時間維度擴充了MLPQ (Multiscale local phase quantization) 為MLPQ-TOP,MLPQ (Multiscale local phase quantization) 為MBSIF-TOP,抽取動態紋理進行人臉活體檢測[25].文獻[99] 融合了深度神經網絡抽取的深度紋理特征以及眨眼等運動生命信息.文獻[76] 利用BSIF 描述符從圖像全局以及眼睛等局部小塊抽取了紋理和人臉結構造成的深度差異信息.

很多基于深度特征的人臉活體算法混合使用了多種分類特征[80,83,85,89,93-95,97-98].文獻[98] 融合利用了顏色紋理信息、背景信息、人臉結構信息進行人臉活體檢測.他們將人臉活體檢測與人臉檢測融合到一個步驟完成,利用上下文背景信息在給出人臉所在位置的矩形框時也進行活體人臉和假體人臉的判斷.他們還設計了兩個描述符:SPMT (Spatial pyramid coding micro-texture) 抽取微紋理方面特征,TFBD (Template face matched binocular depth) 抽取人臉結構方面的特征.將SPMT 和SSD 結合起來,對于SSD 預測結果置信度低的人臉圖像抽取SPMT 特征并利用SVM 進行分類.除此之外,他們還將SPMT 與TFBD 結合起來,綜合利用紋理與人臉結構方面的差異.從文獻[98] 的實驗結果可以看出,混合了各類特征的人臉活體檢測算法有利于算法識別率的提升.

總的來說,混合特征類方法可以綜合各類特征的優勢,減少高質量假體人臉以及假體人臉的類內類間差異的影響,抽取高判別力的特征,提高算法的準確率和通用性,但是正因為其綜合了多個不同的特征,算法實現和維護的成本增加,計算量也將增多,算法的處理時間相對會變長.

3 人臉活體檢測數據集

數據集中數據的總量、數據類型的豐富程度、數據的采集設備、采集環境等都會影響人臉活體檢測方法的性能.隨著深度學習方法的發展,數據的重要性日益凸顯.對于人臉活體檢測,相關研究者們利用的分類特征多種多樣,使用的數據集也都有自身的特點,從數據集的發展也能窺測出主流人臉活體檢測方法使用的特征、防范的攻擊類型、影響算法性能因素的處理等方面的發展.鑒于數據的重要性以及人臉活體檢測數據集的多樣性,本節對人臉活體檢測方面的主流數據集分假體人臉類型進行闡述:照片視頻類假體人臉活體檢測數據集、面具類人臉活體檢測數據集.綜述的數據集大部分是公開數據集,少部分是不公開的數據集.在介紹不同的數據集時,主要從數據集的特點,數據集建設年份,數據集包含的活體人臉和假體人臉的個體數,圖像大小,各類別樣本數量,假體人臉類型,錄制時考慮的光照、姿態、假體人臉材質等方面的影響因素等方面進行闡述,表2 對主流人臉活體檢測數據集進行了總覽對比分析.

表2 主流人臉活體檢測數據集總覽Table 2 Brief overview of face anti-spoofing datasets

3.1 照片視頻類人臉活體檢測數據集

3.1.1 可見光照片視頻類人臉活體檢測數據集

NUAA[116]數據集是第一個面向學術界免費公開的人臉活體檢測數據集.NUAA 利用普通的網絡攝像頭在三個不同的環境下錄制了15 個個體的活體人臉與照片類假體人臉的圖像.為了讓活體人臉與假體人臉更相似,錄制過程中要求活體人臉做到人臉正向面對攝像頭,保持自然表情,不出現眨眼、頭部微運動等情況.制作的假體人臉一共有三種:6.8 cm×10.2 cm 與8.9 cm×12.7 cm 兩種大小的照片紙上打印的彩色照片,普通A4 打印紙上打印的彩色照片.數據集錄制了正面平展照片,同時還對照片彎曲、沿水平軸旋轉、垂直軸旋轉等情況進行了錄制.

Yale-Recaptured[33]數據集為LCD 屏幕顯示的照片類假體人臉錄制了一批多種光照條件下的數據.Yale Face Database B[14]包含了1 個錄制個體64 種不同光照條件下的活體人臉數據.Yale-Recaptured 數據集利用三種LCD 顯示屏顯示Yale Face Database B 中1 個個體64 種光照條件下的640 張人臉照片.整個數據集從假體人臉光照差異方面考驗算法的有效性和通用性.

Print-Attack[117]數據集是瑞士Idiap 研究中心發布的關于打印照片類假體人臉的人臉活體檢測數據集.Idiap 研究中心在人臉活體檢測領域研究活躍,針對照片、視頻、面具等不同類型的假體人臉發布了不同的數據集.Print-Attack 數據集在兩種不同的光照條件下分別錄制了手持照片、固定照片兩種不同照片攻擊模式的數據,其中照片是打印在A4打印紙上的彩色照片.

CASIA-MFSD[34]數據集為活體人臉和照片、視頻類假體人臉錄制了低、中、高三種不同質量的視頻數據.假體人臉包括完整的彩色照片假體人臉,挖去顏色的彩色照片假體人臉以及視頻類假體人臉.照片類假體人臉在錄制的過程中也錄制了正面平展照片以及彎曲照片的情況.根據收集的數據,CASIA-MFSD 從圖像成像質量、假體人臉類型方面設計了7 種不同的測試協議用于驗證人臉活體檢測算法的性能.

Replay-Attack[16]數據集的錄制方式類似于Print-Attack 數據集.相對于Print-Attack 數據集,假體人臉新增了iPhone 3GS 手機以及iPad 顯示的視頻類假體人臉.

MSU-MFSD[45]數據集考慮了人臉活體檢測在移動端的應用場景,采用智能手機錄制活體人臉和假體人臉的圖像信息.采用佳能550D 單反相機以及iPhone 5S 后置攝像頭拍攝高像素照片和視頻作為假體人臉.視頻類假體人臉采用了兩種像素進行顯示,iPad Air 顯示的是2 048×1 536 像素的視頻,iPhone 5S 顯示的是1 136×640 像素的視頻.打印類照片假體人臉以1 200×600 像素的分辨率打印在A3 紙上.相比于之前的數據集中的假體人臉,MSU-MFSD 的假體人臉質量更高.

UVAD(Unicamp video-attack data set)[31]數據集采用了6 種不同的攝像頭拍攝人臉視頻用做假體人臉錄制數據,之后利用7 種不同的設備顯示視頻假體人臉用于攻擊人臉識別系統.UVAD 從制作視頻假體人臉的設備以及假體人臉的顯示設備方面豐富了人臉活體檢測數據集.

REPLAY-MOBILE[118]數據集同樣考慮到智能移動設備如智能手機和平板電腦的發展,利用Nikon Coolpix P520 相機以及LG-g4 智能手機后置攝像頭拍攝高分辨率照片或者視頻作為假體人臉.考慮到人臉活體檢測在移動端的應用,數據集的錄制也采用IOS 和Android 智能移動設備進行數據錄制.假體人臉的顯示也盡量屏蔽鏡面反光的影響,采用了啞光電子顯示屏和紙張顯示視頻或者照片.為了驗證方法的通用性,REPLAY-MOBILE 數據集錄制了5 種不同的光照條件下的數據.

MSU-USSA[119]數據集也是一個模擬假體人臉攻擊智能手機中的人臉識別系統的數據集.MSUUSSA 的采集過程中考慮了背景環境、圖像質量、圖像采集設備、個體方面的多樣性.MSU-USSA 從Weakly labeled face 數據集選取了100 個個體的圖像用于數據集的錄制,從個體、個體所在背景環境方面增加了人臉活體檢測數據集的多樣性.100 個活體人臉圖像來自于互聯網,所以其拍攝設備多種多樣,從圖像采集設備方面豐富了數據集.假體人臉類似于其他數據集,采用筆記本、平板電腦、智能手機、啞光照片紙顯示.MSU-USSA 利用Google Nexus 5 的前置攝像頭與后置攝像頭為假體人臉拍攝兩種不同分辨率的圖像,從圖形質量、假體類別、假體質量方面豐富了數據集.

Oulu-NPU[120]數據集在3 個不同光照不同背景的場景下利用6 種移動設備的前置攝像頭錄制了活體人臉和假體人臉的圖像信息.打印照片類假體人臉由兩個不同的打印機彩色打印而成.視頻類假體人臉由兩種不同的顯示設備顯示.Oulu-NPU 數據集錄制過程中考慮了更多的變化因素用于驗證人臉活體檢測方法的有效性和通用性.

SiW[89]收集了165 個個體的活體人臉與假體人臉圖像信息.活體人臉在錄制的時候考慮了人臉與攝像頭的距離、姿態、表情、光照方面的變化.打印照片類假體人臉考慮了高分辨率和低分辨率兩種照片.視頻類假體人臉采用了平板電腦、蘋果手機、PC 機顯示器、三星手機四種不同的設備顯示.SiW 數據集在個體數以及活體人臉的變化方面增加了數據集的豐富性.

3.1.2 基于其他硬件的照片視頻類人臉活體檢測數據集

GUC-LiFFAD[21]數據集是一個利用光場相機錄制了不同焦距的光場圖像的數據集,為利用光場圖像差異的人臉活體檢測算法提供數據支持.數據集利用噴墨打印機、激光打印機、第四代iPad 平板電腦制作了高質量的打印照片與顯示的電子照片.數據集收集了80 個不同個體的活體人臉和假體人臉數據,個體差異方面相對來說更豐富.

Msspoof[121]數據集錄制了活體人臉和照片類假體人臉的可見光與近紅外光譜圖像數據.數據集使用的近紅外波段是800 nm.對于活體人臉,Msspoof 數據集在7 個不同的環境下錄制了5 張可見光與5 張近紅外光譜圖像.對于假體人臉,Msspoof 數據集從之前錄制的活體人臉的5 張可見光與5 張近紅外光譜圖像選取了看起來成像比較好的3 張可見光與3 張近紅外光譜圖像用于制造假體人臉.選取出來的6 張圖像均被打印成黑白照片.Msspoof 數據集分別為這6 張照片錄制了三種不同光照條件下的可見光與近紅外光譜圖像.

EMSPAD (Extended multispectral presentation attack face database)[122]數據集利用多光譜攝像頭錄制了425 nm,475 nm,525 nm,570 nm,625 nm,680 nm,930 nm 7 個波段的圖像.數據集錄制的過程中考慮了距離的影響,選取了1.52 m 的錄制對象與攝像頭間距,以便能夠收集高質量的多光譜圖像.

3.2 面具類人臉活體檢測數據集

3DMAD[37]是最早錄制的三維人臉面具類假體人臉數據的人臉活體檢測數據集.數據集使用的面具是由ThatsMyFace.com 根據用戶的一張正面人臉圖像以及兩張側面人臉圖像定制的三維塑料面具.考慮到假體人臉與活體人臉三維結構方面的差異,3DMAD 數據集不僅利用可見光攝像頭錄制了活體人臉與假體人臉的可見光圖像,還利用了微軟Kinect 深度攝像頭錄制活體人臉與假體人臉的深度圖像信息.

HKBU-MARsV2 (HKBU mask attack with real world variations dataset version 2)[123]數據集也是一個三維人臉面具類假體人臉數據集.相比較于3DMAD,HKBU-MARsV2 在假體人臉質量、錄制數據的攝像頭、外界光照條件等方面增加了數據多樣性.假體人臉方面,數據集選取了兩個公司的假體人臉:ThatsMyFace 制作的臉部表觀質量稍低的三維面具以及Real-F 制作的臉部表觀質量高的三維人臉面具.錄制數據的攝像頭方面,數據集考慮了傳統人臉識別系統以及智能移動設備上人臉活體檢測的應用,選取了3 種傳統攝像頭以及4 種移動設備的攝像頭錄制活體人臉和假體人臉的數據.光照方面,數據集設計了6 種不同的室內光照環境用于數據錄制.

SMAD (Silicone mask attack)[92]數據集是一個為活體人臉以及三維硅膠人臉面具錄制了圖像信息的數據集.硅膠人臉面具能更好地與人臉的眼睛、鼻子、嘴巴部位貼合,戴起來看起來更加真實.硅膠人臉面具更接近現實應用中不法分子可能會使用的面具,從這個角度上看,SMAD 數據集更貼近現實情況.數據集在錄制的過程中也考慮了不同的外界光照、背景等外界影響條件.

MLFP(Multispectral latex mask based video face presentation attack)[124]數據集在可見光、近紅外、熱紅外光譜下錄制了多光譜的活體人臉和面具假體人臉數據.面具假體人臉使用了挖去眼部區域的二維照片以及三維的乳膠人臉面具.錄制過程中選取了不同時段、室內室外不同地方的多個場景錄制數據,在外界環境方面豐富了數據集.

從表2 中可以看出,早期人們關注照片視頻類假體人臉的處理,逐漸發展為也關注面具類假體人臉的處理.早期人們關注PC 端人臉活體檢測,逐漸發展為關注PC 端以及移動端的人臉活體檢測,利用網絡攝像頭以及移動端多元化攝像頭捕獲人臉圖像.人臉識別、物體分類等其他領域的大規模數據集多是從網絡上收集不同人、不同攝像頭、不同環境下拍攝的圖像,而目前人臉活體檢測的數據集都是約束狀態下人工錄制的,其數據集個體數、數據多樣性遠遠不及人臉識別、物體分類等其他領域的數據集.

4 算法性能比較

4.1 性能評價指標

人臉活體檢測算法的性能主要從單數據集測試以及跨數據集測試兩方面進行衡量.單數據集測試是指訓練集和測試集同屬于一個數據集時算法的性能.跨數據集測試是指訓練集和測試集不是同一個數據集時算法的性能.人臉活體檢測算法的性能評價同時考慮活體人臉與假體人臉的識別率.常用的性能評價指標主要有兩大類:一類是錯誤接受率(False acceptance rate,FAR)、錯誤拒絕率(False rejection rate,FRR)、等錯誤率(Equal error rate,EER) 以及半錯誤率(Half total error rate,HTER) 指標[16];另一類是生物識別防假體攻擊方面的標準文件ISO/IEC 30107-3[125]提出的APCER (Attack presentation classification error rate)、BPCER (Bona fide presentation classification error rate)以及ACER(Average classification error rate) 指標.

錯誤接受率(FAR) 指算法把假體人臉判斷成活體人臉的比率.錯誤拒絕率(FRR) 指算法把活體人臉判斷成假體人臉的比率.FAR 與FRR 的定義如式(1) 和式(2) 所示,其中Ns2l表示假體人臉判斷為活體人臉的次數,Ns表示假體人臉攻擊總次數,Nl2s表示活體人臉判斷為假體人臉的次數,Nl表示活體人臉檢測總次數.不同的閾值可以得到不同的FRR 以及FAR 對,分別以FRR、FAR 為橫軸與縱軸,即可繪制ROC (Receiver operating characteristic curve) 曲線.利用開發集數據進行測試得到的ROC 曲線上FRR 等于FAR 時,FRR 與FAR 的均值即為等錯誤率(EER).以開發集上FRR 等于FAR 時的閾值為測試集上的閾值計算測試集FRR與FAR 的均值,即為半錯誤率(HTER).

APCER (Attack presentation classification error rate) 指假體人臉分類錯誤率.BPCER (Bona fide presentation classification error rate) 指活體人臉分類錯誤率.ACER(Average classification error rate) 指平均分類錯誤率,其定義如式(3)～(5)所示.

其中,NPAI是某一類別假體總的攻擊次數.NBF是指活體人臉檢測次數.若第i次檢測判斷為假體人臉則Resi置為1,若判斷為活體人臉則置為0.APCER 與BPCER 與第一類評價指標中的FAR與FRR 類似,但是FAR 和FRR 把所有類別的假體人臉混合在一起計算性能,APCERPAI是為每一種類別的假體人臉計算APCER,如照片類假體人臉、視頻類假體人臉,最后活體檢測算法總的APCER是所有類別假體人臉中最大的APCERPAI,也就是說識別率最差的那類假體人臉.EER 是指開發集上APCER 與BPCER 相等時APCER 與BPCER的均值.ACER 是以等錯誤率對應的閾值為測試集的閾值計算的APCER 與BPCER 的均值.

單數據集的測試能夠在一定程度上反映算法的性能,但文獻[126] 通過實驗驗證了很多在單數據集上性能優良的算法,在其他數據集上測試時,性能會急劇下降,算法的通用性不強.為了驗證算法的通用性,研究者們提出了跨數據集測試的方法:以一個數據集的數據為訓練集訓練活體檢測算法模型,以另一個數據集的數據為測試集測試活體檢測算法模型的性能.目前大部分的跨數據集測試還都是集中在同類別假體人臉跨數據集測試的形式,對于跨數據集、跨假體人臉類別的測試還比較少.這也從側面反映出目前人臉活體檢測算法的通用性還有待提高.

4.2 主流算法性能比較

照片視頻類數據集CASIA-MFSD、Replay-Attack、Oulu-NPU、SiW 以及面具類數據集3DMAD、SMAD、HKBU-MARsV2 是目前比較常用的基準數據集.表3～8 以文獻發表的年份為順序總結了代表性的人臉活體檢測方法在CASIA-MFSD、Replay-Attack、Oulu-NPU、SiW、3DMAD、SMAD、HKBU-MARsV2 上報道的單數據集以及跨數據集測試性能數據.為了比較的公平性,表3～7 中總結的方法在每個數據集上使用的是相同的官方給出的評價協議.3DMAD、SMAD、HKBU-MARsV2 面具類數據集中的個體數比較少,方法性能的評價通常采用交叉驗證.

表3 CASIA-MFSD 與Replay-Attack 數據集單數據集測試性能數據(%)Table 3 The performance of intra-test on CASIA-MFSD and Replay-Attack datasets (%)

表4 Oulu 數據集單數據集測試性能數據(%)Table 4 The performance of intra-test on Oulu dataset (%)

表5 SiW 數據集單數據集測試性能數據(%)Table 5 The performance of intra-test on SiW dataset (%)

表6 3DMAD、SMAD 與HKBU-MARsV2 數據集單數據集測試性能數據(%)Table 6 The performance of intra-test on 3DMAD,SMAD and HKBU-MARsV2 datasets (%)

表7 CASIA-MFSD 與Replay-Attack 數據集間跨數據集測試性能數據HTER (%)Table 7 The performance of inter-test between CASIA-MFSD and Replay-Attack (%)

表8 3DMAD 與HKBU-MARsV2 數據集間跨數據集測試性能數據HTER (%)Table 8 The performance of inter-test between 3DMAD and HKBU-MARsV2 (%)

表6 中3DMAD 數據集上的不同方法在進行交叉驗證時訓練集與測試集的數據比例稍有差異.表6中SMAD 與HKBU-MARsV2 數據集上的方法分別采用文獻[92] 和文獻[60] 中的測試協議.表8 中3DMAD 與HKBU-MARsV2 數據集間跨數據集測試采用文獻[60] 中的測試協議.從表3 中可以看出,許多方法在Replay-Attack 數據集上性能較好,但是在CASIA-MFSD 數據集上卻不能得到類似Replay-Attack 數據集上的性能.CASIA-MFSD、Replay-Attack 的假體人臉類別都是照片類假體人臉和視頻類假體人臉.這種性能差異也表明假體人臉類內差異大,對算法的性能有較大影響.隨著深度學習方法的應用,同一種人臉活體檢測方法抽取的特征更加通用,兩個數據集間的性能差異逐漸減少.從表4 Oulu-NPU 數據集上的性能測試數據中可以看出,協議4 的指標值明顯高于其他三個協議,這表明不同的數據集錄制設備造成的類內差異對于方法的性能影響較大.表7 和表8 列出的皆是同類別假體人臉數據集間的跨數據集測試性能數據,較高的半錯誤率也告訴我們類內差異對人臉活體檢測方法性能有較大影響.人臉活體檢測方法的通用性仍有很大的提升空間.

圖5 針對表3 與表7 中人臉活體檢測方法的EER 或HTER 性能數據分類別進行了展示.從圖5中可以大致看出,目前常見的各類方法的性能發展水平.相對于其他類別的方法,基于紋理的方法、基于深度特征的方法、混合特征類方法的研究相對較多.無論是單數據集測試還是跨數據集測試,基于深度特征的方法以及混合特征類方法的性能是最好的.我們相信這兩類方法的研究也將是未來的發展趨勢.

圖5 各類人臉活體檢測方法性能分布圖Fig.5 Performance comparison of different category of face anti-spoofing methods

5 未來可能的發展方向

人臉活體檢測方法的研究已經取得了一系列的進展,研究重心從交互式人臉活體檢測方法逐漸轉移到非交互式人臉活體檢測方法,從手工設計特征的方法逐漸轉移到基于深度學習的方法,從基于可見光圖像的方法也逐漸發展為基于多元化圖像的方法.從目前人臉活體檢測方法的不足以及人臉活體檢測業務的發展需要來看,人臉活體檢測研究未來可能的發展方向主要有以下幾個方面.

5.1 面具類假體人臉的識別

照片、視頻類假體人臉制作起來方便簡單,也是最常見的假體人臉,目前大部分的活體檢測方法主要防范照片、視頻類假體人臉的攻擊.而目前針對面具類假體人臉的活體檢測方法研究還不是很多.三維人臉面具的制造工藝復雜、成本高,但是三維人臉面具相對于二維的照片、視頻類假體人臉,無論從顏色紋理還是人臉結構上都與活體人臉更為相似.常規的基于顏色紋理、圖像質量、微運動、人臉結構等方面分類線索的方法處理面具類假體人臉的時候,性能都會大打折扣.對于智能安防、通關安檢類的公共場合,不法分子一般不會選擇使用照片、視頻攻擊人臉識別系統,而是更傾向于使用面具進行偽裝來攻擊人臉識別系統.因此,研究如何有效地分辨活體人臉和面具類假體人臉對于人臉活體檢測多場景的實際應用具有重要意義.

5.2 通用性問題研究

目前活體檢測方法抽取的特征泛化能力不強,算法也不能很好地處理與訓練數據不是同一個數據集的測試數據,無論是訓練集中見過的假體人臉類別還是訓練集中沒有見過的假體人臉類別.究其原因是假體人臉的類內類間差異大.不同的假體人臉制造工藝,不同的數據集錄制設備,不同的外界環境都會影響算法的性能.這些差異信息是人臉活體檢測應用環境中確切存在的,也是人臉活體檢測算法實際應用中無法回避的問題.如何提取泛化能力強的特征,靈活應對這些現實差異,提高活體檢測算法單類別假體人臉的跨數據集通用性以及跨假體人臉類別、跨數據集的通用性都是值得研究的問題.

5.3 未見過假體人臉的自適應處理

目前主流的人臉活體檢測算法都是觀察活體人臉和假體人臉的分類線索,抽取分類特征,之后利用分類模型進行活體人臉與假體人臉的分類.大部分方法只對訓練數據中見過的假體人臉有效.對于訓練數據中沒有見過的假體人臉,其性能則會下降.然而對于人類來說,即使之前只見過照片類假體人臉,第一次見到面具類假體人臉的時候也可以判斷出面具類假體人臉不是活體人臉.人類大腦可能掌握了活體人臉的一些本質屬性,對于未見過的假體人臉類別能夠自適應識別.人類的智慧是無窮的,人臉活體檢測的研究者們難以完全預測他人即將制造出什么樣式的新的假體人臉.對于新出現的假體人臉,類似于打補丁似的完善活體檢測方法則永遠會慢人一步,給不法分子留下攻破人臉識別系統的機會.研究類似于人類大腦,對于未見過的新型假體人臉快速自適應識別的人臉活體檢測算法具有重要的價值.

5.4 更大更全面數據集的建立

從十元左右制造成本的照片紙打印的彩色照片到成本上萬的定制人臉面具,各類假體人臉的高成本使得人臉活體檢測的數據集基本都存在個體少、樣本少、數據的多樣性不夠豐富的問題.目前大部分常見的活體檢測數據集要么是專門針對照片、視頻類二維假體人臉的,要么是專門針對面具類三維假體人臉.數據集中包含的假體類別比較單一.計算機視覺領域的人臉識別、物體識別等子領域的數據集都遠比人臉活體檢測的數據集數據量大、數據多樣性更豐富.隨著深度學習方法的發展,數據在算法研究中的地位越來越重要.數據量大、數據多樣性更豐富有利于基于深度學習的方法能夠抽取有效而通用的分類特征.如何集結資源,以最少的成本建立一個數據量更大、個體數更多、假體人臉類型更全面,影響算法性能的姿態、表情、光照、錄制設備等因素更多的數據集是值得思考和挑戰的問題.

目前大部分的人臉活體檢測數據集都是約束狀態下,如正面人臉、自然表情錄制的,而非約束條件下人臉活體檢測研究需要的非約束狀態下的活體人臉和假體人臉數據集也急需建立.

5.5 適應人臉活體檢測的深度學習方法研究

深度學習方法的使用讓人臉活體檢測算法的性能有了一定的提升,但是人臉活體檢測數據集的問題導致深度學習方法在人臉活體檢測領域使用的過程中經常會出現過擬合,抽取的特征通用性不夠強的問題.目前人們提出了微調在其他大數據集上預訓練的模型,設計特定的訓練方法,深度特征與手工特征融合等方法來減少過擬合問題的影響,提高基于深度學習方法的準確率和通用性.根據現有的數據現狀,研究適合人臉活體檢測的深度學習方法是一個重要的研究方向.

5.6 非約束狀態下的人臉活體檢測研究

目前人臉活體檢測研究集中在約束狀態下的人臉活體檢測.交互式人臉活體檢測方法要求用戶在指定距離內按照提示完成指定交互動作.目前主流的非交互式人臉活體檢測方法雖然不需要用戶交互,但是檢測的整個過程基本要求人臉是正面臉,臉部不出現表情變化、姿態變化,人臉在規定距離內以便能夠采集到足夠好的待分析圖像.約束狀態下的人臉活體檢測只能在特定的業務場景中使用,比如手機解鎖、用戶登錄之類的用戶能夠處于約束狀態的場景,應用范圍窄,不能滿足視頻監控人臉活體檢測之類用戶處于自然狀態的應用場景的需求.研究用戶處于自然狀態,可能存在姿態變化、部分遮擋、光照變化等影響的情況下的有效人臉活體檢測方法具有非常重要的意義.有效而魯棒的非約束狀態下的人臉活體檢測方法更有利于人臉活體檢測方法大規模的實際應用,提高人臉識別技術的安全性.

6 結論

人臉活體檢測在生物識別研究中具有重要的學術價值與實際應用價值.目前人臉活體檢測的研究活躍,但同時也存在不少困難與挑戰.本文從假體人臉的特性出發,分析了目前人臉活體檢測的難點,以人臉活體檢測算法利用的分類特征為主線,詳細闡述了人臉活體檢測領域的主流算法,探討了各類方法主要利用的特征、防范的假體人臉類型、優缺點,就領域內常用的各個數據集的特點、數據量、數據多樣性等方面進行了對比分析,闡述了常用的算法性能評價指標并總結分析了代表性人臉活體檢測方法在照片視頻類數據集CASIAMFSD、Replay-Attack、Oulu-NPU、SiW 以及面具類數據集3DMAD、SMAD、HKBU-MARsV2 上的性能數據.以此為基礎,本文對人臉活體檢測未來可能的研究方向進行了分析與展望.我們相信人臉活體檢測所面臨的問題必將能在理論上與實踐上得到更好的解決,人臉活體檢測的應用也將推動人臉識別技術、生物識別技術更廣泛、更深入的應用.