基于深度學習和聯合特征提取的人臉活體檢測及決策融合攻擊類型檢測算法

摘" 要： 生物特征識別技術越來越多地應用于身份認證，隨之不斷出現偽造合法用戶信息的欺騙手段，人臉識別系統容易受到欺騙攻擊，嚴重威脅了系統的安全性。為了提高生物特征識別系統的安全性，文中提出一種基于深度學習和聯合特征提取的人臉活體檢測及決策融合攻擊類型檢測算法。基于改進的AlexNet模型，有效降低了訓練過程中的過擬合等問題，顯著降低了模型訓練時間；采取手工特征和深度學習相結合的模式判斷非活體攻擊類型，手工特征提取采取LBP結合多層DCT變換的聯合特征提取，深度學習特征采取四層CNN網絡的全局圖像特征提??；在攻擊類型判別上，提取待測樣本的局部和全局特征進行初步判定，再通過決策融合將兩個SVM分類器的輸出結果以加權方式進行整合。算法在公開的CASIA數據集和NUAA數據集上進行驗證，實驗結果表明，融合不用的信息可以獲得更高的準確率，降低了計算的復雜度，提高了算法的效率。

關鍵詞： 深度學習； 聯合特征提取； 人臉活體檢測； AlexNet； LBP； DCT

中圖分類號： TN911.73?34； TP393" " " " " " " " " 文獻標識碼： A" " " " " " " " " "文章編號： 1004?373X（2025）05?0091?10

Face liveness detection algorithm based on deep learning and joint feature extraction and decision?making fusion attack type detection algorithm

WANG Tong， ZHANG Gaoyuan， DING Bangjie， YANG Jinzhu， ZHANG Lili

（National Computer Experimental Teaching Demonstration Center， School of Computer Science and Engineering， Northeastern University， Shenyang 110819， China）

Abstract： Biometric identification techniques are increasingly applied in identity authentication. The fraudulent means of forging legitimate user information appears. Face recognition system is vulnerable to deception attacks， which threaten the security of the system seriously. Therefore， this paper presents a face liveness detection algorithm based on deep learning and joint feature extraction and a decision?making fusion attack type detection algorithm， so as to improve the safety of the biometric identification system. On the basis of the improved AlexNet model， the overfitting of the model are reduced effectively during the process of training and its training time is reduced significantly. The pattern of combining manual features and deep learning is adopted to judge the type of non?living attacks. The joint feature extraction of LBP （local binary pattern） combined with multi?layer DCT （discrete cosine transform） is adopted for the manual feature extraction， and the global image feature extraction of four?layer CNN （convolutional neural network） is adopted for the deep learning feature. In the discrimination of attack types， the local and global features of the samples to be tested is extracted for preliminary determination. Then， by decision?making integration， the output results of the two SVM （support vector machine） classifiers are integrated in a weighted way. The algorithm is validated on publicly available CASIA datasets and NUAA datasets. The experimental results show that the fusion of unused information can obtain higher accuracy， reduce the computational complexity and improve the efficiency of the algorithm.

Keywords： deep learning; joint feature extraction; face liveness detection; AlexNet; LBP; DCT

0" 引" 言

隨著計算機技術的快速發展，生物識別技術也在不斷發展，在各種識別技術中，人臉識別是使用最為廣泛的生物特征之一[1]。人臉識別技術因安全性高、穩定性、自然性和非接觸性、并發性以及隱蔽性等優點，被廣泛應用于安全檢測技術、監控系統、身份認證等領域[2?4]。目前，針對人臉生物識別系統的攻擊類型可以分為三類，包括打印照片攻擊、視頻回放攻擊、3D面具攻擊[5]。由于人臉信息采集的便捷性和非保密性，針對人臉的欺騙攻擊手段很容易實施[6]。從而出現以欺騙人臉識別系統為目的的攻擊方式，這對身份認證系統的安全性帶來了較大的挑戰。

近年來，人臉活體檢測算法可以歸納為三類，包括基于手工設計特征的方法、基于深度學習的方法和基于特征融合的方法[7]?；谑止ぴO計特征的方法可以取得不錯的精度，但是存在一定的局限性，例如檢測效果依賴于特征提取和表達等，手段單一，受場景約束度較高，對多類型攻擊手段的人臉欺詐方式檢測精度差，不具備魯棒性[8?9]；深度學習方法有一定的優勢，以數據驅動學習方式能夠更加容易學習到一般特征，對復雜、未知的欺騙手段在魯棒性、泛化能力上能獲得更好的效果，但是深度學習的運算復雜度高、計算量大、算法容易出現“梯度彌散”、過擬合等問題[10]。

鑒于以上因素，本文首先通過深度學習網絡對檢測到的活體人臉數據和非活體人臉數據樣本進行訓練，得到活體檢測模型，模型通過對人臉多維度的信息進行分析，能夠很好地區分出活體人臉和非活體人臉，是在AlexNet模型的基礎上進行修改得到活體檢測模型，并采取手工特征提取和深度學習相結合的模式來判斷非活體的攻擊類型。其中，本文手工特征采取LBP結合多層DCT變換的聯合特征提取，深度學習特征采取四層CNN網絡的全局圖像特征提取。從圖像的局部特征和全局特征兩個方面進行攻擊類型判斷，通過決策融合的方式得到更為精確可靠的結果。實驗結果表明，融合不同的信息可以彌補單個模態信息的不足，獲得更高的準確率，降低了計算的復雜度，提高了算法的效率。

1" 基于改進的AlexNet模型的活體檢測

1.1" AlexNet模型及其特點

AlexNet模型結構如圖1所示。2010年ImageNet LSVRC?2010在包含有1 000種類別、120萬張高分辨率圖片的分類任務中，AlexNet模型在測試集上top?1的錯誤率為37.5%，top?5的錯誤率為17%；在ImageNet LSVRC?2012中，AlexNet模型top?5的錯誤率為15.3%。深度學習在圖像領域得到了大規模的應用[11]，AlexNet模型在圖像領域、活體檢測領域取得了很好的分類效果，參數數量較少、收斂速度較快[12]。因此，本文選擇AlexNet模型為活體檢測模型，并對其進行了些許修改，同時進行了改進后的對比評價，實驗結果表明，改進后的模型在性能方面整體得到了較好的結果。

AlexNet模型包含5個卷積層，在第一層、第二層和第五層后面具有最大池化層，3個全連接層，具有6億個參數和65萬個神經元。AlexNet模型使用諸多技巧解決深層神經網絡過擬合問題，這些技巧是卷積神經網絡不可或缺的部分。如數據增強（Data Augmentation）、退化層（Dropout Layer）、ReLU激活層函數等，使得該模型在6億個參數的情況下依然能較好的收斂。

此外，AlexNet模型運用重疊池化技術，即相鄰池化窗口間具有重疊部分，其池化單元大小為[M×M]，步長為[S]，當[Mgt;S]時為重疊池化，如此設定相比于使用不重疊池化，使top?1錯誤率降低了0.4%，top?5錯誤率降低了0.3%。

1.2" 改進的AlexNet模型

1.2.1" AlexNet模型改進思路

全連接層（Fully Connected Layer， FC）位于卷積神經網絡的最后，作為分類器工作在整個網絡模型中，連接結構如圖2所示。

全連接層層數過少則無法抽象表達特性，全連接層層數過多則會使得參數過多、計算量增加、網絡結構復雜，易造成網絡過擬合，因此全連接層層數的選擇很重要。人臉識別選擇不同全連接層數研究AlexNet模型的性能，得到的結果如表1所示。

根據表1可知，在卷積神經網絡末端增加全連接層，不但不會明顯地提升準確率，反而會顯著延遲識別時間。AlexNet模型在最后有三個全連接層，第一個全連接層和第二個全連接層共占有網絡80%的參數量。本文改進的AlexNet模型保留了第一個全連接層，將退化率設為0.5，并舍棄第二個全連接層，對比評價表明，改進后的AlexNet模型具有比較好的性能。具體對比評價詳見1.2.2節。

1.2.2" 改進的AlexNet模型評價

本文改進的AlexNet模型保留了第一個全連接層，將退化率設為0.5，并舍棄第二個全連接層。原AlexNet模型和本文改進后的AlexNet模型在NUAA Photograph Imposter數據集上訓練評價分別如表2和表3所示。

在測試中，設定6個Epoch，原始AlexNet模型每個Epoch時間消耗約為116 s，改進AlexNet模型每個Epoch時間消耗約為107 s。同時，由表1可知，兩個模型在訓練時間上相差約1 s。但是，原始AlexNet模型精確性評價為96%，而目前舍棄了第二個全連接層模型為91%。

原始模型中，深度卷積神經網絡卷積核大小的選擇對結果至關重要。卷積核設置較小可縮小視野，特征體現更為細致，運算量較小，網絡速度較快；卷積核設置較大，可增加視野，獲得更多的圖像信息，特征分布均勻，但是會增加網絡參數，運算量變大，影響網絡速度、識別率等。

如圖3所示，原始AlexNet模型中的第一層卷積核為[11×11]，為較大卷積核，感受視野隨之增大，特征體現較抽象，適當采用小卷積核可減少網絡參數，提升網絡性能。改進的AlexNet模型的第一層采用3個小的卷積核組成卷積層，增加了網絡寬度，如圖4所示。

同樣，在第二層采取相同的處理，提升3×3、5×5核比例，如圖5所示。

改進后的模型訓練評價如表4所示，改進后模型的精確性評價為95%，與原始模型精確性僅相差1%，模型訓練時間進一步得到了降低，每個Epoch時間消耗約103 s，訓練時間與原始模型相比降低12%，因此改進后的模型比原始模型評價較好。

2" 基于LBP和多層DCT的特征提取

2.1" LBP

局部二值模式（Local Binary Pattern， LBP）是由T.Ojala等人于1994年提出的用來描述局部特征提取的算法。LBP特征計算簡單、效果明顯的特點使其在計算機視覺、人臉識別、目標檢測方面得到了廣泛的應用。

LBP特征的提取過程是在指定中心像素位置后，周圍的8個像素的灰度值與中心點的灰度值對比，小于中心像素灰度值該位置標記為0，否則標記為1。因此，中心像素點周圍8個像素點全部比較完畢之后產生一個8位的二進制數。根據選取的排列的起始點和方向，這個具有8位的二進制數可以有[28]種可能值，則原始的LBP算子值有256種。LBP特征提取結果如圖6所示。

特征提取原理公式如式（1）所示：

[LBPxc，yc=n=0N-12ns（pn-pc）]" " （1）

[sx=1，" " " x≥00，" " " 其他] （2）

式中：[xc，yc]為中心點坐標；[N]為相鄰的像素點數目；[pc]為中心點灰度值；[pn]為鄰域內相應像素點的灰度值；[sx]為符號函數。

研究人員在原始LBP特征的基礎上進行了諸多改進，產生了包括均勻LBP算子、圓形LBP算子、旋轉不變LBP算子等改進版本。

本文中選用最多包含兩次0到1、1到0跳變的均勻LBP算子，采用[LBPu2P，R]符號表示。其中，[P]表示采樣點數，[R]表示采樣半徑。

2.2" DCT

離散余弦變換（Discrete Cosine Transform， DCT）是輸出信號為實偶函數的離散傅里葉變換（Discrete Fourier Transform， DFT）。DCT與DFT相比具有更好的頻域能量聚集度，能夠把不重要的頻域區域和系數直接裁剪，把圖像更重要的信息聚集在一塊，DCT適合于圖像的壓縮，如式（3）所示：

[fk=α（k）n=0N-1cos（2n+1）kπ2N] （3）

[αk=12N]" " "（4）

式中：[fk]為輸入離散實偶信號；[αk]的取值如式（4）所示，其作用是為了在DCT變換編程矩陣運算形式時方便矩陣正交化。

2.3" LBP聯合DCT的攻擊類型特征提取

本文選擇均勻LBP算子用于初級特征提取，同時假設從不用攻擊類型的視頻中隨機提取[N]幀人臉圖像進行[LBPu28，1]處理，則每幀得到一個59維的LBP特征向量，進一步將每幀特征向量按行合并，最后提取到[N]幀組合成[N]×59的視頻的LBP特征矩陣，如圖7所示。

因為DCT具有能量集中的特性，圖片經過DCT變換后在頻域上能量集中分布在左上角區域，即將變換過后的圖片輸入低通濾波器后，再經過反離散余弦變換，則可恢復原始圖像的重要特征[5]。

在得到上述視頻的特征矩陣后，沿著每一幀的時間軸進行一維DCT變換，變換分三部分：第一部分，對[N×59]整個矩陣每一列進行變換；第二部分，將整個矩陣分成[N2×59]的2個分矩陣；第三部分，將整個矩陣分為[N4×59]的4個分矩陣。但各部分變換后，得到7個[59×C]。其中，[C]表示保留的最高次交流分量。7個矩陣聯合起來得到LBP聯合DCT攻擊類型特征描述子，接下來采用徑向基核函數的支持向量機（Support Vector Machine， SVM）作為分類器，將得到的特征描述子輸入該分類器，即可根據輸出完成檢測。

3" 基于CNN的攻擊類型特征提取

本文在攻擊類別判斷時增加了CNN，以提取攻擊類型特征，提升模型識別準確率。特征提取CNN結構示意圖如圖8所示。圖8中，CNN結構為四層卷積網絡，每層以ReLU作為激活函數，每兩層后進入最大池化層，后一層為64維全連接層；為避免過擬合，在全連接層后使用退化層；最后，將特征輸入到SVM分類器進行分類。

4" 決策融合

卷積神經網絡提取的特征主要為綜合圖像的整體全局特征，局部二值模式提取特征聚焦于圖像的局部特征，離散余弦變換綜合視頻流的動態特性。分類問題中，單個的圖像特征不能完全表達圖像特點。因此，為了更精確地分類，將上述幾種特征有機結合，提出了將所有特征相結合的決策融合系統。

分類問題中，特征融合、信息融合、決策融合是多個特征集處理的常用方法[13]。本文在獲得手工提取特征、深度學習特征的兩種分類結果后進行融合，得到輸出結果。決策融合是精確識別攻擊類型的關鍵，融合的對象為兩個SVM分類器的輸出，如式（5）所示，分類器的權重采用投票方式確定。

[wk=1-Ekk=1KEk] （5）

式中[Ek]是第[k]個分類器的半錯誤率。

5" 人臉活體檢測模型和攻擊類型檢測算法實驗結果與分析

本文算法實現主要利用Python語言，活體檢測網絡模型構建利用高級神經網絡API Keras框架，模型后端使用TensorFlow深度學習框架，人臉識別與提取采用OpenCV模塊實現，SVM分類器利用Sklearn模塊實現。

5.1" 人臉活體檢測數據集

本文將CASIA?FASD[14]、NUAA[15]兩個公開的數據集作為本文算法的訓練、評估數據集。

5.1.1" CASIA?FASD數據集

CASIA?FASD數據集包含600個真實訪問和欺騙攻擊嘗試的視頻，即包含了打印照片和視頻回放兩種攻擊方式。對50個樣本進行采集，非活體視頻包括扭曲的人臉欺騙、人臉視頻欺騙以及剪切的照片欺騙。對每一個樣本通過三種不同分辨率的攝像頭在背景復雜以及不同光照環境下采集視頻數據，并模擬眨眼攻擊手段等，考慮了多種欺騙可能性。由此得到150段活體視頻和450段非活體視頻，7 509幀非活體圖像和5 105幀活體圖像，訓練集20組、測試集30組，如表5所示。

5.1.2" NUAA Photograph Imposter數據集

NUAA數據集是首個公認的反照片人臉欺騙數據庫，研究人員分三個階段收集該數據庫，每個階段間隔大約2周，在不同的光照下完成，共有15個目標參與數據收集。每個階段記錄現場對象及其照片的圖像。

收集數據時，其面部區域至少占據照片整個面積的[23]。為了模擬假冒人臉攻擊方式，攝像頭捕獲的假臉數據存在上下、左右、前后、彎曲以及旋轉的空間位置移動，以及多種照片欺詐的運動形式[16]。如表6所示，NUAA數據集中共有7 509個非活體圖像和5 105個活體圖像，分為訓練集3 491張圖像和測試集9 123張圖像。

5.2" 系統流程與測試協議

5.2.1" 系統流程

本文算法首先通過深度學習網絡對檢測到的活體人臉數據、非活體人臉數據樣本進行訓練，得到活體檢測模型。該模型通過對人臉多維度信息分析，區分非活體與活體人臉；接著，在修改的AlexNet模型上，采取手工特征、深度學習特征相結合的模式判斷非活體攻擊類型。

其中，手工特征采取LBP結合多層DCT變換的聯合特征提取，深度學習特征采取四層CNN網絡的全局圖像特征提取。系統整體流程圖如圖9所示。

活體檢測方面用到的基于AlexNet改進的模型，通過實驗測試選取了最優的全連接層數、卷積層網絡寬度，有效降低了訓練過程中過擬合等問題，顯著降低了模型訓練時間；在攻擊類型判別方面，通過提取待測樣本的全局特性、局部特性進行初步攻擊類型判定，再通過決策融合將兩個SVM分類器的輸出結果以加權方式進行整合，得到更為準確的判別結果。

5.2.2" 測試協議

本文選擇以半錯誤率（Half Total Error Rate， HTER）作為SVM分類器的性能評價指標。在CNN的最后一層使用標簽數目作為輸出維度，以Softmax為激活函數的全連接層作為分類器時，評價數據為Sklearn模塊中分類報告中的數據。

半錯誤率是指錯誤接受率（False Acceptance Rate， FAR）和錯誤拒絕率（False Rejection Rate， FRR）總和的一半，如式（6）所示：

[HTER=FAR+FRR2]" （6）

式中：FAR指算法把假冒人臉判斷成活體人臉的比率；FRR指的是算法把活體人臉判斷成假冒人臉的比率。FAR、FRR的計算公式分別如式（7）、式（8）所示：

[FAR=Ns2l Ns]" "（7）

[FRR=Nl2s Nl]" "（8）

式中：[Ns2l]為假冒人臉被判斷為活體人臉的次數；[Nl2s]為活體人臉被判斷為假冒活體人臉的次數；[Ns]為假冒人臉的攻擊總次數；[Nl]為活體人臉檢測總次數。

[FAR]與[FRR]的值都與閾值有關，二者為此消彼長的關系，[FAR]越大用戶體驗越好，但缺點是導致系統安全性下降；相反，FRR越大系統安全性能夠得到更高的保障，但用戶體驗降低。因此，本文選取FAR和FRR相等的特征點作為比較對象，在用戶體驗與系統安全性之間進行平衡折衷。由式（6）可得，在FAR和FRR相等時，HTER取得最小值，此時在ROC曲線上達到等錯誤率（Equal Error Rate， EER），即HTER的值可以看作為等錯誤率。

Sklearn模塊中分類報告中的各個指標計算如下。

準確率（Precision）是指正確預測為正的占全部預測為正的比例；召回率（Recall）是指正確預測為正的占全部實際為正的比例；[F]值（[F1]）指精確率和召回率的調和平均數；識別率（Accuracy）指預測對的數目占測試集總數目的比例。準確率、召回率、[F]值、識別率分別如式（9）～式（12）所示：

[Precision=TruePositiveTruePositive+FalsePositive]" "（9）

[Recall=TruePositiveTruePositive+FalseNegative]" " "（10）

[F1=2×Precision×RecallTruePositive+FalseNegative]" " "（11）

[Accuracy=NprecisionNtotal]" " （12）

5.3" 活體檢測模型的實現與實驗結果

本文在對活體檢測模型進行測試時的具體參數為：初始學習率為[10-4]、批大小（Batch Size）為50、整個訓練集遍歷次數（Epoch）為10、損失函數為交叉熵損失函數（Binary Crossentropy）、優化器（Optimizer）是Adam。其中，衰減率設定為初始學習率與整個訓練集遍歷次數之比。

5.3.1" 活體檢測模型的實現

本文活體檢測模型基于改進后的AlexNet模型，改進后的AlexNet整體結構如圖10所示。

根據第1節基于改進的AlexNet模型的活體檢測可知，全連接層在該模型中的作用是為了綜合前面卷積層提取出來的特征。但是原始AlexNet模型的三層全連接層除去最后一層起到分類器作用，剩余兩層占全部6億參數80%的參數量，去掉其中一個全連接層后，參數量減少了16 781 312個。除上述改進外，改進后的模型還將原來采用大的卷積核的第一、二層卷積層分別采用3個小卷積核組成并行結構進行替代，第一層和第二層將模型在橫向上進行了拓展。這樣做能夠減少參數，并通過提取更為細致的特征提升模型的識別能力。

利用Keras作為主要框架，以TensorFlow作為后端構建了該網絡模型，模型可以在訓練后更好地區分活體對象和非活體對象。

5.3.2" NUAA Photograph Imposter數據集實驗結果

NUAA數據庫共有12 614張圖像。其中，5 105張活體圖像，7 509張非活體圖像。該數據集中所用攻擊類型全部是打印照片攻擊，區別在于照片打印清晰度、使用的打印介質，研究人員對每張照片做了折疊、彎曲等變形處理。本文按照8∶1∶1將其分為訓練集、驗證集和測試集。驗證集用來在訓練過程中調整參數，將數據集數據輸入如圖10所示改進后的AlexNet模型中，Sklearn分類報告評價結果如表7所示。

由表7可見，修改后的AlexNet模型在NUAA Photograph Imposter數據集上的活體檢測識別率達到了97%。

5.3.3" CASIA?FASD數據集實驗結果

CASIA?FASD數據集包含回放視頻攻擊、打印攻擊以及剪切照片攻擊。基于本文探究的攻擊類型，本文只對打印攻擊、回放視頻攻擊做測試。按照8∶1∶1將其分為訓練集、驗證集和測試集。驗證集用來在訓練過程中調整參數，改進后的AlexNet模型在CASIA?FASD數據集上的實驗結果如表8所示。

由表8可知，改進后的AlexNet模型在CASIA?FASD數據集上的活體檢測方面識別率為88%，低于在NUAA Photograph Imposter數據集上的活體檢測識別率。因CASIA?FASD數據集在收集過程中采集環境變量變化較多，訓練模型時容易陷入局部最優值。但是，改進后的AlexNet模型在CASIA?FASD數據集上的活體檢測識別率為88%，足夠使得本文活體檢測模型在CASIA?FASD數據集上達到預期效果。

5.4" 攻擊類型檢測算法的實現與實驗結果

攻擊類型的檢測在活體檢測之后，在獲取樣本活體狀態后，再對攻擊類型進行判斷，通過LBP聯合DCT提取的局部特征以及CNN提取的全局特征決策融合得到最后的結果。實驗變量存在于每個視頻的提取幀數[F]，LBP特征提取后DCT變換取得交流分量數目[C]。CNN只需用目標中隨機抽取的[F]（[F]=1，2，3）幀進行檢測，實驗的幀數增加時檢測性能并沒有得到明顯改善。

5.4.1" 攻擊類型檢測算法實現

針對攻擊類型的檢測，如本文第2節所述，采取手工提取的特征，結合卷積神經網絡提取出來的特征辨別攻擊類型，對特征采取支持向量機分類。手工特征采用LBP結合DCT方式，即采用均勻模式的LBP算子結合多層DCT變換。

LBP特征向量提取示意圖如圖11所示。

提取LBP特征時，首先將一張圖片分為[N][×][N]個小的區域，接著對于每個區域中的一個像素，將相鄰的8個像素的灰度值與其比較。如果周圍像素值大于中心像素值，那么該像素點的位置被標記為1，否則為0。3[×]3鄰域內的8個點，經過比較可產生8位二進制數，得到了該窗口中心點的LBP值；然后計算每個區域的直方圖，也就是每個數字出現的頻率，再對直方圖歸一化處理；最后，將得到的每個區域的統計直方圖連接成一個特征向量，即整幅圖的LBP特征向量。因采用均勻模式的LBP算子，所以輸出為59維特征向量。這里，DCT變換使用OpenCV模塊中內置的DCT函數。

5.4.2" NUAA Photograph Imposter數據集實驗結果

本節因只考慮一種攻擊類型，可視第一步活體檢測模型中結果為非活體的樣本均為打印照片攻擊。但是這樣算法就失去了普適性，所以在NUAA Photograph Imposter數據集上進行測試時，選擇將整個數據集輸入該判別模型，以獲得最終結果，即沒有經過活體檢測過濾的全部樣本輸入該判別類型。因該數據集給出的數據是照片形式，所以將每位志愿者在同一個階段拍攝的所有照片當作從一段視頻中截取下來的，即每張照片視為視頻的一幀，這樣能夠使得兩個數據集的數據在輸入形式上保持一致，如圖12所示。最終，在NUAA Photograph Imposter數據集上的實驗結果HTER為15.21%，此時在LBP?DCT部分[F]=5。

5.4.3" CASIA?FASD數據集實驗結果

CASIA?FASD數據集包含多種攻擊類型，可以用來測試攻擊類型判斷算法。CASIA?FASD數據集具有所有活體、非活體數據，均以視頻形式給出，從同一個視頻中抽取[F]幀，輸入到攻擊類型判別算法中，如圖13所示。最終，在CASIA?FASD數據集上的結果HTER為12.80%，此時在LBP?DCT部分[F]=2。

因為CASIA?FASD數據集具有多種攻擊類型，為評價CNN加SVM分類器的非活體攻擊類型判斷網絡模型，將CASIA?FASD數據集中的回放攻擊、打印攻擊獨立出來，放入CNN攻擊類型判斷，得到的評價結果如表9所示。

5.5" 不同算法實驗結果準確率對比

本文活體檢測算法的準確率與其他文獻中活體檢測算法的對比結果如表10所示。

本文提出的方法比其他文獻分別提高了2.4%、1.18%和1.18%。本文活體檢測準確率基于AlexNet對大規模圖片集具有較強的適應性，在舍棄一層全連接層后，參數數量減少，訓練速度大幅增加，但是由此帶來準確率下降的問題，通過增加網絡寬度以提升舍去全連接層而降低的準確率，結果證明這樣的處理是可行有效的。

對于攻擊類型檢測算法的準確性對比，文獻[20]利用CNN+SVM的HTER為3.33%，文獻[21]采用LSTM?CNN的HTER為5.17%，文獻[22]采用Feature Fusion+NN的HTER為5.83%。

綜上，總結本文算法在兩個數據集上性能更好的原因有以下幾點：通過局部二值模式有效獲取面部圖像局部特征，再利用離散余弦變換有效獲得人臉動態特性；卷積神經網絡能夠有效提取面部圖像的全局特性；二者結合充分利用各自優勢，彌補各自不足，因此取得了更優特性。

6" 結" 論

本文提出了一種結合活體人臉的手工特征、卷積神經網絡的人臉活體檢測及攻擊類別判斷的決策模型。基于改進的AlexNet模型，通過實驗測試選取最優的全連接層數和卷積層網絡寬度，有效降低了訓練過程中的過擬合等問題，顯著降低了模型訓練時間；同時，采取手工特征和深度學習相結合的模式判斷非活體攻擊類型，手工提取的特征采用局部二值結合離散余弦變換的綜合特征，卷積神經網絡選擇了改進后的AlexNet模型作為活體檢測模型，定義簡單四層結構卷積神經網絡為特征提取模型；在攻擊類型判別上，本文提取待測樣本的局部和全局特征進行初步判定，再通過決策融合將兩個SVM分類器的輸出結果以加權方式進行整合，得到更為準確的判別結果；最后，本文算法在相關數據集上進行驗證，該方法很好地提取了人臉特征，提高了識別的準確率。在實際應用中，有諸多的干擾因素，如光照、表情、相機像素等，這些將作為后續研究的重點。

注：本文通訊作者為王彤。

參考文獻

[1] 李小薪，梁榮華.有遮擋人臉識別綜述：從子空間回歸到深度學習[J].計算機學報，2018，41（1）：177?207.

[2] ZHANG X， ZHAO R， QIAO Y. AdaCos： Adaptively scaling cosine logits for effectively learning deep face representations [C]// 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. New York： IEEE， 2019： 10815?10824.

[3] 孫金龍，吳振寧，肖仲喆，等.關于人臉識別算法對不同照明技術的魯棒性研究[J].電子器件，2022，45（5）：1123?1128.

[4] DENG J K， GUO J， ZHOU Y X， et al. RetinaFace： Single?stage dense face localisation in the wild [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2020： 5203?5212.

[5] WANG H， WANG Y T， ZHOU Z， et al. CosFace： Large margin cosine loss for deep face recognition [C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2018： 5265?5274.

[6] 鄧雄，王洪春.基于深度學習和特征融合的人臉活體檢測算法[J].計算機應用，2020，40（4）：1009?1015.

[7] HE K M， ZHANG X Y， REN S Q. et al. Deep residual learning for image recognition [C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. New York： IEEE， 2016： 770?778.

[8] BAI Y C， ZHANG Y Q， DING M L， et al. Finding tiny faces in the wild with generative adversarial network [C]// 2018 IEEE/CVF Conference Vision and Pattern Recognition. New York： IEEE， 2018： 21?30.

[9] 趙洋，許軍，靳永強，等.多模態特征融合的人臉活體檢測算法[J].無線電工程，2022，52（5）：738?744.

[10] CAO K D， RONG Y， LI C， et al. Pose?robust face recognition via deep residual equivariant mapping [C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2018： 5187?5196.

[11] LIU W Y， WEN Y D， YU Z D， et al. SphereFace： Deep hypersphere embedding for face recognition [C]// 20th IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2017： 6738?6746.

[12] 張春永，徐一得.一種對年齡變化魯棒的人臉識別方法[J].電子器件，2022，45（4）：848?854.

[13] ZHENG T Y， DENG W H， HU J N. Age estimation guided convolutional neural network for age?invariant face recognition [C]// IEEE Conference on Computer Vision and Pattern Recognition Workshops. New York： IEEE， 2017： 503?511.

[14] WEN Y D， LI Z F， QIAO Y. Latent factor guided convolutional neural networks for age?invariant face recognition [C]// IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2016： 4893?4901.

[15] LI Z F， GONG D H， LI X L， et al. Aging face recognition： A hierarchical learning model based on local patterns selection [J]. IEEE transactions on image processing， 2016， 25（5）： 2146?2154.

[16] CHEN D， CAO X D， WEN F， et al. Blessing of dimensionality： High?dimensional feature and its efficient compression for face verification [C]// Computer Vision and Pattern Recognition. New York： IEEE， 2013： 3025?3032.

[17] 黃俊，張娜娜，章惠.融合頭部姿態和面部表情的互動式活體檢測[J].計算機應用，2020，40（7）：2089?2095.

[18] MOHAMED S， GHONEIM A， YOUSSIF A. Visible/infrared face spoofing detection using texture descriptors [J]. MATEC web of conferences， 2019， 292（2）： 1?5.

[19] ANJOS A， MARCEL S. Counter?measures to photo attacks in face recognition： A public database and a baseline [C]// International Joint Conference on Biometrics. New York： IEEE， 2011： 1?7.

[20] YANG J W， LEI Z， LI S Z. Learn convolutional neural network for face anti?spoofing [EB/OL]. [2014?08?24]. https：//www.researchgate.net/publication/265089659.

[21] XU Z Q， LI S， DENG W H. Learning temporal features using LSTM?CNN architecture for face anti?spoofing [C]// 2015 3rd IAPR Conference on Pattern Recognition. New York： IEEE， 2015： 141?145.

[22] FENG L T， PO L M， LI Y M， et al. Integration of image quality and motion cues for face anti?spoofing： A neural network approach [J]. Journal of visual communication and image representation， 2016， 38： 451?460.

基金項目：國家自然科學基金資助項目（62072085）；國家重點研發計劃課題項目（2018YFB1702003）

作者簡介：王" 彤（1989—），女，遼寧沈陽人，碩士研究生，中級實驗師，主要研究領域為嵌入式控制、微型計算機接口技術等。