基于InceptionV3和特征融合的人臉活體檢測

楊瑞杰，鄭貴林

基于InceptionV3和特征融合的人臉活體檢測

楊瑞杰*，鄭貴林

（武漢大學 電氣與自動化學院，武漢 430072）（ ? 通信作者電子郵箱2323309093@qq.com）

針對身份驗證中經常出現的照片欺詐問題，提出了一種基于InceptionV3和特征融合的人臉活體檢測模型——InceptionV3_FF。首先，在ImageNet數據集上預訓練InceptionV3模型；其次，從InceptionV3模型的不同層得到圖像的淺層、中層和深層特征；然后，將不同的特征進行融合得到最終的特征；最后，使用全連接層對特征進行分類，從而實現端到端的訓練。InceptionV3_FF模型在NUAA數據集和自制的STAR數據集上進行仿真實驗，實驗結果表明，InceptionV3_FF模型在NUAA數據集和STAR數據集上分別取得了99.96%和98.85%的準確率，高于InceptionV3遷移學習和遷移微調模型；而與非線性擴散卷積神經網絡（ND-CNN）、擴散核（DK）、異構內核卷積神經網絡（HK-CNN）等模型相比，InceptionV3_FF模型在NUAA數據集上的準確率更高，具備一定的優越性。InceptionV3_FF模型對數據集中隨機抽取的單張圖片進行識別時，僅需4 ms。InceptionV3_FF模型和OpenCV結合構成的活體檢測系統可以對真假人臉進行識別。

活體檢測；特征融合；人臉識別；ImageNet數據集；NUAA數據集；遷移學習

0 引言

人臉欺詐問題是圖像識別領域的重要研究課題，也是人臉識別應用中重要的一環，按照其欺詐方式的不同可以分為照片欺詐［1-2］、視頻欺詐［3-4］和3D人臉欺詐［5-6］，本文主要研究的是照片欺詐。

人臉活體檢測模型大致可以分為傳統的活體檢測模型和基于深度學習的活體檢測模型兩大類。Kim等［7］選取685 nm和850 nm兩個紅外光波段，將波段下采集的人臉圖像投影到二維空間進行真假人臉分類。Boulkenafet等［2］重點研究了亮度和顏色，利用顏色和紋理的聯合信息進行識別，取得了很好的結果。但是，傳統的模型依賴于手工設計特征，特征代表性不強，很難分辨高清圖片和真實人臉之間的細微差別。基于此，更多的研究者將目光轉向了深度學習。

Atoum等［8］利用卷積神經網絡提取圖片特征，將人臉深度圖作為真假人臉的分類依據，進行真假人臉識別。Liu等［9］提出利用時間和空間信息作為輔助信息得到的識別模型的準確率超過了以局部二值模式（Local Binary Pattern， LBP）［10］為代表的傳統圖像分類模型。Tang等［11］提出使用卷積神經網絡（Convolutional Neural Network， CNN）從人臉圖像中提取不同的特征（時間特征、顏色特征、局部特征）并進行特征融合，利用融合后的特征進行活體檢測分類。

為應對小樣本數據集的問題，Lucena等［12］提出采用遷移學習的方式將VGG16（Visual Genometer Group）遷移過來，修改分類層，得到的模型結果也不錯。鄧雄等［13］遷移MobileNetV2模型從RGB、HSV、局部二值模式（LBP）三種圖像中提取特征進行融合，在SiW數據集上取得了較低的錯誤率。

之后，更多的學者開始探索使用不同的特征進行融合，來更好地分類圖像。欒曉等［14］提出的模型因為融合了深度圖上的深度信息、光流圖上的動態信息以及殘差噪聲圖上的二次成像噪聲信息，在NUAA等數據集上取得了不錯的結果。Tronci等［15］提出了融合紋理信息和運動信息的活體檢測模型。Yan等［16］提出將非剛性運動、人臉背景一致性、圖像條紋效應三種特征融合后進行活體檢測模型。Wang等［17］融合深度信息和紋理信息進行人臉活體檢測。蔡佩等［18］提出了基于CNN和亮度均衡的人臉活體檢測模型。封筠等［19］使用融合后的DQ_CoALBP（Different Quantization Co-occurrence of Adjacent Local Binary Pattern）和局部相位量化（Local Phase Quantization， LPQ）算子進行特征提取并用支持向量機（Support Vector Machine，SVM）進行人臉欺詐判別。Li等［20］設計了融合邊緣檢測的雙目立體網絡進行活體檢測。

基于深度學習的算法可以有效彌補傳統算法的不足。但是大部分的研究都是專注于如何更好地提取圖像的深層特征，或者融合不同的深度特征進行分類，而關于如何融合圖像的淺層、中層和深層特征的研究較少；所以，本文提出一種基于InceptionV3［21］和特征融合的人臉活體檢測模型InceptionV3_FF（InceptionV3 and Feature Fusion），該模型從預訓練的IncepionV3模型的不同層中得到圖像的淺層、中層和深層特征，并將所有特征進行融合，最后使用softmax全連接層進行分類。

1 數據集

1.1　數據集

本文所使用的數據集是NUAA數據集和STAR數據集。NUAA數據集是通過電腦攝像頭捕獲得到的。真實人臉圖像是在不同的位置不同的光照條件下收集的15個受訪者在受到限制條件下（不隨意的頭部運動和眨眼，使得盡可能與虛假圖像相像）的圖像。虛假圖像是先使用相機捕獲面部圖像，再將其打印在尺寸為6.8 cm×10.2 cm、8.9 cm×12.7 cm的相紙（使用傳統照片打印方法）和70張GSM A4紙張（使用彩色HP打印機），最后使用網絡攝像頭重新捕獲這3類獲得的。

STAR數據集的真實人臉圖像是從互聯網上下載的照片、海報、證件照等。虛假人臉圖像是通過手機拍攝的在不同光照條件下的雜志、電腦屏幕上的照片。真假數據集涉及的人物只有部分重合，類間差異比較大。

將NUAA數據集和STAR數據集中的圖像按照6∶2∶2的比例劃分為訓練集、驗證集和測試集。表1中的數字代表的是劃分后的圖像的數量。

表1數據集的劃分

Tab.1　Dataset partitioning

1.2　預處理

NUAA數據集和STAR數據集都屬于小樣本數據集，為了提高數據集的復雜度，對數據集中的圖像進行數據增強，具體的圖像增強的參數如表2所示。

表2數據增強參數

Tab.2　Data augmentation parameters

2 InceptionV3_FF模型

2.1　遷移學習

遷移學習［22］的核心思想是找出問題之間的相似性，完成遷移。遷移學習可以有效解決深度學習應用時所遇到的數據集小、訓練平臺配置低、模型訓練時間長的問題。遷移學習的具體方法是將在源域訓練好的數據、模型或特征遷移到目標域上使用。遷移學習可以分為基于實例的遷移學習、基于特征的遷移學習、基于關系的遷移學習和基于模型的遷移學習這四種。

本文所使用的遷移方式是基于模型的遷移，是將在源域訓練好的模型的結構和參數遷移到目標域的一種遷移方法。具體表現為將在ImageNet數據集上預訓練好的模型InceptionV3保存后，遷移到NUAA數據集和STAR數據集進行使用。ImageNet數據集有14 197 122幅圖像，數據集大、質量高，可以訓練出很深的卷積神經網絡結構，在圖像分類領域應用廣泛。

2.2　InceptionV3模型

InceptionV3模型是由谷歌團隊搭建的，取得了2014年ILSVRC（ImageNet Large Scale Visual Recognition Challenge）比賽的冠軍。InceptionV3深度為159，共23 903 010個參數，大小為92 MB。InceptionV1模型的貢獻是在模型中加入了1×1的卷積核，起到了降低特征圖厚度的作用。InceptionV2模型的貢獻是加入了BN（Batch Normalization）層，使每一層的輸出都規范化到一個N（0，1）的高斯，并且使用2個3×3的卷積核替代Inception模塊中的5×5卷積核，既降低了參數數量，也加快了計算。InceptionV3模型的貢獻是拆分網絡，使得網絡深度進一步增加，也增加了網絡的非線性。

InceptionV3的模型展開后共有312層，結構如圖1所示。圖1中Much層代表多層網絡結構（多個卷積層、池化層、激活層）。第1個Much代表模型的1～39層，第2個Much代表模型的41～163層，第3個Much代表模型的164～310層。Mixed0、Mixed5、Mixed10代表的是模型的層名。

圖1　InceptionV3的結構

根據Zeiler等［23］的研究可知，1～2次卷積可以得到圖像的顏色、邊緣等淺層特征，3次卷積可以得到圖像的紋理特征，5次左右可以得到圖像具有辨別性的關鍵特征，卷積次數越多，得到的圖像特征相對就越深、分類效果越好，所以取Mixed0層的輸出作為淺層特征，取Mixed5層的輸出作為中層特征，取Mixed10層的輸出作為深層特征。然后，將得到的淺層、中層、深層特征進行融合，得到最終的特征輸入全連接層進行分類。

2.3　InceptionV3_FF模型

本文提出的InceptionV3_FF（InceptionV3 and Feaure Fusion）模型共有10層，深度為6，模型結構如圖2所示。Pooling代表的是全局平均池化（GlobalAveragePooling2D）。

圖2　InceptionV3_FF的結構

從圖2中可以看出，InceptionV3_FF模型由三部分組成：輸入層、特征提取層和分類層。輸入層輸入的是圖像預處理后的圖像。特征提取層由Model1、Model2、Model3三部分組成。Model1代表的是圖1的Model1，指的是遷移的InceptionV3模型的0～40層的網絡模型；Model2代表的是圖1的Model2，指的是遷移的InceptionV3模型的0～164層的網絡模型；Model3代表的是圖1的Model3，指的是遷移的InceptionV3模型的0～310層的網絡模型。ReLU（Rectified Liner Unit）層指的是激活函數為ReLU的全連接層，Softmax層指的是激活函數為Softmax的全連接層，用于分類。

InceptionV3_FF模型的Model1提取的是圖像的淺層特征，Model2提取的是圖像的中層特征，Model3提取的是圖像的深層特征。InceptionV3_FF模型進行訓練時學習率（learning rate）設為0.005，采用accuray作為模型的評價指標，模型訓練200次，每一批次有20幅圖像。

3 實驗與結果分析

3.1　InceptionV3_FF模型結果（NUAA數據集）

InceptionV3_FF模型的結構如圖2所示，模型采取隨機梯度下降法（Stochastic Gradient Descent， SGD）進行訓練，學習率是0.005，動量是0.9，loss采取categorical_crossentropy，每批次數據有20個，訓練200 epoch，每個epoch訓練100次。

InceptionV3_FF模型在NUAA數據集上訓練200個epoch后，訓練集和驗證集的準確率變化曲線如圖3所示。取最后10個epoch的平均值作為最終的值，故訓練集的準確率為99.81%，驗證集的準確率為99.96%。加載模型對測試集中的數據進行測試，測試集的準確率為99.96%。

從圖3中可以看出，模型訓練50個epoch左右就達到了一定的準確率，隨著訓練步數的增加，模型的準確率逐漸趨于穩定。實驗結果表明，InceptionV3_FF模型在NUAA數據集上的訓練測試結果波動較小，準確率很高。

圖3　InceptionV3_FF模型準確率（NUAA數據集）

圖4是InceptionV3_FF模型在NUAA數據集上訓練時訓練集和驗證集的損失函數變化。圖4的損失函數變化表明，模型的準確率雖然很高，但是并沒有出現過擬合現象。

圖4　InceptionV3_FF模型損失函數（NUAA數據集）

3.2　InceptionV3_FF模型結果（STAR數據集）

將InceptionV3_FF模型按照同樣的超參數設置，在STAR數據集上訓練200 epoch，得到的模型的結果如圖5所示，訓練集準確率為99.8%，驗證集準確率為98.9%，測試集的結果為98.85%。InceptionV3_FF模型在STAR數據集上也能夠得到較好的結果。

圖5　InceptionV3_FF模型準確率（STAR數據集）

圖6是InceptionV3_FF模型在STAR數據集上訓練時訓練集和驗證集的損失函數變化。圖6的損失函數變化表明，模型在STAR數據集上沒有出現過擬合現象。

圖6　InceptionV3_FF模型損失函數（STAR數據集）

InceptionV3_FF模型在兩種數據集上都取得了很好的效果，表明了InceptionV3_FF模型結構的有效性。為了進一步驗證算法的優越性，將InceptionV3_FF模型與InceptionV3_T模型（遷移）和InceptionV3_TL模型（遷移+微調）進行對比分析。

3.3　InceptionV3_FF模型與遷移學習模型對比

將在ImageNet預訓練好的InceptionV3模型去除分類層后遷移到新數據集上，加上新的分類層后得到新的模型。只訓練分類層得到的是InceptionV3_T模型；訓練分類層，并微調特征提取層得到的是InceptionV3_TL模型。將3個算法模型在NUAA數據集和STAR數據集中的測試結果進行對比，對比結果如表3所示，其中AUC（Area Under Curve）為ROC曲線下的面積。

表33種模型的測試結果對比

Tab.3　Comparison of test results of three models

從表3中可以看出：1）無論是在NUAA數據集中還是在STAR數據集中，InceptionV3_FF模型的準確率都要高于InceptionV3_T和InceptionV3_TL；2）三種模型在NUAA數據集上取得的結果都要優于STAR數據集上的結果。

3.4　InceptionV3_FF模型與其他模型對比

將本文提出的InceptionV3_FF模型與其他文獻模型進行對比，對比結果如表4所示。Alotaibi等［24］提出了基于非線性擴散核深度卷積神經網絡（Nonlinear Diffusion-CNN， ND-CNN）的模型。非線性擴散的作用是通過快速擴散輸入圖像，幫助區分假圖像和真實圖像，深度卷積神經網絡用來提取最重要的特征，從而實現更好的分類。Yu等［25］提出的擴散核（Diffusion Kernel， DK）模型是通過廣義多核學習方法融合擴散核（DK）特征和深度特征進行分類。蔡祥云［26］提出了基于局部感受野的極限學習機（Extreme Learning Machine-Local Receptive Field， ELM-LRF）模型。該模型的特點在于隨機生成輸入權重，然后采用正則化最小二乘法解析計算出輸出權重。陳路燕［27］使用ResNet50的網絡架構提取圖像的深度特征，之后引入壓縮-激勵模塊SE（Squeeze and Excitation）協助特征分類。盧鑫［28］提出的異構內核卷積神經網絡（Heterogeneous Kernel-CNN， HK-CNN）模型是通過重新構造卷積神經網絡的卷積核來完成活體檢測。曲嘯楓［29］提出的基于紋理特征融合的模型，融合了局部二值模式（LBP）、灰度分布統計（Gray Statistics， GS）、灰度共生矩陣（Gray Level Co-occurrence Matrix， GLCM）在時空域上的紋理特征和對偶樹復小波變換（Dual-Tree Complex Wavelet Transform， DT-CWT）動態紋理特征在頻率域上的信息，在NUAA數據集上取得了較高的準確率。李新豆等［30］提出的模型使用兩個支持向量機（Support Vector Machine， SVM）進行分類：一個支持向量的輸入特征是使用LBP提取的擴散速度特征，另一個則是圖像的模糊特征和色彩紋理特征。

從表4中可以看出，本文模型InceptionV3_FF通過InceptionV3模型提取圖像的淺層、中層和深層特征進行融合分類，在NUAA數據集上取得了較高的準確率。相較于其他模型，本文模型具有一定的優越性。

表4不同模型的準確率結果對比 單位：%

Tab.4　Accuracy results comparison of different models unit：%

4 本文模型識別結果

InceptionV3_FF模型的圖像識別實驗，主要分為兩步：單張圖片的識別和基于OpenCV的識別系統。對單張圖片進行識別時，平均單次識別僅需要4 ms。InceptionV3_FF模型與OpenCV相結合，構成了活體檢測系統，證明本文的模型具備實際應用的價值。InceptionV3_FF模型是在NUAA數據集上訓練得到的。

4.1　單張圖片的檢測結果

本文的InceptionV3_FF模型對從NUAA數據集中隨機抽取的圖片進行檢測，檢測結果如圖7所示。圖7（a）是從數據集隨機抽取的一張真實人臉圖像，圖7（b）是模型對圖7（a）進行識別后的結果，圖7（c）是從數據集中隨機抽取的一張虛假人臉圖像，圖7（d）是模型對圖7（c）進行識別后的結果。

圖7　圖片識別結果

InceptionV3_FF模型對于隨機抽取的圖片均能正確識別分類。識別單張圖片平均需要4 ms，識別效率較高。

4.2　基于OpenCV的活體檢測系統

利用OpenCV來進行人臉活體檢測的實時識別，分為兩個步驟：檢測到人臉并畫框，識別人臉真假。檢測人臉所使用的是Haar Cascade算法。

Haar分類器由Haar特征提取、離散強分類器、強分類級聯器組成，核心思想是提取人臉的Haar特征，使用積分圖對特征進行快速計算，然后挑選出少量關鍵特征，送入由強分類器組成的級聯分類器進行迭代訓練。采用OpenCV中的Haar Cascade算法檢測到圖像中的人臉后，使用本文得到的InceptionV3_FF模型對攝像頭采集到的人臉圖像進行識別。

檢測的數據共分為兩類：一類是由三名志愿者提供的真實人臉，識別結果如圖8所示；一類是由三名志愿者手持本人照片的圖像，識別結果如圖9所示。模型的識別結果標注在人臉框的左上角。spoof和true分別是虛假人臉和真實人臉的標簽。窗口的標題是Live Face Detection。

圖8　真實人臉識別結果

圖9　真實和虛假人臉識別結果

從圖8、9中可以看出，InceptionV3_FF模型對于真假人臉均能正確識別。

5 結語

針對身份驗證中經常出現的照片欺詐問題，現有的研究很少有關于圖像的淺層、中層和深層特征融合的現狀，本文提出了一種基于InceptionV3和特征融合的人臉活體檢測模型——InceptionV3_FF。所提InceptionV3_FF模型在 STAR數據集上取得了98.85%的準確率，在NUAA數據集上取得了99.96%的準確率。將InceptionV3_FF算法與遷移學習和遷移微調的模型相比，實驗結果表明，InceptionV3_FF模型的準確率更高。將InceptionV3_FF模型在NUAA數據集上的結果與ND-CNN、DK、HK-CNN、ELM-LRF等7種模型對比，對比結果表明本文模型的準確率更高。本文使用InceptionV3_FF模型對隨機抽取的圖片進行識別，識別結果無誤，單次識別僅需4 ms；且使用OpenCV和本文模型結合搭建一個活體檢測系統，對三種人臉圖像進行識別，識別結果無誤。本文模型具備應用的條件，只是模型參數較多，若需要應用到移動端，需要進行一定的模型壓縮。

[1] BOULKENAFET Z， KOMULAINE J， HADID A. Face anti-spoofing based on color texture analysis［C］// Proceedings of the 2015 IEEE International Conference on Image Processing. Piscataway： IEEE， 2015： 2636-2640.

[2] BOULKENAFET Z， KOMULAINEN J， HADID A. Face spoofing detection using colour texture analysis［J］. IEEE Transactions on Information Forensics and Security， 2016， 11（8）：1818-1830.

[3] LI X B， KOMULAINEN J， ZHAO G Y， et al. Generalized face anti-spoofing by detecting pulse from face videos［C］// Proceedings of the 23rd International Conference on Pattern Recognition. Piscataway： IEEE， 2016： 4244-4249.

[4] CHINGOVSKA I， ERDOGMUS N， ANJOS A， et al. Face recognition systems under spoofing attacks ［M］// BOURLAI T. Face Recognition Across the Imaging Spectrum. Cham： Springer， 2016：165-194.

[5] LIU S Q， LAN X Y， YUEN P C. Remote photoplethysmography correspondence feature for 3D mask face presentation attack detection［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11220. Cham： Springer， 2018：577-594.

[6] COSTA-PAZO A， BHATTACHARJEE S， VAZQUEZ-FERNANDEZ E， et al. The replay-mobile face presentation-attack database［C］// Proceedings of the 2016 International Conference of the Biometrics Special Interest Group. Piscataway： IEEE， 2016：1-7.

[7] KIM Y， NA J， YOON S， et al. Masked fake face detection using radiance measurements［J］. Journal of the Optical Society of America A， 2009， 26（4）：760-766.

[8] ATOUM Y， LIU Y J， JOURABLOO A， et al. Face anti-spoofing using patch and depth-based CNNs［C］// Proceedings of the 2017 IEEE International Joint Conference on Biometrics. Piscataway： IEEE， 2017： 319-328.

[9] LIU Y J， JOURABLOO A， LIU X M. Learning deep models for face anti-spoofing： binary or auxiliary supervision［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 389-398.

[10] DE FREITAS PEREIRA T， ANJOS A， DE MARTINO J M， et al.based countermeasure against face spoofing attacks［C］// Proceedings of the 2012 Asian Conference on Computer Vision， LNCS 7728. Berlin： Springer， 2013：121-132.

[11] TANG Y， WANG X， JIA X， et al. Fusing multiple deep features for face anti-spoofing［C］// Proceedings of the 2018 Chinese Conference on Biometric Recognition， LNCS 10996. Cham： Springer， 2018： 321-330.

[12] LUCENA O， JUNIOR A， MOIA V， et al. Transfer learning using convolutional neural networks for face anti-spoofing［C］// Proceedings of the 2017 International Conference on Image Analysis and Recognition， LNCS 10317. Cham： Springer， 2017： 27-34.

[13] 鄧雄，王洪春. 基于深度學習和特征融合的人臉活體檢測算法［J］. 計算機應用， 2020， 40（4）：1009-1015.（DENG X， WANG H C. Face liveness detection algorithm based on deep learning and feature fusion［J］. Journal of Computer Applications， 2020， 40（4）：1009-1015.）

[14] 欒曉，李曉雙. 基于多特征融合的人臉活體檢測算法［J］. 計算機科學， 2021， 48（11A）：409-415.（LUAN X， LI X S. Face anti-spoofing algorithm based on multi-feature fusion［J］. Computer Science， 2021， 48（11A）：409-415.）

[15] TRONCI R， MUNTONI D， FADDA G， et al. Fusion of multiple clues for photo-attack detection in face recognition systems［C］// Proceedings of the 2011 International Joint Conference on Biometrics. Piscataway： IEEE， 2011：1-6.

[16] YAN J J， ZHANG Z W， LEI Z， et al. Face liveness detection by exploring multiple scenic clues［C］// Proceedings of the 12th International Conference on Control Automation Robotics and Vision. Piscataway： IEEE， 2012： 188-193.

[17] WANG Y， NIAN F D， LI T， et al. Robust face anti-spoofing with depth information［J］. Journal of Visual Communication and Image Representation， 2017， 49： 332-337.

[18] CAI P， QUAN H M. Face anti-spoofing algorithm combined with CNN and brightness equalization［J］. Journal of Central South University， 2021， 28（1）：194-204.

[19] 封筠，董祉怡，劉甜甜，等. 融合DQ_CoALBP和LPQ算子的人臉活體檢測［J/OL］. 計算機工程與應用. （2021-04-19） ［2021-05-10］.http：//kns.cnki.net/kcms/detail/11.2127.TP.20210419.1401.045.html.（FENG J， DONG Z Y， LIU T T， et al. Face anti-spoofing liveness detection based on combining DQ_CoALBP with LPQ descriptors［J/OL］. Computer Engineering and Applications. （2021-04-19） ［2021-05-10］.http：//kns.cnki.net/kcms/detail/11.2127.TP.20210419.1401.045.html.）

[20] LI C Y， LI R， SUN J H. CNN face live detection algorithm based on binocular camera［J］. Journal of Physics： Conference Series， 2021， 1881（2）： No.022015.

[21] SZEGEDY C， LIU W， JIA Y Q， et al. Going deeper with convolutions［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015： 1-9.

[22] PAN S J， YANG Q. A survey on transfer learning［J］. IEEE Transactions on Knowledge and Data Engineering， 2010， 22（10）： 1345-1359.

[23] ZEILER M D， FERGUS R. Visualizing and understanding convolutional networks［C］// Proceedings of the 2014 European Conference on Computer Vision， LNCS 8689. Cham： Springer， 2014： 818-833.

[24] ALOTAIBI A， MAHMOOD A. Deep face liveness detection based on nonlinear diffusion using convolution neural network［J］. Signal， Image and Video Processing， 2017， 11（4）： 713-720.

[25] YU C Y， JIA Y D. Anisotropic diffusion-based kernel matrix model for face liveness detection［EB/OL］. （2017-07-10） ［2021-05-22］.https：//arxiv.org/pdf/1707.02692.pdf.

[26] 蔡祥云. 人臉識別中的活體檢測及應用研究［D］. 蘭州：蘭州交通大學， 2020：34-48.（CAI X Y. Research on spoofing detection and application in face recognition［D］. Lanzhou： Lanzhou Jiaotong University， 2020：34-48.）

[27] 陳路燕. 人臉識別中的活體檢測算法研究［D］. 北京：北京郵電大學， 2020：23-38.（CHEN L Y. Research on face anti-spoofing algorithm in face recognition［D］. Beijing： Beijing University of Posts and Telecommunications， 2020：23-38.）

[28] 盧鑫. 基于改進卷積神經網絡的人臉活體檢測研究［D］. 鞍山：遼寧科技大學， 2020：39-48.（LU X. Research of face liveness detection based on improved convolutional neural network［D］. Anshan： University of Science and Technology Liaoning， 2020：39-48.）

[29] 曲嘯楓. 基于多特征融合的活體人臉檢測算法研究及應用［D］. 濟南：濟南大學， 2019：21-28.（QU X F. Research and application of face liveness detection based on multi-feature fusion［D］. Jinan： University of Jinan， 2019：21-28.）

[30] 李新豆，高陳強，周風順，等. 基于圖像擴散速度模型和紋理信息的人臉活體檢測［J］. 計算機科學， 2020， 47（2）：112-117.（LI X D， GAO C Q， ZHOU F S， et al. Face liveness detection based on image diffusion speed model and texture information［J］. Computer Science， 2020， 47（2）：112-117.）

YANG Ruijie， born in 1996， M. S. candidate. Her research interests include image recognition， object detection.

ZHENG Guilin， born in 1963， Ph. D.， professor. His research interests include smart home， internet of things， computer vision.

Face liveness detection based on InceptionV3 and feature fusion

YANG Ruijie*， ZHENG Guilin

（，，430072，）

Aiming at the photo spoofing problem that often occurs in identity verification， a face liveness detection model based on InceptionV3 and feature fusion， called InceptionV3 and Feature Fusion （InceptionV3_FF）， was proposed. Firstly， the InceptionV3 model was pretrained on ImageNet dataset. Secondly， the shallow， middle， and deep features of the image were obtained from different layers of the InceptionV3 model. Thirdly， different features were fused to obtain the final features. Finally， the fully connected layer was used to classify the features to achieve end-to-end training. The InceptionV3_FF model was simulated on NUAA dataset and self-made STAR dataset. Experimental results show that the proposed InceptionV3_FF model achieves the accuracy of 99.96% and 98.85% on NUAA dataset and STAR dataset respectively， which are higher than those of the InceptionV3 transfer learning and transfer fine-tuning models. Compared with Nonlinear Diffusion-CNN （ND-CNN）， Diffusion Kernel （DK）， Heterogeneous Kernel-Convolutional Neural Network （HK-CNN） and other models， the InceptionV3_FF model has higher accuracy on NUAA dataset and has certain advantages. When the InceptionV3_FF model recognizes a single image randomly selected from the dataset， it only takes 4 ms. The face liveness detection system consisted of the InceptionV3_FF model and OpenCV can identify real and fake faces.

liveness detection; feature fusion; face recognition; ImageNet dataset; NUAA dataset; transfer learning

TP183

A

1001-9081（2022）07-2037-06

10.11772/j.issn.1001-9081.2021050814

2021?05?18；

2022?02?23；

2022?02?25。

楊瑞杰（1996—），女，河南開封人，碩士研究生，主要研究方向：圖像識別、目標檢測； 鄭貴林（1963—），男，湖北武漢人，教授，博士，主要研究方向：智能家居、物聯網、計算機視覺。