一種利用背景光流特征的虛假人臉檢測方法

孔月萍，劉 楚，朱旭東

(西安建筑科技大學 信息與控制工程學院，陜西 西安 710055)

隨著深度神經網絡的發展，人臉識別算法已經達到近乎完美的識別性能，并廣泛應用在智能門禁、手機解鎖、人臉支付等日常生活中。但這些系統也受到竊取已注冊用戶照片、視頻的惡意攻擊，引發系統的安全問題。因此虛假人臉檢測成為人臉識別系統應研究的安全性前置技術。

現有的虛假人臉檢測方法大多利用真實人臉皮膚與紙質介質和顯示設備等攻擊的紋理差異來分析人臉面部圖像，將提取的面部紋理特征送入分類器進行二分類；常見的提取特征主要有局部二值模式(Local Binary Pattern，LBP)[1-2]、梯度方向直方圖(Histogram of Oriented Gradient，HOG)[3-4]等。這些人工特征盡管在測試數據集內性能顯著，但對環境照度敏感、采集設備的性能要求較高，不同環境、設備條件下的檢測效果不穩定。為了使檢測模型的泛化性能更好，一些方法利用與用戶交互發出眨眼、張嘴[5]的指令支撐檢測，需要被檢測對象配合，用戶體驗不佳。傳統方法提取特征有限，深度學習[6]提取特征的方法首次提出，基本思想是采用卷積神經網絡(Convolutional Neural Network，CNN)將虛假人臉檢測視為二分類問題學習真假人臉面部特征。因其出色的學習能力，文獻[7]提出由于屏幕晃動導致視頻攻擊呈現運動模糊現象，主要表現在視頻亮度變化和運動模糊程度上，故可利用一維CNN學習亮度變化，引入局部相似模式作為模糊程度的特征，最后融合這兩種特征進行分類。該方法將深度學習特征和傳統特征相結合，取得了不錯的檢測效果。

但上述方法著眼于照片及視頻中人臉的面部區域進行特征檢測，忽略了人臉周圍區域的有效利用。考慮到人臉周圍區域存在大量背景信息，真實人臉的背景區運動是獨立無規律、不同步的局部運動甚至無運動，而手持照片、視頻攻擊中的背景區存在有規律全局一致性運動，由此提出一種利用背景光流特征手持照片或視頻的虛假人臉檢測方法。

1 背景光流特征的虛假人臉檢測方法

當攻擊者手持照片、視頻進行惡意欺騙時，攝像頭前容易捕捉到虛假人臉周邊的環境背景。手持攻擊難免會產生人體抖動現象，所以無論照片還是視頻欺騙背景區都會隨著手的不穩定性產生有規律的全局一致性抖動現象。而真實人臉的背景處在一個空間中，其運動信息極弱甚至不存在運動信息極弱，即使存在運動也是背景空間中的局部運動，呈現獨立、無規律不一致運動，利用這種運動差異可作為虛假人臉檢測切入點。

為了區分真實人臉與虛假人臉的背景運動差異，設計了提取背景光流特征進行虛假人臉檢測的方法。對輸入的視頻幀先檢測人臉區域，分割出如圖1所示的左(L)、右(R)、上(U)3個背景對比區域；再借助光流法計算背景對比區的光流矢量，表征背景運動的差異性。為了克服光流矢量易受背景噪聲、尺度變化及運動方向的影響，將對比區的光流矢量轉化為光流角度直方圖(Histograms of Angle Optical Flow，HAOF)來表征區域運動特征；最后計算各對比區域的HAOF來檢測3個提取背景對比區域的運動相似度，判斷背景區是否出現全局一致性運動，識別是否為虛假人臉攻擊。背景光流特征的處理流程如圖1所示。

圖1 背景光流特征提取的處理流程

對背景區域的分割是為了檢測人臉周圍區域的運動是全局性運動還是局部運動。其處理方法如圖2所示。先利用人臉檢測并分割出人臉區域；考慮到人體部位中肩膀、頭發存在對運動的干擾，以人體結構常見比例規律設定“肩寬為兩個頭寬”，向人臉左、右區域分別擴展一個頭寬W，排除人臉兩側肩膀部位的干擾，向人臉上部區域擴展一個人臉的高度H，以排除人臉上部頭發的干擾；排除人臉和干擾部后，剩余的背景區劃分左(L)、右(R)、上(U)3個背景對比區域(若按上述擴展原則只留下兩個背景區域，則只將兩個背景區域作為對比區)；為了實現各對比區的運動一致性測算，以各區域的高度、寬度最小值作為歸一化背景檢測區尺度，確定出大小統一的對比區，保證歸一化區域下運動信息的可比性。

圖2 背景對比區域的劃分示例

為了提取背景對比區的運動特征，先借助光流法計算光流矢量表征區域運動信息。設I(x，y，t)為輸入視頻幀中t時刻像素點(x，y)的灰度值，則該像素點的光流變量u、v如下，

(1)

經dt后該點灰度為I(x+dx，y+dy，t+dt)，將該點灰度由Taylor公式展開，得

(2)

假設灰度恒定不變，I(x，y，t)=I(x+dx，y+dy，t+dt)，忽略式(2)的二階無窮小，將式(2)除以dt，得

(3)

令Ix=?I/?x、Iy=?I/?y、It=?I/?t表示該點灰度沿x、y、t方向上的梯度，則式(3)可寫成

Ixu+Iyv+It=0 。

(4)

解式(4)，得到光流矢量u、v值。考慮到輸入欺騙視頻中相鄰幀背景運動的細微性和隱蔽性，為保證背景運動一致性測算的準確性，采用Farneback[8]的稠密光流法計算背景區域的光流場。稠密光流是一種針對圖像進行逐點追蹤計算光流場的方法，稠密光流的計算包含了圖像各點的偏移量，可以檢測出像素級別的圖像運動。

圖3為稠密光流法計算出的光流場分布，短線表示運動的光流場，真實人臉的背景中不會出現全局一致的運動現象，即一般不存在光流場，即使出現也是如圖3(a)所示的局部背景運動；而手持設備播放的欺騙人臉視頻往往會存在全局運動現象，產生如圖3(b)所示的運動一致光流場。

圖3 真實人臉和視頻人臉稠密光流場分布

由于光流計算易受背景噪聲、尺度變化以及運動方向性的影響，在此將光流場轉換成HAOF的形式表達背景的運動統計特征。根據光流場中的光流速度矢量f計算它與水平方向的夾角θ來表示光流方向[9]，計算方法如下：

(5)

圖4 光流角度分布

圖5給出了一對手持攻擊視頻和真實人臉的左、右背景區HAOF圖，圖5(a)為手持人臉攻擊視頻的左、右背景對比區HAOF，可見兩條折線的相似度很高，幾乎重疊；圖5(b)為真實人臉視頻的左、右背景對比區HAOF，兩條折線在水平、垂直方向上均有很大的位移差，區別較大。由此可見，背景對比區的HAOF可以表征真實人臉與欺騙人臉的運動差異。

(a)手持視頻的左右背景區HAOF

(6)

根據相關性的取值范圍[11]分析，當相關系數即平均相似度d大于0.5時，表明存在相關關系，大于0.7時則較強相關，值為1時則兩個直方圖完全匹配。由于手持欺騙照片或視頻的背景對比區會產生一致運動，即背景對比區運動相關性較強，所以當d>0.7時，認為背景發生一致性運動，判定為虛假人臉攻擊。因此，完整的虛假人臉檢測方法處理流程如圖6所示。

圖6 虛假人臉檢測方法處理流程

2 實驗與分析

為了驗證新方法對虛假人臉檢測有效性，分別在公開的Replay-Attack[1]和CASIA-FASD[12]數據集上進行測試。從數據集中篩選出含有兩個及以上背景區域的照片與視頻進行實驗。其中，ReplayAttack中選取了20個人的280個數據，它們包含80個真實人臉和200個虛假人臉，數據有手持視頻、打印照片和電子照片3種攻擊方式。同時從CASIA-FASD中選取了30個人的240個數據，里面包括了60個真實人臉和180個虛假人臉，數據有手持視頻、彎曲照片和剪切照片3種攻擊方式。為了與現有方法進行對比，選擇通用的半錯誤率[1]H(Half Total Error Rate)進行性能評價，其計算方法如式(7)。式中，A(False Acceptance Rate)為錯誤接受率，R(False Rejection Rate)為錯誤拒絕率，D為測試集，τ為計算等錯誤率E(Equal Error Rate)而得到的閾值，其中E為A與R在ROC(Receiver Operating Characteristic)曲線上相等時的均值。具體的實驗結果如表1、圖7所示。可以看出，新方法在數據集上的檢測的準確率Z分別為97.87%和90.95%，在CASIA-FASD數據集上的測試效果要差一些，這是因為其兩個中存在圖8所示的手持照片攻擊，這種照片的背景信息極少，可能出現照片以外的背景被當成了檢測區域。

表1 新方法的測試結果 %

(a)Replay-Attack數據集上的ROC曲線

圖8 手持照片攻擊

(7)

作為對比，選擇基于紋理的LBP[1]、莫爾條紋[13]Moire Pattern方法，基于深度學習的CNN[6]、3DCNN[14]方法，基于運動[15-16]特征方法與新方法進行對比。各種方法在ReplayAttack和CASIA-FASD數據集上的實驗結果如表2所示。可以看出，新方法雖然不是最優，但半錯誤率H、錯誤率E都比較低，與同樣是基于運動特征的檢測方法相比，新方法的效果明顯好于文獻[15-16]。

表2 新方法與現有方法的對比實驗結果 %

最后，從方法的時空復雜度方面進行分析若輸入照片、視頻的幀數據為m×n(m

3 結束語

針對手持照片、視頻的虛假人臉攻擊的抖動現象，提出一種虛假人臉檢測新方法。該方法落腳于真實人臉與虛假人臉的背景差異性，選擇了稠密光流法提取背景運動信息，借助光流角度直方圖的相似性度量鑒別真假人臉。實驗結果表明，該方法對手持攻擊有著不錯的檢測效果；但在無運動信息、無背景區域時檢測存在不足，今后將針對此類問題展開工作，如結合紋理、深度學習的方法去抵御多種環境下的虛假人臉攻擊。