光流與紋理特征融合的人臉活體檢測算法

王宏飛，程 鑫，趙祥模，周經美

1.長安大學 信息工程學院，西安 710064

2.長安大學 電子與控制工程學院，西安 710064

隨著人臉識別技術在支付、門禁等場景中的應用，如何有效檢測人臉欺詐成為該技術面臨的一大挑戰。照片與視頻重放[1]是最常見的欺詐手段之一，攻擊者僅需播放包含用戶人臉的照片或視頻就可對系統發起攻擊。為提高系統安全性，許多項目通常要求用戶配合完成眨眼、搖頭、朗讀文字等組合動作，通過人臉關鍵點定位人臉追蹤等技術確認當前圖像中是否為真實人臉。為進一步提高人臉活體檢測系統的使用體驗，研究者提出靜默式活體檢測的概念，即不需用戶配合，利用真實人臉與重放圖像在表面紋理、三維結構、圖像質量等方面的差異完成活體驗證。

Boulkenafet等[2]分析了真實與虛假人臉圖像的色度與亮度差異，基于顏色局部二值模式提取各階圖像頻帶的特征直方圖作為人臉紋理表征，最后通過支持向量機實現分類，在Replay Attack數據集上測試取得了2.9%半錯誤率。Galbally等[3]證實了高斯濾波產生的圖像質量損失值能夠有效區分真實與欺詐人臉圖像，設計了包含14個指標的質量評估向量，并結合LDA（linear discriminant analysis）提出了一種活體檢測方法，在Replay Attack數據集上獲得15.2%半錯誤率。然而，此類方法往往需要針對某種類別的攻擊方式設計特定特征描述符，同時在不同光照條件、不同欺詐載體下方法魯棒性較差[4]。施新嵐等[5]利用色彩空間轉換導致的信息丟失現象，通過Gabor濾波器對人臉圖像紋理特征從多尺度、多方向進行增強，并使用SURF算子提取特征用于檢測人臉欺詐，并在Replay-Attack數據集取得較好的結果。

一些研究者通過分析人臉運動模式，提出了基于動態特征的人臉活體檢測算法，并在相關數據集表現出良好的性能[6]。Kim等[7]設計了一種用于光速估計的局部速度模型，并根據光在真實人臉與欺詐載體表面擴散速度的差異區分欺詐與真實人臉，在Replay Attack數據集上得到了12.50%半錯誤率。Bharadwaj等[8]通過歐拉運動放大算法對影像中0.2～0.5 Hz的眨眼信號進行放大，結合局部二值模式與方向光流直方圖（LBP-HOOF）提取動態特征作為分類依據，在Replay Attack數據集上取得了1.25%半錯誤率，同時證明了影像放大算法對算法性能的積極作用。Freitas等[9]借鑒人臉表情檢測方法，采用LBP-TOP算子從時空域正交平面中提取特征直方圖并利用支持向量機進行分類，在Replay Attack數據集上得到了7.6%的半錯誤率。Ge等[10]基于相鄰幀之間的動作信息，建立了一種CNN-LSTM網絡模型，使用卷積神經網絡提取人臉圖像紋理特征，之后將其輸入至長短期記憶結構中對人臉視頻中的時域動作信息進行學習。

此外，部分研究者結合不同檢測設備、系統模塊對多模信息進行數據級、特征級融合，有效增加了活體檢測準確率[11-12]。Zhang等[13]利用Intel RealSense SR300相機構造了包含RGB圖像、深度圖像（Depth）、紅外圖像（IR）的多模態人臉圖像數據庫，運用人臉三維重建網絡PRNet[14]與掩膜運算準確定位人臉區域，隨后基于ResNet 18分類[15]網絡對RGB、Depth以及IR等混合多模態數據進行特征提取與融合。鄧茜文等[16]基于近紅外與可見光雙目視覺技術提取人臉深度信息并進行三維點云重建，根據采樣點的深度值方差和空間距離信息表征人臉活體信息，并使用支持向量機完成真偽分類。基于多模態信息的人臉欺詐檢測方法雖然取得了較好效果，但是需要更多的設備開銷。近來，一些研究者利用深度卷積神經網絡從多幀二維圖像生成人臉深度圖像[17]或者通過遠程光學體積描記術[18-19]獲取人臉區域血流信息，提出了相關人臉真偽判別算法，雖然在許多數據集上取得了更好的性能，但相比其他方法更復雜，不適合需要快速決策、算力受限的使用場景，甚至由于受運動噪聲和復雜光照影響在部分場景下失去有效性。

受上述文獻啟發，針對單目靜默式人臉活體檢測任務，論文基于圖像紋理和幀間光流場變化，設計了雙通道卷積神經網絡與特征融合模塊，提出了一種光流與紋理特征融合的人臉活體檢測算法。

1 算法流程

算法流程如圖1所示。輸入一段采集的人臉視頻，使用影像放大算法將其中0.04～0.4 Hz頻段放大20倍，增強臉部動作，并選擇任意相鄰兩幀作為算法輸入；為消除背景對活體特征提取的干擾，基于人臉檢測算法定位人臉框并截取對應區域；同時，計算光流場變化并生成光流場變化圖，依據人臉位置得到人臉區域光流圖；將人臉區域的光流圖與紋理圖輸入至卷積神經網絡，完成紋理特征提取、光流特征提取、特征融合，根據所得特征值實現人臉真偽分類。

圖1 算法流程Fig.1 Algorithm flowchart

1.1 影像動作放大

Wu等[20]基于歐拉視角，提出了歐拉影像動作放大算法。該算法將視頻中的運動信息等價為時空域內的像素值變化，通過拉普拉斯金字塔多尺度分解視頻幀序列，并使用時域帶通濾波器提取其中的某一頻段B；采用IIR濾波器將該頻段的動作信號放大?倍，之后從最低一級開始對處理后的圖像金字塔進行復原，得到放大后的影像，放大原理如式（1）所示：

其中，I(x,y,t)及分別是原始與放大后視頻在(x,y,t)處的像素值，B(x,y,t)為帶通濾波器在原始視頻中(x,y,t)處提取的動作信息，?為信號放大倍數。然而，此算法在提取動作特征時無法有效區分頻段中的噪聲和動作信號，導致視頻中的噪聲也隨動作信號放大，降低了視頻圖像質量。因此，本文采用了文獻[21]提出的基于深度學習的影像放大方法，與歐拉算法相比，該算法基于殘差網絡設計了一個動作-視覺編碼器Ge，表征視頻中的動作信號M(t)和紋理信號V(t)；其次，運用時域濾波器T在得到的動作表征上提取目標頻段用于動作放大，這種做法有效避免了噪聲隨信號放大的問題；最后，利用解碼器Gd對視覺及放大后的動作信號進行組合，得到動作增強視頻，其放大過程如式（2）～（4）所示：

其中，I(t)為t時刻原始視頻圖像，V(t)和M(t)分別是t時刻的紋理與動作特征；?為信號放大倍數，為t時刻放大后的動作特征；為t時刻放大后的視頻圖像。

為直觀對比兩種動作放大算法效果，本文分別使用上述兩種算法將一段視頻的同一頻段放大20倍，視頻幀圖像與標線區域的時間切片如圖2所示。分析原始及放大后視頻切片可得，兩種動作放大算法均能夠對原始視頻中的動作信號進行放大，其中與歐拉算法相比，基于深度學習的動作放大算法所產生的動作干擾與模糊均小于前者。由于圖像模糊會對光流場變化計算過程帶來影響，因此本文選取基于深度學習的動作放大算法對人臉信號進行增強，從而在保證圖像紋理清晰的條件下實現動作放大。

圖2 動作放大算法效果對比Fig.2 Effect comparison between motion magnification methods

1.2 光流場變化

光流法是一種用于描述相鄰幀物體運動信息的方法，其通過計算時間域上圖像中x與y方向上運動位移反映幀間場變化。定義視頻中點P在t時刻位于圖像中(x,y)處，經過dt運動至(x+dx,y+dy)處，則當dt趨近于0時，兩處像素值滿足如下關系：

其中，v=(x,y)為t時刻點P的坐標，I(v)為t時刻(x,y)處的灰度值；d=(dx,dy)為dt時間內點P的位移；I(v+d)為t+dt時刻(x+dx,y+dy)處灰度值。

本文使用Farneback[22]提出的稠密光流法計算人臉視頻幀間位移，該算法使用二項式近似表示t時刻(x,y)處灰度值，將其從2維空間映射到6維空間：

其中，(r1,r2,r3,r4,r5,r6)均為常量，可在(x,y)鄰域內采用最小二乘法擬合得到。

式（6）可寫為：

將位移d=(dx,dy)變換至極坐標系d=(ρ,θ)并映射至HSV顏色空間內，其中極角作為色相，極徑作為明度，飽和度置1，隨后進行顏色空間轉換得到RGB圖像。如圖3所示，真實情況下人臉部區域光流場變化相比其他兩種欺詐最為明顯，且幾乎不存在靜態背景干擾；照片重放由于臉部不存在任何動作信息，其光流現象相比最為微弱，僅僅存在因照片抖動而產生的光流場變化；視頻重放臉部光流信息較為豐富，但由于受到播放設備抖動、屏幕反光等影響，整體光流場變化雜亂，背景干擾較為嚴重。

圖3 真實人臉、照片或視頻攻擊光流圖對比Fig.3 Comparison of real face，photo or video attackoptical flow diagram

1.3 人臉區域檢測

為消除背景對活體檢測的影響，本文使用方向梯度直方圖算法定位視頻圖像中的人臉區域，并截取該區域光流場變化圖。

方向梯度直方圖（histogram of oriented gradients，HOG）是一種用于描述圖像局部紋理特征的方法，該算法圖像等劃分為小尺寸的細胞空間，計算細胞內各像素點的梯度，并根據梯度分布生成細胞HOG；然后，在較大尺寸的塊空間上統計各細胞HOG分布，生成塊空間HOG，描述局部紋理信息。像素點梯度計算如式（9）、（10）所示：

其中，Gx(x,y)和Gy(x,y)分別是圖像(x,y)處的水平梯度與垂直梯度，I(x,y)是該處的灰度值。據此可計算該處梯度的幅度G(x,y)與方向?(x,y)，如式（11）、（12）：

將梯度方向空間[0,2π]平均劃分為如圖4所示的9個維度，采用線性插值方式，依據梯度的方向將幅度值分配至不同維度。

圖4 梯度方向的9個劃分通道Fig.4 Nine divided channels for gradient direction

遍歷細胞空間內的所有像素點，生成該細胞的HOG，對一定數量的細胞HOG進行向量運算得到塊空間HOG；其次，多個塊空間HOG拼接組成整幅圖像的HOG，圖5是人臉圖像以塊空間為基本單位的HOG特征可視化。不同人臉圖像的光照與背景差異會導致幅度取值范圍較大，因此對各個塊空間的HOG進行歸一化，如式（13）所示：

圖5 原始圖像及其方向梯度直方圖Fig.5 Ordinary image and HOG

其中，Hb為塊空間HOG向量，ε為常量。采用滑動窗口，通過機器學習算法判斷當前窗口內HOG特征向量是否與人臉區域匹配，從而根據窗口坐標定位人臉。

1.4 光流-紋理特征提取與融合

基于特征融合策略，設計了如圖6所示的雙通道卷積神經網絡，網絡輸入包括人臉RGB圖像與光流場變化特征圖，二者分別通過紋理特征提取模塊、光流特征提取模塊完成中間層特征提取，隨后利用特征融合模塊對拼接后的中間特征進行信息融合，得到維度為2的輸出特征。

圖6 基于融合策略的網絡結構Fig.6 Network structure based on fusion strategy

紋理特征提取模塊與光流特征提取模塊結構類似，輸入圖像尺寸均為227×227×3，經由卷積層、最大值池化、通道間注意力等模塊得到尺寸為13×13的中間層特征。采用Concatenate方式，將紋理特征提取模塊與光流特征提取模塊的輸出結果進行拼接，作為特征融合模塊的輸入。特征融合模塊包含：通道間注意力模塊、卷積層、最大值池化層、全連接層，其中通道間注意力機制旨在動態地為兩種輸入特征分配權重，以強化某些通道的決策能力。特征融合模塊中，利用3個全連接層完成特征提取與降維，得到2維活體表征值，作為網絡輸出結果。本文使用文獻[23]提出的“Squeeze and Excitation”方法搭建通道間注意力模塊：首先，對輸入特征圖進行全局平均池化（avgpool）；其次，通過“全連接-激活函數-全連接層-歸一化”結構計算輸入特征圖各通道的權重；最后，將輸入特征與權重相乘，作為模塊輸出。在模型訓練階段，該結構學習了輸入特征各通道間的一種非線性函數關系，依據此為各通道動態分配權重。其中2個全連接層分別用于系數降維與恢復，既提高函數復雜度，又減少模型計算。

2 實驗分析

2.1 數據集處理

本文利用IDIAP的ReplayAttack人臉活體檢測數據集實現模型訓練與測試。Replay Attack訓練集、開發集、測試集共包含1 300段人臉視頻，每幀分辨率為320×240，每秒約25幀，數據采集自50個志愿者并且采集時設置了不同的環境變量，具體包括：（1）光源及背景控制：自然環境光且背景復雜、人造光源且背景簡單；（2）欺詐種類：視頻重放、照片重放；（3）人臉重放所使用的視頻或照片分辨率；（4）人臉重放所使用的視頻或照片載體：電子屏幕、紙張；（5）數據集采集設備是否固定：使用支架、手持。通過以上多種變量構造了較為復雜的采集環境，從而更貼近真實人臉識別系統使用場景。

為保證并驗證攻擊檢測方法魯棒性，本文實驗將全部數據按照真實人臉與欺詐攻擊分為兩類，首先，使用影像放大算法將視頻中0.04～0.4 Hz的動作放大20倍；隨后，通過相鄰幀選取、光流場變化計算等得到人臉紋理圖像及光流特征圖；并且，在紋理圖像上進行人臉區域檢測，在上述兩種圖像上截取人臉區域，如圖7所示；最后將真實人臉數據標記為1，欺詐人臉數據標記為0。

圖7 數據集處理示例Fig.7 Sample of dataset processing

2.2 性能評價準則

本文實驗使用錯誤接受率（false acceptance rate，FAR）、錯誤拒絕率（false rejection rate，FRR）、等錯誤率（equal error rate，EER）及半錯誤率（half total error rate，HTER）等指標評估人臉活體檢測算法。錯誤接受率是指將虛假人臉判斷為真實人臉的比例，錯誤拒絕率是指將真實人臉判斷為虛假的比例，其計算公式如（14）、（15）：

其中，Nf_r為虛假人臉錯判次數，Nr_f為真實人臉錯判次數，Nf為虛假人臉檢測次數，Nr為真實人臉檢測次數。

本文實驗采用閾值法（thresholding）進行人臉分類：在不同閾值下計算FAR和FRR并繪制接受操作者特性（receiver operating characteristic，ROC）曲線。ROC曲線用于度量分類問題中的非均衡度，曲線下的面積（area under curve，AUC）可直觀表明算法分類效果，AUC越接近1代表分類效果越優秀。若使用開發數據集繪制ROC曲線，當FRR等于FAR時，二者均值為EER；若將此時的閾值用于測試集分類，FRR和FAR均值為HTER。

2.3 訓練參數設置

實驗采用Pytorch深度學習框架搭建本文所設計的基于融合策略的特征提取網絡，并使用預訓練的AlexNet 100分類模型對紋理特征提取子網絡與光流特征提取子網絡的conv11×11、conv5×5、conv3×3等6個卷積層進行參數初始化。模型采用了交叉熵損失函數，在訓練階段使用SGD優化器，分別設置batch size、學習率、權重衰減等參數為32、0.000 1、1E－4，實驗使用Intel Xeon?E5-26500 CPU及Matro xG200eR2 GPU完成模型訓練與測試。

2.4 真偽判別結果與分析

實驗使用2.2節中所述的閾值法進行模型評估，具體而言，網絡所輸出的二維向量值分別代表了當前數據為虛假人臉、真實人臉的概率，本實驗選擇了其中的第二維值進行真偽判別，即若該樣本的真實人臉概率超過閾值則判定其為真，否則為假。

表1是本文算法在Replay Attack開發和測試集上的實驗結果，TP與TN分別為正確識別真實/虛假人臉的個數，FP與FN分別為錯誤識別真實/虛假人臉的個數。為探究預處理階段使用的動作增強方法對算法的影響，使用未進行信號放大的數據進行缺省實驗，未使用動作放大處理時，在Replay-Attack開發數據集上正確判定真實人臉10 992個、虛假人臉33 268個，等錯誤率為1.52%；測試集上正確判定真實人臉14 410、虛假人臉43 551，識別準確率為96.9%，半錯誤率HTER為3.03%。使用動作放大處理時，在開發數據集上正確判定真實人臉11 011個、虛假人臉33 333個，等錯誤率為1.33%；測試集正確判定真實人臉14 825個、虛假人臉44 085個，識別準確率為98.5%、錯誤接受率FAR為1.81%、錯誤拒絕率FRR為0.28%、半錯誤率HTER為1.04%。在開發數據集上選擇不同的閾值并繪制ROC曲線，如圖8所示，紅色曲線為使用動作放大后的ROC曲線，綠色曲線為未使用動作放大的ROC曲線，其中使用動作放大處理后得到AUC指標為0.999，未使用時AUC為0.998。以上實驗表明本文方法具有較優的人臉真偽分類效果，動作放大處理對本方法真偽結果判別產生積極影響。

圖8 本文算法在Replay Attack開發集上的ROC結果Fig.8 ROC curve on Replay Attack devel-set of proposed method

表1 本文算法在Replay Attack實驗結果Table 1 Result of proposed method on Replay Attack

為進一步說明本文方法的有效性，將本文方法與其他基于圖像紋理或人臉動態信息的活體檢測方法進行比較，結果如表2所示。由表2可知，本文提出的基于光流與紋理特征融合的人臉活體檢測算法在Replay Attack數據集上表現出較優秀的結果，相較SURF方法的HTER降低1.16個百分點，相較LBP特征的EER降低12.57個百分點，較LiveNet的HTER降低4.7個百分點，可見本文所提出的基于光流與紋理特征融合的人臉活體檢測算法具有較好的效果。

表2 本文算法與相關算法在Replay Attack上的比較Table 2 Comparison of proposed method and others on Replay Attack

3 結論

本文提出了一種基于光流與紋理特征融合的人臉活體檢測算法：利用影像放大算法增強采集視頻中的人臉活體信號，并通過光流法生成相鄰幀光流場變化特征圖，同時采用基于梯度方向直方圖的人臉檢測方法截取人臉區域，此外，本文結合通道間注意力機制設計了雙通道卷積神經網絡用于人臉紋理及光流圖高語義信息提取與融合，實驗表明，本文算法在Replay Attack數據集上取得1.04%HTER，能夠有效辨別活體。

人臉識別系統在真實應用環境下不僅會面臨照片、視頻等攻擊，還可能遇到高仿真面具假體欺詐，研究活體檢測算法在攻擊手段下的魯棒性具有重要意義。因此，下一步將針對算法在多種欺詐方式下魯棒性展開研究，同時將探究如何在人臉活體特征提取階段充分利用影像放大算法所提取的中間紋理特征與動作信號特征，從而提升活體檢測準確率。