基于邊框及亮度特征的人臉反欺騙研究

李明進， 白景文

（電子科技大學成都學院 微電子技術系，成都611731）

0 引 言

隨著人臉識別［1］廣泛應用于各個場所，如超市人臉消費機、小區人臉門禁系統等，隨之而來的安全性問題開始逐漸被大家重視，其中一項則是人臉非活體與活體［2-3］的辨別。近年來，關于非活體檢測方面的研究主要集中在：基于微觀紋理，基于動態信息，基于多光譜和基于多特征融合的方法。現在融合方案做得比較好的是采用多傳感器融合技術，使用紅外對管進行用戶距離判別與圖像傳感器用深度學習算法進行二分類來判斷是否存在欺詐。多特征多方法的融合固然能取得較高的準確率，但是由于耗時，對設備要求高，缺乏推廣性。而基于動態信息的非活體檢測方法，要求目標人像進行一些面部動作，如眨眼、點頭等等。這類方法明顯的缺點是需要用戶必須花時間做一些相應的動作。基于微觀紋理的分析是以靜態圖像為分析對象，例如基于二進制統計殘差特征進行分辨活體人臉［4］與基于圖像色彩紋理的人臉活體檢測算法研究［5］，以上兩種方法是計算活體與需要被檢測的人臉都進行提取，由差值來進行判斷。此類方法因為需要監控的變量和影響結果質量的因素繁多，涉及到被檢測人像的光亮、素材質量、人臉紋理、素材圖片色彩質量，以及該人臉的標準活體等，在實現上受判斷因素影響較大。

為了簡化以及減少影響因素同時提高普遍適用性，本文基于非活體人臉的背景邊框與光亮特征兩種特性，對識別非活體的依據進行研究。本文的主要工作包括：①基于LSD設計出一個具有較好魯棒性的矩形邊框檢測算法，用于檢測非活體人臉的背景邊框，如手機框、身份證、照片等矩形框，并且能在有遮擋、光亮噪聲等情況下均能識別。②通過實驗對于一個固定的場所，給出人臉區域光亮的特征。③使用手機框、身份證、照片作為實驗素材，驗證融合矩形邊框檢測和光亮特征的人臉非活體檢測算法，分析優勢與不足。

1 矩形框提取

1.1 LSD算法提取線段

LSD［6］算法是一種線段檢測算法，具有速度快、精度高（達到亞像素級）。LSD 算法運用兩個重要概念gradient（梯度）和level-lines（水平線）。創建單位向量場由每個像素點計算得到的角度組成，給定一個范圍值τ，滿足τ并且像素點具有相同角度的歸為對應的連通域，并生成對應的待定域，每個待定域實質是一條待定的線段。當一個由待定域越細長時，那么就更有可能是直線段，使用一個矩形覆蓋該待定域，計算矩形的主要方向與覆蓋待定域水平角度的差值。若滿足τ，則歸類這些像素點，由這些值得到這個區域的NFA值，由NFA值判斷是否線段；如果小于1，那么這個矩形可以被認為是一條線段。

1.2 線段特征提取

本文將上述提取的線段進行矩形特征［7］提取，分為兩大類：邊線特征［8］提取；角點特征［9］提取。

邊線特征提取是為了應對矩形被某些物體遮擋的情況或者殘缺矩形的情況，矩形的邊是斷裂的，或者是不連續的線段，普通的方法是不能把這些斷裂的線段識別為矩形的一條邊，但是這些線段共同的特點是θ和ρ相近，所以針對以上描述，把邊類特征細化為：同一水平位置線段可組合為一條線段，左右方向延伸的線段。同理，線段與線段能形成的90°夾角的整合為角點特征。

1.2.1 同一水平直線位置的直線特征提取

判斷直線之間的位置關系主要使用極坐標的ρ和θ，ρ代表直線到原點的距離，θ 代表該距離向量的方向。在進行位置判斷之前，首先定義一個距離閾值ρ閾和一個角度閾值θ閾。根據在同一直線上兩線段的ρ和θ相等的原理，對每條線段的ρ 和θ 進行篩選，當滿足：

記直線A和直線B為同一水平位置特征（見圖1）。

圖1 A，B，C為同一水平位置特征

1.2.2 組合關系的特征提取

為了避免噪聲造成輪廓斷裂的影響，對同一水平直線進行再提取新的特征關系，方法是判斷兩直線端點距離：

式中：str1與end1分別為直線A 的始端點和尾端點；str2與end2分別為直線B的始端點和尾端點。比較所有Gap，將最小的Gap 值列為兩直線的最小距離Gapmin，然后確定一個直線距離閾值Gap閾，當滿足

記直線A和B為可組合直線（見圖2）。

圖2 A，B為可組合線段關系

1.2.3 同一水平直線的左右延伸特征提取

為了方便對矩形的有效邊進行最大延伸檢測，對直線之間的左右位置關系進行處理，在同一水平直線的基礎上進行新的特征提取，具體流程如圖3 所示。

圖3 線段左右延伸關系提取流程

根據上述流程分別確定兩條直線相互的左右關系和包含關系，如圖4 和圖5 所示。

圖4 直線B為直線A的右延伸直線

圖5 直線A包含直線B

1.2.4 角點基本特征提取

（1）確定角點基本特征的方法是判斷兩線段端點距離，兩條線段間端點距離最小記為Gapmin，給定一個距離閾值Gap閾，當滿足：

則認為這兩條線段滿足本文提出的角點特征的要求，之后得該夾角的角點數據，稱為該夾角的角點Pt角。

（2）角點的線段位置屬性提取。依據角的兩條線段之間關系對位置屬性進行分類：有交點夾角，無交點夾角，延長一條線段后有交點夾角。

具體流程如圖6 所示。角點的屬性類型如圖7所示。

1.2.5 角點方向特征提取

為了明確矩形線段檢索順序，同時也為了保證找到矩形的完整和可靠性，把角點特征細分為4 類，即一個矩形的4 個不同位置的4 類頂角，在這之后依據矩形4 個頂角之間固有的關系，實現提出的聚類特征矩形檢測算法。

圖6 角點線段位置屬性提取流程

圖7 角點屬性詳解

角點方向特征提取流程如圖8 所示。

圖8 方向角提取流程

1.3 基于線段特征進行矩形框檢測

先從輪廓線段中任取一條直線作為起始線段，跟蹤與起始線段成左上角點特征的線段標號。確認矩形左上角之后，對新標記的線段跟蹤與其成右上角特征的線段標號，并確認矩形右上角。之后依次是右下角，左下角，最后記錄4 個角的位置，并將其順時針依次連接，得到矩形。詳細流程如圖9、10 所示。

1.4 線段特征庫說明

提取直線相應特征后創建一個總庫用于記錄所得到所有直線對應的所有特征，而每一條直線與其余直線的相應特征建立一個子庫存放于總庫中。如果該直線與另一條直線滿足之前相應的邊角特征，那么就在該直線的總特征庫中的相應子特征庫中記錄另一條直線標號。相應地，另一條直線的總特征庫中的相應子特征庫也記錄該直線的標號。

某直線總特征庫：①邊類特征庫。同一水平直線特征庫，左可組合直線特征庫，右可組合特征庫，包含直線特征庫。②角點特征庫。左上角特征庫，右上角特征庫，右下角特征庫，左下角特征庫。

圖9 基于線段特征的矩形檢測

圖10 每層循環詳細流程

2 深度學習人像位置及光亮特征提取

2.1 深度學習人像位置提取

本文利用基于深度學習［10-11］、目標檢測算法［12］進行人像位置提取。2014 年，Girshick 等設計了R-CNN框架，使目標檢測取得巨大突破。流程大致可分為：首先使用Selective search 算法從輸入的圖像中提取region proposal；其次為使CNN 有標準的輸入需要將region proposal 的大小進行歸一化；然后使用AlexNet提取特征；最后利用多個SVM進行分類［12］，同時使用線性回歸微調定位框。但是該方法在對region proposal特征提取階段計算量大且速度慢，而且訓練步驟繁多。之后為了使算法更準確并且速度更快，相繼有人提出了SPP-Net、Fast R-CNN［13］、RPN特征提取深層網絡的Faster R-CNN［14］和對于Faster R-CNN 的改進算法［15］。

本文使用CNN模型實現對目標圖片進行人臉檢測后，對檢測出的人臉的位置進行記錄，方便與之后矩形框位置進行對比。

2.2 光亮特征提取

為了更準確地辨別活體與非活體，預先通過訓練獲取的環境亮度在每個時間段的光亮特征曲線，以及包括人臉在每個時間段出現在攝像頭不同位置的亮度特征。當需要進行辨別非活體時，對目標人臉進行亮度值提取后與該時間段場所對應的亮度值進對比，若亮度值差異達到設定的閾值，則認為是非活體。

3 人臉反欺騙的檢測流程

人臉反欺騙檢測的整體流程如圖11 所示，當使用身份證、打印照片檢測結果為非活體時，表明反欺騙檢測成功。

圖11 人臉反欺騙的檢測流程

4 實驗結果分析

圖12 為手持身份證人像面實驗素材，手指對身份證有所遮擋。圖13 為人手持人像照片實驗素材。對實驗素材進行LSD 輪廓提取得到的結果如圖14、15所示。之后對照片中的矩形框和人像位置進行提取得到的結果如圖16、17 所示。

實驗素材1 由于得到的矩形框與人像位置結果圖的情況為矩形框包含人像，所以可以由此得出這張人臉為非活體。實驗素材2 由于矩形框內的人臉被該矩形框完全包含，所以認為該人臉為非活體，而照片外的人臉并沒有被矩形框完全包含，所以該人臉被認為活體。由上述結果可以得出，該方法有效解決了矩形框斷裂和矩形框遮擋帶來的不良影響，更快速、有效地對人臉的活體與非活體做出判斷。

圖12 實驗素材1

圖13 實驗素材2

圖14 實驗素材1的LSD結果

圖15 實驗素材2的LSD結果

圖16 實驗素材1矩形框與人像位置結果

圖17 實驗素材2矩形框與人像位置結果

5 結 語

現有的人臉識別易遭到各式各樣的攻擊，給系統的活體識別帶來挑戰。如何增強檢測精度、縮短耗時、增加魯棒性能、提高泛化能力成為目前的人臉識別系統的研究熱點。本文介紹了一種基于邊框和人臉亮度特征的人臉非活體檢測的研究方法，重點是基于矩形框檢測，人像位置以及人像光亮特征的差異，提出了一種可以作為非活體檢測依據的研究方法，該方法表現出了對紙張攻擊，屏幕攻擊有很強的反欺騙性，并且耗時短，可普遍應用。實驗中對身份證照片、打印照片等進行測試，結果表明，矩形框檢、人像位置、光亮特征都擁有較高的檢測精度，并且矩形框檢測能有效避免噪聲、矩形框不完整等不良因素帶來的誤檢與漏檢。該研究可以作為常用場合非活體檢測的依據或方法。后續工作將對無邊框圖像和面具攻擊進行反欺騙研究。