基于雙目攝像機的人臉活體檢測的研究

邱晨鵬

(四川大學計算機學院，成都 610065）

0 引言

隨著人臉識別技術飛速發展，如今這項技術被廣泛應用到多種領域，如學生公寓門禁系統、機場人證合一核查系統、支付寶實名認證系統、以及移動終端的解鎖系統等。但是由于人臉識別系統無法判別人臉圖像是否為活體，因而很容易受到假冒攻擊[1]，常見的攻擊方式有照片攻擊、視頻攻擊、三維人臉模型攻擊。其中，照片和視頻因偽造代價小，容易實施，成為最常見的攻擊方式。為了識破這些偽造攻擊手段，基于人臉的活體檢測技術應運而生。針對不同的攻擊方式，國內外學者研究出許多不同的活體檢測方法。Macicj Smiatacz提出基于人臉轉動時的面部光流分析法[2],通過分析人臉轉動時產生的光流特征判別活體，視頻與照片；由于偽造人臉在成像系統的二次成像會丟失紋理細節，A.K.Jain、Rangding Wang等提出基于傅里葉頻譜與紋理分析法[3]，通過分析活體人臉與視頻、照片人臉的傅里葉頻譜以及紋理特征的差異區分活體與非活體；由于真實人臉是具有生命特征的運動活體，存在眨眼、微動等活體特征，Maatta和Deng Gang等提出了通過眨眼檢測區分活體與人臉照片；由于真實人臉可根據指令作出相應的動作，K.Kollreder、Boutellaa E等人提出人機交互的方式，通過檢測指定的動作指令特征來判別被檢測者是否為活體。在上述方法中，基于特征檢測的方式依賴于特征的提取，當場景中的光照條件變化劇烈時，提取特征效果將會很差，從而影響活體檢測的結果；基于人機交互的方式，需要用戶長時間的配合，因而效率較低。本文提出基于近紅外與可將光雙目攝像機的人臉活體檢測方法，利用雙目攝像機捕獲近紅外人臉圖像與可見光人臉圖像，采用dlib人臉檢測方法對攝像機捕獲到的圖像進行人臉檢測，結合紅外圖像與可見光圖像各自的特性以及雙目視覺原理進行活體檢測，實驗室結果證明本方法具有優異的表現，算法的魯棒性較高。

1 人臉識別模塊

雙目攝像機裝置介紹：紅外攝像頭1，用于采集用戶的紅外光二維圖像；可將光攝像頭2，用于采集用戶的可見光二維圖像；紅外發光模組3，用于發射主動探照紅外光，采用3個紅外LED燈布置呈“品”字型分布，安裝在紅外攝像頭與可見光攝像頭中間，三者呈“一”字型分布；

人臉檢測方法：采用dlib人臉檢測方法，檢測攝像頭捕獲的人臉圖像，并得到對應的人臉矩形框和人臉輪廓的68個特征點；

硬件配置：處理器：Intel Core i5-6400，雙目攝像頭：Dual Web Camera Module；

軟件配置：操作系統：Windows 10；集成開發環境：Visual Studio 2013；依賴庫：dlib、OpenCV300。

2 活體檢測判別模塊

聯合近紅外與可將光攝像頭裝置，依據近紅外與可見光攝像頭的成像特性，對于不同的攻擊進行有效的抵御。

2.1 紅外攝像機成像特性

近紅外光譜區波段為780-1100nm，對于光滑表面的物體例如鏡面、油紙面、近紅外波段無反射信息，因此獲取到的圖像中的鏡面區域無任何信息，則無法檢測出人臉，從而可以防止視頻攻擊，圖1顯示了照片在雙目攝像機中的成像，左側為近紅外成像圖，右側為可將光成像圖。

圖1

2.2 色彩判別模塊

圖2、圖3依次顯示彩色照片圖像，灰度照片圖像，真實人臉圖像

圖2 可見光攝像機捕獲圖像

圖3 紅外攝像機捕獲圖像

此模塊是針對灰度圖像的，灰度照片在可見光攝像機下成像的色彩單一。HSV（Hue-Saturation-Value）顏色空間是均勻的顏色空間[9]，由于人眼的視覺系統對顏色的感知與HSV顏色空間相近，這里我們采用HSV顏色空間進行判別。HSV顏色空間中，V分量與圖像的彩色信息無關，H分量與S分量主要表現出人對色彩的感知，則HSV顏色空間能夠很好的描述圖像的顏色特征。利用可見光相機捕獲人臉圖像，將RGB顏色模型轉換為HSV（色相、飽和度、色調）顏色模型。

RGB顏色空間轉換為HSV顏色空間：

單位為度（°）。

鑒于灰度照片跟真實人臉圖像的色彩與飽和度存在很大差異，提取可見光人臉圖像的HSV顏色模型信息，得到H分量與S分量,設置參數Val=S/H，設置灰度照片閾值，通過比較輸入的單幀可見光人臉圖像與閾值比較，進而判別是否為灰度照片。

閾值的確定：采集500張灰度人臉照片，通過實驗計算得出灰度人臉照片的Val的典型值為0.5，而真實人臉的Val典型值為8。通過實驗數據對比可得出，灰度人臉照片的Val值與真實人臉的Val值差異非常明顯，根據實驗數據設置灰度照片判別閾值為2。

若Vph為0，則判別為灰度人臉照片，反之，則進入下一個判別方法。

通過實驗，對作者采集的50張灰度人臉照片（包含10張素描圖像）進行實驗，實驗結果為灰度照片的通過率為0，分析可得此模塊可以完全防止灰度人臉照片的欺騙。

2.3 尺度判別模塊

通常情況下，人為偽造的人臉照片的尺寸與真實的人臉尺寸大小差異很大，比如大頭貼，一寸或者二寸的證件照，真實人臉尺度普遍要比偽造人臉照片的尺寸大，利用此信息可以防止低劣的偽造方式，作為一個篩選的條件。

對于雙目攝像機前人臉的尺寸的大小計算，基于雙目立體視覺三維測量原理。類比人類的雙眼，人對眼前的物體的立體感來源于物體在人雙眼中成像的視差，通過雙目產生的視差，人可以感知實體的三維信息以及到實體的距離信息。圖5表示的是經過極線校正后的視差原理圖，ol和or分別表示左右相機的光心位置，兩個坐標系是分別以左右相機的光心為坐標原點建立，ol與or的連線T為基線，表示兩相機光心之間的距離，顯然它是一個定值，xl與xr分別表示實體點p在兩相機中的成像，視差表示為：

Z表示實體點p到基線的距離，即深度，f為相機的焦距。由數學上三角形的相似關系可得出視差d與深度Z的數學關系表達式：

因此可得視差與深度成反比關系。

圖4

圖5

圖5表示了視差與深度的關系，可知物體距離相機越遠，物體在兩相機中成像的視差越小，類比視差原理將其應用到人臉尺度計算。

首先，利用提取紅外圖像與可見光圖像的人臉矩形框，采用人臉矩形框的面積作為度量人臉尺寸的單位，分別計算紅外圖像中人臉矩形框面積和可見光圖像中的人臉矩形框的面積，由于兩個攝像機光源的差異，人臉輪廓在兩個鏡頭下的成像大小有細微的差異，并且本文中使用的dlib人臉檢測對異源人臉圖像的檢測結果中發現，紅外圖像中的人臉矩形框面積要小于可將光圖像中的人臉矩形框面積，為了保證實驗結果的正確性，取紅外圖像人臉矩形框面積與可見光圖像人臉矩形框面積的平均值作為人臉面積值。根據視差原理，被檢測者距離設備的距離會改變圖像中人臉的大小以及人臉在圖像中的位置，當被檢測者距離設備的距離較近時，兩相機獲取的圖像中人臉的面積會較大，視差較大，反之，圖像中的人臉矩形框面積較小，視差較小。如圖6、7所示。

圖6

圖7

由此可得人臉矩形框的面積大小與視差成正比關系。計算紅外圖像人臉矩形框面與可將光圖像人臉矩形框面積的平均值S，選取紅外圖像人臉矩形框的中心像素坐標xl(il,jl)，以及可將光圖像人臉矩形框的中心像素坐標xr(ir,jr)，根據上述原理和本文所用設備，視差可近似表示為：

將面積平均值S與視差dlen的比值k作為人臉尺寸系數，則人臉尺寸系數k表示為：

由上式可以得在一定的距離范圍內，被檢測者的人臉尺寸系數是一定的，不會隨著距離設備的距離的變化而變化。

閾值的確定：為了提高實驗結果的正確性，選取20個臉型大小有差異的真實人臉，并采集真實人臉圖像，通過實驗室計算得出真實人臉的人臉尺寸系數的范圍為1000～3000，真實人臉尺寸系數的典型值為2000，為保證實驗室結果正確性，本文閾值k采用1000。

若Kval=0，則判別當前檢測到為非真實人臉。通過對100張大小同的人臉照片進行實驗，實驗室結果表明，對于人臉尺寸系數明顯不同于真實人臉尺寸系數的偽造照片，本方法可較準確的容易的抵御。

3 實驗結果與分析

本次實驗采用20張彩色一寸照片，20張彩色二寸照片，20段視頻，50張黑白照片，以及10張素描照片（含人臉），進行測試，測試結果如表1所示：通過實驗，對本算法進行實驗，結果表示為對于視頻人臉的攻擊，100%正確抵御，對于一寸與二寸的彩色照片，100%正確抵御，對于素描照片，100%正確抵御，對于50張黑白人臉照片，48次正確抵御。

表1

本文采用近紅外與可將光雙目攝像機，聯合近紅外攝像機與可將光的成像特性以及雙目視覺原理，提出了采用色彩以及人臉尺寸判別方法，對視頻以及照片對臉識別系統的攻擊的防御，實驗結果表明，該方法的有效性。當然，方法中存在不足，在色彩判別方法，對于黑人的照片會存在誤判的情況，需要后續繼續研究。