基于G通道心率變化的非接觸人臉活體檢測

閔玉琴 萬文章 余 瑛

(江西中醫(yī)藥大學(xué) 江西 南昌 330004)

0 引 言

生物識別平臺已經(jīng)越來越多地應(yīng)用于各種安全認(rèn)證，融入了我們生活的方方面面。這類平臺的代表性技術(shù)是指紋識別、虹膜識別、人臉識別這三類身份識別技術(shù)。指紋、虹膜和人臉是目前認(rèn)證系統(tǒng)中最常用的生物特征[1]。

和指紋、虹膜等生物特征相比，人臉在普遍性、可采集性與可接受性方面占有一定的優(yōu)勢(見表1)。然而人臉識別存在可能會被面具、照片[2]、視頻、3d建模等手段欺騙攻擊的問題(見圖1)。時至今日，活體檢測仍是人臉識別技術(shù)邁向更高層次所面臨的一個致命障礙。

表1 各種生物特征識別技術(shù)的比較

(a) 紙質(zhì)照片 (b) 電子照片 (c) 視頻圖1 人臉識別現(xiàn)今面臨的三種主要欺騙方式

活體檢測主要是使用各種生理特性來區(qū)分真實和假體。本文提出了一種新型的利用心率變化特征的人臉活體檢測技術(shù)，通過普通攝像頭獲取人臉視頻中的RGB信號，確定特征點選取ROI[3]后運用iPPG的方法獲取實時心率。將其一段時間內(nèi)的心率平均值存入數(shù)組，再對其進(jìn)行分析，獲得表示數(shù)據(jù)穩(wěn)定性的標(biāo)準(zhǔn)差，送入閾值比較程序中檢測從而判斷是否為活體真人圖像。實驗結(jié)果表明，本文提出的心率活體檢測技術(shù)提供了低成本和高度可用的生物識別系統(tǒng)。對比文獻(xiàn)[15]發(fā)現(xiàn)，本文提出的算法識別范圍更廣，能夠準(zhǔn)確地識別真人、紙質(zhì)照片、電子照片或視頻人臉，而且兼具人臉識別功能。并且，利用的心率原理更加精細(xì)，因為視頻包含RGB三通道信息，不同的通道包含的心率信息比例不同，本文利用G通道(含有心率信息最好的通道)既能更準(zhǔn)確地提取心率信號，也能避免其他通道造成的干擾。

1 相關(guān)工作

本文將用于人臉識別的活體檢測技術(shù)分為運動信息分析、紋理信息分析、多光譜分析和多種特征綜合分析四種[4-8]，簡化了現(xiàn)有面部抗欺騙方法的分類。具體分類如圖2所示。

圖2 臉部抗欺騙方法的分類

運動信息分析的目的是提取人臉區(qū)域特定的運動信息以判斷真假人臉(例如眼睛眨眼或小頭和臉部移動)，以決定捕獲的生物特征樣本是否是合成的。這增加了額外的時間并造成用戶體驗繁瑣的后果。基于紋理分析的方法是利用假人臉經(jīng)過二次采集或多次采集呈現(xiàn)出與真人圖片在紋理細(xì)節(jié)上的差異(如真實形狀和局部高光的差異等)。多光譜分析是基于皮膚和其他材質(zhì)的反射率不同，從而在成像系統(tǒng)上呈現(xiàn)較大差異，進(jìn)而判斷真假人臉。最后考慮到欺騙攻擊方式的多樣性，采取多種技術(shù)融合進(jìn)一步在機(jī)理上形成互補(bǔ)。

由于一些性能良好但需要額外的硬件設(shè)備支持，其搭建復(fù)雜成本高昂，不利于使用和普及。我們將注意力轉(zhuǎn)向基于信號處理技術(shù)軟件的方法，本文探討了三種不同的活體檢測的方法：基于運動的方法[9-10]、基于紋理分析的方法[6]、基于圖像失真的分析方法[11-12]。

此外，本文還提出了一種新的基于從視頻提取的RGB信號獲取實時心率進(jìn)行閾值比較，從而達(dá)到抗欺騙攻擊的解決方案。

2 方法設(shè)計

本文方法基于四大生命體征中的心率。由于心臟跳動引起血液周期性灌注，從而導(dǎo)致皮膚毛細(xì)血管對光的吸收發(fā)生變化。使用圖像光電容積描記法(iPPG)，通過記錄該變化實現(xiàn)非接觸式的心率測量[13]，從而可以達(dá)到活體檢測的目的。

因為iPPG是一種基于光線變化的測量方法，實驗結(jié)果表明，欺騙攻擊會由于各種原因(手的抖動、屏幕閃爍頻率等)產(chǎn)生細(xì)微震動，從而造成反射光線的變化。而基于電子產(chǎn)品的照片或者視頻回放的欺騙攻擊，其屏幕自身的刷新頻率和顯示機(jī)制等原因[14]也會有光線的變化，欺騙攻擊手段也會測量出心率，但波動范圍很大。所以，短時間內(nèi)的心率是否穩(wěn)定，能夠成為活體檢測技術(shù)的依靠。在進(jìn)一步的實驗中我們發(fā)現(xiàn)，利用心率平均值分析的方法會存在紙質(zhì)照片和真實人臉識別錯誤的漏洞，因為紙質(zhì)照片和人臉一樣都不是自發(fā)光的。但是紙質(zhì)照片反射的光比較明顯，所以在利用以上方法還是可以區(qū)分的。為了彌補(bǔ)這個漏洞，我們又提出了動態(tài)人臉識別計算多幀圖像相似度的方法。綜合性假體識別算法流程如圖3所示。

圖3 基于心率的假體識別算法流程

2.1 基于心率的活體檢測

首先，實時錄入3秒左右的視頻，獲得50幀人臉圖像，取較為穩(wěn)定的后20幀圖像，提取臉部感興趣區(qū)(ROI)中包含心率信號最強(qiáng)的G信號。計算出G信號的平均值存入數(shù)組，再變換得到這組數(shù)據(jù)的方差。從50幅圖像中獲取的G分量平均值經(jīng)過平滑濾波后獲得的折線圖如圖4所示。

(a) 真實人臉

(b) 紙質(zhì)人臉

(c) 電子照片人臉

(d) 視頻人臉圖4 不同信號來源提取的g分量

由圖4可知，真實人臉折線圖的波形比較有規(guī)律，而另外三幅相反。經(jīng)過多次的實驗得出，波形還跟G分量平均值的大小有關(guān)，G分量平均值越小，其規(guī)律更加明顯。所以本文方法的應(yīng)用場景受限于室內(nèi)，沒有太陽光的場景下識別效果最好，日光燈不影響本系統(tǒng)的識別效果。

由于人眼無法分析波形的穩(wěn)定性，于是利用標(biāo)準(zhǔn)差來計算數(shù)據(jù)的穩(wěn)定性，最后發(fā)現(xiàn)，真實人臉的標(biāo)準(zhǔn)差一般在30以下。而紙質(zhì)照片、電子照片以及視頻照片的標(biāo)準(zhǔn)差一般都在40以上。所以區(qū)分假體的極限值可以設(shè)置在30至40之間。標(biāo)準(zhǔn)差如表2所示。

表2 真實人臉、視頻人臉、電子照片、紙質(zhì)照片的標(biāo)準(zhǔn)差

續(xù)表2

2.2 基于人臉圖像相似度的活體識別

為了克服利用求G分量平均值的標(biāo)準(zhǔn)差來實現(xiàn)抗假體時無法識別紙質(zhì)照片的漏洞，本文采用了動態(tài)人臉識別計算多幀圖像相似度的方法。利用紙質(zhì)照片是靜態(tài)的，其相似值變化不大的特點，將50幀圖像的前30幀圖像與人臉特征庫的人臉進(jìn)行相似度計算，取大于0.57的相似值存入數(shù)組，并對這30個數(shù)據(jù)求標(biāo)準(zhǔn)差，如表3所示。

表3 照片相似度標(biāo)準(zhǔn)差和真實人臉說話相似度的標(biāo)準(zhǔn)差

由表3可知，照片相似度的標(biāo)準(zhǔn)差只有144左右，而真實人臉說話時的相似度標(biāo)準(zhǔn)差在500以上。經(jīng)過多次的實驗可以知道照片的相似度最高不超過200，而真實人臉說話時的相似度標(biāo)準(zhǔn)差不低于400。由此可以設(shè)置區(qū)分照片與人臉的極限值可以在200至400之間。這種方法不僅可以區(qū)分紙質(zhì)照片，還可以區(qū)分電子照片與真實人臉，但是由于此方法是用相似度來計算標(biāo)準(zhǔn)差，無法正確地區(qū)分視頻與真實人臉。若視頻錄入的是一個正在說話的人臉，那么該方法也會失效。

實驗數(shù)據(jù)采集給定由合法訪問和欺騙攻擊組成的測試視頻。首先，對輸入的測試視頻進(jìn)行人臉檢測，選取ROI區(qū)域減少其他組織產(chǎn)生的光線變化干擾。其次，對RGB顏色通道進(jìn)行分離，獲取G通道(含有的脈搏信息最強(qiáng))。然后，我們運用iPPG的測量出心率。 隨著一組心率的獲得，計算其平均值存入數(shù)組。最后，計算出方差同閾值比較得出結(jié)果，用于判斷給定的測試視頻是否是欺騙攻擊，在判斷是活體的前提下再進(jìn)入人臉識別流程。活體檢測模塊的總體流程如圖5所示。

圖5 假體識別流程圖

3 實 驗

3.1 數(shù)據(jù)采集

采集實驗室的全部人員的電子照片和部分人臉錄制視屏作為實驗數(shù)據(jù)。其呈現(xiàn)類型和采集方式同文獻(xiàn)[12]，如圖6所示。

3.2 實驗方案

3.2.1實驗設(shè)計與分析

在人臉識別活體檢測系統(tǒng)中，抗假體檢測是核心模塊，涉及的思路及識別的流程如圖7所示。

圖7 人臉識別系統(tǒng)總流程圖

3.2.2人臉圖片幀數(shù)的選取

實驗選取前30幀圖像的相似度求標(biāo)準(zhǔn)差，剩下的20幀圖像用來計算G分量平均值的標(biāo)準(zhǔn)差。

3.2.3變量參數(shù)化

設(shè)20幀圖像G分量的平均值為xi(i從1到20順序取值)，N為總數(shù)(即20)，u為20個G分量平均值的平均值，得到G分量平均值的標(biāo)準(zhǔn)差。同理設(shè)30幀圖像的相似度為xi(i從1到30順序取值)，N為總數(shù)(即30)，u為30個相似度的平均值，于是有相似度的標(biāo)準(zhǔn)差。標(biāo)準(zhǔn)差的公式如下:

3.3 系統(tǒng)測試

3.3.1限制性條件

系統(tǒng)必須在一定的光強(qiáng)環(huán)境、識別距離等限制性條件下進(jìn)行，才能達(dá)到較好的效果。

3.3.2性能測試

為了驗證系統(tǒng)的性能，從人臉識別、活體檢測兩個方面進(jìn)行實驗。

(1) 人臉識別。通過攝像頭采集的人臉圖像大小為640×480，幀率為25幀每秒。采集50張圖片總耗時需2 s，然后系統(tǒng)將會對前30幀圖像進(jìn)行相似度計算，只要有一幀大于0.57即識別成功，并輸出身份。采集過程中應(yīng)正對攝像頭，點擊采集數(shù)據(jù)，然后停止采集，再點擊開始驗證，如果識別成功，在身份框處會顯示識別者的身份，如圖9所示。

圖8 人臉識別結(jié)果

(2) 活體識別。利用照片、視頻等對該識別部分抗假體攻擊的能力進(jìn)行測試。測試時分別將紙質(zhì)照片、電子照片以及視頻正對攝像頭，點擊采集數(shù)據(jù)，采集數(shù)據(jù)框中會顯示開始采集，采集完成后會顯示采集成功，此時按下停止采集按鈕，點擊開始驗證。如果系統(tǒng)顯示活體識別失敗，那么就說明系統(tǒng)活體識別成功；若是系統(tǒng)顯示活體檢測成功，那么就說明系統(tǒng)活體識別失敗。圖9-圖11分別是紙質(zhì)照片、電子照片以及視頻在檢測時的輸出結(jié)果。

圖10 電子照片識別結(jié)果

圖11 視頻識別結(jié)果

由于實驗室人數(shù)不夠多，以實驗室人數(shù)進(jìn)行該測試很難得出準(zhǔn)確結(jié)果，于是我們又在CMU_PIE_Face中隨機(jī)選擇280張人臉照片填充至該系統(tǒng)的人臉數(shù)據(jù)庫，使系統(tǒng)的人臉數(shù)據(jù)庫達(dá)到300張，實驗結(jié)果如表4所示。

表4 300張照片測試結(jié)果

4 結(jié) 語

本文提出了一種用于抵抗面部欺騙攻擊的算法，利用心率變化在真實面部和偽造合法用戶信息之間存在的差異來識別人臉。通過ROI區(qū)域提取，對感興趣區(qū)中的G信號進(jìn)行平均值計算、方差變換等一系列信號處理，提取出表示心率穩(wěn)定的參數(shù)。將獲得的參數(shù)送入閾值比較程序，從而判斷面部的真實或偽造。為了驗證算法的可行性，我們對實驗中獲取的數(shù)據(jù)進(jìn)行了統(tǒng)計分析。結(jié)果表明，本文方法在檢測不同類型的攻擊(紙質(zhì)照片，電子照片，視頻)中具有良好有效性。本文方法仍有改進(jìn)之處，由于其以測量心率為基礎(chǔ)的，RGB三通道信息的獲取是基于光線變化原理，所以非輕微的光線變化會對檢測效果造成一定影響。在未來的工作中，我們將進(jìn)行更多的文獻(xiàn)閱讀和實驗，尋找更有效的方式來優(yōu)化算法，從而能更好地適應(yīng)光線變化中的面部檢測問題。