基于圖像色彩紋理的人臉活體檢測(cè)算法研究

廖迪，黃奧運(yùn)，李科，孫家煒

（1.四川大學(xué)計(jì)算機(jī)學(xué)院，成都610065；2.四川川大智勝軟件股份有限公司，成都610045）

0 引言

隨著技術(shù)的發(fā)展進(jìn)步，生物特征已廣泛被應(yīng)用于各種認(rèn)證領(lǐng)域。人臉作為一種辨識(shí)度高的生物特征，也被應(yīng)用于各種認(rèn)證場(chǎng)景。但是人臉識(shí)別系統(tǒng)安全性仍然存在威脅——人臉欺詐攻擊。人臉欺詐攻擊即當(dāng)某人通過(guò)人臉認(rèn)證系統(tǒng)時(shí)，提供系統(tǒng)照片或視頻形式的偽人臉信息。如果在人臉識(shí)別的過(guò)程中，提供人臉活體檢測(cè)功能，則有助于提高人臉識(shí)別系統(tǒng)的安全性。本文基于人臉色彩和亮度信息的人臉活體檢測(cè)算法，通過(guò)提取色彩通道和亮度通道的特征，并將各通道特征級(jí)聯(lián)組合，最終通過(guò)神經(jīng)網(wǎng)絡(luò)對(duì)人臉進(jìn)行分類(lèi)。

人臉活體檢測(cè)的研究主要集中在分析灰度圖像上，并沒(méi)有考慮圖像的色彩信息，然而色彩信息對(duì)于區(qū)分真實(shí)人臉和偽人臉是有用的。當(dāng)圖像分辨率足夠高的時(shí)候，只提取灰度圖像的紋理特征是足以區(qū)分真實(shí)人臉和偽人臉的。但是通常監(jiān)控?cái)z像頭并不能采集高分辨率的圖像，只基于灰度圖像的紋理特征并不能夠適用于大多數(shù)的人臉認(rèn)證場(chǎng)合。只基于色彩的紋理特征也存在一些問(wèn)題，例如真實(shí)人臉眼睛和偽人臉眼睛在色彩紋理信息中是相似的。結(jié)合亮度和色彩信息的特征，可以更容易區(qū)分真實(shí)人臉和偽人臉。

根據(jù)上文所描述的想法，在本文中，我們提出了基于人臉圖像色彩紋理信息的人臉活體檢測(cè)算法。將人臉圖像轉(zhuǎn)換到HSV 或YCbCr 色彩模式下，針對(duì)人臉圖像各個(gè)通道分別提取LBP 特征，并進(jìn)行通道融合形成神經(jīng)網(wǎng)絡(luò)的輸入，由神經(jīng)網(wǎng)絡(luò)完成分類(lèi)的功能。

由于圖像存在多種色彩模式，如RGB、HSV 和YCbCr，所以需要考慮各色彩模式下的特征對(duì)于區(qū)分活體人臉的效果。

基于CASIA Face Dataset 和Rep-Lay-attack 數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果表明，在照片或視頻形式的活體人臉檢測(cè)中，基于色彩紋理信息的方法更優(yōu)于只基于亮度紋理信息的方法。

1 基于色彩LBP的人臉活體檢測(cè)算法

人臉欺詐攻擊通常是向人臉認(rèn)證系統(tǒng)提供照片或視頻形式的偽人臉信息。在采集人臉信息時(shí)，若人臉圖像分辨率較低，分析只基于亮度的LBP 紋理特征，即可達(dá)到人臉活體檢測(cè)較好的效果。但是對(duì)于分辨率較高的人臉信息，只基于亮度的人臉紋理特征在人臉活體檢測(cè)時(shí)，真實(shí)人臉和偽人臉區(qū)分度并不高。

然而，在不同介質(zhì)（如照片、視頻或面具）上的人臉色彩信息，與真實(shí)人臉色彩信息有比較大的區(qū)分度。由于在生成偽人臉信息過(guò)程中，受到介質(zhì)或人臉信息采集設(shè)備的影響，偽人臉信息在色彩信息上存在不同程度的失真現(xiàn)象。因?yàn)橥ㄟ^(guò)分析人臉色彩紋理信息，可以較容易地區(qū)分真實(shí)人臉和偽人臉。因此，利用HSV 或YCbCr 色彩模式，分離人臉圖像亮度和色彩信息，提取相應(yīng)的LBP 紋理特征，再融合兩者信息，用于人臉活體檢測(cè)。因圖像存在多種色彩模式，所以我們需要進(jìn)一步考慮何種色彩模式更適用于色彩紋理特征的提取。

1.1 色彩模式

首先，常用的用于顯示圖像的色彩模式包含RGB、HSV、YCbCr。然而，由于R、G、B 通道間存在高度相關(guān)性，其在圖像分析中的應(yīng)用非常有限，三種顏色成分（紅色、綠色和藍(lán)色）之間以及亮度和色度信息的不完全分離。不同的顏色通道對(duì)于檢測(cè)偽人臉圖像可更具辨別力[4-5]。在本文中，主要采用HSV 和YCbCr 色彩模式。這兩種色彩模式特點(diǎn)是，基于圖片分離的亮度和色彩信息。在HSV 色彩模式中，H 表示圖像的色調(diào)，S表示顏色的飽和度，V 表示圖像的亮度；在YCbCr 色彩模式中，Cb 表示圖像的藍(lán)色飽和度，Cr 表示圖像的紅色飽和度，Y 表示圖像的亮度。HSV 和YCbCr 這兩者色彩模式與RGB 色彩模式相比較，可將亮度信息和色彩信息分離表達(dá)，這一特性可以為人臉活體檢測(cè)提供重要的理論依據(jù)。本研究分別提取HSV 和YCbCr 這兩個(gè)色彩模式下的亮度通道和色彩通道的信息，所用到的特征提取算法包括LBP、Co-occurrence of Adjacent Local Binary Patterns 和局部相位量化LPQ。

在RGB、灰度圖、HSV、YCbCr 色彩模式下，真實(shí)人臉、視頻錄制形式以及照片形式人臉，對(duì)比如圖1所示。

1.2 局部二值模型（LBP）

局部二值模型，又稱(chēng)LBP（Local Binary Pattern）算子，是用于提取圖像局部紋理特征，LBP 算子具有如旋轉(zhuǎn)不變性和灰度不變性等的顯著特點(diǎn)。它是首先由T. Ojala、M.Pietikainen 和D. Harwood 在1994 年提出，用于紋理特征提取。而且，提取的特征是圖像的局部的紋理特征。

LBP 算子原始定義，是指在3×3 的方形鄰域內(nèi)，以鄰域中心位置灰度值作為閾值，將鄰域內(nèi)的邊緣位置灰度值與中心位置灰度值比較，如果鄰域邊緣位置灰度值大于鄰域中心位置灰度值，則標(biāo)記此像素點(diǎn)位置值為1，否則標(biāo)記此像素點(diǎn)位置值為0。因此，在3×3鄰域內(nèi)可生成8 位二進(jìn)制數(shù)（轉(zhuǎn)換為十進(jìn)制數(shù)后，即LBP 代碼，總共256 個(gè)），即獲得鄰域中心像素的LBP值，并且該值可用于反映相應(yīng)區(qū)域的紋理信息。如圖2所示。

圖1 三種人臉圖片在RGB、灰度、HSV、YCbCr下的對(duì)比

圖2 LBP算法示意圖

改進(jìn)LBP 算法一——圓形LBP。最初的LBP 算子的缺點(diǎn)之一在于只考慮了與局部中心位置相鄰的點(diǎn)，對(duì)于采樣范圍和采樣頻率有所限制。為了解決采樣尺度和頻率多樣化的問(wèn)題，并且保存旋轉(zhuǎn)不變性和灰度不變性，Ojala 等改進(jìn)了LBP 算子。擴(kuò)大鄰域的采樣半徑以及在半徑上采樣點(diǎn)的數(shù)量，以此來(lái)增加采樣的范圍和采樣頻率。改進(jìn)之后，LBP 算子即為在半徑R 上的圓形鄰域內(nèi)，取任意多個(gè)像素點(diǎn)P 的圓形LBP算子。

改進(jìn)的LBP 算法二——旋轉(zhuǎn)不變模式LBP。根據(jù)最初LBP 算子的定義可知，LBP 算子雖然具有灰度不變性。但是當(dāng)圖片旋轉(zhuǎn)時(shí)，如果LBP 算子不隨著圖片旋轉(zhuǎn)，則得出的LBP 值是不一樣的。為了改進(jìn)LBP 算子的旋轉(zhuǎn)不變性，Maenpaa 等人擴(kuò)展了LBP 算子——即為擁有旋轉(zhuǎn)不變性的LBP 算子。將LBP 算子不斷旋轉(zhuǎn)得到8 種不同的LBP 值，取其中最小的值作為該像素點(diǎn)的LBP 值。

圖3 LBP改進(jìn)算法示意圖

1.3 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)方法不同，不需要通過(guò)手工設(shè)計(jì)特征，可以自動(dòng)提取特征，但是網(wǎng)絡(luò)的參數(shù)需要經(jīng)過(guò)訓(xùn)練得到。

如圖4 所示為AlexNet 網(wǎng)絡(luò)的結(jié)構(gòu)示意圖，AlexNet 是在2012 年ImageNet 競(jìng)賽中獲得圖像分類(lèi)冠軍的網(wǎng)絡(luò)模型，結(jié)構(gòu)較簡(jiǎn)單，訓(xùn)練比較容易，共分8 層：前5 層為卷積層包括卷積和池化以及ReLU 激活操作，用于提取特征；后3 層為全連接層包括全連接和dropout 以及Softmax 操作用于圖像分類(lèi)。AlexNet 在最后輸出層為1000 個(gè)類(lèi)別的概率。

圖4 AlexNet結(jié)構(gòu)示意圖

表1 AlexNet 相關(guān)參數(shù)

1.4 基于色彩LBP的卷積神經(jīng)網(wǎng)絡(luò)方法

本文所采用的方法結(jié)合了LBP 特征和卷積神經(jīng)網(wǎng)絡(luò)。人臉活體檢測(cè)流程主要步驟如下：

（1）在進(jìn)行網(wǎng)絡(luò)分類(lèi)之前，通過(guò)LBP 算子，設(shè)定P=8，R=1，得到圖像的H、S、V（或Y、Cb、Cr）通道的LBP特征圖，并進(jìn)行融合。

（2）將人臉圖像尺寸裁剪為221×221 的大小。

（3）之后用卷積神經(jīng)網(wǎng)絡(luò)對(duì)LBP 特征圖提取特征，而不是手工設(shè)計(jì)的直方圖特征。

（4）將AlexNet 的分類(lèi)輸出更改為2 類(lèi)（活體、非活體），對(duì)圖像進(jìn)行分類(lèi)。

在進(jìn)行網(wǎng)絡(luò)訓(xùn)練時(shí)，采用的訓(xùn)練策略如下：

（1）采用SGD 優(yōu)化方法，初始學(xué)習(xí)率設(shè)置為0.01，權(quán)重衰減系數(shù)為0.001，動(dòng)量系數(shù)為0.5，dropout 系數(shù)為0.7。

（2）在開(kāi)始訓(xùn)練前，使用xavier 方法初始化網(wǎng)絡(luò)參數(shù)，每次提取32 張圖像，共迭代50 次。

（3）在迭代10 次后，調(diào)整學(xué)習(xí)率為0.001。

（4）在迭代20 次后，調(diào)整學(xué)習(xí)率為0.0001。

圖5 人臉活體檢測(cè)流程示意圖

2 數(shù)據(jù)集

在這一節(jié)中，我們介紹CASIA Face Dataset 和Replay-Attack 這兩個(gè)數(shù)據(jù)集。

CASIA Face Dataset 數(shù)據(jù)集包含兩類(lèi)視頻信息：真實(shí)人臉和偽人臉。通過(guò)采集50 人的真實(shí)人臉數(shù)據(jù)，并以真實(shí)人臉數(shù)據(jù)為基礎(chǔ)制作高分辨率的偽人臉數(shù)據(jù)，構(gòu)成此數(shù)據(jù)集。偽人臉通過(guò)以下三種方式制成：彎曲照片、照片裁剪、視頻錄制。

視頻數(shù)據(jù)是應(yīng)用三種不同分辨率（低分辨率、常用分辨率、高分辨率）的攝像設(shè)備進(jìn)行采集的。視頻采集共50 人的人臉數(shù)據(jù)，將其中20 人的人臉數(shù)據(jù)歸為訓(xùn)練集，其余30 人的人臉數(shù)據(jù)歸為測(cè)試集。該數(shù)據(jù)集基準(zhǔn)測(cè)試中建議的實(shí)驗(yàn)場(chǎng)景包含7 種：低分辨率圖像、正常分辨率圖像、高分辨率圖像、彎曲照片、裁剪照片、視頻攻擊，以上場(chǎng)景綜合實(shí)驗(yàn)。前三種場(chǎng)景研究圖像分辨率對(duì)實(shí)驗(yàn)的影響，后三種場(chǎng)景研究圖像介質(zhì)對(duì)實(shí)驗(yàn)的影響，最后評(píng)價(jià)方法在綜合場(chǎng)景中的性能。

Replay-Attack 數(shù)據(jù)集收集了50 人的視頻記錄：真實(shí)人臉及對(duì)應(yīng)的偽人臉。為便于實(shí)驗(yàn)對(duì)比分析，在光照充足和光照不足的條件下，以及在相同光照不同分辨率條件下，分別采集真實(shí)人臉和偽人臉的視頻信息。在此數(shù)據(jù)集中，設(shè)計(jì)了三種形式的人臉欺詐方式：打印照片欺詐、移動(dòng)設(shè)備欺詐、高分辨率照片欺詐。根據(jù)在攝像頭前展現(xiàn)偽人臉時(shí)支撐方式分類(lèi)，可分為固定支撐點(diǎn)欺詐和手持支撐點(diǎn)欺詐。并將整個(gè)數(shù)據(jù)集拆分為三個(gè)訓(xùn)練集，驗(yàn)證集和測(cè)試集。

為了驗(yàn)證本研究的有效性，首先對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行了處理，對(duì)每個(gè)視頻每三幀提取一張圖片。訓(xùn)練數(shù)據(jù)集共23523 張人臉圖片，其中活體人臉9881 張，非活體人臉13642 張。

測(cè)試數(shù)據(jù)集包括公開(kāi)人臉數(shù)據(jù)集、人臉活體檢測(cè)設(shè)備采集真實(shí)數(shù)據(jù)和照片攻擊、視頻攻擊數(shù)以及訓(xùn)練數(shù)據(jù)集部分?jǐn)?shù)據(jù)。

3 實(shí)驗(yàn)結(jié)果

訓(xùn)練結(jié)果如表2 和表3 所示。表2 和表3 分別為模型在REPLAY-ATTACK Dataset 和CASIA Face Dataset 數(shù)據(jù)集上測(cè)試的結(jié)果。表中展示了圖像在灰度，RGB、HSV 和YCbCr 色彩模式下，提取的LBP 特征的測(cè)試結(jié)果。從表中可以清楚地看到，與灰度圖提取的紋理所得到的結(jié)果相比，其他幾種顏色紋理信息能明顯提高識(shí)別的準(zhǔn)確性，當(dāng)對(duì)幾種不同的顏色空間所提取的紋理訓(xùn)練結(jié)果作比較時(shí)，HSV 和YCbCr 所得到的效果好于RGB 所得到的效果，從測(cè)試結(jié)果可以看出，YCbCr 色彩模式下提取的紋理信息得到了最好的效果，HSV 的部分測(cè)試結(jié)果好于YCbCr，因此，進(jìn)一步研究了在H SV 和YCbCr 色彩模式下，提取人臉圖像的LBP 特征，通過(guò)特征融合將兩種顏色紋理組合起來(lái)所表現(xiàn)出的效果。

表2 模型在REPLAY-ATTACK Dataset 數(shù)據(jù)集上的測(cè)試結(jié)果

表3 模型在CASIA Face Dataset 數(shù)據(jù)集上的測(cè)試結(jié)果

4 結(jié)語(yǔ)

在本項(xiàng)研究中發(fā)現(xiàn)，通過(guò)LBP 提取HSV 和YCbCr融合的紋理特征，結(jié)合卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行分類(lèi)，在人臉活體檢測(cè)方面表現(xiàn)出了較好的結(jié)果。