基于人臉融合的欺騙檢測(cè)方法研究

摘要：在生物識(shí)別技術(shù)不斷發(fā)展的今天，人們面臨越來(lái)越多的惡意欺詐行為。因此，如何正確識(shí)別人臉圖像和視頻的真實(shí)性和完整性成為一個(gè)迫切需要解決的問(wèn)題。文章介紹了相機(jī)捕捉到自然真實(shí)的人臉圖像與計(jì)算機(jī)生成的人臉融合圖像，通過(guò)相機(jī)傳感器噪聲模型得到SPN的不同，即這兩種圖像的SPN具有各自的唯一特性，以實(shí)現(xiàn)對(duì)人臉融合欺騙的檢測(cè)。

關(guān)鍵詞：生物識(shí)別技術(shù);人臉識(shí)別;人臉融合欺騙;相機(jī)傳感器噪聲模型SPN;盲檢測(cè)

中圖法分類號(hào)：TP391文獻(xiàn)標(biāo)識(shí)碼：A

Research on deception detection method based on face fusion

SUN Hailiang

（National Internet Emergency Center TianJin，TianJin 300000，China）

Abstract：With the continuous development of biometric technology， people are facing more and more malicious fraudulent means. Therefore， how to correctly recognize the authenticity and completeness of face images and videos has become an urgent problem to be solved. This paper introduces a detection method based on face fusion deception. Real face images are captured by cameras.Fused face images can be treated as computer generated images. Detection of face fusion deception can be converted into source identification of face images， that is， natural images and computer generated images. Facial fusion deception is detected by using camera sensor noise model （SPN） to identify whether it is a natural image. The method achieves good detection results.

Key words： biometric technology， face recognition， face fusion deception， camera sensor noise model SPN，blind detection

1引言

隨著生物識(shí)別技術(shù)的不斷發(fā)展，利用生物信息進(jìn)行身份驗(yàn)證已是大勢(shì)所趨。人臉識(shí)別因其自然、直觀、易獲取等特點(diǎn)而受到人們的重視。近年來(lái)，國(guó)內(nèi)外因人臉欺詐引起的糾紛不斷發(fā)生。通過(guò)使用合法用戶的照片、視頻或合成的人臉，可以很容易地對(duì)用戶進(jìn)行身份認(rèn)證，從而對(duì)合法用戶的利益造成嚴(yán)重?fù)p害。由于人臉識(shí)別系統(tǒng)中存在大量的惡意欺詐行為，因此如何正確識(shí)別人臉圖像、視頻的完整性和真實(shí)性，成為保障人臉識(shí)別系統(tǒng)安全、維護(hù)社會(huì)穩(wěn)定的關(guān)鍵[1]。面對(duì)人臉識(shí)別系統(tǒng)的欺詐方式不斷更新，如何正確識(shí)別人臉圖像和視頻的真實(shí)性和完整性成為一個(gè)迫切需要解決的問(wèn)題，對(duì)提升人臉識(shí)別系統(tǒng)的安全性、維護(hù)社會(huì)穩(wěn)定具有重要意義。

本文介紹了相機(jī)捕捉到自然真實(shí)的人臉圖像與計(jì)算機(jī)生成的人臉融合圖像，通過(guò)相機(jī)傳感器噪聲模型得到 SPN 的不同，即這兩種圖像的 SPN 具有各自的唯一特性，以實(shí)現(xiàn)對(duì)人臉融合欺騙檢測(cè)。

2人臉識(shí)別的欺騙方式

人臉識(shí)別技術(shù)是一種通過(guò)人體面部從數(shù)字圖像（或影像來(lái)源）中提取信息的一種生物識(shí)別技術(shù)。針對(duì)人臉識(shí)別的惡意攻擊，按照類型可分為入侵式和非入侵式[2]。

入侵式一般是指在模板數(shù)據(jù)庫(kù)以及傳輸信道等介質(zhì)上對(duì)人臉識(shí)別進(jìn)行惡意攻擊，攻擊者需要進(jìn)入人臉識(shí)別系統(tǒng)內(nèi)部，攻擊方式為：（1）竊取用戶儲(chǔ)存于模板數(shù)據(jù)庫(kù)中的人臉圖像信息;（2）通過(guò)后門（backdoor）對(duì)訓(xùn)練后的特征提取器進(jìn)行攻擊;（3）對(duì)獲取到的人體生物學(xué)特征進(jìn)行篡改;（4）對(duì)人臉圖像特征進(jìn)行比照、偽造和修改，以入侵人臉圖片的模板數(shù)據(jù)庫(kù);（5）對(duì)人臉圖片的模板數(shù)據(jù)庫(kù)和比照信道傳輸?shù)臄?shù)據(jù)進(jìn)行篡改，以修改人臉比照的結(jié)果。

非入侵式是指攻擊者對(duì)使用合法登記的用戶臉部圖片進(jìn)行攻擊，即人臉欺騙（人臉呈現(xiàn)攻擊[3]）。利用臉部欺詐技術(shù)，攻擊者可以避開(kāi)驗(yàn)證，從而獲得真正合法的個(gè)人信息，或者利用偽裝讓自己被系統(tǒng)認(rèn)定為一個(gè)正當(dāng)?shù)挠脩羯矸?。這些攻擊者可以輕易地獲取各種社會(huì)媒介中的合法用戶的影像和圖片。人臉融合的欺騙過(guò)程就是通過(guò)兩張或兩張以上真實(shí)人臉圖像，生成一張與合法用戶外觀相似的人臉合成圖片，在身份認(rèn)證系統(tǒng)或人臉識(shí)別系統(tǒng)中，通過(guò)生成后的與合法用戶高度相似的合成人臉圖像進(jìn)行匹配，并通過(guò)人臉識(shí)別系統(tǒng)的驗(yàn)證。攻擊者正是通過(guò)將合法用戶的照片和自己的照片合成出一張人臉融合的照片圖像，采用人臉融合的欺詐方法，將合成的人臉圖像作為合法身份信息來(lái)通過(guò)護(hù)照或eMRTD的注冊(cè)申請(qǐng)，嚴(yán)重威脅社會(huì)穩(wěn)定和公共安全。本文研究了人臉融合欺騙的方式和產(chǎn)生過(guò)程，并介紹了一種基于人臉融合欺騙的檢測(cè)方法。

3人臉融合欺騙的產(chǎn)生過(guò)程

人臉融合欺騙是一種由兩張或兩張以上的真實(shí)人臉圖像合成的人臉圖像，類似于形成一張新的、和真實(shí)身份外觀融合度較高的人臉圖像，在身份認(rèn)證系統(tǒng)或人臉識(shí)別系統(tǒng)中，通過(guò)生成后的與合法用戶融合高度相似的合成人臉圖像進(jìn)行匹配，并通過(guò)人臉識(shí)別系統(tǒng)的驗(yàn)證。當(dāng)攻擊人臉識(shí)別系統(tǒng)時(shí)，攻擊者就會(huì)被人臉識(shí)別系統(tǒng)識(shí)別成合法用戶身份。目前，人臉融合的產(chǎn)生方式通常是按照融合人臉框架[4]自動(dòng)生成的，如圖1所示，它分為3個(gè)步驟。

3.1待生成融合人臉圖像關(guān)鍵點(diǎn)的定位

假設(shè)給定兩幅人臉圖像 I1和 I2，K1和 K2是對(duì)應(yīng)人臉圖像的關(guān)鍵點(diǎn)。融合人臉圖像關(guān)鍵點(diǎn)的位置 KM 的計(jì)算如下：

按照dlib庫(kù)給出的68個(gè)特征點(diǎn)位對(duì)人臉圖像進(jìn)行標(biāo)注，以得到人臉圖像的關(guān)鍵點(diǎn)。β為點(diǎn)位融合參數(shù)。

3.2幾何形變

根據(jù)公式（1）可以計(jì)算出將要以人臉融合圖像的形式生成的關(guān)鍵點(diǎn)，相應(yīng)的三角網(wǎng)格圖 TM 可以通過(guò) Delaunay 三角剖分來(lái)獲得。同樣的，對(duì)于兩幅真實(shí)人臉圖像，也可由 K1和 K2將其劃分為兩個(gè)三角形網(wǎng)格 T1和 T2。通過(guò)仿射變換將 T1中的每個(gè)三角形片元內(nèi)的像素轉(zhuǎn)換到 TM 中與之相對(duì)應(yīng)的三角形片元中，即可得到由 I1形變后的圖像 I′1。類似的，由 I2得到其對(duì)應(yīng)的形變圖像 I′2。

3.3像素融合

將兩幅真實(shí)人臉變形后的圖像 I′1和 I′2按下述公式即可得到融合人臉圖像 IM：

其中，α為像素融合的透明度參數(shù)。

我們把這種融合操作叫作整體融合，通過(guò)以上操作，可以很容易得到多張與真實(shí)人臉圖像融合度匹配度高的人臉融合圖像。但在圖像編輯、剪切和融合的過(guò)程中，可能會(huì)出現(xiàn)人臉圖像明顯的區(qū)域色彩和明暗差異，而人眼很容易分辨出這種偏差，這就需要對(duì)全部圖像進(jìn)行剪切和融合。為了解決這些問(wèn)題，可以通過(guò)人工處理相關(guān)圖像，但會(huì)花費(fèi)大量的時(shí)間。因此，有時(shí)人臉融合操作只在人臉圖像的臉部范圍進(jìn)行，然后將真實(shí)人臉圖像與操作處理的人臉圖像進(jìn)行拼接修改，這種人臉融合操作過(guò)程也被稱為拼接融合過(guò)程。

4人臉融合欺騙的檢測(cè)方法

4.1人臉融合欺騙檢測(cè)原理

通過(guò)人臉融合的操作過(guò)程，可以得出以下結(jié)論。

（1）在人臉融合的操作過(guò)程中，由于人臉識(shí)別主要集中在人臉圖像的眼睛、鼻子和嘴巴等關(guān)鍵區(qū)域，人臉圖像融合后生成的人臉圖像質(zhì)量會(huì)受到影響。因此，通過(guò)對(duì)人臉關(guān)鍵區(qū)域圖像質(zhì)量的變化進(jìn)行分析和研究，可以達(dá)到檢測(cè)出人臉融合欺騙的目的。

（2）人臉圖像通常是由相機(jī)設(shè)備直接拍攝得到的自然圖像，但人臉融合圖像的形成過(guò)程就有所不同。人臉融合圖像一般是通過(guò)計(jì)算機(jī)合成得出的圖像，這兩種圖像的產(chǎn)生方式不同，這代表可以通過(guò)對(duì)計(jì)算機(jī)合成的圖像和相機(jī)自然拍攝得到的圖像的來(lái)源進(jìn)行鑒別，達(dá)到人臉融合欺騙的檢測(cè)目的。比如，通過(guò)相機(jī)的傳感器噪聲模型（ SPN）來(lái)鑒別是自然圖像還是合成圖像。

4.2人臉融合欺騙檢測(cè)流程

從圖像來(lái)源取證的角度，以基于相機(jī)傳感器噪聲模型的人臉融合欺騙檢測(cè)算法為例，介紹融合人臉欺騙檢測(cè)的基本流程。

目前，數(shù)字圖像來(lái)源識(shí)別的關(guān)鍵方法是研究相機(jī)設(shè)備在拍照過(guò)程中產(chǎn)生的噪聲模型，該模型被廣泛應(yīng)用于獲取圖像來(lái)源、圖像內(nèi)容改動(dòng)的取證信息[5]。像素響應(yīng)不均勻性（PRNU）對(duì)光線的敏感度不是完全一樣的，固定的模式噪聲（ FPN）是由傳感器的差異產(chǎn)生，PRNU 和 FPN 就是相機(jī)產(chǎn)生傳感器噪聲模型（SPN）的兩種方式。由于在制造相機(jī)設(shè)備 CCD/ COMS 傳感器的過(guò)程中，晶圓片硅不均勻?qū)е庐a(chǎn)生硬件缺陷和差異，在圖像形成的過(guò)程中，每臺(tái)相機(jī)設(shè)備都會(huì)產(chǎn)生不同的 PRNU ，它不受濕度和溫度的影響，具有唯一特性。因此，SPN 被認(rèn)為是每臺(tái)相機(jī)設(shè)備在拍照成像過(guò)程中留下的一種專屬、獨(dú)特、穩(wěn)定的印跡，非常適合從自然圖像來(lái)源中獲取證據(jù)信息。

當(dāng)前，通過(guò)使用 SPN 收集自然圖像來(lái)源證據(jù)信息的總體步驟如下：第一步是構(gòu)建相機(jī)設(shè)備的 SPN ，第二步是提取需要檢測(cè)的圖像的 SPN ，第三步通過(guò)對(duì)兩張圖像的 SPN 進(jìn)行比較，以判斷這些圖像是否是相機(jī)設(shè)備拍攝的真實(shí)自然圖像。這個(gè)過(guò)程主要由對(duì)人臉圖像的預(yù)處理、圖像 SPN 的提取、量化統(tǒng)計(jì)特征的提取和分類等組成，具體如下。

（1）人臉圖像預(yù)處理

人臉融合欺騙主要針對(duì)人臉區(qū)域的操作，而人臉區(qū)域通常位于圖像中心部分。要從圖像中精準(zhǔn)地提取到 SPN ，就要在圖像中心的最大區(qū)域進(jìn)行選取。例如，人臉區(qū)域圖像的尺寸為900×1200，則圖像中心區(qū)域的尺寸要選取900×900的范圍。

（2）提取 SPN

利用公式（1）和公式（2）進(jìn)行 SPN 算法提取。

（3）提取 SPN 的量化統(tǒng)計(jì)特征

在向量空間中通過(guò)仿射變換，即經(jīng)過(guò)線性變化后進(jìn)行旋轉(zhuǎn)、縮放、平移與錯(cuò)切操作，以獲取 SPN 的量化統(tǒng)計(jì)特征，仿射變換能夠保持圖像的平移性，也能很好地對(duì)人臉融合圖像與真實(shí)人臉圖像的 SPN 進(jìn)行研究和分析。

（4）分類

支持向量機(jī) SVM 具有良好訓(xùn)練學(xué)習(xí)能力的優(yōu)點(diǎn)，是目前較好的對(duì)融合圖像和真實(shí)人臉圖像進(jìn)行分類的分類器，可以利用支持向量機(jī) SVM 對(duì) SPN 量化統(tǒng)計(jì)特征進(jìn)行分類，且錯(cuò)誤率較低。支持向量機(jī) SVM 分類學(xué)習(xí)過(guò)程通常分為訓(xùn)練、驗(yàn)證和測(cè)試。訓(xùn)練，即通過(guò)設(shè)置分類器的參數(shù)來(lái)訓(xùn)練分類模型：驗(yàn)證，即對(duì)驗(yàn)證數(shù)據(jù)進(jìn)行預(yù)測(cè)，調(diào)整分類器參數(shù)，得到最佳的分類模型：測(cè)試，即評(píng)估訓(xùn)練后分類器的分類識(shí)別能力。

5結(jié)論

人臉識(shí)別系統(tǒng)的欺詐攻擊手段主要是針對(duì)人臉圖像的欺詐攻擊，而盲檢測(cè)法和非盲檢測(cè)法是人臉融合欺騙中常用的檢測(cè)方法，它們的主要區(qū)別在于是否借助了額外輔助的圖像。受到人臉圖像質(zhì)量變化的啟發(fā)，本文介紹了一種能夠檢測(cè)出人臉融合圖像與真實(shí)人臉圖像的差異以及識(shí)別與人臉融合相關(guān)的注冊(cè)欺騙行為的欺騙檢測(cè)方法，其通過(guò)相機(jī)捕捉到自然真實(shí)的人臉圖像與計(jì)算機(jī)生成的人臉融合圖像，利用相機(jī)傳感器噪聲模型得到 SPN 的不同，即這兩種圖像的 SPN 具有各自的唯一特性，以實(shí)現(xiàn)對(duì)人臉融合的欺騙檢測(cè)。該方法融合了人臉圖像區(qū)域處理、SPN 算法、 SPN 量化統(tǒng)計(jì)特征等手段，采用支持向量機(jī) SVM 分類器來(lái)判斷人臉融合圖像是否為真實(shí)人臉圖像，對(duì)分類模型數(shù)據(jù)庫(kù)的簡(jiǎn)化設(shè)計(jì)降低了算法的復(fù)雜度，該方法取得了良好的檢測(cè)效果。

參考文獻(xiàn)：

[1]鄢慧晗.人證識(shí)別技術(shù)在安防領(lǐng)域中的運(yùn)用分析[J].中國(guó)公共安全，2018（8）：106?108.

[2] ISO/IEC JTC 1/SC 37 Biometrics.Information technology ?Biometric? presentationattackdetection?Part 1[ S ].Frame? work ，ISO/IEC JTC 1/SC 37 Biometrics ，2016.

[3] Gomez?Barrero M ，Rathgeb C ，Scherhag U ，et al.Is yourbiometric? system? robust? to? morphing? attacks？[ C ]∥International? Workshop? on? Biometrics & Forensics.IEEE2017：1?6.

[4] Bay? H ，Tuytelaars? T ，Gool? L.SURF： speeded? up? robust features[ C ]∥ Proc? of European? Comference? on? Computer Vision.2006：404?417.

[5] Rublee E ，Rabaud V ，Konolige K，et al.ORB：An efficientalternative? to? SIFT? or? SURF [ C ]∥ IEEE? InternationalConference on Computer Vision.IEEE 2011：2564?2571.

作者簡(jiǎn)介：

孫海亮（1985—），本科，中級(jí)工程師，研究方向：人工智能、5G。