針對眼部掩模的人臉識別對抗貼片研究

崔廷玉,張 武,賀正蕓,2,周星宇,張 瑤,胡谷雨,潘志松

(1.陸軍工程大學 指揮控制工程學院,江蘇 南京 210007;2.湖南工業大學 軌道交通學院,湖南 株洲 412008;3.陸軍工程大學 通信工程學院,江蘇 南京 210007)

0 引 言

近年來,隨著深度學習技術的快速發展,人臉識別被廣泛應用于現實世界的工作與生活中,其中包括門禁系統、監管系統等。然而,深度神經網絡在對抗樣本面前會表現出極大的脆弱性。Szegedy等人[1]發現,通過在圖像上添加微小擾動可以使得深度神經網絡模型錯誤分類。Moosavi-Dezfooli等人[2]證明了“擾動普遍存在”。隨后,GoodFellow等人[3]提出了對抗樣本的概念。

現有的人臉識別方法大多基于深度神經網絡,因此,通過對人臉圖像添加攻擊性擾動同樣會對人臉識別模型造成影響。例如,Song等人[4]提出一種注意力機制的對抗攻擊生成網絡生成對抗樣本。Dong等人[5]提出一種基于決策的演化攻擊算法。Deb等人[6]通過生成對抗網絡自動生成對抗性人臉。Zhu等人[7]通過修改語義信息生成對抗樣本。Sharif等人[8]通過一種通用的方法訓練生成神經網絡以生成對抗樣本。Zhong等人[9]提出了一種基于dropout技術的DFANet攻擊算法。

以往的攻擊方法大多在數字場景下對圖像全局添加擾動,往往在現實世界中難以實現。為驗證對抗攻擊在現實場景中的實用性,Kurakin等人[10]用手機拍攝打印出來的對抗樣本欺騙分類網絡。Shen等人[11]利用投影設備將對抗擾動投影到臉部實現對人臉識別模型的對抗攻擊。

為提高對抗樣本在物理世界中的實用性,基于對抗貼片的攻擊方法被提出。Brown等人[12]提出了局部可視化擾動方法,將對抗貼片通過打印實現物理場景的對抗攻擊。構造現實世界對抗樣本最成功的范例是期望轉換(Expectation Over Transformation,EOT)算法[13],通過對圖像進行一系列轉換增強對抗樣本的魯棒性。而后,Sharif等人[14]提出一種使用基于優化的方法生成針對眼鏡區域的對抗貼片。Komkov和Petiushko等人[15]在帽子區域添加擾動以生成對抗貼片(AdvHat)。

AdvHat方法雖然具有良好的白盒攻擊性能,但是其黑盒場景下的可遷移性較差,無法在現實世界實現對抗攻擊。Feng等人[16]研究表明,眼部區域包含了較多的特征信息,因而在AdvHat方法的基礎上,該文提出一種新的針對類似于人眼面具的眼部掩模的對抗貼片生成方法(AdvEyeMask)。該方法引入了動量的思想,并對輸入圖像應用了添加隨機噪聲、亮度調整以及隨機放縮等多樣性變換,并根據圖像的平移不變特性對梯度矩陣進行高斯核卷積處理。該文分別在單模型、集成模型場景下對AdvEyeMask方法進行了實驗與分析,并在物理場景下進行了攻擊某商用人臉識別設備的實驗,并取得了成功。

總體而言,主要貢獻如下：

(1)提出一種新的針對眼部掩模的對抗貼片生成方法(Adversarial Eye Mask,AdvEyeMask),具有較高的白盒攻擊性能,并利用商業人臉比對API成功實現黑盒攻擊。隨后進行了溯源實驗并證明佩戴對抗貼片的攻擊者可以避免身份的暴露。

(2)將AdvEyeMask方法與現有的AdvHat方法進行攻擊性能對比實驗,驗證AdvEyeMask方法的有效性。

(3)為證明AdvEyeMask方法生成對抗貼片在現實世界中的魯棒性,在物理場景下進行了攻擊某商用人臉識別設備的實驗,并實現成功攻擊。

1 相關研究現狀概述

1.1 對抗樣本描述

對于原始數據x,其真實標簽為ytrue,預訓練得到的模型分類器為f(·),則對于模型分類器,可以對原始數據進行正確分類,即f(x)=ytrue。當攻擊者向原始數據添加擾動產生新的數據,即xadv=x+δ,使得分類器對xadv的分類產生新的結果,即f(xadv)=ytarget,其中ytarget≠ytrue,則稱通過對原始數據添加擾動產生的新的數據xadv為對抗樣本。其中,若ytarget為指定目標,則稱xadv為有目標對抗樣本,否則稱為無目標對抗樣本。該文是針對指定的目標人物進行攻擊,故屬于有目標對抗。

1.2 基于梯度的攻擊方法

基于梯度的對抗攻擊方法是一種常見的白盒攻擊方法,Goodfellow等人最早提出了FGSM方法,該方法計算輸入的損失函數的梯度,并通過選定的常數與梯度符號向量相乘來產生小的擾動。而后,Kurakin等人[17]對FGSM方法引入迭代的思想提出了BIM方法,以迭代的方式沿著梯度增加的方向進行多步小的擾動。相比FGSM方法而言,BIM方法獲取的擾動更加準確。Dong等人[18]提出一種基于動量迭代的FGSM(Momentum Iterative FGSM,MI-FGSM)方法。該方法將動量項整合到攻擊過程中,有助于逃離局部極大值,提高對抗樣本的可遷移性。針對圖像在現實場景中的變換以及圖像平移不變性,分別提出了DIM方法[19]與TIM方法。這兩種方法緩解了過擬合現象,在黑盒場景設置下實現較好的攻擊效果。

2 針對眼部掩模的人臉識別對抗貼片生成算法

該文提出一種新的基于眼部掩模的對抗貼片的生成方法(Adversarial Eye Mask,AdvEyeMask)。基于動量的貼片更新方法如圖1所示。算法主要包含聯合多樣性處理、高精度人臉特征提取特征網絡以及混合余弦損失函數三部分。首先,該方法對攻擊者圖像添加隨機噪聲、亮度調整以及隨機放縮填充等多樣性變換,增強對抗貼片的環境適應性。將眼部掩模與攻擊者人臉圖像相結合,對所得人臉圖像進行大小轉換處理并輸入到人臉識別網絡模型中,利用多個現有的人臉識別模型分別對輸入人臉圖像進行特征提取,并對各模型獲得的特征進行結合,以獲得輸入人臉的特征,將面具人臉與目標人臉的余弦相似度損失與平滑度損失相結合構成混合余弦損失函數,最后對目標損失函數反向求導并更新對抗貼片。

圖1 算法流程

2.1 基于動量的貼片更新方法

該文提出一種新的針對眼部掩模的對抗樣本生成方法,該方法采用基于梯度的攻擊方法,對目標損失函數進行反向求導以獲得輸入圖像的梯度信息,進而對迭代過程中的對抗貼片進行更新。在計算圖像梯度信息的過程中,引入了多樣性攻擊方法DIM,對輸入圖像進行多樣性變換,來緩解迭代過程中的過擬合現象。此外,還引入了動量的思想,通過MI-FGSM方法避免陷入局部極大值,穩定更新方向。并且針對圖像的平移不變特性,引入了TIM方法[20],利用預定義的高斯核對圖像的梯度矩陣進行卷積操作,從而降低生成的對抗貼片對白盒模型的敏感程度。對抗貼片更新過程表示如下：

xdiv=D(B(x+noise))

(1)

(2)

gt+1=μ·gt+(1-μ)·{W*

(3)

Pt+1=Clip[0,1]{Pt-α·sign(gt+1)}

(4)

此外,實驗中借鑒了Komkov等人提出的兩階段梯度更新方式,分別在第一階段和第二階段進行梯度更新時設置了不同的步長和動量平衡因子。在第一階段快速得到眼部區域對抗貼片的同時,通過第二階段進一步對貼片進行優化。每階段中,根據最近100次相似度值形成的線性回歸模型系數是否大于等于0,以此作為該階段結束的條件。

2.2 聯合多樣性處理與高斯核卷積處理

為提高生成的對抗樣本在黑盒場景下的攻擊性能,該文在訓練過程中對輸入圖像進行聯合多樣性處理,并針對圖像平移不變特性,對目標損失進行高斯核卷積處理,提高了對抗樣本的黑盒攻擊性能。

2.2.1 聯合多樣性處理

為了提高對抗樣本在物理場景下應用的魯棒性,采用聯合多樣性處理的思想,對輸入圖像進行添加隨機噪聲、隨機亮度調整以及縮放填充以實現對現實場景下發生的變化進行模擬。

2.2.2 高斯核卷積處理

針對圖像的平移不變特性,對迭代中目標損失的梯度信息進行高斯核卷積處理。該方法的使用增強了生成的對抗樣本的遷移性,降低了生成的對抗樣本對白盒模型的敏感程度,提高了對抗樣本的黑盒攻擊性能。

(5)

其中,W為預定義的高斯核,模糊矩陣的梯度。

2.3 高精度人臉特征提取神經網絡

該文使用了4個預訓練模型分別對輸入圖像進行特征提取,所選用的人臉識別模型分別為LResNet34E-IR、LResNet50E-IR、LResNet100E-IR以及MobileFaceNet。LResNetE-IR與MobileFaceNet網絡結構可對人臉進行高精度特征提取,高效地實現人臉識別任務。

2.3.1 LResNetE-IR網絡

為得到更適合人臉識別的預訓練模型,對ResNet網絡的設置進行了改動[21]。圖2為LResNetE-IR的網絡結構。首先,對于網絡的輸入,將預訓練模型的第一個大小為7×7,步長為2的卷積層替換為大小為3×3,步長為1的卷積層,因此在訓練過程中保持了高維特征映射的分辨率。原主干網絡ResNet所采用輸入大小也由224×224轉換為112×112。此外,采用BN-Conv-BN-PReLu-Conv-BN結構作為殘差塊,并在殘差塊中將第一個卷積層的步長從2調整到1,激活函數采用PReLu替代了原來的ReLu,使得改善后的網絡結構更適合于人臉識別模型的訓練,而后在最后的卷積層之后添加BN-Dropout-FC-BN模塊。

圖2 LResNetE-IR網絡結構

2.3.2 MobileFaceNets網絡

MobileFaceNets是在MobileNetV2的基礎上所得的卷積網絡。MobileNetV2網絡通過平均池化模塊對人臉特征進行提取。針對平均池化方法識別精度下降的弊端,Chen等人[22]提出以全局加權池化替代平均池化方法,避免了均值化效果以及提高預訓練模型工作性能,進而得到MobileFaceNets網絡。

2.4 混合余弦損失函數

該文將余弦相似度損失與TV損失函數相結合作為目標損失函數,對每次迭代中得到的損失進行反向求導以更新對抗貼片。使用余弦相似度損失函數求解攻擊者與目標人物的相似度損失,以及通過TV損失函數平滑處理對抗貼片,使得生成的對抗貼片更加真實自然。

2.4.1 余弦相似度損失

余弦相似度可以衡量個體之間的差異性。當兩個向量間的夾角趨于0時,余弦值越接近于1,表明兩個向量相似度越高;當兩個向量夾角趨于90度時,余弦值越接近于0,表明兩個向量相似度越低。余弦相似度如公式(6)所示：

(6)

余弦相似度實現方法如公式(7)所示：

Lcosine(xadj,xtar)=-cos(exadj,extar)

(7)

其中,cos()為余弦距離函數,exadj和extar分別表示佩戴面具的人臉與目標人臉的特征向量。余弦相似度損失越小,面具人臉與目標人臉相似度越大。

2.4.2 平滑損失

平滑損失(TV loss)作為一種常用的正則項,通過降低TV loss可以在一定程度上起到減小圖像中相鄰像素差異的作用。該文引入了平滑度損失進行衡量,TV值越小平滑度損失越小,生成對抗貼片更具平滑自然性。平滑損失函數如公式(8)所示：

(8)

其中,Pi,j表示生成的對抗貼片中的像素點坐標(i,j)對應的像素值。

該文將平滑損失與余弦相似度損失相結合構造目標損失函數,并通過所得目標損失迭代更新對抗貼片：

L(xadj,ytar)=Lcosine(xadj,xtar)+ε·Ltv(P)

(9)

該文沿用AdvHat方法中對平滑損失權重的設定,將平滑損失權重ε設置為0.000 1。

以下為對抗貼片生成算法。

對抗貼片生成算法：

輸入：攻擊者人臉圖像x,佩戴對抗貼片的攻擊者人臉圖像xadj,目標者人臉圖像xtar,對抗貼片位置掩膜M,步長α,動量平衡因子μ,平滑損失權重ε,高斯卷積核W;

輸出：對抗貼片P;

初始化參數：初始貼片P0為白色,回歸模型初始系數coef=-1,t=0,stage=1

while stage≤ 2 do

輸入多樣性變換,如公式(1)(2)所示。

目標損失,如公式(9)所示。

目標損失反向求導并利用高斯核對其進行卷積進而求得梯度,如公式(3)所示。

貼片更新,如公式(4)所示。

觀察近100次迭代相似度的值形成的線性回歸模型更新系數coef

end while

輸出對抗貼片：returnP=Pt+1

對當前迭代次數進行判斷：

3 實驗結果與分析

本節分別對單模型以及集成模型的攻擊實驗進行詳細說明,其中包括實驗所需的數據集選取、參數以及模型設置等。此外,進行了消融實驗,增加了實驗可對比性。為體現AdvEyeMask方法的有效性與實用性,還對所得對抗樣本進行了溯源實驗來進行說明。而后,令佩戴對抗貼片的攻擊者攻擊某商用人臉識別設備,驗證其物理場景對抗攻擊性能。

3.1 實驗設置

3.1.1 數據集與參數設置

實驗中選取CASIA-FaceV5亞洲人臉數據庫中的500名人員人臉圖像作為目標對象,構成500張目標人臉數據集,其中男性圖像與女性圖像數量比例接近1∶1。此外,還選取了實驗室中一男一女兩名人員人臉圖像作為攻擊人臉,構成包含兩張人臉圖像攻擊者數據集。

此外,實驗中借鑒了Komkov等人提出的兩階段梯度更新方式,分別在第一階段設置步長為1/51,以及設置動量平衡因子為0.9;在第二階段設置步長為1/255,設置動量平衡因子為0.995。

3.1.2 模型設置

實驗選取了InsightFace Model Zoo中四個經過訓練的人臉識別模型作為攻擊對象,分別為LResNet34E-IR、LResNet50E-IR、LResNet100E-IR以及MobileFaceNet。這四個網絡模型的網絡體系結構有所不同,其中LResNet34E-IR、LResNet50E-IR以及LResNet100E-IR以ResNet網絡作為主體架構,模型MobileFaceNet的主體架構則是MobileNet網絡。實驗表明,模型LResNet34E-IR、LResNet50E -IR、LResNet100E-IR以及MobileFaceNet在LFW數據集上的識別精度分別達到了80.08%、99.80%、99.77%和99.50%。

3.1.3 評價指標

當前,人臉識別系統工作原理大多為：對輸入人臉與數據庫人臉進行特征相似度比對,若特征相似度超過系統設定閾值,則判定為匹配成功。同時,各個人臉識別系統所設置的閾值大小可能會略有不同。該文選取某廠商人臉識別設備的相似度閾值0.70作為識別閾值,即當特征相似度超過0.70時,則判定為攻擊成功,反之,則為攻擊失敗。

3.2 單模型攻擊實驗

本節將介紹利用單模型LResNet- 100E-IR進行攻擊實驗,使每位攻擊者分別針對500張目標人臉圖像進行攻擊,生成相應的對抗貼片,并測試白盒攻擊成功率。實驗結果如表1所示,原始圖像均不能導致LResNet100E-IR產生錯誤分類;而面具人臉分別以99.60%和93.60%的攻擊成功率使得白盒模型產生誤判。此外,表中可以看出在白盒場景下,兩位佩戴對抗貼片的攻擊者與目標人臉分別實現0.81和0.79的平均相似度,AdvEyeMask方法顯著提升了平均相似度,可以在白盒設置下實現良好的攻擊效果。

表1 單模型生成對抗貼片的攻擊成功率與平均相似度

3.3 集成模型攻擊實驗

單模型攻擊所生成的對抗樣本雖有良好的白盒攻擊性能,但現實場景中模型多為黑盒模型,故單模型攻擊不適用于現實場景。如表1所示,佩戴基于單模型LResNet100E-IR生成的對抗貼片的攻擊者person1和person2,攻擊黑盒模型LResNet50E-IR時僅分別達到0.48和0.44的平均相似度,在識別閾值設定為0.70的條件下無法成功實現黑盒攻擊。對此,實驗中將模型LResNet34E-IR、LResNet50E-IR、LResNet100E-IR以及MobileFace- Net進行集成,針對所生成的對抗貼片,利用百度API對佩戴對抗貼片的攻擊者與目標人臉進行比對,求得黑盒場景下的人臉特征相似度。分別對佩戴單模型與集成模型生成對抗貼片攻擊者人臉通過百度API進行相似度比對,如表2所示,兩位佩戴單模型對抗貼片攻擊者對百度API的攻擊成功率分別為33.20%和17.80%,而佩戴集成模型對抗貼片的攻擊成功率達到了69.60%和64.20%。由此可見,集成方法攻擊成功率得到了較大提升。

表2 分別佩戴在單模型與集成模型生成對抗貼片的攻擊者對目標人物的攻擊成功率與平均相似度(百度API)

圖3中為單模型與集成模型方法攻擊性能對比示例,其中在每組攻擊者示例中,左列圖像為單模型方法,右列為集成模型方法,中間為目標人臉。由圖中可以清晰地看出,集成模型方法具有更好的黑盒攻擊性能。

圖3 單模型與集成模型方法生成對抗貼片攻擊效果對比

此外,表中還對佩戴單模型與集成模型方法與目標人臉的平均相似度進行統計。可以看出,通過集成模型方法可以使得攻擊者和目標人物的平均相似度提升超過0.10。因此,可以證明集成模型方法對于攻擊性能提升的有效性。

3.4 消融實驗

本節將AdvEyeMask方法與AdvHat方法的攻擊性能進行了對比。分別在LResNet100E-IR單模型與集成模型的實驗場景下,通過兩種方法生成對抗貼片,并對其特征相似度進行了比較。表3分別為AdvHat方法與AdvEyeMask方法在單模型場景下與目標人物在白盒模型LResNet100E-IR與LResNet50E-IR黑盒模型攻擊場景下的平均相似度,可以看出,相比于AdvHat方法,AdvEyeMask方法可以使得攻擊者與目標人物的平均相似度在白盒場景下實現0.41的提升,并且在黑盒場景下達到0.28的提升。表4展示了Adv-Hat方法與AdvEyeMask方法利用集成模型生成對抗貼片,在百度API平臺所得攻擊成功率與平均相似度。由表4可知,AdvEyeMask方法可以使得平均相似度比AdvHat方法提升0.31和0.38。由AdvEyeMask方法與AdvHat方法相比在百度API測試攻擊成功率提升64.4百分點。由實驗可得AdvEyeMask方法可以獲得比AdvHat方法更強的攻擊性能。

表3 佩戴由AdvHat方法與AdvEyeMask方法在單模型場景下生成的對抗貼片的攻擊者與目標人物分別在白盒攻擊與黑盒攻擊場景下的平均相似度

表4 佩戴AdvHat方法與AdvEyeMask方法在集成模型上生成的對抗貼片的攻擊者與目標人物的攻擊成功率與平均相似度(百度API)

此外,將集成模型場景下兩種攻擊方法人臉比對相似度以折線圖形式進行展示。如圖4所示,左圖為AdvHat方法在百度API所得相似度趨勢統計圖,右圖為AdvEyeMask方法通過百度API平臺測試所得相似度趨勢統計圖。圖中實線部分為攻擊者1的相似度趨勢曲線,虛線部分為攻擊者2相似度的趨勢曲線。由圖中可以看出,AdvEyeMask方法人臉比對相似度趨勢為0.70左右,而通過AdvHat方法人臉比對相似度趨勢僅為0.30與0.40左右,因而,AdvEyeMask方法在相似度上明顯高于AdvHat方法。

圖4 人臉比對相似度折線圖

3.5 溯源實驗

在實際應用中還應考慮攻擊者的真實身份是否會暴露。對此,實驗中分別測試了兩位攻擊者在佩戴貼片前后的相似度,相似度越低,攻擊者暴露的可能性越小。期間對集成模型方法通過四種現有的人臉識別模型進行實驗,對佩戴貼片前后的攻擊者平均相似度進行比較,進而對溯源性進行說明。實驗結果如表5所示,由此可以看出佩戴貼片前后的攻擊者具有較低的平均相似度,在四種現有的人臉識別模型攻擊成功率均為0,無法成功實現對抗攻擊,因而在現實場景應用中不會輕易暴露攻擊者身份。

表5 集成模型生成對抗貼片在溯源實驗中所得的平均相似度

3.6 物理場景攻擊實驗

為進一步測試對抗貼片的物理場景攻擊效果,該文設計并實驗了AdvEyeMask方法在物理場景下的攻擊性能。實驗選取某款商用人臉識別設備作為攻擊對象,選取一名實驗人員作為攻擊者,對其他四名目標人臉進行對抗攻擊。而后,將AdvEyeMask方法通過打印獲得真實貼片。實驗中,佩戴對抗貼片的攻擊者在人臉識別設備前分別進行近、遠、上、下、左、右的變換,以此來觀察對抗貼片的魯棒性。

如圖5所示,給出了物理場景下佩戴對抗貼片的攻擊者攻擊人臉識別設備的實驗效果。在六種不同的視角情況下,佩戴對抗貼片的攻擊者均可以實現成功攻擊,結果表明,AdvEyeMask方法在物理場景下可實現對某商用人臉識別設備的有效攻擊。

4 結束語

該文設計了一種新的針對人的眼部掩模的對抗貼片生成方法(AdvEyeMask),生成的對抗貼片具有良好的魯棒性,而且在白盒和黑盒場景下都可實現較好攻擊,并且在攻擊現有的人臉識別系統時可以實現較高的攻擊成功率。進行了單模型以及集成模型攻擊實驗,實驗結果表明,AdvEyeMask方法生成的對抗貼片可以實現較高的白盒攻擊成功率,并在一定程度上對百度API實現黑盒攻擊。將AdvEyeMask方法與AdvHat方法進行對比,實驗證明AdvEyeMask方法在白盒以及黑盒場景下攻擊性能均得到了較大的提高。此外,文中對AdvEyeMask方法溯源性進行分析,實驗結果表明佩戴對抗貼片的攻擊者身份不易被暴露。最后,實驗了物理場景下佩戴對抗貼片的攻擊者對某商用人臉識別設備的攻擊性能,并實現成功攻擊。