基于掩膜的人臉壓縮重建對抗攻擊增強方法

林庚右,周星宇,潘志松

(1.陸軍工程大學 指揮控制工程學院,江蘇 南京 210007;2.陸軍工程大學 通信工程學院,江蘇 南京 210007)

0 引 言

隨著算力的提升及深度學習的崛起,人工智能迎來了新一輪的熱潮。深度學習從實驗室走向現實世界,應用程序的安全性備受關注,在諸多挑戰中,最特別的是對抗樣本的發現[1-3],這是通過在圖像上添加對抗噪聲產生的,它使得DNN(深度神經網絡,Deep Neural Network)分類器以高置信度發生誤判。對抗擾動同樣對最先進的FR(人臉識別,Face Recognition)系統有效,因此,人臉偽裝生成越來越受到關注,如文獻[4,5-7]。

近年來,人們提出了很多基于FR模型的對抗樣本生成方法,如文獻[8-10]等,但多數攻擊方法是需要訪問模型內部的基于梯度的攻擊,較少有研究探尋傳統圖像方法對對抗樣本攻擊效果的影響。筆者在實驗中發現,對抗樣本在由ndarray格式壓縮為PNG格式,再還原成ndarray格式時對抗性會得到增強。同時如圖1所示,經過壓縮重建(后文均表示為C&R)的對抗圖像與普通的對抗圖像在熱力圖上的差異非常明顯。隨后分別通過單模型攻擊和集成模型攻擊實驗,比對按照傳統方式生成的對抗樣本和加入C&R生成的對抗樣本的攻擊性能差異,進一步驗證了觀點的正確性。

圖1 經過SCRFD裁剪后的人臉熱力圖

同時,如圖2所示,C&R不會對非掩膜區域干凈的人臉圖片產生影響,但是對于掩膜區域的對抗圖片,C&R會改變掩膜部分的像素值。據此,提出基于掩膜的人臉識別壓縮重建對抗攻擊增強方法,經過實驗表明,C&R可以與傳統迭代攻擊方法相組合,形成更加強大的攻擊,從而在產生極小時間損耗的同時達到更高的攻擊成功率。

圖2 圖片在添加C&R前后圖片像素的差異

總體而言,主要貢獻如下:

(1)首次發現對抗樣本在由ndarray格式壓縮為PNG格式,再還原成ndarray格式時對抗性會得到增強。

(2)提出基于掩膜的人臉識別壓縮重建對抗攻擊增強方法,并通過實驗證明生成的對抗樣本擁有更高的白盒攻擊成功率。

(3)在黑盒場景下進行測試,證明了引入C&R生成的對抗樣本具有更好的遷移性。

1 相關工作

對于初始圖像x,其真實標簽為ytrue,經過預訓練的模型分類器為f(·),則初始圖像應當被正確分類,即f(x)=ytrue。當攻擊者向初始圖像添加噪聲δ則產生新的圖像,即xadv=x+δ,使得模型分類器對xadv產生新的分類結果,此時f(xadv)=yadv,其中yadv是xadv在模型分類器f(·)的輸出分類,若yadv≠ytrue,則稱xadv為對抗樣本。

基于梯度的對抗樣本生成方法是一類常用的白盒攻擊方法,主要思路為利用模型損失函數對輸入圖像求梯度,以得到對抗擾動,通過反向傳播對圖像進行更新,從而生成對抗樣本。本節將著重介紹幾個基于梯度的攻擊方法:

迭代快速梯度符號法(Iterative Fast Gradient Sign Method,I-FGSM)。Kurakin等人[3]將FGSM[1]擴展為迭代版本的I-FGSM,以較小的步長進行迭代攻擊。在白盒攻擊場景下,I-FGSM的性能優于FGSM,但它的遷移攻擊成功率較低。

動量迭代快速梯度符號法(Momentum Iterative Fast Gradient Sign Method,MI-FGSM)。MI[11]將動量項與I-FGSM相結合,穩定了更新方向,克服了陷入局部極大值的缺點,緩解了過擬合問題,顯著提升了對抗樣本的白盒與黑盒攻擊成功率。

基于Nesterov算法的迭代快速梯度符號法(Nesterov Iterative Fast Gradient Sign Method,NI-FGSM)。NI-FGSM[12]是在MI-FGSM的基礎上,將Nesterov優化算法融入對抗樣本生成的過程中, NI-FGSM還可以與DI和TI等方法相組合,以生成更具遷移性的對抗樣本。

對抗貼片[13](Adv-Patch)首次由Brown等于2017年提出,不同于之前的對抗樣本將對抗擾動限制在一定范圍內使其不易被察覺,對抗貼片完全替換圖像的一部分,為局部可視對抗噪聲。這是一種背景無關的、魯棒的且有目標的對抗貼片攻擊法。這些對抗貼片打印后可在現實世界具有對抗性。貼片基于EOT方法[14-15]。對抗貼片實現了對抗樣本由數字域到物理域的場景變換。表1中對上述對抗攻擊算法進行了分類。

表1 主流對抗攻擊算法

2 基于掩膜的人臉識別壓縮重建對抗攻擊增強方法

基于對抗樣本在由ndarray格式壓縮為PNG格式,再還原成ndarray格式時對抗性會得到增強這一發現,提出基于掩膜的人臉識別壓縮重建對抗攻擊增強方法,算法的流程如下:由SCRFD[16]算法定位并生成攻擊者圖片的掩膜,與被攻擊者圖片對應部分相組合并施加隨機高斯噪聲生成初始對抗圖片,將初始對抗圖片與被攻擊者圖片一同送入人臉特征提取網絡計算余弦相似度損失,更新掩膜部分的對抗圖片,在迭代攻擊過程中通過判斷是否到達預設斷點,進而對對抗圖片進行反復的壓縮重建。

算法整體流程如圖3所示。

圖3 算法流程

2.1 初始對抗圖片生成

SCRFD人臉檢測模型[16]:SCRFD人臉檢測模型于2021年提出,其可以以較少的計算量獲得極好的效果。首先,算法使用SCRFD人臉檢測模型確定人臉框并提取人臉5個基本點(眼睛、鼻子、嘴角):

其中,x為攻擊者圖片,生成的5個點分別對應雙眼、鼻子、兩側嘴角。為限制貼片大小,以5個點為中心點,選擇10×10的方形作為掩膜mask并為其施加隨機高斯噪聲,與被攻擊者圖片對應的5個掩膜部位相組合,得到初始對抗貼片:

patch=mask·Gaussian noise·xtarget

用初始對抗貼片與攻擊者圖片相組合,得到初始對抗樣本:

2.2 余弦相似度損失

通過計算兩個向量間夾角的余弦值從而獲得兩個向量的余弦相似度,該值當前已被大多數商業人臉檢測模型作為評判兩張人臉圖片是否為同一個人的評判指標。當兩個向量夾角趨于0時,余弦值接近1,表明兩個向量相似度高;相反,則表明兩個向量相似度低。余弦相似度的表示如下:

其中,Ai、Bi表示攻擊者、被攻擊者圖片在同一點像素下維度i的分量。

通過以基于SCRFD生成的5個基本點為中心,設置5個對抗貼片,使得施加對抗貼片的攻擊者圖像能夠在目標模型上以較高的相似度將其誤識別為被攻擊者。實驗通過余弦相似度損失對施加對抗貼片的攻擊者圖像與被攻擊者圖像進行衡量,構造出余弦相似度損失,如下所示:

Lcos(xadv,xtar)=-cos(exadv,extar)

其中,cos()為余弦距離函數,exadv和extar分別為對抗攻擊圖片和被攻擊者圖片的特征向量。

2.3 提取特征,反傳梯度

使用高精度人臉特征提取網絡提取特征,計算余弦相似度損失并反傳梯度,實驗分別用到I-FGSM、MI-FGSM和NI-FGSM,下面分別給出3種攻擊方法的公式:

(1)I-FGSM。

其中,t為第t次迭代步,α為步長。

(2)MI-FGSM。

其中,gt為以動量因子μ累加損失的迭代梯度矢量。

(3)NI-FGSM。

2.4 將C&R引入迭代攻擊

在算法迭代過程中,迭代次數每達到固定值(經過實驗證明,預設為10次)設置一個斷點,在斷點處對對抗圖像進行一次C&R(壓縮比設置為3)。重復迭代和C&R至迭代終止,生成對抗樣本。

其中,C(·)為DEFLATE[17]壓縮算法,對于相鄰像素差異小、甚至重復的序列會用一個短的編碼來代替。壓縮程序掃描這樣的重復,同時生成編碼來代替重復序列。直至完成完整圖像的壓縮,此時ndarray格式的對抗圖片被轉換成PNG格式并保存。

其中,R(·)為重建算法,將壓縮成PNG格式的對抗樣本,重建成ndarray格式并開始進行下一次迭代,直至算法終結生成最終的對抗樣本。

2.5 算法描述

引入C&R的迭代對抗攻擊算法:

輸入:攻擊者圖像x,被攻擊者圖像xtarget,迭代總次數T,單次C&R操作前斷點包含迭代次數t,步長α。

輸出:對抗圖片xadv。

初始化參數:stage=1。

(a)初始對抗圖片生成。

(b)開始進行迭代攻擊。

while iter

L(xadv,target)=Lcosine(xadv,target)//目標損失并對對抗樣本進行更新。

(c)判斷算法是否到達斷點并執行C&R。

stage=stage+1

if stage %t==0 then

end if

end while

3 實 驗

3.1 實驗設置

數據集組成:實驗采用的數據集為LFW(Labeled Faces in the Wild)人臉數據集,LFW人臉數據集是目前人臉識別的常用測試集,其中包含了13 233張人臉圖像,每張圖像均給出對應的人名,共5 749人。該文從中分別隨機選擇200人,其中100人作為攻擊者,另外100人作為被攻擊者,攻擊者每人選取一張照片,被攻擊者擁有該數據集下本人的全部照片,并將所有圖片調整為250×250×3,經驗證,這些圖片均能被模型正確識別。

源模型與目標模型選擇:為證明所提方法的普遍有效性,源模型與目標模型均選擇經過預訓練、識別準確的iResNet-50[18]、iResNet-100、FaceNet[19]及MobileFaceNets[20],當源模型與目標模型相同時為白盒攻擊,否則為黑盒攻擊。

對比方法:在傳統迭代攻擊I-FGSM、MI-FGSM、NI-FGSM中加入C&R,分別與對應的基線方法進行比較。

評價指標:現有人臉識別系統通常將識別相似度作為判斷是否為同一人的指標,為保證合理性,采用余弦相似度作為評價指標,即當攻擊者與被攻擊者人臉的特征余弦相似度越大,攻擊效果越好。

參數設置:對于MI-FGSM、NI-FGSM,將衰減系數置為1/30,對于I-FGSM、MI-FGSM、NI-FGSM,由于限制擾動面積較小,在實驗中將步長均置為30,迭代總次數設為300,不設置最大擾動,僅在生成對抗樣本時進行像素域[0,255]上的裁剪。

3.2 單模型攻擊

本節使用I-FGSM、MI-FGSM、NI-FGSM方法分別在添加與不添加C&R的情況下,在源模型iResNet50等4個模型上生成對抗樣本,使用生成的對抗樣本分別對這4種模型進行攻擊,以對抗樣本與被攻擊圖片在目標模型的余弦相似度作為評價標準。

為確保實驗的真實有效性,所有的“*”攻擊均僅對原基線方法添加C&R,其余設置與基線方法相同,結果如表2及圖4,其中圖4縱軸余弦相似度以百分數為指標。觀察表2及圖4中的實驗結果可以發現,使用C&R與迭代攻擊相組合能夠提升對抗樣本的攻擊性,該結果在以FaceNet和MobileFaceNets為目標模型下表現尤為明顯。同時發現,C&R與迭代攻擊相結合,能夠提升對抗樣本的可遷移性,進而增加黑盒攻擊的成功率。在以FaceNet和MobileFaceNets為源模型的攻擊中,添加C&R最高使攻擊模型的余弦相似度提高近1%。在白盒攻擊下,最高可使對抗樣本與被攻擊者的余弦相似度提高2.17%。圖5展示了白盒模型下原始圖片與生成的對抗樣本,各列分別為攻擊者圖片、被攻擊者圖片及包含C&R方法下I-FGSM、MI-FGSM、NI-FGSM生成的對抗圖片,可以看出擾動集中在通過SCRFD算法確立的掩膜區域,三種攻擊方法下生成的對抗圖片均能夠使iResNet50等4個模型發生誤識別。

表2 以iResNet-50等4個模型作為目標模型進行攻擊的成功率對比 %(標“*”為攻擊方法包含C&R)

圖4 以iResNet50作為目標模型進行攻擊的成功率對比

圖5 不同攻擊方式下生成的對抗圖片(標“*”的攻擊方法包含C&R)

3.3 集成模型攻擊

通過表2與圖4的實驗結果可明顯看出,相較于傳統迭代攻擊方法,C&R能夠有效提升所生成的對抗樣本的黑盒攻擊成功率。在本節中,通過集成模型訓練對抗樣本來進一步增加黑盒攻擊成功率,使用iResNet-50等四個模型通過I-FGSM、MI-FGSM、NI-FGSM方法分別在三個網絡上進行集成訓練并攻擊余下的保留網絡,參數設置上,迭代次數設置為500,網絡集成權重各為1/3,實驗結果如表3所示。通過表3的實驗結果可知,相較于單模型攻擊,集成模型攻擊的成功率對應于每種網絡均有一定的提升,相較于傳統迭代攻擊方法,引入C&R后,以iResNet-50為目標網絡的對抗樣本攻擊成功率(余弦相似度)最高提升到18.32%,相較于對應的基線方法NI-FGSM提高了2.19%。該實驗結果證明在迭代攻擊中引入C&R同樣適用于集成模型攻擊,在集成模型下生成的對抗樣本黑盒攻擊成功率提高明顯,實用性也更強。

表3 集成模型攻擊成功率對比 %

3.4 超參數研究

本節通過實驗對影響C&R攻擊成功率的兩個參數:壓縮比β、單次斷點前迭代次數t進行討論。使用基于iResNet-50的白盒模型對I-FGSM添加C&R并采用不同壓縮比生成的對抗圖像進行討論,迭代總次數T=300,不同壓縮比下對抗樣本攻擊成功率的對比如表4。通過不同壓縮比下對抗樣本攻擊成功率的實驗結果可以發現,壓縮比β=3時,對抗樣本攻擊成功率達到峰值16.61%,在β=3兩側攻擊成功率均有不同程度衰減,壓縮比β=9時攻擊成功率最低為15.36%。因此,在本實驗中,壓縮比β均設置為3。

表4 不同壓縮比下對抗樣本攻擊成功率對比 %

另外發現,單次C&R前斷點所包含的迭代次數不同,也會對對抗樣本的攻擊成功率產生影響,仍采用iResNet-50下的白盒模型,參數設置不變,僅對每次斷點前的迭代次數進行測試,實驗結果如圖6,其中縱軸攻擊成功率(余弦相似度)以百分數為指標。

通過單次斷點前迭代次數的比較可以發現,單次迭代次數t=9和t=10時,生成的對抗樣本攻擊能力最強,在兩側表現為下降,推測是因為對抗信息過擬合或欠擬合狀態下進行壓縮重建,略微降低了對抗樣本的攻擊強度。在本實驗中,為便于計算,C&R單次斷點前迭代次數t設置為10。

4 結束語

首次提出對抗樣本在由ndarray格式壓縮為PNG格式,再還原成ndarray格式時對抗性會得到增強,并依據此提出了基于掩膜的人臉識別壓縮重建對抗攻擊增強方法,實驗證明,在對抗樣本生成過程中加入壓縮重建變換,通過在預定迭代次數下設置斷點,反復進行壓縮重建能夠有效提升對抗樣本的攻擊成功率。相較于基線方法,該方法在白盒模型場景下的攻擊成功率最高可提升2.3%。同時,在黑盒場景下進行測試,結果證明在對抗樣本的生成中引入本方法可有效提高對抗樣本的可遷移性。未來將探索壓縮重建對施加不可視全圖擾動對抗圖片的影響,并將在字節層面對壓縮重建變換對于對抗樣本的影響進行探索和研究,尋找使對抗樣本對抗性發生變化的真正原因。