面向?qū)箻颖竟舻囊苿?dòng)目標(biāo)防御

王濱，陳靚，錢(qián)亞冠，郭艷凱，邵琦琦，王佳敏

面向?qū)箻颖竟舻囊苿?dòng)目標(biāo)防御

王濱1,2,3，陳靚1，錢(qián)亞冠1，郭艷凱1，邵琦琦1，王佳敏1

（1. 浙江科技學(xué)院大數(shù)據(jù)學(xué)院，浙江 杭州 310023； 2. 浙江大學(xué)電氣工程學(xué)院，浙江 杭州 310058；3. 海康威視數(shù)字技術(shù)有限公司網(wǎng)絡(luò)與信息安全實(shí)驗(yàn)室，浙江 杭州 310058）

深度神經(jīng)網(wǎng)絡(luò)已被成功應(yīng)用于圖像分類，但研究表明深度神經(jīng)網(wǎng)絡(luò)容易受到對(duì)抗樣本的攻擊。提出一種移動(dòng)目標(biāo)防御方法，通過(guò)Bayes-Stackelberg博弈策略動(dòng)態(tài)切換模型，使攻擊者無(wú)法持續(xù)獲得一致信息，從而阻斷其構(gòu)建對(duì)抗樣本。成員模型的差異性是提高移動(dòng)目標(biāo)防御效果的關(guān)鍵，將成員模型之間的梯度一致性作為度量，構(gòu)建新的損失函數(shù)進(jìn)行訓(xùn)練，可有效提高成員模型之間的差異性。實(shí)驗(yàn)結(jié)果表明，所提出的方法能夠提高圖像分類系統(tǒng)的移動(dòng)目標(biāo)防御性能，顯著降低對(duì)抗樣本的攻擊成功率。

對(duì)抗樣本；移動(dòng)目標(biāo)防御；Bayes-Stackelberg博弈

1 引言

隨著人工智能的發(fā)展，基于深度神經(jīng)網(wǎng)絡(luò)（DNN）的圖像分類技術(shù)被成功應(yīng)用到多種任務(wù)中，如手寫(xiě)字體識(shí)別[1]、自動(dòng)監(jiān)控的對(duì)象分類[2]和自動(dòng)駕駛[3]等。最近的研究表明，DNN存在嚴(yán)重的安全脆弱性，即在輸入圖像上添加一些精心設(shè)計(jì)的、不被人眼察覺(jué)的擾動(dòng)，可欺騙DNN錯(cuò)誤分類。這種添加了惡意擾動(dòng)的樣本被稱為對(duì)抗樣本[4]。對(duì)抗樣本的出現(xiàn)限制了DNN在安全敏感領(lǐng)域的廣泛應(yīng)用。為了更好地防御對(duì)抗樣本，研究人員提出對(duì)抗訓(xùn)練防御方法[5]，將對(duì)抗樣本注入訓(xùn)練數(shù)據(jù)，從而增強(qiáng)DNN的魯棒性。Madry等[6]將對(duì)抗訓(xùn)練建模為最小?最大化對(duì)抗博弈，攻擊者生成對(duì)抗樣本最大化損失函數(shù)，而防守者在對(duì)抗樣本存在的情況下最小化損失函數(shù)，從而提高模型的魯棒性。

對(duì)抗訓(xùn)練方法需要生成對(duì)抗樣本對(duì)分類模型進(jìn)行數(shù)據(jù)增強(qiáng)。與對(duì)抗訓(xùn)練防御對(duì)抗樣本不同，Sengupta等[7]借鑒移動(dòng)目標(biāo)防御[8]（MTD，moving target defense）的思想，將多個(gè)DNN模型構(gòu)建成基于MTD的圖像分類系統(tǒng)，在運(yùn)行過(guò)程中主動(dòng)切換成員模型，以降低攻擊者的攻擊成功率，從而增強(qiáng)圖像分類系統(tǒng)的魯棒性。MTD主要是利用特定攻擊在不同的成員模型上的攻擊差異性，通過(guò)隨機(jī)切換成員模型以增加攻擊難度。但該工作的不足是：系統(tǒng)成員模型只使用簡(jiǎn)單的訓(xùn)練數(shù)據(jù)劃分，選擇不同的網(wǎng)絡(luò)結(jié)構(gòu)和權(quán)重參數(shù)等方法，本文的實(shí)驗(yàn)表明上述方法并不能有效地提高系統(tǒng)模型之間的差異性，因而實(shí)際的防御效果不佳。

本文圍繞如何提高模型之間的差異性這一關(guān)鍵問(wèn)題，提出了差異性訓(xùn)練方法，利用模型梯度之間的相關(guān)性來(lái)衡量模型差異性，以進(jìn)一步改進(jìn)MTD的性能。為此，構(gòu)造新的損失函數(shù)，在成員模型的平均交叉熵?fù)p失的基礎(chǔ)上，增加模型差異性對(duì)數(shù)項(xiàng)，在最小化損失函數(shù)的同時(shí)，增大成員模型間的差異性。在此基礎(chǔ)上，再利用Bayes-Stackelberg博弈，獲得模型切換的最佳策略，從而有效地阻止對(duì)抗樣本攻擊。本文提出的改進(jìn)移動(dòng)目標(biāo)防御被稱為DT-MTD（differential training MTD），并在ILSVRC2012[9]的競(jìng)賽數(shù)據(jù)集上驗(yàn)證了差異性訓(xùn)練的有效性。實(shí)驗(yàn)結(jié)果表明，相比于未使用差異性訓(xùn)練的圖像分類系統(tǒng)，本文提出的DT-MTD可更進(jìn)一步提高圖像分類系統(tǒng)的魯棒性。

2 預(yù)備知識(shí)

2.1 深度神經(jīng)網(wǎng)絡(luò)

2.2 對(duì)抗樣本和威脅模型

2.3 基于梯度生成對(duì)抗樣本

（1）FGSM

（2）PGD

（3）MI-FGSM

（4）M-DI2-FGSM

3 防御方法

本節(jié)介紹本文提出的差異性訓(xùn)練方法，在此基礎(chǔ)上利用Bayes-Stackelberg博弈切換DNN，混淆攻擊者獲得的信息，使其難以選擇合適的代理模型，從而提高圖像分類系統(tǒng)的魯棒性。

3.1 差異性訓(xùn)練

移動(dòng)目標(biāo)防御成功的關(guān)鍵是特定攻擊在圖像分類系統(tǒng)的成員模型上具有差異性，這種攻擊差異性的定義為

3.2 基于Bayes-Stackelberg博弈的模型切換

Stackelberg博弈[12]是一種非合作的、有先后次序的決策博弈，參與者包括先采取行動(dòng)的領(lǐng)導(dǎo)者（leader）以及隨后啟動(dòng)的跟隨者（follower）。領(lǐng)導(dǎo)者和跟隨者各自具有一個(gè)行動(dòng)集合，參與者從集合中選擇一個(gè)行動(dòng)形成策略。領(lǐng)導(dǎo)者首先發(fā)布一個(gè)混合策略，追隨者在領(lǐng)導(dǎo)者的策略下優(yōu)化自身收益，回應(yīng)一個(gè)純策略。Bayes-Stackelberg博弈是將Stackelberg博弈擴(kuò)展為多個(gè)類型的追隨者，適用于信息安全中的博弈建模。把它應(yīng)用到DT-MTD中，求解得到貝葉斯?納什均衡，并將其作為最佳的模型切換策略。本文的領(lǐng)導(dǎo)者為圖像分類系統(tǒng)的防御者，追隨者為用戶（包括正常用戶和攻擊者），防御者和追隨者的目標(biāo)都是最大化自己的收益。

4 實(shí)驗(yàn)評(píng)估

4.1 實(shí)驗(yàn)設(shè)置

本文實(shí)驗(yàn)使用ILSVRC2012的競(jìng)賽數(shù)據(jù)集，是ImageNet[14]的一個(gè)子集。將該數(shù)據(jù)集中的1.2×106張圖像作為訓(xùn)練集，50 000張圖像作為驗(yàn)證集，以及150 000張圖像作為測(cè)試集，包含1 000個(gè)類別標(biāo)注，本文使用訓(xùn)練集訓(xùn)練DT-MTD的成員模型，在測(cè)試集上進(jìn)行驗(yàn)證，攻擊者使用測(cè)試集生成對(duì)抗樣本。實(shí)驗(yàn)使用帶4個(gè)NVIDIA GeForce RTX 2080 Ti GPU的服務(wù)器，該服務(wù)器的操作系統(tǒng)是Ubuntu16.04.6 LTS，使用Python3.6、Ptorch1.2、PuLP2.1實(shí)現(xiàn)差異性訓(xùn)練和DOBSS算法的求解。

實(shí)驗(yàn)中的DT-MTD成員模型結(jié)構(gòu)是{ GoogLeNet[15],VGG16[16],ResNet-50[17]}，利用算法1進(jìn)行差異性訓(xùn)練。表1是防御者與合法用戶在ILSVRC2012數(shù)據(jù)集的測(cè)試集上的收益，如表1中的 (91.3, 91.3)表示當(dāng)防御者使用成員模型GoogLeNet對(duì)干凈圖像進(jìn)行分類時(shí)，防御者的收益和用戶收益都是分類準(zhǔn)確率91.3%。

算法1 差異性訓(xùn)練算法

6) end for

7) end for

表1 防御者和合法用戶的博弈收益

根據(jù)假設(shè)的威脅模型，攻擊者知道DT-MTD的成員模型信息，可以構(gòu)建出代理模型集合{ GoogLeNet，VGG16，ResNet-50 }。表2~表5是防御者和不同的攻擊者（FGSM 、PGD、MI-FGSM和M-DI2-FGSM）之間的收益矩陣。以攻擊者使用PGD生成對(duì)抗樣本為例，表3是防御者與PGD攻擊者的博弈收益。表3中數(shù)據(jù)(37.5, 62.5)表示攻擊者在代理模型GoogLeNet上使用PGD生成對(duì)抗樣本，攻擊成員分類模型VGG16時(shí)，防御者的收益為對(duì)抗樣本的分類準(zhǔn)確率37.5%，攻擊者的收益是對(duì)抗樣本攻擊成功率62.5%。從表3還可以發(fā)現(xiàn)基于特定代理模型生成的對(duì)抗樣本，在不同成員模型上表現(xiàn)出攻擊差異性，如表3中的第3列，代理模型VGG16基于PGD生成的對(duì)抗樣本，對(duì)GoogLeNet的攻擊成功率為41.2%，而對(duì)ResNet-50的攻擊成功率為52.0%。這說(shuō)明使用移動(dòng)目標(biāo)防御技術(shù)，切換成員模型可以降低攻擊者的攻擊成功率。

表2 防御者和FGSM攻擊者的博弈收益

表3 防御者和PGD攻擊者的博弈收益

表4 防御者和MI-FGSM攻擊者的博弈收益

表5 防御者和M-DI2-FGSM攻擊者的博弈收益

4.2 DT-MTD的魯棒性分析

對(duì)于4.1節(jié)中防御者和用戶的收益，可以通過(guò)求解式(11)得到防御者切換成員模型的策略和系統(tǒng)分類準(zhǔn)確率。為了驗(yàn)證DT-MTD的防御對(duì)抗樣本的有效性，在攻擊者出現(xiàn)的先驗(yàn)概率下，將對(duì)抗樣本攻擊DT-MTD和單個(gè)成員模型的攻擊成功率進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果如圖1所示，其中(a)、(b)、(c)和(d)分別對(duì)應(yīng)攻擊者使用FGSM、PGD、MI-FGSM和M-DI2-FGSM生成的對(duì)抗樣本攻擊。

圖1 不同的攻擊者在不同概率下，使用DT-MTD的圖像分類系統(tǒng)與單個(gè)成員模型的攻擊成功率對(duì)比

Figure 1 Comparison of attack success rate of DT-MTD classification system with different attackers probability

4.3 參數(shù)λ對(duì)DT-MTD性能的影響

圖2 防御者的分類準(zhǔn)確率λ與參數(shù)的關(guān)系

Figure 2 Relationship between defender's classification accuracy and parameter

表6 差異性訓(xùn)練參數(shù)λ值(0,0.2,…,1)對(duì)圖像分類系統(tǒng)差分免疫的影響

5 結(jié)束語(yǔ)

本文首先介紹了深度學(xué)習(xí)安全問(wèn)題領(lǐng)域的相關(guān)內(nèi)容，探討了圖像分類系統(tǒng)基于Bayes- Stackelberg博弈的移動(dòng)目標(biāo)防御，通過(guò)分析圖像分類系統(tǒng)的差分免疫，提出了差異性訓(xùn)練成員模型方法。實(shí)驗(yàn)表明，相比于成員模型未進(jìn)行任何差異性處理，本文提出的差異性訓(xùn)練可以顯著提高DNN的移動(dòng)目標(biāo)防御性能。未來(lái)的工作中，計(jì)劃將移動(dòng)目標(biāo)防御與已有的防御技術(shù)相結(jié)合，進(jìn)一步探索深度學(xué)習(xí)模型的安全性研究。

[1]HOLI G, JAIN D K. Convolutional neural network approach for extraction and recognition of digits from bank cheque images[M]//Emerging Research in Electronics, Computer Science and Technology. 2019: 331-341.

[2]FOMIN I S, BAKHSHIEV A V. Research on convolutional neural network for object classification in outdoor video surveillance system[C]//International Conference on Neuroinformatics. 2019: 221-229.

[3]BUYVAL A, GABDULLIN A, LYUBIMOV M. Road sign detection and localization based on camera and lidar data[C]//Eleventh International Conference on Machine Vision (ICMV 2018). 2019: 1104125.

[4]SZEGEDY C, ZAREMBA W, SUTSKEVER I, et al. Intriguing properties of neural networks[J]. arXiv preprint arXiv:1312.6199, 2013.

[5]GOODFELLOW I J, SHLENS J, SZEGEDY C. Explaining and harnessing adversarial examples[J]. arXiv preprint arXiv:1412.6572, 2014.

[6]MADRY A, MAKELOV A, SCHMIDT L, et al. Towards deep learning models resistant to adversarial attacks[J]. arXiv preprint arXiv:1706.06083, 2017.

[7]SENGUPTA S, CHAKRABORTI T, KAMBHAMPATI S. MTDeep: moving target defense to boost the security of deep neural nets against adversarial attacks[M]. Proc GameSec, 2019.

[8]ZHUANG R, DELOACH S A, OU X. Towards a theory of moving target defense[C]//Proceedings of the First ACM Workshop on Moving Target Defense. 2014: 31-40.

[9]RUSSAKOVSKY O, DENG J, SU H, et al. ImageNet large scale visual recognition challenge[J]. International Journal of Computer Vision, 2015, 115(3): 211-252.

[10]DONG Y, LIAO F, PANG T, et al. Boosting adversarial attacks with momentum[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 9185-9193.

[11]XIE C, ZHANG Z, ZHOU Y, et al. Improving transferability of adversarial examples with input diversity[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019: 2730-2739.

[12]PARUCHURI P, PEARCE J P, TAMBE M, et al. An efficient heuristic approach for security against multiple adversaries[C]//In AAMAS. 2007.

[13]PARUCHURI P, PEARCE J P, MARECKI J, et al. Playing games for security: an efficient exact algorithm for solving Bayesian -Stackelberg games[C]//Proceedings of the 7th International Joint Conference on Autonomous Agents and Multiagent Systems- Volume 2. 2008: 895-902.

[14]DENG J, DONG W, SOCHER R, et al. ImageNet: a large-scale hierarchical image database[C]//IEEE Conference on Computer Vision & Pattern Recognition. IEEE, 2009.

[15]SZEGEDY C, LIU W, JIA Y, et al. Going deeper with convolutions[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015: 1-9.

[16]SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[J]. arXiv preprint arXiv:1409.1556, 2014.

[17]HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016: 770-778.

Moving target defense against adversarial attacks

WANG Bin1,2,3, CHEN Liang1, QIAN Yaguan1, GUO Yankai1, SHAO Qiqi1, WANG Jiamin1

1. College of Science, Zhejiang University of Science and Technology, Hangzhou 310023, China 2. College of Electrical Engineering, Zhejiang University, Hangzhou 310058, China 3. Network and Information Security Laboratory, Hangzhou Hikvision Digital Technology Co., LTD, Hangzhou 310058, China

Deep neural network has been successfully applied to image classification, but recent research work shows that deep neural network is vulnerable to adversarial attacks. A moving target defense method was proposed by means of dynamic switching model with a Bayes-Stackelberg game strategy, which could prevent an attacker from continuously obtaining consistent information and thus blocked its construction of adversarial examples. To improve the defense effect of the proposed method, the gradient consistency among the member models was taken as a measure to construct a new loss function in training for improving the difference among the member models. Experimental results show that the proposed method can improve the moving target defense performance of the image classification system and significantly reduce the attack success rate against the adversarial examples.

adversarial examples, moving target defense, Bayes-Stackelberg game

TP393

A

10.11959/j.issn.2096?109x.2021012

2020?09?18；

2020?12?08

錢(qián)亞冠，qianyaguan@zust.edu.cn

國(guó)家重點(diǎn)研發(fā)計(jì)劃（2018YFB2100400）；國(guó)家電網(wǎng)公司總部科技項(xiàng)目（5700-202019187A-0-0-00）；2019年度杭州市領(lǐng)軍型創(chuàng)新團(tuán)隊(duì)項(xiàng)目

TheNational Key R&D Program of China (2018YFB2100400), Science and Technology Project of State Grid Corporation of China (5700-202019187A-0-0-00), Hangzhou City Leading Innovation Team Project in 2019

王濱, 陳靚, 錢(qián)亞冠, 等. 面向?qū)箻颖竟舻囊苿?dòng)目標(biāo)防御[J]. 網(wǎng)絡(luò)與信息安全學(xué)報(bào), 2021, 7(1): 113-120.

WANG B, CHEN L, QIAN Y G, et al. Moving target defense against adversarial attacks[J]. Chinese Journal of Network and Information Security, 2021, 7(1): 113-120.

王濱（1978?），男，山東泗水人，海康威視數(shù)字技術(shù)有限公司研究員，主要研究方向?yàn)槿斯ぶ悄馨踩⑽锫?lián)網(wǎng)安全、密碼學(xué)等。

陳靚（1995? ），男，江蘇無(wú)錫人，浙江科技學(xué)院碩士生，主要研究方向?yàn)閷?duì)抗深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)壓縮。

錢(qián)亞冠（1976?），男，浙江嵊州人，博士，浙江科技學(xué)院副教授，主要研究方向?yàn)槿斯ぶ悄馨踩C(jī)器學(xué)習(xí)與大數(shù)據(jù)處理、對(duì)抗性機(jī)器學(xué)習(xí)。

郭艷凱（1994? ），男，河南駐馬店人，浙江科技學(xué)院碩士生，主要研究方向?yàn)樯疃葘W(xué)習(xí)圖像處理、對(duì)抗深度學(xué)習(xí)。

邵琦琦（1997?），女，浙江永嘉人，浙江科技學(xué)院碩士生，主要研究方向?yàn)樯疃葘W(xué)習(xí)安全。

王佳敏（1993?），女，浙江新沂人，浙江科技學(xué)院碩士生，主要研究方向?yàn)樯疃葘W(xué)習(xí)安全。