行人再識別系統中無感噪聲攻擊的防御方法

摘 要：深度學習在行人再識別任務上的應用已經取得了較大進步。然而，由于深度神經網絡的魯棒性容易受到對抗樣本的攻擊，深度學習在行人再識別模型應用中暴露出來一些安全問題。針對該問題，提出一種無感噪聲攻擊的防御方法DSN。首先，利用RGB圖像的灰度補丁圖像，使其在訓練過程中增強數據，從而提升行人再識別模型的識別能力。其次，采用模型內外結合的防御結構，并采用一種新的降噪網絡，對輸入的噪聲圖像進行降噪處理，從而使得行人再識別模型有更高的識別精度和防御無感噪聲攻擊的能力。在market1501數據集上模擬無感噪聲攻擊與防御，實驗結果顯示，該方法將mAP識別精度從2.6%提高到82.6%，rank-1精度從0.8%提高到83.5%。另外，通過消融實驗表明了該方法中每個模塊防御無感噪聲攻擊的有效性。

關鍵詞：行人再識別；無感噪聲；對抗樣本；對抗防御；對抗攻擊

中圖分類號：TP391 文獻標志碼：A

文章編號：1001-3695（2022）07-041-2172-06

doi：10.19734/j.issn.1001-3695.2021.11.0659

基金項目：國家自然科學基金資助項目（62002179）

作者簡介：王進（1981-），男（通信作者），江蘇南通人，副教授，碩導，博士，主要研究方向為人工智能（wj@ntu.edu.cn）；張榮（1998-），女，山西運城人，碩士，主要研究方向為計算機視覺.

Defense method for senseless noise attack in pedestrian re-identification system

Wang Jin^1，2?，Zhang Rong²

（1.School of Computer amp; Information Engineering，Nantong Institute of Technology，Nantong Jiangsu 226000，China；2.School of Information Science amp; Technology，Nantong University，Nantong Jiangsu 226000，China）

Abstract：The application of deep learning to the task of pedestrian re-identification has made great progress.However，deep learning has exposed some security issues in pedestrian re-identification model applications due to the robustness of deep neural networks that are vulnerable to attacks by adversarial samples.To address this problem，this paper proposed a defense method DSN for senseless noise attacks.First，it used grayscale patch images of RGB images to enhance the data during the training process，so as to improve the recognition ability of the pedestrian re-identification model.Secondly，it adopted a defense structure combining the inside and outside of the model and used a new noise reduction network to de-noise the input noisy images，so that the pedestrian re-identification model had higher recognition accuracy and defense against senseless noise attacks.Simulating the senseless noise attack and defense on the market1501 dataset，the experimental results show that the method improves the mAP identification accuracy from 2.6% to 82.6% and rank-1 accuracy from 0.8% to 83.5%.In addition，the effectiveness of each module in the method to defend against the senseless noise attack is demonstrated by ablation experiments.

Key words：pedestrian re-identification（Re-ID）；senseless noise；adversarial samples；adversarial defense；adversarial attack

0 引言

行人再識別（Re-ID）是計算機視覺方向的一個任務，是指在非重疊的攝像機中識別出感興趣的行人。基于深度學習的行人再識別方法已經取得了顯著的進展^[1～5]。盡管如此，由于當前深度神經網絡面對對抗樣本的脆弱性^[6～10]，基于深度神經網絡的應用容易受到各類攻擊。文獻[11，12]發現，在圖像上添加一些微小的擾動，就會使得模型被欺騙，輸出完全相反的結果。現實生活中，在自動駕駛領域^[13，14]，對手可以通過在路標上添加對抗性貼片誤導自動駕駛系統作出錯誤的判斷，造成交通事故。在行人再識別領域，基于深度神經網絡的Re-ID模型也被發現容易受到對抗樣本的攻擊^[15～17]。如圖1所示，通過添加人類視覺無法感知的噪聲，不同相機中同一行人的圖像相似度急劇下降，從82.9%下降到10.5%，不同行人的圖像相似度反而從12.0%上升到82.3%，這個結果表明了現有Re-ID模型具有較大的安全隱患，這可能會造成巨大損失。例如犯罪分子可能會利用這種對抗攻擊來逃脫或誤導監控系統的搜索，這將會給社會帶來很大危險。因此，研究Re-ID模型中無感噪聲攻擊的防御方法是目前面臨的一項重要任務。

近年來，Re-ID系統中有多種對抗攻擊方法被提出。文獻[18，19]提出了物理對抗攻擊，通過在行人T恤上生成對抗圖案來使Re-ID模型無法正確匹配到該行人；文獻[17]提出了兩種度量攻擊，自度量攻擊和反向度量攻擊，都是通過距離度量形成的對抗攻擊方法；Ding等人^[16]提出了一種不需要確定圖像以及模型的通用對抗擾動，通過生成對抗樣本來擾亂Re-ID系統最后輸出的排序等。這些攻擊方法都說明了Re-ID模型存在安全隱患。現有研究大多集中在Re-ID模型的攻擊方法，而Re-ID防御方法的研究較少。Bai等人^[20]提出了一種針對距離對抗攻擊的防御協議，通過訓練一個保持度量的模型來防御度量攻擊，在原始訓練集和對抗訓練集上對防御模型進行訓練。這種防御方法僅僅是針對對抗度量攻擊的防御方法，無法防御無感噪聲攻擊。

無感噪聲攻擊是指微小的、可轉移的、人類視覺無法感知的對抗攻擊，本文提出了一種針對無感噪聲攻擊的防御方法DSN。通過采用灰度補丁對原始數據進行灰度化來增強模型的識別能力，并采用一種忙降噪的網絡結構對對抗圖像進行降噪處理，采用模型內外結合的防御結構，從而提高Re-ID模型抵御對抗攻擊的能力，增強Re-ID模型安全性。

1 相關工作

1.1 行人再識別

隨著深度學習的發展，深度神經網絡已經被廣泛應用到各個領域。由于深度神經網絡較強的特征表示能力，現有的行人再識別方法大多數都采用了深度神經網絡。

早期的一些行人再識別方法是通過構建不同的深度模型及構造不同的損失函數來提高識別精度。Chen等人^[21]提出的四聯體損失是通過在原三聯體損失的基礎上構建新的損失函數提高識別精度；Cheng等人^[22]提出了一個基于卷積神經網絡的多通道模型，通過改進的三聯體損失進行訓練；羅浩等人^[23]介紹了早期傳統方法的局限性，并舉例對比了部分算法的性能。

近期的一些行人再識別方法逐漸轉向基于身體部位，利用人體各部位局部特征及注意力來提高識別精度。Fu等人^[24]提出一種水平金字塔匹配方法，利用人體各個部位信息提高識別精度，使得即使缺少行人的部分信息也可以準確識別出該行人；Sun等人^[2]提出一個卷積基線網絡模型，將人體部位手動切分為六部分，通過切分的部位特征進行識別匹配，提高識別精度；Luo 等人^[3]提出了一個動態匹配行人特征的方法，加入了特征對齊的思想，在行人識別過程中先進行人體部位特征對齊再進行特征匹配，更進一步提高了識別精度。

盡管這些方法實現了高性能的識別精度，但都是在理想假設下的實驗。如果在現實場景中，這些方法面臨各種攻擊，很容易造成性能急劇下降。

1.2 對抗攻擊

從文獻[25]首次提出神經網絡容易受到對抗攻擊后，研究者們開始了對抗攻擊方面的探索，在圖像分類領域^[26]和人臉識別領域^[27，28]都進行了深入研究。對抗攻擊在行人再識別方面的研究在近兩年才開始展開，分為物理對抗攻擊與電子對抗攻擊。

物理對抗攻擊是在真實的物體上附著對抗補丁來欺騙Re-ID模型，例如行人穿著帶有對抗攻擊圖案的衣服或飾品，使得拍攝到的行人圖像無法被Re-ID模型正確匹配，從而達到攻擊的目的。Wang等人^[18]提出了一種物理攻擊算法advPattern，通過該算法生成兩種對抗圖案，將該對抗圖案打印出來貼在行人衣服上，從而使得拍攝到的圖像在進行Re-ID模型匹配時無法檢測到該行人或者識別匹配出錯誤的行人。Xu等人^[19]也提出了一種物理對抗例子，通過對抗T恤來進行攻擊，與物理攻擊算法advPattern不同的是，行人在行走過程中，會因為動態變化使得拍攝到的行人圖像上對抗圖案存在遮擋及變形的問題，對抗T恤解決了這些問題，達到了更好的攻擊效果。

電子對抗攻擊是在Re-ID模型進行識別匹配時攻擊，對拍攝到的數據進行處理，使得同一行人圖像相似度降低，不同行人圖像相似度升高。

a）其中一類電子對抗攻擊是基于距離度量的攻擊方法。Bai等人^[20]提出了一種對抗度量攻擊，為Re-ID模型生成對抗示例，破壞圖像之間的成對距離，從而導致Re-ID系統的識別精度下降；文獻[17]提出了

自度量攻擊方法和最遠負度量攻擊方法兩種度量攻擊方法，不同點是攻擊期間是否有別的可用圖像，相同點都是通過輸出對抗圖像例子來減小不同身份圖像特征之間的距離，增加相同身份圖像特征之間的距離，從而降低識別精度。

b）另一類電子對抗攻擊是通過在圖像上添加一些人類視覺無法感知的噪聲擾動來影響系統輸出的結果，即無感噪聲攻擊。特別是2020年CVPR會議上Wang等人^[29]提出的一種可轉移的、可控制的以及不明顯的Mis-Rank對抗攻擊，采用一種新的錯誤排序公式，為每個圖像產生相對應的無感噪聲，通過添加這種無感噪聲使得Re-ID系統輸出錯誤的排序結果，性能較好的Re-ID模型在被攻擊后的識別精度從91.8%急劇下降到1.4%，這類攻擊對Re-ID系統構成嚴重威脅。

1.3 防御方法

隨著對抗攻擊方法的不斷提出，防御方法也被進一步研究。在圖像分類任務中，防御方法主要是通過模糊梯度及對抗訓練來防止對抗性例子的錯誤分類。Liao等人^[30]提出了一種高層次表征引導去噪器，通過去噪圖像與常規圖像之間的損失差異作為損失函數來減小圖像錯誤分類的結果。對抗訓練則是通過對抗樣本訓練模型，該方法在訓練期間需要每個圖像的對抗樣本，且需要多個模型生成對抗樣本，該方法是在圖像分類任務中抵御對抗攻擊的一種有效的方法。

由于行人再識別問題一般被認為是圖像檢索的子問題，是一種排序類問題，不屬于圖像分類問題，所以圖像分類任務中的防御方法并不適用于行人再識別領域。對于行人再識別領域的防御方法研究才剛剛開始，針對度量攻擊的防御方法目前僅見兩篇文獻：a）Bai等人^[20]提出的防御協議，通過訓練一個度量保持模型來防御度量攻擊，采用訓練集以及訓練集的對抗性數據集對防御模型進行訓練，達到防御度量攻擊的目的；b）文獻[17]提出了一種適用于度量學習的對抗訓練協議擴展，與文獻[20]的離線對抗防御協議不同的是，它通過在線對抗訓練，使用不同的攻擊方法生成新的對抗例子，從而達到更好的針對度量攻擊的防御效果。這兩種是針對度量攻擊的防御方法，而對于Re-ID系統中的另一類添加人類視覺無法感知的無感噪聲攻擊的防御方法目前還未發現相關研究。

2 方法

2.1 網絡結構

網絡模型結構如圖2所示，傳統方法僅使用常規數據集及將常規數據集隨機翻轉后的數據集進行Re-ID模型訓練，未考慮到行人圖像色彩不均勻造成的訓練后模型容易受到攻擊的問題。本文采用了一種新的數據增強方法，加入全局灰度替換模塊增強數據（圖2），在數據處理階段對數據集中的部分常規圖像灰度化，利用灰度化后的圖像與常規圖像一起訓練模型，增強Re-ID模型的識別精度以及防御對抗攻擊的能力。

防御結構如圖3所示。首先，對攻擊后的對抗圖像I1進行尺寸調整，調整為64×128，然后對調整后的對抗圖像I2經過內外結合防御模塊，再經過一個降噪網絡進行降噪處理，最后將得到的降噪圖像I3通過訓練好的模型M，以此測試模型的防御能力。具體過程如算法1所示。

算法1 防御結構算法

輸入：無感噪聲攻擊圖像I1；訓練好的Re-ID模型M；

輸出：降噪圖像I3；模擬防御結果。

a）I1 128×256尺寸重置得到I2 64×128；

b）將I2通過降噪網絡得到降噪圖像I3；

c）訓練時重置I3為50×100；

d）推理階段恢復I3尺寸為384×128；

e）輸入到Re-ID模型M；

f）得到防御結果。

2.2 全局灰度替換模塊

全局灰度替換模塊如圖2所示，全局灰度替換即為將RGB圖像轉換為灰度圖像。在訓練過程中，將部分數據的RGB圖像替換為灰度圖像，以此來提升Re-ID模型的識別精度，并且提高模型抵御對抗攻擊的能力。在行人再識別領域中，由于真實場景中拍攝的行人圖像存在光照不均勻的情況，所以需要考慮到拍攝的行人圖像可能會有色彩不均勻的問題，或者是在光照較暗的地方以及陰雨天氣拍攝到的行人圖像較暗的問題。但是，目前在行人再識別研究中發現這類情況并未被考慮到，因此本文提出了這種灰度替換的模塊，將原始圖像灰度化，解決了現實場景中拍攝圖片偏暗的問題，從而使得模型的識別精度更高并且不易被攻擊。算法流程如算法2所示。

算法2 全局灰度替換增強Re-ID模型算法

輸入：待訓練的圖像集W；灰度化函數convert（）；隨機灰度化圖像的概率p；Re-ID基線模型。

輸出：訓練好的Re-ID模型M。

a）輸入探測集圖像V和訓練集圖像W；

b）采用灰度化函數covert（）將5%的訓練數據灰度化，增強數據；

c）增加損失函數訓練參數為Θ的特征提取器F；

d）分別提取探測集圖像V和訓練集圖像W的視覺特征F（V，Θ）和F（W，Θ）；

e）計算F（V，Θ）和F（W，Θ）之間的成對距離用于索引和排序；

f）輸出排序結果；

g）得到訓練好的Re-ID模型M。

在模型訓練過程中需要估計隨機灰度化圖像概率p這個超參數，在對隨機灰度化圖像的概率p這個參數取值時，取了0.01、0.03、0.05、0.07、0.09這幾個值進行實驗，實驗結果對比如圖4所示。使用market1501數據集在模型Alignedreid++上進行實驗，實驗發現，在概率p取0.05時rank-1的精度最高，因此在以下實驗中將隨機灰度化概率p取值為0.05。

2.3 重置圖像尺寸模塊

重置圖像尺寸模塊在本文方法中的應用如圖3所示。Re-ID模型實驗時使用的數據集中，常規行人圖像的尺寸都為64×128，因此在對抗防御時首先對對抗數據集尺寸進行縮放，與常規數據集圖像尺寸保持一致，這在很大程度上可以抵御部分對抗攻擊由于改動了數據集尺寸而造成的識別精度下降的問題。在本文方法中，使用mis-rank攻擊后，如圖5所示，查詢集圖像的尺寸被修改為128×256，本文方法在防御實驗時將mis-rank攻擊后的查詢集行人圖像尺寸縮放到原始圖像的大小64×128。

由于Re-ID模型在使用market1501數據集訓練過程中都會對訓練圖像的尺寸大小進行調整，然后將調整后的行人圖像輸入模型進行訓練。因此在本文的防御結構中，測試時先將market1501數據集中的查詢集圖像尺寸大小縮放為50×100，再將縮放后的圖像尺寸大小在推理階段調整為原尺寸，如圖6所示，這個過程從模型的外部破壞了對抗樣本的圖像結構，但不會顯著破壞模型的性能，然后再用該方法將縮放為原尺寸的圖像輸入到模型，達到保護模型內部結構的目的。

2.4 降噪模塊

本文方法采用一種新的降噪網絡結構，如圖7所示，輸入是添加無感噪聲的行人圖像，輸出是降噪后的行人圖像，降噪網絡由主干網絡與條件編碼器兩部分組成。

條件編碼器部分是由簡單的兩層1×1的卷積層組成，條件編碼器是通過接受輸入條件來輸出合適參數，在主干網絡中則是利用這些參數來適當調整特征值。如圖7中的α、β表示條件編碼器的輸出參數。

主干網絡是用3×3的卷積層，采用多個條件變換塊級聯的方式構成，并且有效地結合條件信息，利用條件編碼器輸出的參數α、β調整特征值。在每個條件變換塊中都包含有多個殘差塊，對于這些殘差塊采用殘差學習的方法，即學習添加了無感噪聲后的行人圖像而不是常規的行人圖像。這里假設經過多個殘差塊級聯，然后在經過條件參數變換前的特征為Fi，經過條件參數變換后的特征為Fo，那么變換后的輸出特征為Fo=αFi+β，其中表示按照元素進行的乘法操作。主干網絡級聯了多個這樣的條件變換塊，采用條件編碼器的輸出參數對最后一層卷積層的輸出特征進行調整并與其他條件變換塊共享條件編碼參數，從而對整個網絡最后輸出特征進行調整。

3 實驗

本文選用本領域具有代表性的Re-ID模型ReID-strong-baseline^[31]和Aligned ReID++^[3]進行實驗。ReID-strong-baseline是一個添加了多個識別技巧的Re-ID基線模型。Aligned ReID++是一個采用局部特征及特征對齊的Re-ID模型。它們在market1501數據集上都有較高的識別精度，是被多數人認可的Re-ID模型，因此實驗是在這兩個Re-ID模型上進行。首先，準備好常規圖像數據集market1501；然后采用由Wang等人^[29]在2020年CVPR會議上提出來的mis-rank攻擊方法對該常規圖像I進行無感噪聲模擬攻擊，生成對抗樣本I1，如圖3模擬攻擊模塊所示；最后，在該對抗樣本上采用本文方法進行防御實驗。

由于前人所提方法中部分模型一些細節不明確^[32～34]，在實驗時未能復現其模型進行模擬攻擊，因此實驗部分僅采用了兩種模型驗證本文防御方法。

3.1 實驗數據集

實驗時常規圖像數據集使用的是market1501數據集。market1501數據集是由六個攝像機在清華大學校園所拍攝，該數據集包含1 501個不同的行人，共有32 668張行人圖像。其中訓練集包含751個不同的行人，共有12 936張圖像；畫廊集中包含750個不同的行人，共有19 732張行人圖像；查詢集中共有3 368張行人圖像。對抗圖像使用mis-rank攻擊方法模擬攻擊后的圖像，由于mis-rank攻擊后改變了market1501數據集中的查詢集，所以在對抗防御實驗時，使用對抗攻擊后的查詢集替換原market1501數據集中的查詢集。

3.2 評價指標

評價指標使用的是行人再識別領域常用的主流評價指標rank-n以及mAP。rank-n表示匹配的結果中最靠前的n張圖像中有正確結果的概率，例如rank-1為90%表示的是使用Re-ID模型對數據集進行匹配時返回結果中第一張圖像是該行人的概率為90%。在本文中對比了rank-1、rank-5及rank-10這三個值。mAP表示的是平均精度，是指由精準率和召回率所畫的PR曲線下方的面積。rank-n及mAP值越高，說明匹配的結果越高，即該Re-ID模型性能越好。

3.3 實驗設置

由mis-rank攻擊方法生成的對抗圖像命名為一個獨立的數據集，用該數據集替換market1501數據集中的查詢集，使用訓練好的Re-ID模型進行測試得到攻擊后的結果。防御測試時先將獨立的對抗圖像數據集里所有圖像尺寸縮放為64×128，再用縮放后的對抗圖像數據集替換market1501數據集中的查詢集。防御測試時使用的Re-ID模型是添加了本文提出的灰度補丁替換模塊后的模型，將灰度補丁替換模塊分別添加到模型ReID-strong-baseline和Aligned ReID++上，然后經過訓練，將訓練完成后的模型用于防御實驗。

3.4 實驗分析

在模型ReID-strong-baseline上的實驗結果如表1所示。原模型在market1501數據集上mAP的精度為94.2%，rank-1的精度為95.4%，然而在經過mis-rank攻擊后，mAP的精度下降為2.6%，rank-1精度下降為0.8%。在ReID-stromg-baseline模型上加入本文提出的灰度補丁替換模塊后，在market1501數據集上的mAP精度為94.6%，比不添加該模塊的原模型升高0.4%，rank-1精度為95.7%，比原模型升高0.3%。在經過mis-rank攻擊后，采用本文防御方法進行對抗防御后，mAP精度為82.6%，rank-1精度為83.5%，比原模型被攻擊后的mAP精度提升80.0%，rank-1精度提升82.7%，即在采用本文方法進行防御后mAP精度提升了約31倍，rank-1精度提升了約104倍。將本文方法與data defense^[35]方法相比，mAP的精度提升了6.8%，rank-1精度提升了6.1%。

在模型Aligned ReID++模型上的實驗結果如表2所示。原模型在market1501數據集上的mAP精度為88.5%，rank-1精度為92.0%，然而在經過mis-rank攻擊后，mAP的精度下降為1.8%，rank-1的精度下降為1.0%。在aligned ReID++模型上加入本文提出的全局灰度補丁替換模塊后，在market1501數據集上的mAP精度為89.9%，比原模型提升了1.4%，rank-1精度為93.1%，比原模型提升了1.1%。在經過mis-rank攻擊后，采用本文防御方法進行對抗防御后，mAP精度為68.0%，rank-1精度為66.7%，比原模型被攻擊后的mAP精度提升66.2%，rank-1精度提升65.75%，即在采用本文防御方法后mAP精度提升了約37倍，rank-1精度提升了約66倍。

綜上，在模型ReID-strong-baseline和模型aligned ReID++上的實驗表明了本文防御方法的有效性，經過分析認為，該模型具有防御效果的原因有：a）采用全局灰度替換的數據增強方式，在訓練模型時對數據的灰度化處理，使得模型可以防御由于色彩變化造成識別率下降的問題；b）對攻擊圖像的尺寸處理，在輸入時先進行了尺寸的縮放，又在推理階段恢復了統一的圖像尺寸，這個過程不僅保護了模型的內部結構，而且破壞了對抗圖像的攻擊結構，使得模型有了更好的識別能力；c）采用一種新型的盲降噪網絡結構，可以有效去除攻擊圖像上的噪聲干擾，使得模型可以防御無感噪聲的攻擊。

3.5 消融實驗

為了驗證本文防御方法中每個模塊的有效性，在本節中設置了不同的消融實驗進行對比分析。采用由mis-rank攻擊生成的對抗數據集分別在ReID-strong-baseline和aligned ReID++這兩個模型上進行實驗，實驗結果分別如表3、4所示。防御實驗測試所用模型是在原模型上添加了全局灰度補丁模塊進行訓練后的模型。如表3、4所示，mis-rank attack表示的是由該攻擊方法在原模型上進行攻擊后的實驗結果；+resize 64×128表示的是測試前對被攻擊的數據尺寸進行縮放，縮放為攻擊前尺寸大小模塊后的實驗結果；+resize（[100，50]）表示添加內外結合的防御結構模塊后的實驗結果；+DB表示添加降噪網絡模塊后的實驗結果。

在模型ReID-strong-baseline上的消融實驗結果如表3所示，可以看到在不添加任何防御模塊時，被攻擊后模型的mAP精度為2.6%，rank-1精度為0.8%，rank-5精度為3.1%，rank-10精度為5.2%。a）在添加縮放尺寸模塊后，識別精度都有明顯提高，mAP精度為56.8%，比之前提高了54.2%，rank-1精度為57.0%，比之前提高了56.2%，rank-5精度為73.0%，比之前提高了69.9%，rank-10精度為79.7%，比之前提高了74.5%，這說明了添加該防御模塊的有效性；b）在添加了內外相結合的防御結構后，模型的識別精度又進一步提高，mAP精度為81.3%，比不加該模塊時提高了24.5%，rank-1精度為82.1%，比不加該模塊時提高了25.1%，rank-5精度為91.1%，比不加該模塊之前提高了18.1%，rank-10精度為93.6%，比不加該模塊之前提高了14.5%，這又進一步說明了本文提出的內外相結合的防御機構模塊的有效性；c）在添加降噪模塊后的實驗結果中可以看到，添加該模塊后mAP精度、rank-1精度、 rank-5精度、rank-10精度也都有所提升，從而說明了添加降噪網絡模塊的有效性。

為了增加各個防御模塊的說服力以及驗證其通用性，本文又在模型aligned ReID++上做了消融實驗，與模型ReID-strong-baseline上的消融實驗做法類似，依次添加各個模塊來驗證其有效性。如表4所示，在不添加任何防御模塊時，模型aligned ReID++被mis-rank攻擊后mAP精度為1.8%，rank-1精度為1.0%，rank-5精度為3.1%，rank-10精度為5.2%。a）在添加本文提出的縮放模塊進行防御后，mAP精度為52.2%，提升了50.4%，rank-1精度為48.3%，提升了47.3%，rank-5精度為66.1%，提升了63.0%，rank-10精度為73.0%，提升了67.8%，說明了添加縮放模塊的有效性；b）在添加縮放尺寸模塊的基礎上再添加內外結合的防御結構后，mAP精度上升為67.3%，比之前提升了15.1%，rank-1精度上升為65.7%，比之前提升了17.4%，rank-5精度為78.8%，比之前提升了17.7%，rank-10精度為84.0%，比之前提升了11.0%，這進一步說明了內外結合的防御結構的有效性；c）在添加降噪網絡模塊后，模型的mAP精度、rank-1精度等也都有一定程度的提高，這說明了添加降噪網絡模塊的有效性。

綜上所述，在模型ReID-strong-baseline和aligned ReID++上的消融實驗表明了本文方法中各個防御模塊的有效性以及通用性。

4 結束語

本文提出了一種針對無感噪聲攻擊的防御方法。由于這種攻擊不僅對人類視覺所免疫，不易察覺，而且具有可遷移性，在多種Re-ID模型上都具有強大的攻擊效果，產生很大的危害。本文防御方法利用尺寸縮放模塊及內外結合的防御結構，從模型外部破壞了這種噪聲圖像結構，但又不會對模型內部圖像產生很大影響，并且采用降噪網絡對攻擊后的行人圖像進行降噪處理，從而對這類無感噪聲攻擊進行了有效的防御。本文還采用了灰度補丁替換模塊來增強數據，使得Re-ID模型有更好的識別能力和防御效果。實驗結果表明了本文防御方法的有效性。

參考文獻：

［1］Chen Haoran，Wang Yaowei，Shi Yemin，et al.Deep transfer learning for person re-identification[C]//Proc of IEEE Fourth International Conference on Multimedia Big Data.Piscataway，NJ：IEEE Press，2018：1-5.

[2]Sun Yifan，Zheng Liang，Yang Yi，et al.Beyond part models：person retrieval with refined part pooling （and a strong convolutional baseline）[C]//Proc of European Conference on Computer Vision.Berlin：Springer：501-518.

[3]Luo Hao，Jiang Wei，Zhang Xuan，et al.AlignedReID++：dynamically matching local information for person re-identification[J].Pattern Recognition，2019，94：53-61.

[4]Ren Chuanxian，Liang Bohua，Ge Pengfei，et al.Domain adaptive person re-identification via camera style generation and label propagation[J].IEEE Trans on Information Forensics and Security，2020，15：1290-1302.

[5]Chen Xuesong，Fu Canmiao，Zhao Yong，et al.Salience-guided cascaded suppression network for person re-identification[C]//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2020：3297-3307.

[6]Su J，Vargas D V，Sakurai K.One pixel attack for fooling deep neural networks[J].IEEE Trans on Evolutionary Computation，2019，23（5）：828-841.

[7]Duan Ranjie，Ma Xingjun，Wang Yisen，et al.Adversarial camouflage：hiding physical-world attacks with natural styles[C]//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Pisca-taway，NJ：IEEE Press，2020：997-1005.

[8]Wang Yisen，Zou Difan，Yi Jinfeng，et al.Improving adversarial robustness requires revisiting misclassified examples[C]//Proc of International Conference on Learning Representations.2020：1-14.

[9]Wang Yisen，Ma Xingjun，Bailey J，et al.On the convergence and robustness of adversarial training[C]//Proc of the 36th International Conference on Machine Learning.2019：6586-6595.

[10]Duan Ranjie，Mao Xiaofeng，Qin A K，et al.Adversarial laser beam：effective physical-world attack to DNNs in a blink[C]//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2021：16057-16066.

[11]Zeng Xiaohui，Liu Chenxi，Wang Y S，et al.Adversarial attacks beyond the image space[C]//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2019：4297-4306.

[12]Zhao Zhengyu，Liu Zhuoran，Larson M.Towards large yet impercep-tible adversarial image perturbations with perceptual color distance[C]//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2020：1036-1045.

[13]Kong Zelun，Guo Junfeng，Li Ang，et al.PhysGAN：generating physical-world-resilient adversarial examples for autonomous driving[C]//Proc of IEEE/CVF Conference on Computer Vision and Pattern Re-cognition.Piscataway，NJ：IEEE Press，2020：14242-14251.

[14]陳晉音，陳治清，鄭海斌，等.基于PSO的路牌識別模型黑盒對抗攻擊方法[J].軟件學報，2020，31（9）：2785-2801.（Chen Jinyin，Chen Zhiqing，Zheng Haibin，et al.Black-box physical attack against road sign recognition model via PSO[J].Journal of Software，2020，31（9）：2785-2801.）

[15]Wang Guangcong，Lai J H，Liang Wenqi，et al.Smoothing adversarial domain attack and p-memory reconsolidation for cross-domain person re-identification[C]//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2020：10565-10574.

[16]Ding Wenjie，Wei Xing，Ji Rongrong，et al.Beyond universal person re-identification attack[J].IEEE Trans on Information Forensics and Security，2021，16：3442-3455.

[17]Bouniot Q，Audigier R，Loesch A.Vulnerability of person re-identification models to metric adversarial attacks[C]//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops.Piscataway，NJ：IEEE Press，2020：3450-3459.

[18]Wang Zhibo，Zheng Siyan，Song Mengkai，et al.Advpattern：physical-world attacks on deep person re-identification via adversarially transformable patterns[C]//Proc of IEEE/CVF International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2019：8340-8349.

[19]Xu Kaidi，Zhang Gaoyuan，Liu Sijia，et al.Adversarial T-shirt！ Evading person detectors in a physical world[C]//Proc of European Confe-rence on Computer Vision.Berlin：Springer，2020：665-681.

[20]Bai Song，Li Yingwei，Zhou Yuyin，et al.Adversarial metric attack and defense for person re-identification[J].IEEE Trans on Pattern Analysis and Machine Intelligence，2021，43（6）：2119-2126.

[21]Chen Weihua，Chen Xiaotang，Zhang J，et al.Beyond triplet loss：a deep quadruplet network for person re-identification[C]//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Pisca-taway，NJ：IEEE Press，2017：1320-1329.

[22]Cheng De，Gong Yihong，Zhou Sanping，et al.Person re-identification by multi-channel parts-based CNN with improved triplet loss function[C]//Proc of IEEE Conference on Computer Vision and Pattern Re-cognition.Piscataway，NJ：IEEE Press，2016：1335-1344.

[23]羅浩，姜偉，范星，等.基于深度學習的行人重識別研究進展[J].自動化學報，2019，45（11）：2032-2049.（Luo Hao，Jiang Wei，Fan Xing，et al.A survey on deep learning based person re-identification[J].Acta Automatica Sinica，2019，45（11）：2032-2049.）

[24]Fu Yang，Wei Yunchao，Zhou Yuqian，et al.Horizontal pyramid ma-tching for person re-identification[C]//Proc of the 33rd AAAI Confe-rence on Artificial Intelligence and the 31st Innovative Applications of Artificial Intelligence Conference and the 9th AAAI Symposium on Educational Advances in Artificial Intelligence.Palo Alto，CA：AAAI Press，2019：8295-8302.

[25]Szegedy C，Zaremba W，Sutskever I，et al.Intriguing properties of neural networks[EB/OL].（2014-02-19）.http：//doi.org/10.48550/arxiv.1312.6199.

[26]Moosavi-Dezfooli S M，Fawzi A，Frossard P.DeepFool：a simple and accurate method to fool deep neural networks[C]//Proc of IEEE Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2016：2574-2582.

[27]Dong Yinpeng，Su Hang，Wu Baoyuan，et al.Efficient decision-based black-box adversarial attacks on face recognition[C]//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Pisca-taway，NJ：IEEE Press，2019：7706-7714.

[28]Sharif M，Bhagavatula S，Bauer L，et al.Accessorize to a crime：real and stealthy attacks on state-of-the-art face recognition[C]//Proc of ACM SIGSAC Conference on Computer and Communications Security.New York：ACM Press，2016：1528-1540.

[29]Wang Hongjun，Wang Guangrun，Li Ya，et al.Transferable，controll-able，and inconspicuous adversarial attacks on person re-identification with deep mis-ranking[C]//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2020：339-348.

[30]Liao Fangzhou，Liang Ming，Dong Yinpeng，et al.Defense against adversarial attacks using high-level representation guided denoiser[C]//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：1778-1787.

[31]Luo Hao，Gu Youzhi，Liao Xingyu，et al.Bag of tricks and a strong baseline for deep person re-identification[C]//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops.Piscataway，NJ：IEEE Press，2019：1487-1495.

[32]Li Wei，Zhu Xiatian，Gong Shaogang.Harmonious attention network for person re-identification[C]//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：2285-2294.

[33]Deng Weijian，Zheng Liang，Ye Qixiang，et al.Image-image domain adaptation with preserved self-similarity and domain-dissimilarity for person re-identification[C]//Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway，NJ：IEEE Press，2018：994-1003.

[34]Qian Xuelin，Fu Yanwei，Jiang Y G，et al.Multi-scale deep learning architectures for person re-identification[C]//Proc of IEEE International Conference on Computer Vision.Piscataway，NJ：IEEE Press，2017：5409-5418.

[35]Gong Yunpeng，Zeng Zhiyong，Chen Liwen，et al.A person re-identification data augmentation method with adversarial defense effect[EB/OL].（2021-04-07）.http：//doi.org/10.48550/arxiv.2101.08783.