顏色模型擾動的語義對抗樣本生成方法

王舒雅，劉強春，陳云芳，王福俊

1.南京郵電大學 通達學院，江蘇 揚州 225127

2.南京郵電大學 計算機學院，南京 210023

3.南京航空航天大學 計算機科學與技術學院，南京 211106

大數據應用時代，人工智能技術[1]再次成為學術界和工業界關注的焦點。人工智能的實際應用離不開深度學習的發展。目前，深度學習采用的模型主要是神經網絡模型，最先進的卷積神經網絡對于圖像中物體的分類正確率甚至超越了人眼的識別率，但是近些年也有研究表明，訓練完好、泛化能力較強的的卷積神經網絡易受對抗樣本的干擾，致使其在分類預測階段產生很大的分類偏差。這一有趣的現象首次被Szegedy 等人[2]發現，在干凈的圖片樣本上加入人為設計的微小擾動向量時，便會使模型產生誤分類。隨著對該現象研究的不斷深入，發現不僅卷積神經網絡會遭受到對抗樣本的影響，很多機器學習模型也會被對抗樣本“攻破”。因此，對抗樣本威脅了人工智能的落地應用。尤其是在計算機視覺領域，為了獲得更好的表征學習能力，都會選用卷積神經網絡作為基礎特征提取模型，但卻給攻擊者留下了攻擊空間。一方面，運用卷積神經網絡提高了社會服務水平，幫助人類更好的生活；另一方面，卷積神經網絡本身的脆弱性，使得對抗樣本可能對模型產生攻擊。為了解決這兩者之間的矛盾，研究對抗樣本的生成方法具有重要意義。

目前對抗攻擊方法大部分局限于尋找基于梯度迭代的對抗擾動，以此最大化模型的預測損失，致使模型分類錯誤。但是此類對抗樣本正被越來越多的防御策略“狙擊”，模型的魯棒性也在顯著提升。針對這一問題，本文跳出傳統構造擾動的對抗框架，提出一種基于圖片語義信息的對抗樣本生成方法。該方法利用人類視覺認知系統和卷積神經網絡在物體識別過程中體現的形狀偏差特性，將RGB 顏色模型下的圖片擾動變換至CMY 或HSI 顏色模型下，該轉變過程稱之為對抗變換。經過對抗變換生成的對抗樣本不會限制圖像修改的像素數量，但是可以很好地保留圖片的語義信息，不影響人眼的再次識別。該方法是一種黑盒攻擊方法，其不需要目標模型的網絡參數、損失函數或者相關的結構信息，在樣本生成過程中，其僅依靠顏色模型的變換和顏色通道的隨機擾動，避免了以往黑盒攻擊存在的劣勢。

1 研究背景

1.1 對抗樣本的攻擊

對抗樣本（adversarial example）是指在原數據集中通過人工添加肉眼不可見或在經處理不影響整體的肉眼可見的細微擾動所形成的樣本，這類樣本會導致訓練好的模型以高置信度給出與原樣本不同的分類輸出[3]。

對于對抗樣本的生成，最直接的方法是通過解決約束優化問題迭代生成對抗擾動，從而最大化模型的預測誤差。目前，學術界提出了多種對抗樣本的生成方法，表1對比了六種常用的對抗樣本生成方法。

表1 六種對抗樣本生產方法的對比Table 1 Comparison of six adversarial examples production method

攻擊的類型多種多樣，從不同角度出發，對抗樣本的攻擊可以分為不同種類。

從對抗樣本是否需要指定攻擊的類目出發，攻擊可分為：無目標攻擊和目標攻擊。（1）無目標攻擊：不指定具體類目，只要能夠讓模型識別錯誤即可。（2）目標攻擊：不僅需要模型能夠識別錯誤，還要能夠錯誤分類到指定類別。

從對抗樣本是否知道模型的具體細節（例如網絡結構、模型參數等）出發，攻擊可分為白盒攻擊和黑盒攻擊。（1）白盒攻擊：攻擊者能夠獲取到模型的所有信息。（2）黑盒攻擊：攻擊者無法獲取到模型的任何信息，只能參考模型對于圖片的輸出標簽來生成對抗樣本。

1.2 顏色模型

顏色模型是計算機科學解釋和表示自然界色彩的方法。根據不同研究場景，確立了不同的模型標準。一般情況下，一種顏色模型用一個三維坐標系和一個子空間來表示，所有坐標值都限定在[0，1]之間，每種顏色是這個子空間的一個單點，顏色模型也稱為彩色空間。

1.2.1 RGB顏色模型

在圖像處理任務中，圖像的顏色信息最開始都是用RGB 顏色模型表示的。紅（Red）、綠（Green）、藍（Blue）作為該顏色模型的三基色，可以將三基色按一定比例疊加產生新的顏色。

1.2.2 CMY顏色模型

CMY是另外一種顏色模型，其分別代表青色（Cyan）、品紅（Magenta）、黃色（Yellow）三種油墨色。CMY 顏色模型與RGB 顏色模型之間可以通過簡單的轉換得到，假定所有的顏色值都已歸一化到[0，1]范圍，具體轉換如下式：

1.2.3 HSI顏色模型

不同于RGB顏色模型，HSI顏色模型更符合人的視覺系統感知色彩的方式，以色調（Hue）、飽和度（Saturation）和亮度（Intensity）三種基本特征量來表示顏色。Hue 是色調，表示顏色在人視覺上的感受，如紅色、綠色、藍色等，它也可以表示一定范圍的顏色，如暖色、冷色等。S是飽和度，表示顏色的純度。I是亮度，對應顏色的明亮程度。

在HSI顏色模型的三個分量中，圖像的彩色信息不受I分量影響，而H和S分量會影響人對于顏色的視覺感受。HSI 顏色模型和RGB 顏色模型只是同一物理量的不同表示方法，因而它們之間存在著轉換關系，RGB轉換為HSI的公式如下：

1.3 常見對抗樣本生成方法

Szegedy 等人[2]首次提出了對抗樣本現象并且設計了L-BFGS 方法，通過簡單的最優化過程，對一個能夠正確分類的輸入圖像作微小擾動。這種方法是通過優化遍歷流行網絡表示并在輸入空間中發現對抗樣本，然而對抗樣本存在流行空間中的低概率區域，因此很難通過對輸入點附近簡單的隨機采樣獲得?；趯箻颖粳F象，以限制擾動向量維度的攻擊方法被逐漸提出，其中包括I-FGSM[9]、梯度下降映射法[10]（Projected Gradient Descent，PGD）和C&W 攻擊[11]。這些經典的對抗樣本生成方法大都將擾動來源限制在損失函數或者目標函數的梯度上，這樣可以增大模型對于樣本的預測誤差，實現有效地攻擊。針對此類樣本帶來的威脅，研究者根據擾動向量生成的相關特性，提出了防御策略。Song等人[12]提出了輸入重構方法，其利用PixelCN 網絡將惡意的對抗樣本數據轉化為自然樣本數據，使得對抗樣本重新回到訓練樣本集的數據分布狀態。Papernot等人[13]提出防御蒸餾型網絡，首先通過訓練集訓練出一個基礎網絡，然后利用基礎網絡的預測輸出作為樣本標簽訓練第二個網絡，最后利用兩個網絡進行綜合預測。Huang等人[14]提出的對抗訓練也能有效地提升模型的魯棒性，降低對抗擾動對模型的干擾。除了上述的對抗攻擊方法，Engstrom等人[15]提出對原始圖片的對抗性平移和旋轉可以愚弄卷積神經網絡，但是旋轉后的圖片在人眼看來并不自然；Brown 等人[16]提出了對抗性補丁方法，該方法需要額外生成補丁，并將補丁打在干凈圖片上，導致原圖的部分內容被遮擋，影響視覺效果。Zhao等人[17]利用生成對抗網絡（Generative Adversarial Networks，GANs）來生成對抗樣本，首先在數據集上訓練WGAN，其中生成器部分用于對抗樣本的生成，將高斯噪聲圖片輸入到生成器中，在視覺上可以得到與目標圖片相似的對抗樣本。此外，還訓練了一個轉換模型，用來衡量對抗樣本和目標圖片之間的誤差，并將誤差傳遞給需要優化的生成模型。雖然，在視覺上利用模型生成的對抗樣本更加自然，但是模型的設計和訓練耗時較多，且需要大量的數據支撐。與此類似，Papernot 等人[18]為了提升對目標模型攻擊的成功率，用相同的數據集訓練可替代模型，并依據可替代模型的相關參數及結構信息構造對抗樣本，最后完成對目標模型的攻擊。這個過程同樣也是耗時的，并且可替代模型只是做到了近似，和目標模型在決策邊界上仍然存在很大差距。Brendel 等人[19]提出了一種基于邊界的對抗樣本生成方法，首先找到一個不限制閾值大小的對抗樣本，然后依據一定的策略將該樣本沿著原本的方向移動，直到該對抗樣本離原樣本最近，但依然保持對抗性。此過程需要不斷地查詢網絡模型的類別輸出，但在現實攻擊環境中，這種查詢手段會被限制，因此該攻擊方式不具備通用性。

可見，現存的對抗攻擊方法由于被防御策略“狙擊”而限制了攻擊能力；而攻擊能力較強的方法會對原始圖片做大幅修改，甚至出現了偽影和遮擋物，嚴重影響了視覺效果；利用模型產生的對抗樣本需要花費大量精力做數據支持和模型訓練。因此為了避免這些方法中的缺陷，本文不再利用目標模型的相關結構和參數信息，立足于圖像色彩空間提出了基于圖像語義信息的對抗樣本生成方法。這種方法利用人眼視覺識別中的形狀偏向特性，僅通過擾動圖片在顏色模型下的色彩通道來生成對抗樣本，該方法可以完好地保留圖片的語義信息，在不影響感官識別的情況下對模型實現黑盒攻擊。

下式定義了通過圖像對抗變換生成語義對抗樣本的問題：

其中，Ω(?)表示人類視覺系統產生的視覺標簽，F(?)表示模型給出的標簽，生成的對抗樣本需要保持原始語義信息不變。因此人眼能夠準確識別出目標物體，但此類樣本依然會導致目標模型產生誤分類。此問題可以看做是在保持原始圖像視覺標簽的情況下，將任何一張給定的圖像變換到致使模型錯誤分類但包含原始圖像內容的自然圖像空間。這種對抗轉換在不知道目標模型內部細節參數的情況下可以完成有效的黑盒攻擊，并且可以避開最先進的防御策略，對進一步提升模型的魯棒性提供了參考。此外這種新的對抗樣本生成思路有助于進一步揭示卷積模型和人類視覺系統的相似性，也有助于分析模型泛化性能的本質。

2 基于顏色模型的兩種語義對抗方法

2.1 形狀偏好特性的認知理論

人類視覺認知和卷積神經網絡的識別過程都表現出了相同的特性——形狀偏好特性。在所有影響人類視覺認知的因素中，研究發現物體的形狀是最關鍵的因素。卷積網絡在特征提取過程中，利用多層卷積不斷地提取圖像物體的邊緣輪廓信息，最后綜合提取出的卷積映射圖給出最后的分類決策。顯然，物體的形狀包含了更多有助于識別的語義信息。

形狀偏好現象是人類認知發展過程中一個重要的現象，其對人類的學習和思維能力的培養都產生著巨大的影響。研究者們分別在詞匯學習任務、分類任務和歸納推理任務中研究了人類認知過程中的形狀偏好現象。Landau 等人[20]通過實驗說明了成人在分類任務中更偏向于將形狀相似的物體歸為一類，表現出形狀偏好特性。

深度神經網絡可以出色地完成一些諸如圖像識別與分類、目標檢測等復雜的實際任務，但是這些任務的完成需要依托復雜的模型結構，并且網絡學習的解決方案也會變得更加不可解釋。這樣，網絡既表現出在解決實際問題方面呈現出的性能優越性，又體現出了不可知性，整個網絡是一個“黑箱”的狀態。Ritter 等人[21]利用人類認知心理學的發展、研究和實驗過程對神經網絡的可解釋性進行了探討。認知心理學方面的研究表明，學習新單詞時人們傾向于為形狀相似的物體而不是顏色、質地和大小相似的物體分配相同的名稱。由于深度神經網絡在一些特定任務中的表現可以和人類媲美，兩者之間的關聯也變得越來越緊密，因此可以通過人類認知心理學的視角解讀神經網絡，從而發現網絡中隱藏的計算特性。

2.2 基于CMY變換的語義對抗樣本

卷積神經網絡可以在圖像分類任務中表現出超越人類的特性，但是已被證明其易受到對抗樣本的干擾。雖然添加了對抗擾動的樣本圖片和原始圖片保持著相同的視覺標簽，但是卷積網絡卻會以很高的分類置信度將其錯誤分類?，F有的基于目標函數梯度且以增大分類模型損失函數為目的的對抗樣本生成方法正被越來越多的防御策略“狙擊”。因此，為了生成更具威脅性的對抗樣本，從人類和模型在物體識別方面表現出的形狀偏好特性出發，依據CMY顏色模型與RGB顏色模型的關聯性，通過擾動原像素通道實現對抗變換，保持圖片中的目標物體不變，僅僅修改了色彩通道信息，因此可以保留圖片本身的語義信息。

通常情況下，一張圖像會以RGB顏色模式表示，利用對抗變換技術將圖片從RGB模式轉換為CMY模式，轉換以后的圖片依然能夠保持完整的語義信息。從RGB 和CMY 顏色模型的轉換公式可以看出，CMY 顏色模型下的各個通道相當于RGB的“負”向轉換。那么給定一張原始的干凈圖片樣本X，其中Xi,n∈[0,1]表示第n個顏色通道的第i個像素點，在RGB 顏色模型下，n為3 表示有三個通道，每個像素點都被歸一化到區間[0，1]。因此，基于CMY變換的語義對抗樣本可以定義為，在轉換過程中，原像素較亮的地方會變得暗淡，較暗的地方會變得光亮。由于這種對抗變換對原始顏色通道做了大幅修改，因此轉變過后的樣本不需要增加額外的色彩偏移擾動就可以完成對抗攻擊。

圖1 展示了對抗轉換過程，整個過程分三個階段。首先分離RGB 顏色模型下的通道，然后將各自通道轉換成CMY 顏色模型下的表示，最后進行通道合并。不同于以往對抗樣本需要尋找到盡量小的對抗擾動，該方法更關注圖片的語義表示。對抗變換會在原始圖片上帶來較大的顏色改變，但不影響人眼的識別。

圖1 CMY對抗樣本生成框架Fig.1 CMY adversarial example generating framework

2.3 基于HSI變換的語義對抗樣本

在眾多顏色模型中，HSI顏色模型更容易被人類視覺所理解和感知，因此本文將在HSI顏色模型中進一步研究對抗變換方法。在該模型中色調與飽和度分量都能較大程度地影響圖像的顏色，而亮度分量在模型中的作用是保持圖像內容的完整性，即保持圖片內物體的主要形狀特性，因此將亮度分量從色調和飽和度分量中分離出來。為了生成符合人眼視覺語義理解的對抗樣本，本文通過僅改變色調和飽和度信息的方式來改變圖片的色彩，分別使用xH、xS和xI來表示一張圖像的色調、飽和度和亮度分量。對于一張給定的圖片，將其從RGB顏色模型變換到HSI模型，并且采用迭代的方式擾動色調和飽和度分量，擾動次數的增加會帶來色彩偏移量的增加，并且修改了圖像本身的像素信息。從卷積模型本身設計的局限性[22]可知，模型只擬合了圖像空間的部分數據空間，而擾動使得對抗樣本超出了模型對訓練集數據分布的擬合范圍。另外卷積模型只關注圖片本身的數字統計特性[23]，而沒有真正學習到圖片本身的語義概念，因此這兩個分量的色彩偏移量使得它能夠愚弄分類模型。基于HSI顏色變換的語義對抗樣本定義如下：

在對抗樣本生成過程中通過保持I分量不變來確定圖片的語義信息，并且隨機擾動色調和飽和度部分。這樣修改后的圖片雖然能成功愚弄分類模型，但是對抗樣本卻攜帶了大量的可視化噪聲，使得人眼視覺不夠平滑和自然。為了得到更加自然的對抗樣本，將所有像素的色相和飽和度分量偏移相同的量。但是在顯著增加飽和度分量時，對抗樣本將過于色彩化，在顯著降低飽和度分量時，對抗樣本又會變成灰度圖像。為了控制飽和度分量的變化，將對抗樣本定義為解決如下問題：

其中，δH和δS都是標量，色調分量的變化呈現圓周式，即色調1 等于色調0。因此本文將色調分量對1 取模，將其映射到[0，1]之間，飽和度分量也會被裁剪限制在[0，1]之間。為了使擾動向量盡量微小且沒有突出異常值，將從正態分布中產生δH和δS的隨機擾動量。

算法1基于HSI顏色空間的對抗樣本生成算法。

該算法已知一個待攻擊目標分類模型F，干凈的圖片樣本x和算法的迭代次數N。首先將處于RGB顏色模型下的干凈圖片轉換到HSI顏色空間，并分別將色調(H)、飽和度(S)、亮度(I)分量賦值給xH、xS、xI。在每一次算法迭代過程中δH和δS均是可調參數，其中δH是從正態分布[0，1]中獲得的擾動量，δS是從正態分布中獲得的擾動量。根據獲得的擾動量，在色調和飽和度分量上做相應的對抗變換，最后查詢模型的輸出是否改變了分類結果。若已經改變則返回對抗樣本，若沒有改變則進行下一次迭代直至達到迭代次數N。這種方法在攻擊時不需要任何目標網絡內部的參數或者結構信息，只需要查詢樣本的分類標簽，因此該方法可以看做是黑盒攻擊方法。

3 實驗及結果分析

3.1 實驗設置

數據集：采用CIFAR10數據集[24]作為攻擊方法的測試集，由50 000張訓練集圖片和10 000張測試集圖片構成。每張圖片的大小是32×32×3，其包含三個顏色通道。具體地，CIFAR10 數據集含有10 個分類：飛機、轎車、鳥、貓、鹿、狗、青蛙、房子、船、卡車，每一種類別都是包括5 000 張訓練圖像和1 000 張測試圖像。選取每個類別的測試集作為原始干凈圖像，通過本文提出的方法將這些圖像變成具有攻擊能力的對抗樣本，隨后在預訓練模型上實施攻擊，探測新方法的攻擊能力。

模型：實驗模型選用VGG16 網絡作為目標攻擊模型，其在CIFAR10數據集中得到了很好的預訓練。如圖2所示，網絡共有5個卷積段，每個卷積段包含2至3個卷積層，每個卷積層都用3×3的小卷積來代替大卷積。這樣在加深網絡層數的同時可以盡量減少參數量，并且可以獲得更大的感受野，提升模型特征提取能力。每個卷積段的結尾都會連接一個最大池化層來縮小圖片尺寸，在模型的最后是3層全連接層，綜合提取卷積層獲得的特征，最后使用softmax 函數得到相應的類別標簽。由于深度的增加和小卷積核的使用，VGG16網絡可以在測試集上得到很好的泛化效果，實現很高的分類正確率。

圖2 VGG16網絡模型Fig.2 VGG16 network model

3.2 攻擊能力評估

攻擊分類模型并統計模型的分類正確率是測試對抗攻擊的常用手段。因此，分別依據CMY 和HSI 顏色模型實施對抗變換，在CIFAR10測試集上生成相應的對抗樣本，然后將對抗樣本作為目標模型VGG16 網絡的輸入，探測模型的識別成功率。除此之外，還對基于對抗訓練的VGG16模型的魯棒效果進行了研究。本實驗利用基于損失函數梯度擾動（FGSM）生成的對抗樣本作為訓練集參與模型訓練，經過對抗訓練的VGG16 網絡對于該類擾動具備了很強的魯棒效果。表2 直觀地展示了VGG16預訓練模型以及相應對抗訓練模型在樣本圖片上的識別率，其識別率越低表示對抗樣本具有更高的攻擊成功率。

表2 模型分類識別率Table 2 Identification rate of model classification %

實驗發現，Pretrained-VGG16網絡在干凈的測試集中獲得了94.3%的識別率，同時經過對抗訓練的Adversarial-VGG16網絡也能獲得90.7%的識別率，這表明基礎模型是個訓練得當的可測試模型，能保證一定的識別基準率。而當Pretrained-VGG16網絡分別遭受CMY變換和HSI變換對抗樣本的攻擊時，其識別率大幅度下降，分別降至11.6%和5.4%。這說明經過良好訓練并且在測試集上能獲得較高識別率的模型并不能很好地泛化到語義對抗樣本中。對抗樣本在攻擊擁有防御措施的Adversarial-VGG16 模型時，其識別率較干凈測試圖片也下降至12.3%和8.9%，可見這種防御策略給模型帶來的魯棒性只針對基于梯度的對抗擾動，而對于基于對抗變換生成的擾動策略，其沒有防御能力。另外，本文還利用不同樣本集對VGG16 模型進行遷移訓練，圖3 展示了模型在進行微調時，對抗樣本量和模型識別率的關聯性。

圖3（a）展示了僅用CMY變換對抗樣本對網絡進行微調時模型的識別率。隨著樣本量的增加，模型對于CMY 變換對抗樣本的識別率會顯著增強，但是對于干凈樣本的識別率會有所降低，并且對于HSI-shifted的識別率基本保持不變。當僅用HSI-shifted對抗樣本對模型進行微調時，圖3（b）展現了相似的特性。圖3（c）展示了使用CMY變換和HSI變換對模型進行微調后的結果，可以發現模型對兩者的識別率均有提高，但是干凈樣本的識別率仍然會降低。當把兩種類別的對抗樣本和干凈樣本都用于模型的微調時，模型會在保持干凈圖片識別率的情況下提升對于對抗樣本的識別率，如圖3（d）所示。這表明網絡模型只會對出現頻率較高的樣本空間做出更好的特征擬合，這無疑限制了模型的實際應用能力。

圖3 CMY變換和HSI變換樣本對網絡進行微調Fig.3 CMY transform and HSI transform samples fine-tune network

3.3 迭代攻擊次數N

擾動次數N在基于HSI變換的對抗樣本生成中扮演重要角色，因此需要進一步研究擾動次數對攻擊成功率的影響。實驗仍然選用CIFAR10 的測試集作為干凈樣本，預訓練的VGG16 作為待攻擊的目標模型。由于實驗測試集的原始圖片尺寸為32×32×3，尺寸較小且待攻擊模型是常見深度為16 層的卷積神經網絡，因此實驗中的最大擾動次數被設定為100次，在[0，100]的區間內觀測對抗樣本攻擊成功率與迭代次數的關系。對抗變換在每一次擾動中，HSI 顏色模型下的H 和S 分量都會疊加隨機擾動值并且保持I 分量不做變化，隨機擾動值是來自正態分布產生的隨機數，伴隨著迭代次數的增加，圖片的擾動量也會增加。在圖4 中發現經過1 次擾動迭代后，數據測試集中將近15%的圖片已經完成了對抗轉換，成為了具有攻擊能力的對抗樣本，隨著迭代次數的不斷增加，對抗樣本的攻擊成功率也在穩步上升，直到迭代次數達到100時，對抗攻擊成功率達到94.6%?？梢?，對抗樣本的攻擊成功率和實驗的擾動次數關聯很大，較多的迭代次數保證了較高的攻擊成功率，但是隨機擾動值的增加也會使得圖像色彩的偏移性更大，而卷積模型在基于顏色通道擾動的對抗變換上也更容易表現出不魯棒性。

圖4 迭代攻擊成功率Fig.4 Iterative attack success rate

3.4 擾動因子δH 和δS

將圖片轉換到HSI顏色模型下，然后在H分量和S分量中不斷增加擾動因子，擾動因子δH從正態分布[0，1]中取值，δS從正態分布中取值，其中N是算法總迭代步數，i是當前迭代值，用視覺效果展示擾動因子對于對抗樣本的影響。從圖5可以看出，原圖片是一張船的圖片，在H分量和S分量的疊加擾動下，原圖經過不同的對抗變換生成不同的對抗樣本。這些對抗樣本雖然在感官上色彩不一，但仍然能識別出圖片中船的模樣，這說明經過對抗變換的圖片仍然保留了語義信息。

圖5 擾動因子對于對抗變換的影響Fig.5 Effect of perturbation factor on adversarial transformation

圖片經過對抗變換，H分量和S分量的值變小時，圖片會褪去鮮艷的色彩，對抗樣本整體呈現出暗淡的黑白色；當兩個分量的值越來越大時，對抗樣本逐漸色彩鮮明化。另外，S分量的變化更受擾動因子δS影響，S分量的變化也更能影響人的視覺識別，因此在每次迭代擾動中，會將從正態分布獲得的擾動值加在圖片的每個像素值中，并且隨著擾動次數i的遞增，擾動值的獲取區間也在不斷增大，因此較容易得到偏移量更大的擾動值。擾動因子的這些限制使對抗樣本不會出現較為突出的異常像素區域，在視覺上光滑的，且不影響人眼對圖片物體的正常識別。

3.5 對抗樣本視覺效果

圖6 展示了利用對抗變換在CIFAR10 數據集上生成相應對抗樣本的實例，圖中的首行代表原始的干凈樣本，并配有相應的視覺標簽，中間和末行代表利用CMY變換和HSI 變換方法生成的對抗樣本。CIFAR10 數據集圖片的大小是32×32，可視化分辨率較低，從圖中可以發現基于顏色模型的對抗變換對于背景信息的修改相對較多，但是仍然較好地保留了圖片中物體的形狀特性，即保留了圖片的語義信息，人眼在視覺上能夠準確地識別出目標物。

圖6 對抗樣本視覺效果Fig.6 Adversarial sample visual effect

盡管卷積網絡在干凈樣本上能獲得較強的泛化性能，但面對語義對抗樣本時卻顯得異常脆弱，表現出不魯棒性。因此可以認為分類模型對于數據的學習過程是比較片面的，其只學習到了圖像本身的數字統計特征，將數據的分布做了很好地擬合，但是并沒有學到更加抽象的語義信息，在面對仍然保留了語義特征的對抗樣本時就不能體現出泛化特性。其次和人類視覺認知過程類比，人類在進行識別時更多的關注語義之間的關聯性，這有助于理解和識別物體，而卷積模型在識別過程中，通過卷積核提取圖片的特征，然后將特征映射圖進行疊加，這種映射疊加過程只考慮了數字層面的融合，并沒有進一步考慮到特征圖之間的語義關聯性。

4 結論

本文利用對抗變換擾動顏色通道生成語義對抗樣本，該對抗樣本可以完成高效的黑盒攻擊，卷積模型在本文的攻擊策略上表現出不魯棒性。通過攻擊實驗發現卷積模型在識別過程中不具備語義相關性弱點，因此模型只能學習到圖片本身的數字特征和相關分布特性。語義模型的創新對于對抗樣本的防御效果將是下一步的研究方向。另外，由于卷積網絡不能很好地識別具有語義信息的圖片，這也凸顯出了網絡本身的局限性。人類在對物體識別時會更加關注物體關鍵部位的信息，并根據其語義關聯性做出綜合判斷，因此將進一步研究卷積模型在關鍵部位特征提取的能力和特征圖高效利用方式來提升網絡性能。研究新的網絡結構不但有助于進一步解開網絡模型的“黑箱”特性，還能夠提升模型的魯棒性，給模型的實際安全部署提供保障。