脈沖神經網絡權重量化方法與對抗魯棒性分析

李 瑩 李艷杰② 崔小欣 倪慶龍② 周崟灝*

①(中國科學院微電子研究所 北京 100029)

②(中國科學院大學集成電路學院 北京 100049)

③(北京大學集成電路學院 北京 100087)

1 引言

人工智能正成為推動人類進入智能時代的決定性力量[1]，在自動駕駛、醫療救助、政府管理等安全攸關應用中，人工神經網絡(Artificial Neural Networks, ANN)面臨著以對抗攻擊為代表的各種攻擊威脅。對抗攻擊來源于人腦與機器智能的識別差異，可定義為通過對輸入注入人類難于辨識的擾動來欺騙神經網絡模型，使其達到高概率的錯誤輸出。愚弄模型[2]、操縱語音助手[3]、錯誤過濾垃圾信息[4]等案例層出不窮，可能造成泄露關鍵數據，甚至決策錯誤[5]，嚴重影響系統應用的準確性、機密性和完整性。對抗攻擊已經成為影響深度學習模型成功的最大挑戰之一。

類腦芯片在結構上多采用脈沖化的神經網絡(Spiking Neural Networks, SNN)，具有高稀疏性、低功耗等特點，已成為第3代神經網絡的代表[6]，有望大規模地用于視覺分類等低延遲目標識別任務。SNN的固有結構使層間數據具備天然的稀疏性[7]，使其比ANN有顯著的對抗魯棒性提升。國內外相關研究主要聚焦在算法模型分析層面，Sharmin等人[8]提出了一個簡單的對抗攻擊框架，并指出通過泊松編碼的輸入離散化和泄漏-積累-發放(Leaky Integrate-and-Fire, LIF)神經元的非線性激活是SNN魯棒性的來源。El-allami等人[7]研究了SNN對不同神經元放電電壓閾值和時間窗邊界值條件下的攻擊魯棒性。Kundu等人[9]從權重、泄漏、閾值和時間步長等方面評估了視覺幾何組(Visual Geometry Group, VGG)網絡結構的魯棒性。Kim等人[10]在低延遲訓練中比較了兩種編碼的魯棒性、能量效率、準確性等特性。上述研究中均沒有考慮算法到電路的映射，而類腦芯片在實際應用中，必然要通過重要參數的量化來配置電路單元，進而完成網絡推理。

本文通過在對抗攻擊前向推理的加載順序之前加入感知量化函數，從而模擬量化壓縮后的權重在推理過程中的精度損失，將感知量化框架與對抗攻擊訓練/推理過程相融合，能夠對網絡部署到硬件的量化過程中魯棒性損失進行度量。主要貢獻如下：

(1) 針對基于梯度攻擊的對抗攻擊算法，在不同網絡拓撲上構建了適用于對抗攻擊訓練的基于替代梯度的SNN模型和對抗樣本。

(2) 創新性地提出一種權重感知量化的方法，建立感知量化與對抗攻擊訓練/推理相融合的評估框架，在不同脈沖編碼和網絡參數組合條件下，通過引入攻擊前后推理精度損失差、層間脈沖活動和脈沖信噪比等度量依據，解釋量化稀疏性與對抗魯棒性的聯系。

(3) 基于類腦芯片模擬器完成部署和對抗推理，對SNN對抗魯棒性實現了全棧評估。

具體結構安排如下：第2節介紹支持對抗魯棒性分析的SNN算法與對抗樣本生成，第3節介紹本文提出的權重量化方法和評估框架，第4節通過實驗分析了量化前后不同對抗魯棒性評估依據的差異，并在實際類腦芯片中進行了硬件驗證，第5節總結全文。

2 支持對抗魯棒性分析的SNN算法與攻擊建模

2.1 基于反向傳播和替代梯度的SNN算法

SNN訓練常用到的算法有3種：(1)ANN轉換SNN方法[11]；(2)基于反向傳播和替代梯度的方法(Spatio-Temporal Back-Propagation, STBP)[12]；(3)無監督脈沖時間依賴可塑性 (Spike-Timing-Dependent Plasticity, STDP)及其變體方法[13]。由于轉換SNN的算法需要較大的計算資源和調試優化時間，而STDP沒有梯度反向傳播的過程，且損失函數不可導，不易生成對抗樣本，因此，使用STBP訓練算法，將替代梯度算法與時間反向傳播算法融合，解決了SNN層間脈沖反向傳播不可導的問題。反向傳播主要利用鏈式求導法則計算損失函數相對于網絡參數的梯度。導數的鏈式法則是微積分的基本規則，允許通過應用其組成函數的導數來計算復合函數的導數。SNN時空展開的鏈式求導結果如式(1)

L表loss函數，O代表神經元輸出，U代表神經元電壓，t代表當前的第t個單位時間，l代表網絡的第l層，W代表對應節點上的權重。

由于SNN中隱藏層的LIF神經元只有在膜電位超過放電閾值時才產生脈沖輸出，導致不可微。為了利用標準的基于反向傳播的優化程序，本文使用了替代梯度技術。參考利用導數中峰值時間信息的梯度逼近函數進行替代梯度計算的方法[12]。線性函數替代梯度的數學公式如式(2)

ot和ut為時間步長t時的輸出峰值和膜電位。θ為神經元閾值電壓。

圖1(a)為同一神經元在時間上展開后的鏈式求導法則原理，在一輪訓練權重更新的過程中，對應每個單位時間T上的權重信息累計得到這一輪訓練權重更新的最終數據。圖1(b)為不同層神經元在時間上展開后的求導原理。

圖1 鏈式求導法則在時間和空間上展開后的求導原理

2.2 對抗攻擊建模

Szegedy等人[14]于 2013 年發表了第1篇深度神經網絡的對抗性攻擊論文，并創造了術語“對抗性示例”。隨后Goodfellow等人[15]也提出了具有單個梯度步長的對抗性示例：快速梯度符號方法(Fast Gradient Sign Method, FGSM)。后續出現更多的對抗算法，如R + FGSM通過隨機化步驟來增強攻擊[16]，投影梯度下降(Projected Gradient Descent,PGD)則采取多個較小的步驟迭代對FGSM進行了改進[17]。SNN對抗攻擊包括：(1)對抗樣本的生成；(2)對抗樣本的注入。首先將原始樣本疊加上權重和擾動因子的乘積后生成新的樣本，然后將樣本重新注入網絡進行訓練，更改要攻擊的標簽后進行反向傳播和梯度下降，訓練多輪直到最終分類結果修改為攻擊目標效果后，導致SNN做出不正確的預測。

SNN對抗攻擊的建模首先需要確定一個數據集(x,ytrue)個 分類模型h，其中x為干凈的圖像，ytrue為正確標簽，對抗攻擊的概念是找到一個輸入xadv，使得x和xadv無法區分開，但分類模型h錯誤地區分了xadv，即在錯誤標簽上產生高概率輸出。在本文中，主要考慮FGSM生成xadv的方法，如圖2。其中的Loss為SNN替代梯度訓練過程中前向傳播后的損失函數，Grad為訓練過程中反向傳播后獲得的梯度信息，Adv_Grad為保存中間梯度信息的節點，Adv_Loss為原始樣本推理精度減去對抗樣本推理精度的差值，Embedding Weight是指將訓練最后一輪的權重信息重新加載到推理過程中。

圖2 FGSM攻擊原理

2.2.1 FGSM攻擊

FGSM是產生對抗性干擾的最基本和最廣泛的方法，分為非目標和目標兩種方式。

非目標FGSM如式(3)

FGSM如式(4)

這里?指擾動量，通常?遠小于x，?xJ是損失函數相對于原始干凈數據的梯度。

2.2.2 對抗樣本生成

假設X是32×32矩陣，卷積的核大小W是3×3。卷積是以1的填充和1的步幅執行。然后輸出Y將保持32×32的大小(Y維度=X維度 + (2×padding)–W維度+ 1)。當Y=X?W時可以得到：。由于編碼方式不同，X和Xencode的差異也不同，導致最終不同編碼方式下求導得到的?J/?X也存在很大差異，這會影響到最終對抗攻擊的效果，因此本文作了近似假設，如式(5)和式(6)

經過補丁操作以后的結果如式(7)

損失函數用J表示，J對X的梯度也是一個32 ×32的矩陣，每個元素用鏈式法則描述，并表示為矩陣的形式為式(8)。假設輸入圖像表示為X,W表示卷積層的權重矩陣，Y表示卷積運算的輸出。合理進行以下近似假設如式(9)和式(10)

利用替代梯度技術通過網絡反向傳播損失而得到的。然后用式(9)求得對抗擾動，可以得到

W是Wconv1旋轉180°。將式(11)的結果代入式(3)和式(4)中，即可得到FGSM攻擊的對抗擾動值。如式(12)

具體攻擊算法的迭代次數即可得到最終的對抗樣本。由于對抗攻擊過程只在前向推理過程中進行，但是對抗樣本的生成過程，需要利用反向傳播的權重數據。因此利用權重數據和FGSM算法生成的對抗樣本注入網絡來完成攻擊。更多算法建模和分析可參考文獻[18]。

3 權重量化方法與評估框架

3.1 量化稀疏

量化是將神經網絡中的浮點數參數和激活值轉換為低位整數或定點數的過程，通常會犧牲一定的模型精度以換取更小的模型尺寸和更低的計算量，從而使得神經網絡可以在資源有限的場景中運行。深度神經網絡模型中，通常權重由float32浮點數量化為int8, int4等定點數，減少模型的可表示空間大小。當 SNN 的權重被量化時，由于權重變得非常小，在某些情況下甚至為0。因此，連接到這些小或零值權重的神經元將接收到非常少的輸入，從而造成網絡輸出的稀疏性。量化稀疏性有助于防止過度擬合訓練數據。但過度的量化稀疏會導致大多數神經元沉默，影響網絡推理精度和訓練效果。因此，權重量化方法需要綜合考慮量化比特選擇、量化函數，以及量化和對抗框架的執行順序等要素。

3.2 權重量化方法

在機器學習中，模型量化通常包括兩種方式：后訓練量化和感知量化。后訓練量化是在模型訓練完成后對模型參數進行量化，可將原本使用浮點數表示的參數轉換為使用更少的比特位表示。感知量化是在模型訓練期間對模型參數進行量化，可在不降低模型精度的情況下，顯著降低模型參數的存儲和計算開銷。

為了使量化比特寬度范圍更廣泛，本文使用K-bit量化函數來調節量化的bit位寬。如式 (13)，[.]代表round操作，將輸入張量的每個元素四舍五入到最近的整數

3.3 量化函數

根據2.1節的描述，SNN中每一層輸出脈沖不可導，故而在訓練過程中引入了替代梯度。量化的過程是在訓練的每一輪中插入偽節點，在訓練過程中對權重信息進行量化并存儲到權重偽節點。在訓練的前向傳播中利用偽節點的權重信息進行推理，然后求得該輪的損失值loss后，進行反向傳播并更新權重信息。在下一輪訓練中重復這種執行順序，直到達到適合的推理精度，并保存此時的權重信息。在定義SNN前向推理網絡時，也要將感知量化函數插入到同樣的地方，需加載訓練過程最后一輪保存的權重信息，在推理時對該權重進行裁剪量化和存儲，利用偽節點權重做前向推理即可得到真實的量化后的網絡推理結果。

感知量化函數主要包括以下4個內容：

(1) 初始化網絡：定義變量，定義網絡節點用于索引網絡中每一層參數，網絡初始化；

(2) 構建參數張量節點(偽量化節點)：用于保存前向推理過程中量化參數；

(3) 裁剪函數：將浮點權重按層進行裁剪，利用式(17)完成裁剪，用于k-bit量化；

(4) restore函數：用于存儲將反向過程中原始權重參數值還原到原始節點。

3.4 融合對抗攻擊與量化的訓練/推理框架

在具體模型的實現中，需要將對抗攻擊與量化的訓練和推理框架進行融合，算法1為加入了感知量化算法的訓練框架，算法2為感知量化與對抗攻擊融合的推理框架。

算法1 加入感知量化算法的訓練框架

4 實驗結果與分析

4.1 量化后的對抗魯棒性分析

神經網絡算法部署在類腦硬件上時都要進行權重裁剪，因此量化權重必然會引起推理過程的稀疏性變化，進而影響對抗魯棒性。本節通過3.2節的方法對VGG5和VGG9進行了4 bit的權重量化，并使用對抗攻擊融合的推理框架，分析對抗魯棒性的差異。(1)VGG5推理精度損失和對抗魯棒性差異。表1展示了VGG5在最優推理精度時(參數為(0.4,1.0,0.5))，量化前后不同攻擊強度下的推理精度損失，損失越大表明對抗魯棒性越差。Q1代表權重量化前，Q2代表權重量化后。量化前后推理精度損失差在可接受范圍內。組合參數的3個數值分別代表conv層閾值電壓，fc層閾值電壓和泄露因子λ。I代表FGSM_2攻擊，II代表FGSM_8攻擊，III代表FGSM_16攻擊。4種編碼的對抗魯棒性在量化后都大于量化前。直接編碼的魯棒性最差。為了更深入分析量化前后的對抗魯棒性規律，在更深層的VGG9網絡上針對更多組合參數進行了實驗。(2)VGG9推理精度損失表2為在FGSM攻擊下，不同組合方式在權重量化前后推理精度損失的對比變化幅度表征了不同參數下的結果波動范圍。

表1 VGG5量化前后不同攻擊強度下的推理精度損失(%)

表2 VGG9量化前后不同攻擊強度下的推理精度損失(%)

算法2 感知量化與對抗攻擊融合的推理框架

由表2中結果可以看到：

現象1在相同(θ,λ)組合參數的情況下，無論哪種攻擊強度，直接編碼在4種編碼方法中都顯現出最差的魯棒性。

現象2對于3種稀疏編碼(速率編碼、相位編碼和延遲編碼)在低閾值電壓(θ=0.4)時，量化后對抗魯棒都高于量化前的對抗魯棒性。升高閾值電壓(θ= 1,θ=0.6和θ=0.8)時，對抗魯棒性分布無規律性。各種編碼方式都在(θ=0.4)時表現出最好的魯棒性，量化前只有局部最佳閾值點。

現象3量化后隨著組合參數的變化，在低強度攻擊下直接編碼的adv_loss最大差異為1.65%，在高強度攻擊下為21.21%。速率編碼對低強度攻擊最大差異為2.01%，對于高強度攻擊為9.34%。相位編碼對低強度攻擊最大差異為1.46%，對于高強度攻擊為4.94%。延遲編碼對低強度攻擊最大差異為1.36%，對于高強度攻擊為9.4%。較于量化前對固有參數變化時的推理精度損失變化幅度均有所增大，均值為5.79%，漲幅為73.23%。

(1) VGG9層間脈沖活動。圖3(a)—圖3(d)分別代表了在沒有對抗攻擊的情況下，量化前后不同編碼方式和參數下的脈沖活動，可以看到量化前后脈沖活動基本保持在同一數量級。

圖3 量化前后不同組合方式下的脈沖活動

以FGSM-2攻擊為例，表3為不同組合參數和編碼方式在權重量化前后平均層間脈沖活動的差異(個別數值由于訓練失敗缺失)?？梢钥吹剑苯泳幋a、相位編碼和延遲編碼結的層間脈沖活動均值的在量化前后變化幅度明顯變大，平均漲幅為51.6%，而速率編碼則稍有減少。

表3 量化前后不同攻擊強度下的層間脈沖活動均值

(2)脈沖信噪比。對抗樣本和原始樣本會因攻擊強度的不同存在不同的噪聲強度。根據輸入數據傳遞的時空特性，以及輸入編碼后數據積累用于脈沖發放的特性，將原始樣本和對抗樣本在推理過程中層間的原始樣本脈沖活動數SA1與SA1-SA2的差值的比值定義為對抗樣本與原始樣本的脈沖信噪比(Signal to Noise Ratio, SNR)，其倒數為噪信比(Noise to Signal Ratio, NSR)，如式(14)

在分析中使用脈沖信噪比SNR(或NSR)，可以將影響層間脈沖稀疏性的因素包含在內，更好地反映加入干擾后網絡是如何受影響而做出錯誤判斷的，同時還考慮時間步T的影響。攻擊強度ε/255代表對抗樣本相對于原始樣本在每個圖像通道上被改變的幅度，一旦數據被編碼送到每個神經元后，對抗樣本的附加干擾就會被隨機加到每個神經元上參與神經的積累電壓與發放脈沖過程，從而影響最終的分類結果。

圖4為加入對抗攻擊后，量化后不同編碼方式和組合參數作用下的NSR的結果。可以看到：

圖4 量化后不同編碼方式下的脈沖NSR

(1)在相同編碼方式下，隨著閾值變化，NSR的波動趨勢一致。

(2)4種編碼方式都存在NSR波動幅度相對最大的閾值點或波動幅度最小的閾值點，直接編碼、速率編碼和延遲編碼都是θ=(0.4,1)NSR波動幅度都最小，延遲編碼在θ=(0.8,1)和θ=(1,1)上NSR波動幅度更大，相位編碼不同閾值下幅度相當。

(3)同一種組合參數，不同編碼方式NSR的差別數量級不同，本文以1, 0.1, 0.01, 0.001和0.000 1為數量級的衡量依據來描述NSR的差異，結果如表4。無論在何種攻擊強度下延遲編碼NSR值都最大，這說明對抗樣本和原始樣本影響層間脈沖的發放程度更大。

表4 NSR數量級差異

分析1在同一種編碼方式下，對抗魯棒性存在最佳閾值點，且最佳閾值點的NSR波動相對其他閾值點低。當調整單一參數時，總會存在一個極點使對抗魯棒性達到相對最佳，而低于或者超過這個設定值時，就會出現魯棒性的下降的趨勢。且NSR越低對抗樣本對層間脈沖改變量越小，此時魯棒性越好。

分析2不同編碼方式的Xclean影響了W的分布，中間存在替代梯度和權重量化兩個近似過程，導致了W是模擬混淆值，所以編碼越稀疏，模型越具有較高的魯棒性。

由上述實驗結果的綜合分析可以得出如下結論：

(1)閾值增加，稀疏編碼，權重量化都可以作為層間脈沖稀疏化的因素。其加劇稀疏化的趨勢是，閾值增加大于權重量化bit降低大于稀疏編碼。當稀疏因素單一時，對抗魯棒性趨勢是單調的，而當稀疏因素達到3種時，訓練的模型有很大的脆弱性，導致對抗魯棒性下降。

(2)單一的參數因素與對抗魯棒性之間并不是線性關系。關于模型對抗魯棒性的比較必須在固定系統模型參數的前提下。當調整單一參數時，總會存在一個極點使對抗魯棒性達到相對最佳，而低于或者超過這個設定值時，就會出現魯棒性的下降的趨勢。

4.2 類腦芯片硬件驗證

為了驗證本文的權重量化方法與實際硬件上的兼容性，將提出的SNN框架在權重量化后部署到類腦芯片的硬件中。實驗平臺為北京大學PKUNC64C[19]類腦芯片，如圖5。該芯片是一款多核脈沖神經網絡類腦芯片，芯片采用2D Mesh NOC架構，集成了64k個隨機LIF神經元和64M神經突觸，可實現脈沖神經網絡模型的高效推斷功能。芯片配套設計工具鏈包括完整的芯片行為硬件模擬器，基于硬件模擬器進行了攻擊驗證實驗。因芯片可部署網絡的規模限制，芯片部署實驗采用模型為VGG5，數據集CIFAR-10，編碼為直接編碼，在不加攻擊的情況下，推理精度為83%，加入不同程度的攻擊后推理精度損失如表5，由于訓練方法的差異，映射過程存在一定轉換誤差，但是不同攻擊強度下的趨勢沒有大的改變。這也驗證了本研究算法的可用性和遷移性。

表5 軟件和PKU-NC64C硬件映射adv_loss對比(%)

5 結束語

針對脈沖神經網絡對抗魯棒性分析方法缺乏對網絡部署到硬件中的量化過程的損失度量的局限性，本文提出一種將對抗攻擊與權重感知量化相結合的訓練與推理框架，通過將推理精度損失差、層間脈沖活動和脈沖信噪比作為度量依據，從而衡量量化前后的魯棒性水平和變化趨勢。實驗結果表明直接編碼的對抗魯棒性最差，且提出稀疏化的因素對魯棒性影響相關度為：閾值增加大于權重量化bit降低大于稀疏編碼，及單一稀疏性因素對于對抗魯棒性存在局部最優解的結論，量化方法和評估框架在實際的類腦芯片硬件中得到驗證。研究揭示了SNN在量化過程中的部分對抗脆弱性來源和機理，能夠幫助研究人員構建更安全可靠的神經形態系統。