基于雙層注意力神經(jīng)網(wǎng)絡(luò)的入侵檢測(cè)方法

曹 磊，李占斌，楊永勝，趙龍飛

1.國(guó)家海洋信息中心，天津 300171

2.清華大學(xué) 公共安全研究院，北京 100084

隨著信息技術(shù)的不斷發(fā)展，網(wǎng)絡(luò)空間安全日益受到關(guān)注。惡意的網(wǎng)絡(luò)活動(dòng)時(shí)刻威脅著人們的信息基礎(chǔ)設(shè)施、應(yīng)用和數(shù)據(jù)安全，并帶來(lái)許多嚴(yán)重的后果，如服務(wù)器宕機(jī)、未經(jīng)授權(quán)的非法訪問(wèn)、信息泄露篡改破壞等。因此，實(shí)施有效的入侵檢測(cè)手段來(lái)應(yīng)對(duì)這些惡意網(wǎng)絡(luò)活動(dòng)已成必然。

網(wǎng)絡(luò)入侵檢測(cè)技術(shù)是網(wǎng)絡(luò)安全防護(hù)體系重要組成部分，異常流量檢測(cè)和分析是網(wǎng)絡(luò)入侵檢測(cè)領(lǐng)域常用的研究方法[1]。研究人員通常使用機(jī)器學(xué)習(xí)方法來(lái)構(gòu)建網(wǎng)絡(luò)活動(dòng)模型，通過(guò)評(píng)估與正常行為差異性來(lái)檢測(cè)惡意網(wǎng)絡(luò)活動(dòng)，較常用的有隨機(jī)森林[2]、SVM[3]、KNN[4]、GBDT[5]、K-means[6]等淺層學(xué)習(xí)算法。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)子集，與淺層學(xué)習(xí)模型相比，深度學(xué)習(xí)模型擁有更強(qiáng)的擬合能力，將深度學(xué)習(xí)技術(shù)應(yīng)用于網(wǎng)絡(luò)入侵檢測(cè)已成為許多研究者關(guān)注的熱點(diǎn)。劉月峰等人[7]借鑒Inception結(jié)構(gòu)，提出了一種9 層網(wǎng)絡(luò)結(jié)構(gòu)的CNN，并利用多尺度卷積核來(lái)提取不同維度的特征，最后在KDDcup99數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)仿真。饒緒黎等人[8]構(gòu)建了一種MLP神經(jīng)網(wǎng)絡(luò)模型，實(shí)現(xiàn)信息不完全條件下的入侵檢測(cè)。Devan等人[9]使用深度神經(jīng)網(wǎng)絡(luò)（DNN）自動(dòng)對(duì)流量數(shù)據(jù)進(jìn)行分類，首先通過(guò)XGBoost 算法來(lái)減少不必要的特征，然后利用DNN模型對(duì)網(wǎng)絡(luò)入侵行為進(jìn)行分類訓(xùn)練。在文獻(xiàn)[10]中，提出了一種主成分分析法和LSTM 相結(jié)合的入侵檢測(cè)模型，并在UNSW-NB15數(shù)據(jù)集上進(jìn)行了仿真實(shí)驗(yàn)。汪盼等人[11]通過(guò)改進(jìn)的DBN深度置信網(wǎng)絡(luò)進(jìn)行特征降維，并在NSL-KDD數(shù)據(jù)集上進(jìn)行了分類實(shí)驗(yàn)。

目前，無(wú)論是傳統(tǒng)機(jī)器學(xué)習(xí)算法，還是深度學(xué)習(xí)模型，大都采用人工設(shè)計(jì)的流量特征，這類特征主要包括網(wǎng)絡(luò)流量包頭信息和整個(gè)流的統(tǒng)計(jì)信息，而對(duì)網(wǎng)絡(luò)流量中的有效載荷數(shù)據(jù)利用率卻不高，無(wú)法檢測(cè)到載荷數(shù)據(jù)包含的惡意信息，如XSS、SQL注入等。另外，網(wǎng)絡(luò)流量中的各類信息對(duì)入侵檢測(cè)分析的重要性是不同的，標(biāo)準(zhǔn)的CNN、RNN等神經(jīng)網(wǎng)絡(luò)，對(duì)重要信息的捕捉能力不足。

最近的研究發(fā)現(xiàn)，在RNN或CNN神經(jīng)網(wǎng)絡(luò)上添加注意力機(jī)制，可以在大量自然語(yǔ)言處理任務(wù)中取得更好的效果，如神經(jīng)機(jī)器翻譯[12]、文本分類[13]、情緒分析[14]等。注意力機(jī)制使用權(quán)重隱藏層來(lái)計(jì)算輸入序列的權(quán)重分布，根據(jù)權(quán)重分布就能反映輸入序列重要元素的位置信息。與RNN和CNN不同的是，注意力機(jī)制可以忽視輸入序列中元素的距離，直接捕獲對(duì)任務(wù)有重要貢獻(xiàn)的依賴關(guān)系，從而為RNN或CNN提取的特征補(bǔ)充重要性信息。雖然注意力機(jī)制在自然語(yǔ)言處理等領(lǐng)域應(yīng)用效果良好，但目前尚未應(yīng)用到網(wǎng)絡(luò)入侵檢測(cè)的問(wèn)題中。

本文提出了一種雙層注意力神經(jīng)網(wǎng)絡(luò)模型L2-AMNN，無(wú)需復(fù)雜的特征工程，直接提取原始網(wǎng)絡(luò)流量的有效載荷數(shù)據(jù)作為樣本，經(jīng)數(shù)據(jù)處理形成字節(jié)數(shù)據(jù)-數(shù)據(jù)包-網(wǎng)絡(luò)流層次結(jié)構(gòu)的文本序列表達(dá)。借鑒自然語(yǔ)言處理方法，在雙向LSTM 模型基礎(chǔ)上，引入雙層注意力機(jī)制，分別關(guān)注重要的字節(jié)和數(shù)據(jù)包。利用字節(jié)注意力機(jī)制，計(jì)算字節(jié)信息權(quán)重分布，提取關(guān)鍵字節(jié)信息特征；利用數(shù)據(jù)包注意力機(jī)制，計(jì)算數(shù)據(jù)包信息權(quán)重分布，提取關(guān)鍵數(shù)據(jù)包信息特征，最后生成更加準(zhǔn)確的入侵檢測(cè)特征向量，提高網(wǎng)絡(luò)入侵檢測(cè)能力。

1 基于雙層注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)構(gòu)建

1.1 整體架構(gòu)

如圖1 為本文提出的L2-AMNN 模型整體構(gòu)建流程，首先對(duì)PCAP格式的原始網(wǎng)絡(luò)通信數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理，包括流量切分、數(shù)據(jù)清洗等操作，并提取網(wǎng)絡(luò)流量的有效載荷數(shù)據(jù)作為輸入數(shù)據(jù)，然后構(gòu)建、訓(xùn)練層次網(wǎng)絡(luò)模型L2-AMNN，最后得到模型分類結(jié)果。

圖1 L2-AMNN模型構(gòu)建流程Fig.1 Overview of L2-AMNN construction

從整體上看，L2-AMNN 是一個(gè)端到端的深度學(xué)習(xí)模型，可以自動(dòng)學(xué)習(xí)輸入數(shù)據(jù)的特征信息，通過(guò)構(gòu)建層次網(wǎng)絡(luò)結(jié)構(gòu)模型，實(shí)現(xiàn)對(duì)有效載荷攻擊信息的深入挖掘，創(chuàng)新性地融合層次注意力機(jī)制，進(jìn)一步提高了字節(jié)和數(shù)據(jù)包重要特征的提取能力。模型整體具有對(duì)多協(xié)議、多類別、長(zhǎng)時(shí)間序列攻擊的高精度檢測(cè)優(yōu)勢(shì)。

1.2 數(shù)據(jù)預(yù)處理

原始網(wǎng)絡(luò)流量數(shù)據(jù)由一個(gè)個(gè)數(shù)據(jù)包組成，能提供完整真實(shí)的通信信息描述，通常以網(wǎng)絡(luò)信息五元組[15（]源IP地址、源端口、目的IP地址、目的端口、協(xié)議）的標(biāo)準(zhǔn)組合而成。PCAP 格式是常見(jiàn)的網(wǎng)絡(luò)流量存儲(chǔ)格式，其方向分為單向流和雙向流，為全面準(zhǔn)確地分析流量特征，本文主要提取雙向網(wǎng)絡(luò)流量。

本文對(duì)原始網(wǎng)絡(luò)通信數(shù)據(jù)進(jìn)行預(yù)處理，主要有以下幾方面原因：一是為表示通信行為的時(shí)序特征，需按照五元組屬性逐條提取流數(shù)據(jù)；二是要對(duì)流數(shù)據(jù)進(jìn)行清洗過(guò)濾操作，盡量減少臟數(shù)據(jù)量；三是流數(shù)據(jù)格式不符合神經(jīng)網(wǎng)絡(luò)模型輸入要求，需要進(jìn)行格式轉(zhuǎn)換。如圖2所示，數(shù)據(jù)預(yù)處理主要包含數(shù)據(jù)包分析、流量切分、數(shù)據(jù)抽取、流量清洗、格式轉(zhuǎn)換等步驟。

圖2 數(shù)據(jù)預(yù)處理流程Fig.2 Data preprocess procedure

數(shù)據(jù)包分析：在數(shù)據(jù)處理前，進(jìn)行數(shù)據(jù)人工分析是非常重要的一個(gè)步驟。首先對(duì)原始網(wǎng)絡(luò)通信數(shù)據(jù)進(jìn)行包分析，基于時(shí)間戳、IP地址、端口號(hào)等過(guò)濾網(wǎng)絡(luò)惡意行為數(shù)據(jù)包，然后進(jìn)行協(xié)議分析，識(shí)別數(shù)據(jù)包采用的協(xié)議，明確能夠提取的載荷數(shù)據(jù)結(jié)構(gòu)及特征，最后，要了解PCAP文件結(jié)構(gòu)，為后續(xù)的數(shù)據(jù)抽取清洗作好準(zhǔn)備。

流量切分：流量切分步驟是將連續(xù)的原始流量數(shù)據(jù)切分成多個(gè)離散的網(wǎng)絡(luò)流數(shù)據(jù)。利用Wireshark 的editcap 工具，根據(jù)網(wǎng)絡(luò)攻擊的時(shí)間戳進(jìn)行數(shù)據(jù)提取，按照五元組格式，切分成多個(gè)離散的網(wǎng)絡(luò)流數(shù)據(jù)，輸出數(shù)據(jù)仍是PCAP格式。

數(shù)據(jù)抽取：流量切分后生成的一個(gè)網(wǎng)絡(luò)流PCAP文件包含多個(gè)數(shù)據(jù)包，數(shù)據(jù)抽取步驟需要抽取每個(gè)數(shù)據(jù)包的傳輸層以上的有效載荷數(shù)據(jù)，為了降低對(duì)結(jié)果的影響程度，認(rèn)為IP報(bào)頭等數(shù)據(jù)是無(wú)用數(shù)據(jù)，應(yīng)該丟棄。

流量清洗：流量清洗主要去除載荷數(shù)據(jù)長(zhǎng)度為零的數(shù)據(jù)包，刪除重復(fù)數(shù)據(jù)，并將每個(gè)流中的數(shù)據(jù)包固定為一定長(zhǎng)度，大于該長(zhǎng)度進(jìn)行截取，反之進(jìn)行填充。

格式轉(zhuǎn)換：神經(jīng)網(wǎng)絡(luò)對(duì)輸入數(shù)據(jù)格式有一定要求，所以要對(duì)PCAP 格式的流數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換。將流數(shù)據(jù)以十六進(jìn)制進(jìn)行讀取，表示為[A～F，0～9]組成的字節(jié)序列，將其轉(zhuǎn)換為字符數(shù)據(jù)，每條流數(shù)據(jù)為一行文本，并標(biāo)記其標(biāo)簽類別。

1.3 網(wǎng)絡(luò)模型結(jié)構(gòu)

L2-AMNN模型為雙向LSTM網(wǎng)絡(luò)融合雙層注意力的網(wǎng)絡(luò)結(jié)構(gòu)，根據(jù)網(wǎng)絡(luò)流量的字節(jié)數(shù)據(jù)-數(shù)據(jù)包-網(wǎng)絡(luò)流的組成特點(diǎn)，模型首先使用了一個(gè)雙向LSTM神經(jīng)網(wǎng)絡(luò)和字節(jié)注意力層，編碼了帶有權(quán)重信息的字節(jié)詞向量數(shù)據(jù)，形成數(shù)據(jù)包特征表示，然后通過(guò)雙向LSTM 神經(jīng)網(wǎng)絡(luò)和數(shù)據(jù)包注意力機(jī)制，編碼形成網(wǎng)絡(luò)流的整體權(quán)重特征向量，最后使用softmax 函數(shù)進(jìn)行分類。網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 L2-AMNN神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)Fig.3 Neural network structure of L2-AMNN

1.3.1 字節(jié)特征提取

詞嵌入層：輸入數(shù)據(jù)由數(shù)據(jù)包的字節(jié)序列組成，與自然語(yǔ)言處理中的單詞處理類似，需要使用詞嵌入層進(jìn)行輸入編碼，由于字節(jié)數(shù)據(jù)取值范圍有限，本文選用one-hot編碼方式，定義一個(gè)d維詞向量，則一個(gè)數(shù)據(jù)包的字節(jié)信息詞向量表示為：

式中xit∈Rd，bit表示第i個(gè)數(shù)據(jù)包的第t個(gè)字節(jié)數(shù)據(jù)，e∈Rv×d是詞向量矩陣，v表示數(shù)據(jù)包中字節(jié)數(shù)量，d表示詞向量維度。

字節(jié)雙向LSTM網(wǎng)絡(luò)層：L2-AMNN使用雙向LSTM[16]神經(jīng)網(wǎng)絡(luò)對(duì)字節(jié)數(shù)據(jù)的詞向量進(jìn)行編碼，學(xué)習(xí)字節(jié)數(shù)據(jù)的特征信息，生成正向和反向的特征向量，將連接后生成數(shù)據(jù)包的特征向量hit。

字節(jié)注意力編碼層：標(biāo)準(zhǔn)的雙向LSTM網(wǎng)絡(luò)模型對(duì)輸入字節(jié)詞向量進(jìn)行統(tǒng)一編碼，每個(gè)詞向量對(duì)生成的中間編碼向量貢獻(xiàn)基本相同，但卻忽略了某些關(guān)鍵字節(jié)信息會(huì)對(duì)分類結(jié)果產(chǎn)生影響，為了解決這一問(wèn)題，引入字節(jié)注意力機(jī)制，計(jì)算字節(jié)數(shù)據(jù)的權(quán)重分布，將有重要貢獻(xiàn)的字節(jié)信息突出表達(dá)。為此，首先要計(jì)算字節(jié)數(shù)據(jù)的權(quán)重信息，權(quán)重信息矩陣的計(jì)算公式如下：

式（5）（6）中，為了度量某個(gè)字節(jié)數(shù)據(jù)的權(quán)重，使用hij和隨機(jī)初始化向量va的相似度來(lái)表示，然后經(jīng)過(guò)函數(shù)softmax 獲得了一個(gè)歸一化的注意力權(quán)重矩陣αij，αij代表數(shù)據(jù)包i中第j個(gè)字節(jié)信息的權(quán)重。

獲得字節(jié)信息的權(quán)重矩陣后，計(jì)算權(quán)重矩陣αij與字節(jié)信息特征向量hij的加權(quán)和，更新每個(gè)字節(jié)的特征表示，得到數(shù)據(jù)包向量pi，計(jì)算公式如（7）所示：

1.3.2 數(shù)據(jù)包特征提取

數(shù)據(jù)包雙向LSTM 網(wǎng)絡(luò)層。獲得帶字節(jié)權(quán)重的數(shù)據(jù)包向量后，通過(guò)雙向LSTM神經(jīng)網(wǎng)絡(luò)對(duì)數(shù)據(jù)包向量pi進(jìn)行編碼，學(xué)習(xí)數(shù)據(jù)包的特征信息，生成正向和反向的特征向量，將連接后生成網(wǎng)絡(luò)流的特征向量hi。

數(shù)據(jù)包注意力編碼層：與字節(jié)信息特征編碼類似，標(biāo)準(zhǔn)的雙向LSTM 網(wǎng)絡(luò)模型對(duì)同樣會(huì)忽略某些關(guān)鍵數(shù)據(jù)包信息對(duì)分類結(jié)果有重要影響，通過(guò)引入數(shù)據(jù)包注意力機(jī)制，計(jì)算數(shù)據(jù)包的權(quán)重分布，將有重要貢獻(xiàn)的數(shù)據(jù)包信息突出表達(dá)。數(shù)據(jù)包權(quán)重信息矩陣αi表示如下式所示，其中vb仍是一個(gè)隨機(jī)初始化向量并可進(jìn)行自動(dòng)學(xué)習(xí)，N為數(shù)據(jù)包個(gè)數(shù)。

網(wǎng)絡(luò)流f向量為權(quán)重矩陣αi與數(shù)據(jù)包信息特征向量hi的加權(quán)和，可表示為：

1.3.3 網(wǎng)絡(luò)流分類

將網(wǎng)絡(luò)流向量f輸入softmax 分類器中，并將其線性化為一個(gè)長(zhǎng)度等于類標(biāo)簽數(shù)量的向量p，利用交叉熵?fù)p失函數(shù)Loss，使損失函數(shù)最小化，當(dāng)標(biāo)簽值為c時(shí)，fc和pc分別為真實(shí)值和預(yù)測(cè)值的概率。

2 實(shí)驗(yàn)設(shè)計(jì)

2.1 實(shí)驗(yàn)數(shù)據(jù)集

本文數(shù)據(jù)集來(lái)源于加拿大網(wǎng)絡(luò)安全研究所的入侵檢測(cè)數(shù)據(jù)集CICIDS2017[17]。該數(shù)據(jù)集在連續(xù)5 天時(shí)間內(nèi)，基于HTTP、HTTPS、FTP、SSH等多種協(xié)議，采集原始網(wǎng)絡(luò)通信流量共51.1 GB。攻擊類型包括Brute Force、DoS、Heartbleed、Web 攻擊、Infiltration 和僵尸網(wǎng)絡(luò)等6大類。數(shù)據(jù)集提供了PCAP、CSV兩種格式。本實(shí)驗(yàn)采用PCAP 格式數(shù)據(jù)，訓(xùn)練數(shù)據(jù)集、驗(yàn)證數(shù)據(jù)集和測(cè)試數(shù)據(jù)集的比例為6∶2∶2。

如表1 所示，在6 大類攻擊類型下，實(shí)驗(yàn)數(shù)據(jù)集又細(xì)分了13種網(wǎng)絡(luò)攻擊小類作為數(shù)據(jù)標(biāo)簽。原始數(shù)據(jù)集是按照網(wǎng)絡(luò)流五元組切分后統(tǒng)計(jì)的雙向流數(shù)據(jù)量，考慮數(shù)據(jù)的不平衡性會(huì)對(duì)分類結(jié)果產(chǎn)生影響，進(jìn)一步對(duì)部分?jǐn)?shù)據(jù)進(jìn)行了采樣處理，如Heartbleed 數(shù)據(jù)量過(guò)小，采取二次切分流數(shù)據(jù)的方式進(jìn)行數(shù)據(jù)過(guò)采樣，對(duì)于DDoS 數(shù)據(jù)量過(guò)大的樣本，采取隨機(jī)欠采樣方式處理。對(duì)CICIDS2017 數(shù)據(jù)集進(jìn)行預(yù)處理后，共生成42 144 條雙向流數(shù)據(jù)。

表1 實(shí)驗(yàn)數(shù)據(jù)集Table 1 Experimental data sets

2.2 模型訓(xùn)練

本實(shí)驗(yàn)在Ubuntu 操作系統(tǒng)中，基于開(kāi)源的Tensorflow 深度學(xué)習(xí)框架，利用GeForce GTX 1060 顯卡進(jìn)行GPU 加速計(jì)算，極大提升了模型訓(xùn)練效率。如表2 所示，模型訓(xùn)練過(guò)程中，輸入數(shù)據(jù)取512字節(jié)，輸入序列長(zhǎng)度1 024，詞向量one-hot編碼長(zhǎng)度17，設(shè)置4層LSTM隱藏層，每層神經(jīng)元數(shù)量為200。為避免訓(xùn)練過(guò)擬合，分別對(duì)初始學(xué)習(xí)率、學(xué)習(xí)率衰減指數(shù)、衰減速度及dropout進(jìn)行配置，并當(dāng)損失函數(shù)值1 000次不下降時(shí)，提前結(jié)束整個(gè)訓(xùn)練周期。

表2 模型訓(xùn)練超參數(shù)設(shè)置Table 2 Hyperparameters of training model

2.3 評(píng)估指標(biāo)

本實(shí)驗(yàn)為多分類模型，使用表3的多分類混淆矩陣進(jìn)行具體分類結(jié)果評(píng)估。

表3 多分類混淆矩陣Table 3 Confusion matrix of multi-class

除上述混淆矩陣外，還將使用兩類評(píng)估指標(biāo)對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行評(píng)估，一類為分類模型通用的評(píng)估指標(biāo)準(zhǔn)確率（Accuracy）、精度（Precision）、檢出率（Recall）和F1-score，另一類為網(wǎng)絡(luò)安全入侵檢測(cè)領(lǐng)域的評(píng)估指標(biāo)漏報(bào)率（MAR）和誤報(bào)率（FAR）。

準(zhǔn)確率（Accuracy），衡量模型對(duì)數(shù)據(jù)集中樣本預(yù)測(cè)正確的比例：

精度（Precision），衡量預(yù)測(cè)為正例的樣本中真正為正例的比例：

檢出率（Recall），評(píng)估是否把樣本中所有真的正例全部找出來(lái)：

F1-score，精度和檢出率的平衡點(diǎn)，其中P表示精度，R表示檢出率：

漏報(bào)率（MAR），預(yù)測(cè)為正常流量樣本中攻擊流量樣本的比率：

誤報(bào)率（FAR），所有為正常流量的樣本中預(yù)測(cè)為攻擊流量的樣本比率：

2.4 實(shí)驗(yàn)結(jié)果及分析

（1）訓(xùn)練結(jié)果對(duì)比

為了評(píng)估注意力機(jī)制帶來(lái)的影響，訓(xùn)練了兩組模型：一組為結(jié)合雙層注意力機(jī)制和雙向LSTM 網(wǎng)絡(luò)的L2-AMNN 模型；另一組僅為雙向LSTM 網(wǎng)絡(luò)模型。圖4（a）和（b）為L(zhǎng)2-AMNN 和雙向LSTM 兩個(gè)模型訓(xùn)練過(guò)程中，在驗(yàn)證數(shù)據(jù)集上的損失函數(shù)值loss和準(zhǔn)確率accuracy的變化曲線。從圖中可看出，兩個(gè)模型在訓(xùn)練數(shù)據(jù)集上都顯示出良好的收斂性，獲得了模型最優(yōu)參數(shù)，后續(xù)實(shí)驗(yàn)將在測(cè)試數(shù)據(jù)集上科學(xué)評(píng)估模型性能。

圖4 模型訓(xùn)練的準(zhǔn)確率和損失值Fig.4 Accuracy and loss of training model

（2）測(cè)試數(shù)據(jù)集分類結(jié)果

為了更直觀地說(shuō)明情況，利用混淆矩陣，列出了測(cè)試數(shù)據(jù)集上的詳細(xì)分類結(jié)果。圖5 混淆矩陣提供了一種可視化的方式，矩陣的每一列代表預(yù)測(cè)值，每一行代表真實(shí)值，對(duì)角線上給出了準(zhǔn)確的分類結(jié)果，L2-AMNN分類準(zhǔn)確率為99.05%，Bi-LSTM分類準(zhǔn)確率為97.33%，L2-AMNN 的分類準(zhǔn)確率比Bi-LSTM 高了1.72 個(gè)百分點(diǎn)，驗(yàn)證了雙層注意力機(jī)制有助于提高分類準(zhǔn)確率。

圖5 測(cè)試數(shù)據(jù)集分類結(jié)果Fig.5 Classification results of testing data sets

（3）分類評(píng)估指標(biāo)分析

為了進(jìn)一步比較兩個(gè)模型性能，本文還計(jì)算了Precision、Recall 和F1-score 等分類評(píng)估指標(biāo)。表4 顯示了兩個(gè)模型評(píng)估指標(biāo)計(jì)算結(jié)果，可以看出L2-AMNN模型在各個(gè)數(shù)據(jù)類別中都取得了更好的分類效果。兩組實(shí)驗(yàn)對(duì)比說(shuō)明，WebAttack、Dos、BruteForce 的分類性能提升最為明顯，在WebAttack 數(shù)據(jù)類別中，由于注意力機(jī)制的引入，L2-AMNN模型能夠更好地挖掘XSS、Web暴力破解網(wǎng)絡(luò)流量中的關(guān)鍵攻擊信息；對(duì)Dos、BruteForce數(shù)據(jù)類別分析表明，注意力機(jī)制能夠讓模型提取到關(guān)鍵數(shù)據(jù)包的持續(xù)攻擊特征，有效提升了模型捕獲較長(zhǎng)序列重要特征的能力。實(shí)驗(yàn)結(jié)果也可看出，Botnet 和Brute-Force-SSH的分類效果相對(duì)較差。經(jīng)分析，CICIDS20117中的僵尸網(wǎng)絡(luò)發(fā)起大量非法HTTP請(qǐng)求，但有部分請(qǐng)求與正常流量無(wú)異，如POST/api/report HTTP/1.1，造成部分攻擊流量未檢出，所以檢出率較低。另外SSH暴力破解攻擊的協(xié)議為SSHv2加密協(xié)議，表明兩個(gè)模型對(duì)加密協(xié)議的檢測(cè)性能相對(duì)較低。

表4 Precision、Recall和F1-score對(duì)比結(jié)果Table 4 Comparison results of Precision，Recall and F1-score

（4）注意力機(jī)制可視化分析

為了更好地理解本文提出的雙層注意力機(jī)制，分析載荷數(shù)據(jù)中的字節(jié)信息、數(shù)據(jù)包信息對(duì)特定網(wǎng)絡(luò)攻擊類別的影響程度，選取了XSS攻擊和FTP暴力破解攻擊進(jìn)行分析，可視化了不同字節(jié)和數(shù)據(jù)包的注意力權(quán)重。圖6展示了注意力機(jī)制可視化結(jié)果，每一行為一個(gè)數(shù)據(jù)包部分字節(jié)數(shù)據(jù)，黃色代表字節(jié)注意力權(quán)重，綠色代表數(shù)據(jù)包注意力權(quán)重，顏色值由權(quán)重歸一化得到，顏色越深表明權(quán)重值越大，對(duì)最終的檢測(cè)分類影響越大。圖6（a）展示的是XSS 攻擊可視化結(jié)果，其中一條數(shù)據(jù)包為GET 請(qǐng)求“GET/dv/vulnerabilities/xss_r?Name=