基于CNN CBAM-BiGRU Attention 的加密惡意流量識別

鄧 昕，劉朝暉，，歐陽燕，陳建華

（1.南華大學 計算機學院，湖南 衡陽 421001；2.南華大學 創新創業學院，湖南 衡陽 421001）

0 概述

近年來，隨著對隱私保護和數據安全需求的提高，越來越多的網絡應用對流量進行了加密處理。據《谷歌透明度報告》統計的數據，截至2022 年9 月，在chrome 瀏覽器的所有流量中，https 加密流量占到了99%［1］。流量加密技術也為惡意流量提供了可乘之機，惡意流量通過加密技術隱藏自己的惡意行為，從而躲避安全檢測，導致傳統的檢測方法失效。對加密后的網絡流量進行解密，不僅需要消耗大量的計算資源和時間，而且難度較大，同時還存在侵犯隱私等問題。如何在不解密的前提下識別加密流量中的惡意流量，成為工業界與學術界的研究熱點與難點之一。

對流量進行加密后，IP 報文的明文變成密文，很多特征都發生了變化，使得基于深度包檢測和基于深度流檢測的方法失去效果［2］。研究人員通過對惡意加密流量的特征進行分析，發現正常加密流量與惡意加密流量的行為特征有明顯差異，機器學習方法可以利用這些特征將惡意與正常的加密流量區分開來，但是如何選取特征則依賴專家經驗，且深層特征難以直接發現。深度學習能夠自動地從原始數據中提取和選擇特征，避免了繁瑣的特征工程，因此，在加密惡意流量識別問題研究中，大量學者開始使用深度學習方法。

本文提出一種加密惡意流量識別網絡模型，其使用1DCNN+CBAM（Convolutional Block Attention Module）［3］提取空 間特征，利 用BiGRU+Attention 提取時序特征，以改善現有方法存在的對加密流量特征表征能力不足等缺點。通過在公開數據集CTU-13和ISCX VPN-nonVPN 上進行對比實驗，以驗證該模型的有效性。

1 相關工作

現有的加密惡意流量識別方法主要分為機器學習方法和深度學習方法兩種。

機器學習方法需要先人工進行特征選取，再從原始流量中提取這些特征，然后利用這些特征進行分類。文獻［4］首次提出在不解密的情況下利用機器學習技術從加密的網絡流量中識別出具有惡意行為的網絡流量。文獻［5］通過分析加密正常流量與加密惡意流量的TLS 流、DNS 流和HTTP 流，選擇加密惡意流量與正常流量有明顯不同的地方作為特征，利用SVM 算法進行識別。文獻［6］規避了流量的五元組信息，利用報文負載和流指紋來識別加密惡意流量。但是，基于機器學習的方法特征工程耗時耗力，不同的數據集中有效特征不同，在特征選取上非常依賴專家經驗，特征選取的好壞直接影響結果。此外，惡意軟件的更新迭代速度非常快，攻擊者可以通過更新代碼使部分特征失效，從而繞過檢測。

近年來，為了避免特征工程，研究人員開始在加密流量分類和惡意流量識別任務中使用深度學習這種端到端的方法來自動提取特征。文獻［7］將流量轉換為灰度圖，然后使用1D_CNN 模型與2D_CNN［8］進行惡意流量與正常流量的二分類以及流量應用類型的多分類，實驗結果表明，1D_CNN 在加密流量分類中表現更好，這是在流量分類任務中首次嘗試端到端的表征學習方法，給加密流量分類和惡意流量識別引入了新的思路。文獻［9］使用CNN 和專家經驗特征混合神經網絡來識別惡意TLS 流量。文獻［10］利用 Word2vec 對流量負載進行詞嵌入，并通過多核一維卷積識別惡意軟件加密C&C 流量。文獻［11］利用堆棧式自動編碼器（SAE）模型進行加密流量應用類型的多分類。

上述方法只關注了空間特征，缺少對流量上下文時序信息的表征，在面對復雜網絡流量時識別效果可能會出現嚴重下降［12］。文獻［13］使用LSTM 模型提取網絡層的傳輸包序列和時間序列特征以識別流量行為，完成加密惡意流量識別的二分類任務。文獻［14］利用BiGRU 和注意力機制進行HTTPS 流量分類。文獻［15］提出BotCatcher檢測框架，使用CNN和雙向LSTM 組合來進行僵尸網絡檢測的二分類任務。文獻［16］提出CNN-LSTM 檢測模型，CNN 學習底層空間特征，LSTM 學習高階時序特征。文獻［17］使用CNN-SIndRNN 模型識別使用TLS 協議加密的惡意流量，在訓練時間和檢測時間上有大幅提升。文獻［18］修改卷積神經網絡的結構，用卷積層代替池化層提高對流量的表征能力。文獻［19］使用TextCNN+BiLSTM 捕獲時空特征，再利用多頭注意力機制提取關鍵特征以進行惡意應用流量識別。文獻［20］把Inception 與Vision Transformer 兩個模型結合起來，在未知流量上進行實驗。文獻［21］提出一種ET-BERT 模型，在大規模無標記流量中使用多層注意力來學習流量上下文關系和流量間的傳輸關系，在特別場景下進行微調以完成加密流量分類任務。

現有方法雖然效果良好，但是僅依靠神經網絡模型提取特征，并未充分利用加密流量的時序和空間特征，導致對流量的表征有限。在現有研究的基礎上，本文提出一種同時考慮流量空間特征與時序特征的模型，并且在空間特征和時序特征提取中加入注意力機制來對重要特征進行加權，突出加密惡意流量與正常流量中差異性大的特征，從而提高識別的準確性。

2 方法設計

本文提出的加密惡意流量檢測方法主要分為數據預處理、流量空間特征與時序特征提取、流量分類3 個步驟，模型結構如圖1 所示。首先將原始流量數據預處理為灰度圖，然后再轉換為一維序列。特征提取層對輸入的序列自動提取時空特征：在空間特征提取模塊，選用不同大小的一維卷積核對輸入流量進行特征提取，為了防止特征丟失，通過調整卷積層參數代替池化層進行特征壓縮與去除冗余［22］，再利用CBAM 注意力機制對提取到的不同尺度的空間特征進行加權以提高分類準確率；在時序特征提取模塊，選用雙層雙向GRU 網絡，再利用注意力機制突出不同數據包之間的差異。流量識別是依靠不同類型流量之間的特征差異來判定的，因此，最后要把提取到的混合特征向量進行融合，再利用Softmax 分類器進行二分類和多分類。

圖1 加密惡意流量檢測模型結構Fig.1 Structure of encrypted malicious traffic detection model

2.1 數據預處理

數據預處理的目的是盡可能保留原始流量數據中特征差異最大的數據，并把數據轉化為神經網絡模型輸入所要求的向量類型。

在流量粒度的選擇上，與單向流相比，通信雙方的雙向會話流含有更多的交互信息，選取流量所有層的信息能盡可能地保留原始流量［6］。預處理工作首先將原始pcap 文件按會話進行拆分。原始數據集的每一類流量對應一個pcap 文件，把原始數據按數據包進行拆分，將一定時間內具有相同五元組（傳輸協議，源端口號，源IP 地址，目的端口號，目的IP 地址）信息的數據包匯聚成流，再利用源IP 和目的IP將流組成會話，刪除空會話生成的空文件，相同會話生成的文件只保留一個，同時刪除MAC 地址、IP 地址等會對模型造成偏差的信息。

由于模型只能輸入定長數據，因此所有會話必須統一長度。參考文獻［7］的實驗設計，本文將清洗后的會話長度統一修剪為784 Byte，長度不足的會話在末尾用零補齊。加密惡意流量和正常加密流量的主要差異存在于前面握手階段，因此選取前784 Byte 主要包含握手階段的協商信息，784 也方便轉換為28×28 的灰度圖。

在統一長度后，每一個會話被轉化為灰度圖，網絡流量傳輸的字節在0～255 之間，把序列數據轉換成二維，生成png 格式的灰度圖，0 對應黑色，255 對應白色，通過灰度圖可以直觀感受到各類流量的不同，png 格式也方便讀入數據。在讀入數據后，為了提高模型的收斂速度，先將灰度圖轉換回一維序列，再利用Min-Max 標準化的方法對數據進行歸一化。

在進行時序特征提取之前，需要對會話的字節進行向量化。文獻［23］采用One-hot 編碼，但這種編碼方式會導致生成的二維矩陣過于稀疏，影響模型的擬合效果。本文采用Embedding 詞嵌入，將原始流量的前784 Byte 編碼成784×64 的稠密向量。

2.2 特征提取

特征提取模塊分成空間特征提取模塊和時序特征提取模塊，2 個模塊直接對原始數據進行特征提取。2 個模塊并行，可以更好地表征流量，避免由串行帶來的信息丟失，從而提高識別準確率。

2.2.1 空間特征提取

網絡通信中客戶端與服務器的會話類似于現實中2 個人的對話，會話的流量可以類比于對話的句子。一維卷積更適用于序列處理，如果采用高維卷積，則需要把序列變成高維向量，轉換過程中有可能把原有流量的連續數據變成毫不相干的兩部分［10］，破壞了流量的原始信息。因此，本文采用一維卷積來提取流量的空間特征，不會破壞流量數據原來的相對位置，避免了信息丟失給模型識別準確性帶來的影響。傳統的CNN 結構由卷積層與池化層相互交替組成，池化層通過使用最大值或平均值代替池化核內的值進行特征壓縮及去除冗余［22］，從而簡化網絡復雜度。但是在流量數據中，相鄰的字節之間關聯性較弱，若使用最大池化或平均池化，容易導致特征的丟失。如圖2 所示，在TCP 頭部，SYN、FIN、ACK、PSH、RST、URG 的每種信息僅使用一個二進制位來表示，與前一位的信息并無聯系。

圖2 TCP 頭部結構Fig.2 Structure of the TCP header

加密流量的空間特征包含多種特征，如果只采用單一大小的卷積核，容易忽略某些空間特征，因此，本文選取多種大小不同的一維卷積核進行空間特征提取。為了盡可能地保留不同尺度的空間特征，將卷積層后的池化層使用卷積層代替，通過調整卷積層中卷積核尺寸、步長、填充等參數得到和池化層同樣大小的輸出，卷積層可以通過參數學習來防止特征丟失，同時也能達到壓縮特征和去除冗余的目的。

識別惡意流量以及惡意流量種類需要依靠加密套件復雜程度、流量負載等特征，這些特征的差異度會有不同，差異度大的特征能幫助模型更好地識別出惡意流量。注意力機制能夠對輸入特征賦予不同的權重，從而突出重要特征，提高分類的準確性。CBAM 是一種輕量級的端到端注意力機制，由通道注意力模塊和空間注意力模塊串聯組成，有效結合了2 個模塊的優勢。其中，通道注意力的作用是明確特征中什么是有意義的，空間注意力的作用是明確特征中重要的特征在哪里。CBAM 結構如圖3所示。

圖3 CBAM 結構Fig.3 CBAM structure

通道注意力結構如圖4 所示。輸入的特征矩陣先同時進行最大池化和平均池化，再經過多層感知機處理得到2 個通道注意力的映射，最后把2 個結果相加再與原輸入相乘得到輸出。

圖4 通道注意力結構Fig.4 Channel attention structure

空間注意力結構如圖5 所示。輸入的特征矩陣先同時進行最大池化和平均池化，把得到的矩陣先聚合再進行一次激活函數為Sigmoid 的卷積，最后與原輸入相乘得到輸出。

圖5 空間注意力結構Fig.5 Spatial attention structure

不同大小卷積核提取到的不同維度的空間向量，對于加密流量識別的重要性不同。為了能夠突出重要特征的作用，在卷積層后添加CBAM 模塊，通過對重要的特征賦予更高的權重，提高識別的準確性，最后再經過一層卷積層提取深層的空間特征。

2.2.2 時序特征提取

CNN 善于提取空間特征，但是難以捕捉流量的時序特征。網絡流量的字節-數據包-流量結構可以類比于字-詞語-句子的結構。字節、數據包、流量按時間順序排列，因此，網絡流量存在時間序列相關的特征。循環神經網絡（RNN）是提取時序特征的常用方法，但是傳統的RNN 中由于后面的神經元難以與前面輸入建立聯系，導致對長距離信息的學習能力較弱。LSTM 和GRU 能在一定程度上緩解傳統RNN 存在的梯度爆炸和梯度消失問題。與LSTM 相比，GRU 的結構更簡單，參數更少，因此，本文模塊選取GRU 進行時序特征提取。

單向GRU 只能將當前輸入與歷史信息建立聯系，無法捕捉到未來輸入對當前輸入的影響，然而流量數據會話中的某個數據包與前后數據包都存在時序聯系，因此，本文選擇使用雙向GRU（BiGRU）模型來提取流量的時序特征。雙向GRU 由正向GRU和反向GRU 連接而成，正反2 個方向互補能夠建立當前輸入與前后狀態的聯系，更好地表征流量時序特征。時序特征提取模塊結構如圖6 所示。

圖6 時序特征提取模塊結構Fig.6 Temporal feature extraction module structure

本文先對輸入流量進行詞嵌入，再使用雙向GRU 模型進行時序特征提取，網絡結構設計為串聯的兩層雙向GRU，通過加深網絡層次來提取深層時序特征。由于在會話中每個數據包對加密惡意流量識別的重要性不同，因此最后針對時序特征向量使用Attention 模塊來突出重要時序特征。

2.3 流量識別

時序特征和空間特征是完全不同的特征，2 種特征在識別中起到的作用也不相同，因此，本文在進行特征融合時定義如下：

其中：F是特征融合后的向量；fs是空間特征向量；ft是時序特征向量；w是一個超參數，取值范圍為（0，1），用來調節各部分特征對最終結果的影響程度。最后，把融合的特征F輸入Softmax 分類器中。Softmax 分類器使用Softmax 激活函數得到識別為每種類別流量的概率，取最大值作為模型識別結果，其計算公式如式（2）所示：

其中：pi表示輸入的一次會話被識別為第i種流量的概率；xi為對應流量類別的分數。

3 實驗驗證

3.1 實驗環境與設置

本文實驗在Windows 操作系統中完成。在數據預處理階段，使用SplitCap 工具將原始數據以會話為單位進行分割，使用numpy、PIL 等庫對會話進行處理，生成灰度圖。在深度學習模型的搭建與訓練階段，使用TensorFlow 和Keras2.7.0 框架進行模型搭建與參數調優。CPU 使用Intel 酷睿i7-12700F，內存為32 GB，采用英偉達RTX3060 顯卡加速。為了增強實驗的有效性，防止偶然性，取10 次實驗結果的平均值作為最終結果，細粒度劃分實驗進行十折交叉驗證，訓練集、驗證集、測試集的比例設置為8∶1∶1。

在模型網絡結構中，空間特征提取模塊中2 個卷積層的卷積核分別設置為32 和64，代替池化作用的卷積層的卷積核與上一層卷積核個數相同，步長設置為5，使用ReLU 激活函數，經過CBAM 塊后再經過一個Flatten 層與全連接層變成128 維向量。2 層時序特征提取部分的雙向GRU 的unite 分別設置為32和64，神經網絡的每一層設置Dropout 為0.5。選用交叉熵損失函數，Adam 算法優化，學習率設置為10-3，batch_size 設置為64。

3.2 數據集

文獻［2］指出，可用于異常加密流量識別和加密攻擊流量識別的公開數據集非常少，很難找到既包含加密惡意流量又有正常加密流量且以pcap 格式存儲的公共數據集。因此，本文的惡意加密流量數據集選取CTU-13［24］，正常加密流量數據集選用ISCX VPN-nonVPN［25］。

CTU-13 是由各種加密惡意流量組成的數據集，這些流量是由捷克理工大學開展的Malware Capture Facility 項目所收集的，本文從中選取10 種加密惡意流量，具體類型與數目如表1 所示。ISCX VPNnonVPN 是加密流量應用和服務類型分類任務中常用的數據集，該數據集由7 種常規加密和7 種VPN 加密的應用流量組成，本文從中選取10 種流量組成正常流量數據集，具體類型與數目如表2 所示。數據經過預處理后，生成的部分流量灰度圖如圖7 所示，從圖7 可以直觀地感受到各種類型流量之間的差異。

表1 加密惡意流量數據集Table 1 Encrypted malicious traffic dataset

表2 正常加密流量數據集Table 2 Normal encrypted traffic dataset

3.3 評估指標

實驗使用準確率（Accuracy）、查準率（Precision）、查全率（Recall）、F1 值（F1）等常見指標對模型性能進行評估。各指標的計算公式如式（3）～式（6）所示：

其中：TTP,k表示正確識別的k類流量的數量；TTN,k表示正確識別的非k類流量的數量；FFN,k表示k類流量識別為非k類流量的數量；FFP,k表示非k類流量識別為k類流量的數量。

3.4 結果分析

在卷積核的選擇上，本文選取4 種常用尺寸的卷積核組合，在二分類任務中進行實驗，結果如表3所示。從表3 可以看出，選用3、5、7 這3 種大小尺寸組合時準確率和F1 值最高，因此，本文選用3、5、7 這3 種不同大小的卷積核組合。

表3 不同卷積核組合的實驗對比Table 3 Experimental comparison of different convolution kernel combinations

圖8 反映了訓練過程中模型準確率與訓練迭代次數的關系。由圖8 可見，訓練5 輪時驗證集準確率達到99%，訓練15 輪時模型基本收斂，準確率達到99.5%，說明本文模型收斂速度較快，能夠提取出惡意加密流量的有效特征并識別出惡意流量。

圖8 準確率與迭代次數的關系Fig.8 Relationship between accuracy and number of iterations

在融合層的超參數w設置上，選取從0.1～0.9 且間隔為0.1 的9 個數進行實驗，結果如圖9 所示。由圖9 可知，將w取為0.6 時模型效果最佳，在本數據集中流量的空間特征差異略大于時序特征。

圖9 不同參數w 下的F1 值Fig.9 F1 values under different parameters w

3.4.1 二分類消融實驗

為了驗證本文模型中各模塊的作用，進行二分類消融實驗。1DCNN 模型去除了時序特征提取模塊與CBAM 模塊，BiGRU 模型去除了空間特征提取模塊與Attention 模塊，1DCNN+BiGRU 模型是上述2 個模塊的拼接，1DCNN-BiGRU 去除了空間特征提取模塊中的CBAM 和時序特征提取模塊中的注意力部分。

為了更真實地模擬現實網絡場景，更好地驗證模型的魯棒性，在二分類實驗中，訓練集由加密惡意流量數據集中的前5 類各1 000 條和加密正常流量數據集中的前5 類各1 000 條會話組成，測試集由兩部分數據集的剩下類別各選1 000 條會話組成，這樣能夠保證測試集中的流量類型在訓練集中都沒有出現過，可以檢驗模型識別未知類型加密惡意流量的性能。

由表4 可以看出，本文模型的準確率、召回率、F1 值均為5 種模型中最高的，說明本文模型在5 種模型中檢測惡意流量的能力最強。5 種模型的準確率、召回率、F1 值都已達到94%以上，說明加密的惡意流量與正常流量在空間特征與時序特征上有較大差異，可以通過深度學習方法來進行識別。從1DCNN 和BiGRU 的實驗結果與CNN+BiGRU 和CNN-BiGRU的實驗結果對比可以看出，同時考慮時序特征和空間特征的模型比只考慮單一特征的模型表現更好。從CNN+BiGRU 與CNN-BiGRU 的實驗結果對比可以看出，本文模型的2 個模塊更適合并行，模塊并行能在一定程度上避免串行導致的部分特征丟失問題。本文模型在3 個指標上都優于CNN-BiGRU，說明注意力機制能夠提高模型對加密惡意流量的識別能力。

表4 二分類實驗結果對比Table 4 Comparison of results of binary classification experiments %

3.4.2 十分類對比實驗

在現實場景中，除了需要識別網絡中的惡意流量，還需要對惡意流量的類別進行細粒度劃分，將結果提供給網絡維護人員以采取準確的防御措施。因此，本文選取10 類加密惡意流量進行實驗，為了避免數據不平衡對實驗的影響，從每一類加密惡意流量中隨機選 取5 000 條會話 組成數據集，將1D_CNN［7］、CNN-BiGRU、BotCatcher［15］模型與本文模型進行對比，以檢驗模型識別加密惡意流量具體類別的性能。BotCatcher 由含有2 個卷積層并且每個卷積層后加入最大池化層的2 維CNN 與雙層雙向LSTM 組成。

圖10 所示為4 種模型的查準率、召回率、F1 值以及整體準確率。從圖10 可以看出：1D_CNN 由于缺乏對時序特征的表征，因此整體準確率最低；本文模型在整體準確率上比其他3 種模型分別高出4.20%、1.42%、0.12%，說明在此數據集中，本文模型對惡意加密流量的具體類型識別效果更好；與BotCatcher相比，本文模型對于提取到的特征經過注意力層與特征融合層，更加有效地利用了加密流量的特征，因此，整體準確率更好；CNN-BiGRU 由2 個模塊串聯組合而成，整體準確率比本文模型低0.12%，在Zbot類別中查準率比本文模型高2.5%，但是查全率和F1 值都低于本文模型，原因可能是串聯連接中前一個模塊的特征提取給后一個模塊造成了部分特征丟失；在Zbot 類別中，本文模型的識別效果相比其他3 種模型有明顯提升，在查準率上分別提升5.57%、4.54%、4.05%，在F1 值上分別提升16.93%、5.41%、0.9%；在10 個類別的F1 值對比中，本文模型在Dridex、Miuref、Zbot、Htbot、Wannacry、TrickBot 這6 個類別中都大于等于其他3 種模型，剩下的4 類中比其他3 種模型中的最大值低不超過0.2%，說明本文模型在大多數類別中都有較好的穩定性，能夠有效識別加密惡意流量的具體類型。

圖10 5 種分類模型的實驗結果對比Fig.10 Comparison of experimental results of five classification models

本文模型某次實驗的混淆矩陣如圖11 所示。結合圖10 可知，本文模型的查準率在Dridex 類上低于CNN-BiGRU，在Zbot 類上高于其他3 種模型，查全率在Dridex 類上高于其他3 種模型，在Zbot 類上低于CNN-BiGRU，F1 值高于其他3 種模型。本文模型對Dridex 與Zbot 這兩類的混淆程度較高，查準率和查全率比其他類別低，原因可能是這兩種流量行為相似，使得空間特征和時序特征差異不夠明顯。

圖11 測試集結果的混淆矩陣Fig.11 Confusion matrix of test set results

4 結束語

本文提出一種端到端的加密惡意流量識別方法，利用CNN 與雙向GRU 模型分別提取流量的空間特征與時序特征，在每個模塊中利用注意力機制突出特征的差異性。在空間特征提取中，采用更加適合序列的一維卷積，基于不同大小的卷積核提取多視野空間特征，為了防止池化操作帶來的特征丟失，通過調整卷積的參數代替池化操作對特征進行壓縮和去除冗余，從而加強對流量的表征，利用CBAM 注意力機制對提取到的多視野空間特征進行加權，以提高準確率。在時序特征提取中，使用雙層雙向GRU 神經網絡來表征流量的上下文信息，利用注意力機制突出不同數據包的重要程度。實驗結果表明，該方法能達到較高的識別精度。下一步工作將從3 個方面展開：本文模型參數較多，檢測實時性不強，需要進一步提高模型在時間維度的檢測效率；在實際的網絡攻擊中，攻擊與攻擊之間可能存在聯系，本文模型只考慮了會話內部的特征，沒有考慮會話與會話之間的關系，從而忽略了攻擊之間的聯系，后續可以通過圖神經網絡來建立會話與會話之間的關系；對特征聚合進行深入研究，探索一種更優的時序特征和空間特征融合方式，以更好地利用這2 種特征進行加密惡意流量識別。