基于卷積神經網絡的工控網絡異常流量檢測

張艷升 李喜旺 李丹 楊華

摘 要：針對工控系統中傳統的異常流量檢測模型在識別異常上準確率不高的問題，提出一種基于卷積神經網絡（CNN）的異常流量檢測模型。該模型以卷積神經網絡算法為核心，主要由1個卷積層、1個全連接層、1個dropout層以及1個輸出層構成。首先，將實際采集的網絡流量特征數值規約到與灰度圖像素值相對應的范圍內，生成網絡流量灰度圖;然后，將生成好的網絡流量灰度圖輸入到設計好的卷積神經網絡結構中進行訓練和模型調優;最后，將訓練好的模型用于工控網絡異常流量檢測。實驗結果表明，所提模型識別精度達到97.88%，且與已有的精度最高反向傳播（BP）神經網絡測精度提高了5個百分點。這充分說明該模型能夠有效檢測出異常流量，作出安全預警，方便技術人員做出安全應對措施，極大地提高工控網絡的安全性能。

關鍵詞：卷積神經網絡;異常流量監測;工控網絡;特征提優;深度學習

中圖分類號：TP301.6

文獻標志碼：A

Abstract： Aiming at the inaccuracy of traditional abnormal flow detection model in the industrial control system， an abnormal flow detection model based on Convolutional Neural Network （CNN） was proposed. The proposed model was based on CNN algorithm and consisted of a convolutional layer， a full connection layer， a dropout layer and an output layer. Firstly， the actual collected network flow characteristic values were scaled to a range corresponding to the grayscale pixel values， and the network flow grayscale map was generated. Secondly， the generated network traffic grayscale image was put into the designed convolutional neural network structure for training and model tuning. Finally， the trained model was used to the abnormal flow detection of the industrial control network. The experimental results show that the proposed model has a recognition accuracy of 97.88%， which is 5 percentage points higher than that of Back Propagation （BP） neural network with the existing highest accuracy. These fully demonstrate that the model can effectively detect abnormal flow， make safety warnings， and facilitate technicians to make security countermeasures， greatly improving the safety performance of industrial control network.

英文關鍵詞Key words： Convolutional Neural Network （CNN）; abnormal flow monitoring; industrial control network; feature optimization; deep learning

0 引言

隨著兩化融合的不斷深入，越來越多的信息技術應用到了工業領域。工業控制系統已廣泛應用于電力、水利、石油化工、汽車、航空和食品制藥等工業領域， 其中大多數的基礎設施實現自動化作業時依賴工業控制系統， 可見，工業控制系統已經成為國家關鍵基礎設施的不可或缺的組成部分，因此工業控制系統和國家的戰略安全密不可分。一般情況下，由通用的軟件和網絡設施組成工業控制系統，并集成到企業網和互聯網等開放的網絡環境中。傳統工業控制系統是基于物理隔離的，它主要關注系統的功能安全，缺乏對網絡信息安全的考慮，并且沒有專門的安全防御措施， 例如2010年震撼全球的“震網”病毒事件，專門攻擊工業控制系統設施，造成伊朗核電站推遲發電。工業系統網絡化的快速發展，相應導致了系統的安全風險不斷增加，面臨的網絡安全問題也更加突出，再加上工業網絡通常采用傳輸控制協議/因特網互聯協議（Transmission Control Protocol/Internet Protocol， TCP/IP）技術進行通信，利用傳統的 IP安全漏洞攻擊工業控制網絡，使得工控系統的安全隱患愈加嚴重。

傳統的工業控制網絡安全的監測，一方面是通過工程師對網絡設備進行排查，另一方面是管理員通過參數信息庫對比參數進行分析并定位。目前國內外的各種網絡質量監測技術發展相對成熟，使用較多的技術包括：1）在一定周期內，通過對實際網絡系統的各種參數及指標進行觀測，進而作出分析與評價;2）根據實際的網絡系統建立數學模型，通過對其表達式的求解進行網絡性能的模型分析;3）通過計算機程序模擬網絡的實際使用情況，對得到的結果進行性能分析。

在大數據人工智能的環境下，算法和硬件系統的革新為網絡異常的檢測提供了全新的解決思路，許多的學者進行了嘗試并取得了一定的成果。其中包括使用最小二乘支持向量機[1]、K均值（Kmeans）[2]算法、動態半監督的Kmeans結合單類支持向量機[2]以及通過二分法優化Kmeans簇[3]等多種算法對網絡異常檢測進行了研究分析。

分析上述研究方法發現雖然有些算法模型[3]取得了接近90%準確率，但是特征提取的好壞對傳統機器學習算法的效果有很大的影響，且這樣的準確率還遠遠達不到工業使用的要求。近年來，在計算機視覺等多分類任務領域中使用深度學習的方法取得了一系列的成果，本文方法將深度學習的方法應用到工業控制網絡異常流量檢測中。

本文以工業控制網絡中的典型代表電力網絡系統作為研究對象，系統采用IEC608705104規約（Telecontrol Equipment and SystemsPart 5104， IEC104）控制協議作為網絡通信標準，IEC104規約是基于TCP/IP網絡作為運動信息的網絡傳輸規約標準。通過對遼寧省電網某子網交換機進行IEC104協議規約解析，采集網絡流量數據，利用數據流時間窗口滑動的方式對采集的數據包進行應用層深度包檢測，然后對檢測到的數據包進行內容解析并統計網絡流量特征。本文在采集并統計好流量特征后，采用在計算機視覺領域取得了不錯的成果的卷積神經網絡（Convolutional Neural Network， CNN）進行異常檢測，典型的卷積神經網絡有AlexNet[4]、更快速的基于區域的卷積神經網絡（Faster Regions with Convolutional Neural Network， Faster RCNN）[5]等。實際環境下網絡流量數據量大，通過將采集的網絡流量特征數值規約到0～255，與灰度圖像素值取值范圍剛好對應，每條數據特征樣本生成灰度圖，將特征灰度圖輸入到根據實際場景設計實現的卷積神經網絡中訓練。采用卷積神經網絡去訓練不用像反向傳播（Back Propagation， BP）神經網絡那樣每層之間采用全連接操作，導致訓練的權值參數太多、計算困難、訓練慢、反向傳播梯度損失多等。卷積神經網絡利用其局部感知與權值共享操作， 可以有效減少參數數目，降低了模型的復雜性，收斂速度快，避免了反向傳播梯度消失快等。使用卷積神經網絡訓練模型，在面對工控網絡流量大以及網絡流量特征復雜時，不用人為地去挑選特征，直接讓模型對特征進行提取，節約了人力成本，更符合工控環境，并最終取得了正確率相對高的模型[6]。用訓練好的模型檢測在線數據，能夠及時作出預警，方便工作人員作出相應調整， 因此，該模型正確率高、人為參與少，更加符合工控網絡實際環境，以此作為工控網絡異常流量檢測更有意義。

1 工控網絡異常流量檢測模型設計

1.1 異常流量檢測流程

網絡運行安全時網絡各個維度的特征都比較平穩，但當異常發生時會產生較大的波動，當某些維度的數值超過閾值時判定異常發生。異常有許多種，并且一種異常發生時對應的特征波動情況也相對穩定，這是設計卷積神經網絡的異常流量檢測模型的原則。檢測的具體流程如圖1所示，整個流程分為S1和S2兩大階段：其中S1階段也稱為數據預處理階段，主要對采集到的數據進行相關處理;S2階段，主要對S1階段處理后的數據進行模型的建立，以及對在線數據進行異常檢測，并作出安全預警。

特征提優 對應圖1中S1數據預處理部分。網絡流量數據的采集使用時間窗的方法，普通攻擊使用2s作為一個時間窗采集一次數據;慢速攻擊掃描頻率一般大于2s，所以使用5s作為一個時間窗來采集用于判別慢速攻擊的數據[7]。網絡攻擊首先需要建立起網絡間的連接，因此在采集網絡數據時主要關注網絡間與連接特征相關的信息。舉例來說，在TCP（Transmission Control Protocol）連接的基本特征中可以提取連接的持續時間、網絡協議的類型、目標主機的網絡服務類型、從源主機到目標主機的數據字節數等;在TCP連接的內容特征中可以記錄登錄失敗后嘗試再次登錄的次數、訪問敏感文件和目錄的次數、是否出現超級管理員命令等;以時間窗為特征的記錄一些比如過去2s內與當前連接具有相同服務的連接數、過去2s與當前連接有相同的服務的連接中，出現“REJ”錯誤的連接百分比等一些特征信息。

1.2 卷積神經網絡結構設計

卷積神經網絡和傳統神經網絡一樣使用的是多層結構，一般由輸入層、輸出層、卷積層和全連接層等交替組合[8-10]。每一層有多個神經元組成，每一個神經元表示一張圖中的一個特征。隨著卷積神經網絡層數增加伴隨來的是訓練參數的增加，而卷積層的權值共享策略極大地緩解了參數爆炸。假設輸入是{x1，x2，…，x9}，激活函數為f（x），輸出y為：

1.2.2 卷積層

模型的卷積層中卷積核的大小表示為k_width×k_height×k_channels，其中k_width、k_height分別表示卷積核的寬度和高度; k_channels表示卷積核的通道數;該卷積層中設置的卷積核為3×3×1，步長（stride）為1，填充（padding）為1，共有32個卷積核，步長指卷積核每次移動的距離，當圖像像素不滿足卷積核的卷積時需要在圖像周圍人工添加適當的0像素使得卷積可以進行下去，填充的數目為在圖像四周添加的0值像素的行列數。設輸入數據的大小為w1×h1×d1，輸出的特征圖大小為w2×h2×d2，根據輸入數據的大小、輸出特征圖的大小和卷積核的大小可以推導出輸出特征圖大小的計算公式（2）：

經過卷積層后，每張6×6×1的輸入圖像生成6×6×32的特征圖。式（1）中每一個卷積核運算后都要通過一個激活函數f（x）輸出。

卷積運算本質上是一個線性運算而激活函數是非線性函數，將卷積結果輸入到非線性函數中后增加了非線性因素。使得神經網絡的泛化能力更好。現在經常使用的激活函數有多種，如Sigmoid函數、線性整流函數（Rectified Linear Unit，ReLU）、雙曲正切（Tanh）、ELU（Exponential Linear Unit）激活函數等，本文選取的是Sigmoid函數。

Sigmoid函數在中間部分變化敏感，在兩端出現抑制對分類比較有利，本文應用在實際網絡數據流環境下，利用Sigmoid一方面可以在網絡發生異常后能夠有效地捕捉流量數據發生的細微變化，另一方面能夠將輸出數據壓縮到固定范圍中，使在卷積神經網絡的層與層傳遞過程中不易發散[11]。卷積層的數據流圖如圖4所示。

1.2.3 全連接層

全連接層是將前一層輸出的神經元與當前層的神經元全部連接在一起。在此之前的卷積層使用3×3大小的卷積核對結果進行卷積操作，每一個卷積核運算后都會產生一張特征圖，且一種卷積核對應產生相應特點的特征圖，全連接層的意義就是將前面從不同角度生成的網絡流量特征綜合到一起，將學習到的多個特征映射到樣本標記空間中進行后續的分類應用。

本文卷積神經網絡有兩層全連接層。第一層與卷積層相連有1024個神經元，在算法模型中的數據流和內部細節的展示，如圖5所示。卷積后的輸出通過reshape重構后，將全連接層的權重（Full Connection Layer Weight， fc1_weights）與全連接層偏置項（Full Connection Layer Biases， fc1_biases）求和后的值輸入Sigmoid中進行非線性作用，但每一次運算發生時并不是所有的權重都參與運算，在dropout[12]的作用下只有部分權重連接的神經元參與運算。得到的結果最終流入輸出層。

1.2.4 dropout技術

在全連接層輸出后，為防止模型發生過擬合的現象，在設計卷積神經網絡結構時，加入了dropout操作。在用訓練樣本進行權重更新時，全連接層的所有神經元都會參與這個過程，這樣每個神經元都記錄樣本的一些信息。這種過多記錄特征信息的過程會增加過擬合發生的概率，如果每次權值更新時只有當前層的部分神經元起作用，這樣權重的更新將不再依賴特定的更新過程，減少神經元間的相互影響，可以有效阻止特征被固定的網絡模型學習記錄。

本文使用簡單的“乘零”算法。當進行一次圖片訓練時，將dropout所在的全連接層的神經元的激勵函數的值按照40%的概率設置成0，這部分被設置成0的神經元在前后傳播中都保持不變，可以被認為這部分神經元沒有參與權重更新。特別需要注意的是，這部分激勵函數的值被設置成0的神經元也不是固定的。每進行一組訓練時，這部分都是按照概率隨機指定的。同樣在測試時需要將全連接層的所有神經元的激勵值乘上40%，期望確保在測試時，一個單元的期望總輸入與在訓練時該單元的期望總輸入大致是相同的。

1.2.5 輸出層

輸出層有23個神經元對應23類異常，這23個神經元負責接收Softmax函數分類器[13]的輸出值。Softmax的輸出值作為所屬樣本的概率值。

假設每次輸入的數據為1000張，訓練集可以表示成{（x（1），y（1）），（x（2），y（2）），…，（x（1000），y（1000））}，其中xi表示輸入卷積神經網絡的數據;yi對應這個數據的真實類別標簽。舉例來說，網絡數據流量異常可以分為Smurf攻擊、pingsweep、portscan等多種，通過向量映射將每一種異常的文字表述映射為向量表示，這樣可以直接參與卷積神經網絡的數值運算中。這1000張特征圖，每一張對應的Softmax輸出可以表示為：

其中：Wi表示第二層的全連接層與輸出層第i個神經元相連的權重參數，P（y（i）|x（i））表示當前輸入特征所屬第i類異常的概率，n表示異常的種類。

1.3 參數更新過程

卷積神經網絡的前向傳播過程與傳統神經網絡是相同的，不同點在于各層之間的連接方式。傳統神經網絡各層神經元間是全連接的，而卷積神經網絡則是由卷積層、全連接層等組成。雖然層間的組合方式不同但是前向傳播算法是相同的，都是在當前的權重參數下由輸入層依次計算激活函數值作為下一層的輸入一直到輸出層。不同的地方在反向傳播的參數更新過程中，傳統的神經網絡除輸出層外，其他各層的參數更新方式一致，卷積神經網絡僅僅在最后的輸出層和全連接層與傳統神經網絡更新方法一致。卷積層參數更新的方法根據不同的連接方式采用不同的參數更新方法。

2 實驗設計與結果分析

2.1 實驗數據

本文所用數據是通過對遼寧電網采用網絡流量深度包檢測，將檢測的數據包進行捕獲，利用libcap（Packet Capture library）進行解析，經過預處理后的網絡流量數據。數據集大小約為2.38GB，將該數據集分為訓練數據集和測試數據集兩部分，方便模型訓練以及測試使用。

在數據集的每條數據中都記錄攻擊類型，其中攻擊類型一共包括4個大類以及28個小類，其中12個小類出現在測試集中，這樣可以檢驗模型的泛化能力，對該數據集各類型數據的統計情況如表2所示。

2.2 模型訓練與測試

本文中在卷積神經網絡模型設計中加入了dropout技術，其目的是為了提高模型的泛化能力，進而能夠對模型的過擬合現象得到有效的改善。在實驗環節，對不加入dropout技術與加入dropout技術兩個模型進行對比，其對比結果如圖7、圖8 所示。在模型設計與測試時，將dropout設置成0.4，統計模型在最后的損失與準確率趨于穩定的結果，如表3所示。

[10] 常亮，鄧小明，周明全，等.圖像理解中的卷積神經網絡[J].自動化學報，2016，42（9）：1300-1312.（CHANG L， DENG X M， ZHOU M Q， et al. Convolution neural network in image comprehension [J]. Acta Automatica Sinica， 2016，42（9）：1300-1312.）

[11] 張順，龔怡宏，王進軍.深度卷積神經網絡的發展及其在計算機視覺領域的應用[J/OL].計算機學報，2017：1-29[2018-09-10].http：//kns.cnki.net/kcms/detail/11.1826.TP.20170918.2025.006.html.（ZHANG S， GONG Y H， WANG J J. The depth of the convolution of the neural network development and its application in the field of computer vision [J/OL]. Chinese Journal of Computers， 2017：1-29 [2018-09-10]. http：//kns.cnki.net/kcms/detail/11.1826.TP.20170918.2025.006.html.）

[12] COELLO C C A， BECERRA R L. Constrained optimization using an evolutionary programmingbased cultural algorithm[M]// Adaptive Computing in Design and Manufacture V.Berlin：Springer，2002：317-328.

[13] 李理，應三叢.基于FPGA的卷積神經網絡Softmax層實現[J].現代計算機（專業版），2017（26）：21-24.（LI L， Y S C. Softmax layer implementation of neural network based on FPGA[J]. Modern Computer： Professional Edition， 2017（26）：21-24.）

[14] 呂國豪，羅四維，黃雅平，等.基于卷積神經網絡的正則化方法[J].計算機研究與發展，2014，51（9）：1891-1900.（ LYU G H， LUO S W， HUANG Y P， et al. A novel regularization method based on convolution neural network [J]. Journal of Computer Research and Development， 2014，51（9）：1891-1900.）

[15] 王功鵬，段萌，牛常勇.基于卷積神經網絡的隨機梯度下降算法[J].計算機工程與設計，2018，39（2）：441-445.（WANG G P， DUAN M， NIU C Y. Stochastic gradient descent algorithm based on convolution neural network [J]. Computer Engineering and Design， 2008， 39（2）：441-445.