大數據環境下網絡異常流量檢測方法分析

【摘要】 云計算光纖網絡中大數據出現異常負載易導致網絡中斷，建立提取云計算光纖網絡大數據異常負載的檢測模型，采用高階統計量分析法進行特征重構，結合極限學習法進行異常負載檢測自適應修整，根據高階統計異常譜分布實現大數據異常負載檢測。

【關鍵詞】 云計算技術;大數據;網絡異常流量檢測

【DOI編碼】 10.3969/j.issn.1674-4977.2021.06.017

Analysis of Network Abnormal Traffic Detection Methods in

Big Data Environment

A Si-han

（College of Youth Politics，Inner Mongolia Normal University，Hohhot 021000，China）

Abstract： The abnormal load of big data in cloud computing optical fiber network is easy to cause network interruption. The paper proposes to extract the abnormal load detection model of cloud computing optical fiber network big data，adopts the high-order statistical analysis method for feature reconstruction，and combines the limit learning method for the adaptive dressing of abnormal load detection. The abnormal load detection of big data is realized according to the high-order statistical anomaly spectrum distribution.

Key words： cloud computing technology;big data;abnormal network traffic detection

隨著互聯網的發展，網絡技術廣泛應用于生活中，許多公共場所布設移動WiFi接入點，為人們獲取信息提供便捷條件。人們應用網絡服務時將個人信息、銀行賬戶等敏感數據存儲到網絡中，重要數據傳遞帶來安全隱患造成網絡安全問題突出。本文利用云計算技術對大數據下網絡異常流量進行檢測，并測試檢測效果。

1 大數據下網絡異常流量檢測方法研究

光纖網絡利用光在玻璃纖維實現光波通信，大數據集成調度，然后通過交換機分配IP。光纖通信傳輸距離遠，云計算環境通過波分復用技術使光強度變化，通信中受到干擾導致通信信道配置失衡，需要對云計算光纖網絡大數據異常負載優化檢測，提高網絡通信的輸出保真性[1]。云計算光纖網絡中大數據異常負載檢測模型研究需要提取大數據負載異常特征，實現異常負載檢測。

2 網絡異常數據檢測大數據分析平臺

網絡異常流量分為DDoS、Network Scan等類型，異常流量類型可從目的IP地址、源IP地址、字節數等特征區分[2]。DDos異常流量可通過特征二四五七檢測;Network Scan異常流量可采用多個網絡地址對主機端口掃描動作;Flash Crowd異常流量由異常用戶對訪問資源申請動作。本文以影響網絡安全異常流量檢測為研究內容，運用現有數據樣本對建立檢測模型訓練，對訓練后識別分析模型檢驗[3]。

研究異常流量類型包括U2R攻擊類型、Probing攻擊類型等，需要對數據特征提取分析，對入侵事件進行分類[4]。應用多種入侵事件特征數據，包括離散不間斷協議、離散常規行為、離散接點狀態、不間斷數據源到目標數據比特數、持續創建新文件個數等。為避免兩種衡量標準相互干擾，需對離散數據采用連續化操作。云計算平臺迅速占領市場，目前應用廣泛的是Apache開源分布式平臺Hadoop，Hadoop云計算平臺由文件系統、分布式并行計算等部分組成[5]。Map Reduce將傳統數據處理任務分為多個任務，提高計算效率（見圖1）。Map Reduce編程核心內容是對Map函數進行特定動作定義，Map核心任務是對數據值讀取，Input Format類將輸入樣本轉換為key/value對。發現tasktracker模塊處于空閑狀態，平臺把相應數據Split分配到Map動作中，采用create Record Reader法讀取數據信息，tasktracker處于工作狀態程序進入等待。

3 大數據分析模型

隨著待處理數據規模劇增，單臺計算機處理數據速度過于緩慢，云計算系統以Hadoop為平臺基礎，提高計算效率。基于Hadoop平臺對網絡異常流量操作，向平臺提交網絡流量檢測請求，工程JAR包運行，通過Job Client指令把作業發送到Job Tracker中，從HDFS中獲取作業分類情況。Job Tracker模塊執行任務初始化操作，運用作業調度器可實現對任務調度動作。

任務分配后進入Map階段，所需數據在本地磁盤中進行存儲，依靠計算機Java虛擬機執行實現JAR文件加載，Task Tracker對作業任務處理，需要對文件庫網絡流量特征測試，Map動作結果在本地計算機磁盤中存儲。系統獲得Map動作階段計算結果后對網絡流量分類，中間結果鍵值相同會與對應網絡流量特征向量整合，Reduce Task模塊對Map Task輸出結果排序。Reduce動作完成后，操作者通過JobTracker模塊獲取任務運行結果參數，刪除Map動作產生相應中間數據。BP神經網絡用于建立網絡流量檢測模型，MapReduce平臺具有高效計算優勢，最優參數結果獲得需多次反復計算優化，MapReduce平臺單詞不能實現神經網絡計算任務，采用BP神經網絡算法建立網絡流量檢測模型會加長計算時間。

本文采用支持向量機算法建立網絡流量檢測模型。支持向量機以統計學理論為基礎，達到經驗風險最小目的，算法可實現從少數樣本中獲得最優統計規律。設定使用向量機泛化能力訓練樣本為（x[i]，y[i]），i=1，2，…，I，最優分類平面為wx+b=0，簡化為s.t.[yi]（w[?]x[i]+b）-1≥0，求解問題最優決策函數[f（x）=sgn[i=1lyiai（x?xi）+b]]，支持向量SVM把樣本x轉化到特定高維空間H，對應最優決策函數處理為[f（x）=sgn[i=1lyiaiK（x?xi）+b]]。云計算Hadoop平臺為建立網絡異常流量檢測模型提供便捷。MapReduce模型通過Reduce獲得整體支持向量AIISVs，通過Reduce操作對SVs收集，測試操作流量先運用Map操作對測試數據子集計算，運用Reduce操作對分量結果Rs統計。

4 仿真實驗分析

為測試實現云計算光纖網絡大數據異常負載檢測應用性能，采用MATLAB7進行負載檢測算法設計進行云計算光纖網絡中大數據異常負載檢測，數據樣本長度為1024，網絡傳輸信道均衡器階數為24，迭代步長為0.01。采用時頻分析法提取異常負載統計特征量進行大數據異常負載檢測，重疊干擾得到有效抑制。采用不同方法進行負載異常檢測，隨著干擾信噪比增大，檢測的準確性提高。所以設計的方法可以有效檢測大數據中異常負載，并且輸出誤碼率比傳統方法降低。

單機網絡異常流量檢測平臺使用相同配置計算機，調取實測數據為檢驗訓練源數據，選取典型異常流量200條數據樣本用于測試訓練。采用反饋率參量衡量方法好壞，表達式為precision=TP/FP+FN×100%，其中，FN為未識別動作A特征樣本數量;TP為準確識別動作A特征樣本數量;FP為錯誤識別動作A特征樣本數量。提出檢測方法平均準確率提高17.08%，具有較好檢測性能。對提出網絡異常流量檢測方法進行檢測耗時對比，使用提出網絡異常流量檢測方法耗時為常規方法的8.81%，由于使用檢測方法建立在大數據云計算平臺，將檢測任務分配給多個子任務計算平臺。

使用KDD CUP99集中的數據進行網絡異常流量檢測分析，選取R2L攻擊，Probing攻擊異常流量數據用于檢測分析，采用準確率參數衡量檢測方法宏觀評價網絡流量檢測識別方法：r=TP/FP+FN×100%。使用單機平臺下SVM算法建立網絡異常檢測模型對比分析，本文研究檢測模型平均識別率為68.5%，研究網絡異常流量檢測模型檢測準確率提高28.3%。多次試驗對比檢測耗時，使用本文提出網絡異常流量檢測耗時較短。

【參考文獻】

[1] 林昕，呂峰，姜亞光，等.網絡異常流量智能感知模型構建[J].工業技術創新，2021（3）：7-14.

[2] 武海龍，武海艷.云計算光纖網絡中大數據異常負載檢測模型[J].激光雜志，2019（6）：207-211.

[3] 農婷.大數據環境下的網絡流量異常檢測研究[J].科技風，2019（17）：84.

[4] 馬曉亮.基于Hadoop的網絡異常流量分布式檢測研究[D].重慶：西南大學，2019.

[5] 李寧.基于大數據的互聯網異常流量檢測研究[J].成都工業學院學報，2018（4）：34-38.

【參考文獻】

阿思汗，男，2000年出生，內蒙古師范大學青年政治學院信息工程在讀。