大數據環境下網絡入侵檢測技術的探究

藍文奇

摘要：互聯網為信息資源的交流提供了高效而便捷的全新方式，但同時信息資源的安全性也更加重要，信息資源的盜用、入侵、甚至毀壞給互聯網的信息資源帶來了嚴重安全威脅。而作為動態安全系統最核心的技術之一，入侵檢測技術在網絡防御體系中起著極為重要的作用，它是靜態防護轉 化為動態防護的關鍵，也是強制執行安全策略的有力工具。本文將在闡述網絡入侵檢測常見方法的基礎上，從數據流角度，提出動態的集成PU學習數據流分類的入侵檢測方法，在驗證數據集上進行突變漂移和逐漸漂移的比較實驗表明，該方法具有較好的分類性能。

關鍵詞：大數據;網絡;入侵檢測;PU學習算法

中圖分類號：TP393 文獻標識碼：A 文章編號：1007-9416（2019）05-0197-03

0 引言

隨著網絡快速發展，數據信息呈爆發式增長，一種規模大到在獲取、存儲、管理、分析方面大大超出了傳統數據庫軟件工具能力范圍的數據集合出現。大數據的出現意味著數據安全面臨更加嚴峻的考驗。網絡發展初期在對抗網絡入侵的安全部署中被動式防御的防火墻得到了廣泛應用;隨著網絡技術的發展，網絡入侵手段更加復雜多樣、層出不窮，而入侵檢測作為一種積極主動的安全防護技術，提供了對內外部攻擊和誤操作的實時保護，很好地彌補了防火墻的不足。

現階段在入侵檢測研究中應用數據挖掘技術以提高系統性能已成為重要趨勢。較有代表性的工作有采用數據挖掘算法從系統審計數據中抽取活動模式及特征，并根據獲得的特征定義從審計數據中生成入侵檢測規則;采用支持向量機來抽取網絡數據的特征，建立入侵檢測模型;其它還包括關聯規則、奇異點挖掘、聚類算法、分類算法、遺傳算法等。目前數據挖掘蓬勃發展，出現了很多新的挖掘方法，一些新的挖掘思路在入侵檢測領域鮮有應用研究。在論文的研究中，用正例未標注（PU，Positive and Unlabeled）來模型化數據進行分類分析的入侵檢測研究，根據不同數據集的特點進行入侵檢測的數據流挖掘研究，提出相關算法，并通過實驗證明了算法在該種數據集挖掘上的優勢。

1 入侵檢測技術常見方法與發展趨勢

1.1 入侵檢測技術常見方法

入侵檢測是通過檢測網絡和系統以發現違反網絡安全策略事件的過程，入侵檢測模型最早由美國斯坦福國際研究所（SRI）D.E.Denning提出來的，目前的各種入侵檢測技術和體系都是在此基礎上的擴展（圖1表示了該通用模型的體系結構）。

入侵檢測技術的方法很多，現階段常用的如表1所示。

1.2 入侵檢測技術的發展趨勢

首先，入侵檢測智能化。針對入侵行為方法的復雜多樣，未來需要通過改進入侵檢測模型和方法，將學習、數據挖掘、人工智能應用于入侵檢測領域，較為一致的解決方案為將智能檢測軟件或模塊與常規入侵檢測系統結合使用。

其次，分布式入侵檢測技術。傳統入侵檢測系統是在網絡的不同網段放置探測器來收集網絡信息，或在多個檢測主機上設置代理主機安全信息，然后將它們傳輸到主制器進行分析處理。此種模式缺乏對異構系統及大數據量網絡的檢測能力，不能適應大規模分布式入侵在大型網絡中發生的情況。而分布式入侵檢測技術是從網絡中的不同關鍵點收集信息用于檢測，其關鍵技術為檢測信息的協同處理與入侵攻擊的全局信息的提取。

再次，入侵檢測技術標準化。從體系結構、通信機制、消息格式等各方面對IDS規范化，具有標準化接口將是下 一代IDS的基本特征。

最后，入侵檢測系統與其他安全技術以及產品相結合。入侵檢測系統作為一種重要的安全部件，在保障網絡與信息安全方面發揮的作用有限，實現安全組件之間聯動越來越重要，因此對于安全部件之間的互動協議和接口標準的研究是入侵檢測研究的一個重要方向。目前主要是與防火墻、認證等網絡安全技術相結合。但隨著網絡規模越來越大，結構越來越復雜，還需要多個安全組件提供更加完善的計算機網絡安全保障。

2 動態集成PU學習算法的入侵檢測方法

在入侵檢測研究中，PU學習算法可降低人工標注訓練樣本的工作量，在基于PU學習馬爾可夫模型的入侵檢測中取得了良好的分類效果，目前針對數據流的分類算法主要是針對全標記的數據流，而本文將從數據流角度，提出一種動態的集成PU學習數據流分類的入侵檢測方法。

2.1 相關工作

本文提出一種動態的集成PU學習數據流分類的入侵檢測方法 DCEPU，在只標注入侵樣本條件下，在入侵樣本和普通樣本中學習得到分類器，可進行入侵行為識別。實驗證明該集成方法處理數據流的分類檢測時，比PU單分類器有較高的分類精度，增強了實用性。

2.2 動態集成PU學習數據流分類方法

在數據流上針對每個數據批（Data Batch），分別用POSC45、PTAN、PHNB算法構造基分類器，這里給出PU學習數據流動態分類器集成方法DECPU，在數據批Di上的學習算法為：

算法1：DECPU動態分類器集成學習算法

輸入：訓練數據流，其中Pi表示第i個數據批上的正例訓練樣本集，Ui表示第i個數據批上的未標注訓練樣本集。

z，集成分類器的大小;

輸出：集成分類器Ei。

（1）;

（2）? else{刪除Ei-1中getAccuracy（Di）最小的3個基分類器;};

（3）return Ei。

在數據批Di上，利用POSC45、PTAN、PHNB 3種PU學習算法構造出3 個基分類器，如果集成分類器Ei-1中基分類器個數小于z，將新訓練出來的分類器直接存放到Ei-1中;否則，刪除Ei-1中性能最差的3個基分類器后，再將新訓練出來的分類器直接存放到Ei-1中;返回得到的集成分類器Ei。

這里，getAccuracy（Di）用于估算基分類器在數據批Di上的分類性能。

針對待檢測樣本t，DECPU的動態分類器集成分類算法如下：

算法2：DECPU的動態分類器集成分類算法

輸入：t，待分類樣本;

訓練數據流

輸出：樣本t的檢測結果。

（1）centroID=the centroid of Pi;

（2）Sort samples in Ui according to its distance to centroID descendingly;

（3）V=top? samples in the sequence;

（4）V=;

（5）For each ;

（6）Tj.weight=Tj.getAccuracy（V）;

（7）endfor;

（8）通過加權投票的方式計算t的類別標簽l;

（9）Return l。

其中，centorlID為正例樣本集Pi的質心，在未標注樣本集Ui中，計算到該質心距離最遠的個樣本，構成數據集V，從而得到驗證數據集V=。在驗證數據集V上，估算集成分類器Ei中每個基分類器的準確度，并依次作為權重，進行加權投票，預測待檢測樣本t的類別。

2.3 實驗與分析

實驗數據集采用KDD99數據集，使用PU的POSC45、PTAN、PHNB，作為基礎分類器，對DECPU方法和Stacking的靜態集成方法進行概念逐漸漂移和突變漂移實驗。

在逐漸漂移實驗中，采用KDD99數據集的Probe、DoS兩種中攻擊方式，分為A、B兩組不斷轉換在場景中的比例作為攻擊概念的漂移，每個場景共生成39批數據集，每批上包含2000個相關攻擊樣本和6000個正常數據。在每個場景中，攻擊手段在Probe和DoS方式之間進行漂移。在每一個批中，標記Probe、DoS攻擊樣本H個正例樣本，另外的樣本作為未標記樣本，正例樣本從Probe或DoS中隨機獲得。

場景A為概念無漂移時，即入侵攻擊全部為Probe方式時。在場景B中從第5批開始，由Probe攻擊到DoS攻擊的比例每隔5批變化20%，并到第25批以后完全變為DoS攻擊。在C和D場景中，模擬攻擊手段Probe和DoS所占比例在不斷地變化中。其中場景D的比例變化較大。以上得到的F1指標變化如圖2所示。

由圖2的F1指標變化可以看出，場景A中當概念沒有出現漂移時，動態分類集成算法DCEPU分類效果優于靜態集成算法Stacking。在場景B中，當第10批時，攻擊手段突變比例較大，造成兩種算法分類效果下降幅度較大，隨著Probe攻擊逐步被DoS攻擊取代，在第20批樣本后，分類效果逐步回升，并基本保持穩定，DCEPU算法整體比Stacking算法好。

在場景C和D中F1的值都出現了震蕩變化，但總體上DCEPU算法比Stacking算法更適應逐漸漂移的概念變化。

在突變漂移實驗中，同樣采用Probe、DoS這兩種中攻擊方式作為正例，并在這兩種攻擊方式間作突變漂移。

突變漂移的場景為E、F、G、H四種，其中場景E為攻擊手段的突變表現在每個批次中，突變頻率最高，F場景中則為攻擊手段間隔性突變，為每隔 5個批次發生一次，在G和H場景中，攻擊手段的突變頻率變低，為漸歇性突變，各場景的F1指標變化如圖3所示。

由圖3的F1指標變化可以看出，在場景E時，由于突變不斷變化導致，F1指標波動比較大，在F、G、H場景中，在突變漂移發生時，F1指標下滑，分類效果下降，總體上，DCEPU算法在適應突變漂移的能力上比Stacking算法要好。

3 結語

本文探討了基于入侵數據流的PU學習動態分類器集成檢測方法，提出一種動態的集成PU學習數據流分類的入侵檢測算法DCEPU，在只標注入侵樣本（正例）條件下，在正例和未標注樣本中學習得到分類器，進行入侵行為識別。在真實數據集模擬的各種攻擊手段突變和漸變的變化實驗中，通過與Stacking算法進行F1指標變化曲線的比對顯示了該算法具有更好的概念漂移處理能力，取得了較好的分類效果。

參考文獻

[1] 蔣亞平，曹聰聰，梅驍.網絡入侵檢測技術的研究進展與展望[J].輕工學報，2017，32（3）：63-72.

[2] 樊佩佩，楊德義.淺析計算機網絡入侵檢測中免疫機制的應用[J].科學技術創新，2018（18）：74-75.

[3] 蔣永旺，張迪.基于數據挖掘的網絡入侵檢測方案實現[J].自動化與儀器儀表，2018（7）：810-816.

[4] 謝景偉.基于云計算架構的大規模網絡入侵檢測算法[J].電子技術與軟件工程，2017（24）：202-203.

[5] 李成云，支冬棟.基于動態SVM的網絡入侵檢測研究[J].計算機與數字工程，2012，40（11）：118-120.

[6] 王曙霞.大數據環境下的網絡主動入侵檢測方法研究[J].科技通報，2015，31（8）：225-227.

[7] 費宏慧，李健.大數據的分布式網絡入侵實時檢測仿真[J].計算機仿真，2018，35（3）：267-270.