基于大數據技術的網絡異常行為監測技術研究

袁曉平

（鄭州工業應用技術學院，河南 新鄭 451100）

網絡技術不斷發展，對應的網絡攻擊技術也發展迅速，網絡黑客會采用越來越隱蔽的攻擊手段繞過檢測，通過越來越復雜的攻擊行為達到既定的攻擊目的，并且黑客的潛伏周期越來越長。普通的網絡入侵檢測技術主要基于入侵行為模式特征進行檢測，這就意味著其只能檢測出已有的入侵行為模式，但是卻無法準確檢測出新的入侵方式，一旦有了新的入侵行為，就需要安全專家重新分析、提取新的入侵方式模型特征，再在系統中生成新的檢測規則。這種方法在復雜多變的網絡攻擊環境中很顯然已經不適用。

1 網絡異常行為分析監測系統關鍵技術分析

基于大數據技術的網絡異常行為分析監測系統的關鍵技術包括以下3個方面。

1.1 大規模監控采集技術

網絡異常行為分析主要以數據的監控、收集、分析為基礎，數據監控、收集、分析的規模越大，網絡異常行為監測的準確性就越高，因此大規模監控采集技術非常重要。實際應用過程中，監控采集技術要先進行主動上報工作，收集、監控各項信息數據時，以本地代理Agent上報為主要形式，輔助形式采用遠程探針Probe采集形式，主動上報為信息收集與監控的優先級內容，不斷深入發展采集顆粒度，實時采集本地數據，以此為基礎進行數據分析，將一些復雜的安全認證環節減少至最少。工作過程中網絡異常行為監測系統設置為開機自啟動模式，無需人工監測。大規模監控采集技術還能夠實現匯聚壓力分攤效果，監控系統服務端的數據處理壓力很大，分布式匯聚技術可以按照需求在服務端與Agent，Probe之間適當增加匯聚代理，以提高數據預處理的效率，尤其是在一些復雜的網絡安全環境中，分布式采集匯聚技術的優勢能夠更充分地發揮出來[1]。

1.2 大數據存儲技術

在海量數據檢索及分析過程中，可應用Elasticsearch技術開展檢索工作，在頁面交互查詢過程中會形成告警結果數據，應用Elasticsearch分析這些數據十分高效。Hadoop分布式文件系統可有效存儲大規模數據集，因此在網絡異常行為監測系統中會將全面收集到的原始數據、預處理結果數據放入分布式文件系統（Hadoop Distributed File System，HDFS）中，并將Spark技術的作用充分發揮出來。Spark是一種專門針對大規模數據分析的快速通用計算引擎，能夠深入地挖掘歷史數據。此外，大數據技術中的My SQL為關系數據庫，可以存儲海量的報告數據、統計結果數據、系統管理類數據等；Redis也是重要的存儲系統，多應用于關聯性較強的信息分析處理，其能夠實時分析數據，找到互相關聯的信息[2]。

1.3 實時流事件處理技術

網絡異常行為分析監測系統中，實時流事件處理技術具有重要的地位，其主要收集、分析實時數據以及信息流，這些都是后續數據分析的信息基礎。將實時流事件處理技術與既定的檢測規則、信息數據進行細致對比，可以準確地發現某些信息、數據的不合常理之處，為后續的網絡異常行為判斷提供依據。Spark Steaming是一種重要的流式處理系統，其具備較高的容錯率及高通量，能夠合理對接多種數據源，因此在實時數據處理方面有著明顯的優勢。

2 基于大數據技術的網絡異常行為監測系統設計

2.1 系統架構

隨著網絡技術的不斷發展，網絡中數據的體量越來越大，網絡信息數據的經濟價值、社會價值、研究價值也越來越高，越來越多的不法分子通過非法途徑獲取網絡信息，以達到自己的非法目的。針對網絡信息的異常行為也越來越多，因此需要網絡管理人員精確地追溯攻擊路徑，通過構建強大的異常行為監測系統保障網絡信息的安全性。本研究提出的網絡異常行為監測系統架構包括數據采集層、數據處理層、數據存儲層、分析計算層等，其中數據采集層的主要作用是采集網絡中的數據源，再將記錄的網絡行為日志發送至kafka；數據處理層的主要作用是分析、處理采集到的網絡行為日志，通過kafka消息服務信息對采集層、處理層及存儲層之間的數據進行解耦合；存儲于kafka上的數據日志、解析日志在被數據存儲層讀取后存儲于分布式數據庫中；分析計算層的主要作用是通過分析數據來源得出相關分析報告，完成數據實現[3]。數據采集層、處理層、存儲層、分析計算層各層之間均通過標準接口及數據連接，減少了各層之間數據組件的問題及對其他結構的影響。

2.2 網絡異常行為采集設計

本系統中所有網絡異常行為感知采用的是分布式結構來完成，在分布式系統上集成HBase提高數據傳輸的效率。應用專業的采集服務引擎采集數據，將大量的歷史數據、實時數據存儲于系統后臺，可以采用列模式存儲來提高數據的存儲效率。由于系統所采集到的數據具有較高的冗余性，數據之間缺乏必要的關聯性，因此本系統應用聚類算法對數據之間的內在聯系進行分析，系統接收到海量數據后先通過數據維數約減算法將這些數據預處理為標準數據，分析得出數據之間的相關性，然后提取數據之間的顯性特征，分析出數據中的隱性特征和數據之間的內在關聯，不斷提高海量數據的應用價值。Hive技術采用數據挖掘算法實現價值數據的離線關聯分析，并將數據可視化地呈現給用戶，完成對價值數據的深入挖掘。在數據實時關聯分析階段應用數據的規則關聯與日志聚合技術可以大大提高數據的安全性。異常行為采集模塊又包括安全風險及指標、風險評估與處置、告警管理3個子模塊。其中安全風險及指標主要對數據信息整個生命周期中的異常行為進行識別、鑒定，是識別各種風險行為的基礎。風險評估則是根據風險量化模型對采集到的數據進行風險評估，根據評估結果等級對風險行為進行排序，優化處理風險評估等級最高的異常行為。風險控制主要是對網絡攻擊行為進行具體分析，根據異常行為的發生原理采取應對措施，以提高網絡異常行為風險處理的效率。

2.3 網絡異常行為精確感知

網絡異常行為精確感知模塊設計會應用到大數據框架技術、智能感知技術、交互式可視化技術、異常行為量化評估模型等。網絡異常行為的主要風險因素包括威脅、設備、安全防護措施等，分析網絡異常行為時需準確識別此類要素，并分析各要素之間的關系。具體的網絡異常行為及其影響包括：蓄意破壞設備或信息，會導致信息數據不完整或數據泄漏；非法人員在未授權的情況下非法讀取數據信息，甚至出現篡改數據信息、傳播病毒代碼、留下木馬后門等嚴重非法行為；工作人員自身的失誤也會造成數據信息有誤，影響到網絡信息的安全。網絡系統運行過程中任一階段都可能會出現異常行為，分析異常行為發生的概率，確定網絡攻擊行為的權重，再根據攻擊行為的危害后果定義風險指標，結合風險庫、數據屬性、風險評估對象對風險行為進行定義、識別、分析，采用風險量化模型計算網絡異常行為的風險值，根據網絡異常行為的風險等級、行為特點計算模擬安全控制措施的有效性。制定并執行風險動態管理機制，提高網絡安全管理執行效率[4]。

2.4 網絡異常行為分析模塊設計

網絡非法攻擊行為已經由傳統簡單粗暴的非目標值變換為精準攻擊、精細化的分布式拒絕服務（Distributed Denial of Service，DDoS）攻擊，特別是危害巨大的高級持續性威脅（Advanced Persistent Threat，APT）攻擊。因此網絡異常行為監測系統在識別網絡異常行為后，要完成網絡異常行為的精確感知并進行異常行為分析。網絡異常行為分析模塊可以獲取各種復雜環境下的告警信息、異常行為安全分析、控制行為等，分析數據前要先了解數據結構的組成及功能作用，并提高數據信息的標準化、多樣化，以提高數據挖掘的效率及異常行為建模的精確性，獲得更加精確的內在價值數據。系統的數據可視化功能可以將數據信息價值多樣化地呈現出來[5]。本系統中網絡異常行為防護規則包括：首先，系統已經判定為惡意IP地址的要絕對禁止其訪問系統，從根源上隔離非法用戶，保證信息數據的安全性；其次，系統識別到惡意域名后直接拒絕其訪問請求，一般情況下一些惡意IP地址會被防火墻阻擋在外，但是也會有些IP地址是防火墻無法識別的，系統在識別到這些惡意IP地址的訪問請求時會直接拒絕，并將其訪問記錄存儲于數據庫中，將其域名定義為“不可解析”；再次，網絡異常行為中的惡意文件主要是釣魚代碼、病毒，其主要目的是非法用戶實現對系統的遠程控制或啟動木馬程序，異常行為監測系統可以識別這類惡意文件，直接拒絕讀取文件，以起到保護系統數據安全的作用；最后，控制郵件發布者的訪問控制權限[6]。一直以來惡意郵件都是使系統受到攻擊的重要途徑，一般情況下，系統會通過檢查郵件后綴識別其合法性，直接控制郵件發布者的訪問控制權限，保護數據安全。而影響防護規則有效性的因素也比較復雜，比如攻擊行為發生的位置、防護系統的具體部署方案等，通常情況下防護規則可遵循就近處理的原則部署于最靠近攻擊行為的部位，以更好地阻止攻擊行為。

3 基于大數據的網絡異常行為檢測系統應用

系統運行過程中，首先會建立異常行為監測門戶，該門戶中包括各種異常行為的搜索、信息展示設計等，通過交互界面將所有的異常行為展示出來，尤其是重點展示攻擊行為、攻擊手段、攻擊對象等，還可以重點搜索漏洞、郵箱、已知黑客代碼、IP地址等外部行為，攻取攻擊行為的相關信息后向系統發送告警信息。然后，系統會采集網絡異常行為信息，主要是獲取原始網絡日志，比如網絡攻擊異常行為、安全通告漏洞、各類補丁信息、采集接口信息等，除此之外還包括攻擊目標本身的信息數據[7]。完成網絡異常行為信息采集后，系統會對異常行為進行分析，禁止網絡內部設備與危險IP地址進行數據交換。最后，將監測到的異常行為信息存儲于安全異常行為庫中，信息包括已造成威脅的異常IP、網址、鏈接等，一旦這些信息試圖訪問系統，系統就會啟動防火墻隔斷、禁止運行、刪除危險文件、清除注冊表等防護措施，保證系統數據的安全性。

4 結束語

大數據技術的發展提高了對于海量數據處理的能力，應用大數據技術挖掘分析歷史數據、檢測實時數據流，通過非基于特征的異常行為檢測能夠更準確識別隱蔽、復雜的攻擊行為。