淺談網絡安全分析中的大數據技術應用

◆陳小波

淺談網絡安全分析中的大數據技術應用

◆陳小波

（國網福州供電公司 福建 350000）

網絡安全指的是網絡系統中對硬件、軟件及相關數據進行保護，運用大數據技術是當前保護網絡安全不受到破壞、泄露和篡改的主要措施。基于此，本文分析網絡安全中引入大數據技術的必要性，并從信息的采集與存儲、信息的檢索與數據分析、多源數據與多階段組合的關聯分析等方面舉例闡述大數據技術在網絡安全分析中的應用，同時也詳細說明網絡安全平臺的相關技術支持。

網絡安全分析；大數據；技術應用

0 引言

網絡安全具有保密性、完整性、可用性、可控性和可審查性的特點。網絡安全問題，應該如同家家戶戶的防火防盜問題一樣，做到防范于未然，威脅一旦發生，就會造成巨大的損失。因此，合理利用大數據技術有利于為網絡安全提供保障，有效提高網絡安全防護的作用，在進行網絡安全分析時提供幫助，有利于企業的信息安全，也有利于人們日常生活中的隱私安全。

1 網絡安全分析引入大數據技術的必要性

網絡分析是整個系統運行中的網絡管理者，它能夠在各種網絡安全的問題中找到合適的網絡管理方案，對系統中所有傳輸的數據進行檢測、診斷和分析，幫助廣大用戶規避風險，提高網絡安全性能，為用戶創造一個和諧無污染的網絡環境。目前，隨著大數據技術的應用，管理者不再擔心網絡事故無法解決，大數據技術可以幫助企業和用戶將故障和風險降到最低，安全性能提升到最高。由此，網絡安全分析引入大數據技術的必要性如下：

（1）容量大，大數據技術支持海量異構數據在運行中的計算與存儲，整個過程中信息是安全可靠的。

（2）成本低，與傳統數據庫的價格相比，分布式數據庫成本低廉，且可以適用所有硬件的擴展。

（3）速度快，對數據的存檔和檢索速度加快，采集信息和檢測響應的速度也快了許多。

（4）精度高，對數據的挖掘能力不斷提升，支持多維多階段的關聯分析，提升了數據分析的深度和廣度。

2 大數據技術在網絡安全分析中的應用

2.1信息的采集與存儲

運用大數據技術，通過Flume、Scribe等相關工具對網絡系統中所有數據進行分布式的采集，每秒內可以完成百兆以上的采集工作，尤其是對用戶的日志數據信息進行處理時有著良好的作用。此外，還可以利用傳統模式數據鏡像采集，對全系統進行全方位的流量數據采集。例如，利用大數據技術門戶網站可以每天自動采集成千上百的指定網站中的數據內容，對上千媒體進行新聞信息采集，想要觀看什么隨時隨地都能看到，不少用戶在雙十一期間準備淘寶搶購，就是利用大數據的技術每天自動采集淘寶網上價格的信息和更新變化情況，甚至產品的說明和圖片也能一目了然。

信息的存儲技術可以利用HDFS開展數據采集后的存儲，如果在一段時間內文件數據量過大，要想保證數據的處理和分析效率，在存儲時可以通過HDFS進行，實現所有文件能夠達到64兆字節。例如新聞媒體都要自動采集成千上萬個指定網站上的新聞內容，并對這些內容進行來源和數量上收集存儲。隨后相關工作人員通過對該地區情況的整合，按照專題編寫當日的新聞內容，每天內容在發布后都要進行存儲，以方便日后的檢索和總結，就是因為這種大數據技術，用戶在該網站進行新聞信息查詢時輕松就可以找到[1]。

2.2信息的檢索與數據分析

對于信息的檢索，可以采用Map Reduce作為架構形式，輸入具體的檢索要求，并且系統進行分析和處理，計算后大幅度提高了信息的檢索能力，由此可見大數據技術在信息檢索方面也有著積極的作用。例如，企業想要開會前尋找到一些有用的信息做參考，就可以利用大數據技術進行信息檢索，實時而準確地采集國內外相關行業新聞和技術性文章，并找到競爭對手和供應商的新聞、產品、人事、價格等信息，以此做對比。同時，大數據技術還能夠采集行業論壇中的信息，了解到消費者的需求與反饋，并準確地在網絡公共信息中采集到銷售線索，甚至通過這種大數據檢索功能可以挖掘出潛在客戶的資料。

數據分析也稱數據解析，該技術利用HIVE方法對數據進行展開分析，使用SQL中HIVEQL語言使HDFS和HBASE可以對不能構成結構式的數據進行檢索，此外，大數據技術下還能夠利用Mahout達到以H adoop為前提的機械研究，所有數據能夠進行深度挖掘與整理解析。例如，政府機關或者軍隊可以實時跟蹤并采集相關國內外的新聞數據，并通過這些數據整理出該地方的政策法規和經濟產業信息，還能利用大數據技術解決與因特網隔離的重要部門對于因特網的信息需求問題解決政府主網站對各地級子網站的信息采集與整合問題[2]。

2.3多源數據與多階段組合的關聯分析

多源數據和多階段組合的關聯分析過程是繁瑣而又有規律的，首先確定采集任務，針對不同的目標數據源進行采集配置，以確保可以采集到數據；隨后對任務進行調度，與目標站點同步更新、增量采集，采集到的結果完成數據異構到同構的過程；最后通過發布服務器，將數據發布到應用平臺。大數據技術能夠不斷增強數據的存儲和解析效率，及時發現并解析多源數據，從而防止發生安全隱患并制止網絡攻擊行為產生。如果一個計算機中存在安全隱患，甚至還會有攻擊現象，通過大數據技術可以查看其它計算機系統是否同樣有相似的情況，這樣在最短的時間能找到問題產生的原因，并采取相應措施保證所有機器系統的安全運行。例如，美國國家衛生研究院的生物科技信息中心(NCBI)公布的大量基因相關數據，這些數據的來源可以實時跟蹤、采集相關的國內外科技信息與新聞，對科研數據在各個網站網頁中進行整合，再通過本地文本數據抽取最后整合出完整且有實際作用的最終數據。

3 網絡安全平臺實現的技術支持

隨著計算機技術的發展和信息化技術的普及，大數據技術越來越多的參與到網絡安全平臺的建設活動當中，并為網絡安全平臺提供了相關技術支持：

（1）大數據技術的網絡安全平臺框架建立，從采集層、存儲層、分析層到最終的呈現層，整個平臺框架構造完善，數據采集層可以運用分布式的方法對所有用戶進行身份信息的收集，為了保障網絡運行安全，部分機構還會對用戶進行安全事件的信息收集。存儲層能夠對信息進行永久的數據存儲，并實現結構化的存儲模式，通過均衡算法讓數據具有實時性，在所有相應的文件夾中分布，以此加快用戶檢索的速度。

（2）平臺實現的技術支撐，數據同樣有采集層、存儲層、解析層和顯示層，其他層同大數據平臺架構一樣，解析層的功能卻更加突出，網絡安全系統進行分析時對實時數據進行解析關聯、解析情況，并掌握其中的特征，從而發現安全事件，是否有潛在的威脅和攻擊性行為存在，如果存在則分析原因進行解決。此外，數據顯示層可以將分析后的數據顯現出來，利用多個維度表現出網絡安全此時此刻的狀態。

（3）基于數據的挖掘與分析，平臺一般使用M ahout完成機械學習，針對事件流的關聯和分析，平臺運用CPE，將系統數據作為事件類型，在有關聯性的時間里解析，分門別類的將簡單事件轉化為高級事件，從海量信息資源中查詢到網絡安全隱患問題。

（4）網絡安全平臺中的安全性問題關系到未來網絡應用的深入發展，它涉及安全策略、移動代碼、指令保護、密碼學、操作系統、軟件工程和網絡安全管理等內容。建議內部網絡與公用網絡進行隔離并采用“防火墻”技術，這種防護技術是計算機硬件和軟件的組合，將互聯網與區域內部網絡之間建立一個安全網關，保護內部網絡的安全，免遭外部非法侵入和篡改。

4 總結

總而言之，在當今大數據時代發展下，人們越來越重視網絡安全問題，對大數據技術的研究不斷深入，多方技術結合力求網絡環境的和諧和上網過程中安全可靠，無論是信息的采集還是收集，甚至是最后的解析與呈現，大數據的應用造福了所有企業與用戶，保護了所有人的隱私，提供了海量的共享信息，為生活提供了便利，有效的提升了網絡世界的安全防御能力。

[1]劉夢飛.大數據背景下計算機網絡信息安全風險及防護措施[J/OL].現代工業經濟和信息化, 2017.

[2]王帥, 汪來富, 金華敏等.網絡安全分析中的大數據技術應用[J].電信科學, 2015.

[3]管磊, 胡光俊, 王專.基于大數據的網絡安全態勢感知技術研究[J].信息網絡安全, 2016.

[4]劉蘭, 林軍, 蔡君.面向大數據的異構網絡安全監控及關聯算法研究[J].電信科學, 2014.