網絡安全分析中大數據技術應用分析

李宗辰

(長春金融高等專科學校現代教育中心，吉林 長春 130012)

隨著各行各業相繼推出“互聯網+”的發展模式，使得互聯網在各領域內應用越來越廣。 在互聯網飛速發展的同時，也給網絡安全分析工作帶來了更大的困擾與壓力。首先是網絡安全分析工作所面臨的處理數據的工作強度呈指數型上升，并且數據的規模是海量的，類型也是多種多樣的， 所以需要通過多個維度的分析才能夠得到有效結果。 同時面對著海量的、多種結構的數據在分析處理上的空間復雜度與時間復雜度也越來越大， 處理時間越來越長，存儲成本越來越高，傳輸質量越來越低，甚至丟失數據。 為了解決上述諸多麻煩，將大數據分析技術融入網絡安全分析。 在引入大數據分析技術后，對計算機硬件要求不高，還能夠減低存儲成本，提高存儲空間，提升傳輸質量并且減少丟包現象的發生， 同時也能夠處理半結構化數據以及非結構化數據，提高數據分析的精確度。

1 大數據分析技術應用研究

1.1 數據采集

流量與日志是研究者用做網絡安全分析的最為重要的研究數據。 如果能夠在網絡安全分析中完美嵌套上數據挖掘算法以及大數據分析技術， 將可以不斷的完善各項數據收集任務的工作質量與效率。 與傳統的數據收集工作來比較的話， 引入大數據分析技術的數據采集工作將能夠更好的保證數據的完整度和收集效率。

1.2 數據檢索

與原始的數據檢索方式相比較， 引用大數據分析技術能夠完善目前的數據檢索的方式， 并能大大降低原始檢索方式的時間復雜度。 引用大數據分析技術能夠實現并行化方式來進行數據檢索， 將所需要的檢索需求任務可以同時發布給大量的分節點， 這些分節點能夠同一時間接收到任務并同時觸發任務， 然后這些分節點能夠各種數據挖掘算法計算來判斷出是否存在契合任務所需要的相關數據。 如果分節點判斷出自己是具有滿足任務的數據時，即可將數據反饋給上層節點，從而實現數據檢索的相關任務。 與傳統方式相比，運用大數據分析技術能大大降低該任務的時間復雜度與空間復雜度，降低了工作者的工作難度，極大地提高了檢索工作的質量與效率，減緩了工作者的工作壓力[1]。

1.3 數據儲存

隨著互聯網技術的不斷提升，尤其是移動互聯設備的普及，使得每天都會產生海量數據。 而這些數據中有傳統的結構化數據， 也有非結構化數據乃至半結構化數據，如何儲存這海量的數據是網絡安全分析的工作者們需要解決的頭等問題。 大數據分析技術的引用當即能夠解決工作者們的燃眉之急。 上文講到，引用大數據分析技術能夠加快數據檢索工作的效率和質量，意味著在同等的工作時間內，引用大數據分析技術能夠更快更多的檢索數據并且各個分節點也能夠迅速給出反饋信息，加快比對并將海量數據分門別類的存儲起來。 也就是說利用大數據分析技術能夠使得對海量數據處理的方式更加規范，處理規則更加統一，所得到的結果更加精確，最后把得到的各類新的數據分開存儲到各個位置，等待數據挖掘與分析工作的進行。 大數據分析技術的主要數據存儲技術為是HDFS：Hadoop Distributed File System。 HDFS 是一個基于分布式文件系統。 它有一定高度的容錯性和高吞吐量的數據訪問，非常適合大規模數據集上的應用。 HDFS 提供了一個高容錯性和高吞吐量的海量數據存儲解決方案。

1.4 數據處理

利用大數據分析技術來進行網絡安全分析，實踐上就是想要通過實現不同種類的數據挖掘算法和分析技術來完成網絡安全的分析。 與傳統的流水式數據處理技術相比，大數據分析技術對于海量數據分析處理的優勢則是分布式處理技術。 大量的分節點以不規則分布方式存在，待任務觸發時，能夠并發處理各項數據，從數據預處理，到算法核計算、分析以及最終的分析結果等步驟無不體現了運用大數據分析技術的優勢。 不僅降低了任務的時間復雜度與空間復雜度，而且最終所得到的處理結果的準確率與完整性更高，消耗的時間更低，整體處理效率更高[2]。

2 構建大數據分析應用安全策略

大數據分析技術的出現給人們的生產生活帶來天翻地覆的變化，在大數據技術的帶動下，各個行業領域都做出了重大的改變與發展。 如何將大數據分析技術應用到網絡安全分析工作中， 并且能夠使二者完美的契合起來將是一個長遠而又宏大的工程， 需要政府部門與高校研究人員以及相關技術企業等多方人員的全力配合， 才能夠將大數據分析技術完美的融入網絡安全分析工作中。

2.1 加強數據保護與安全建設

首先，要在思想上加強對數據安全保護的重視，網絡安全所需要面臨的問題并不是僅僅只有個人， 還有企事業單位以及各級政府，國家的信息數據安全最為重要。 綜上所述，必須對網絡數據安全建設提高重視，強化意識，需要大力鼓勵與扶持相關技術研究企業的發展， 打下夯實的網絡環境基礎， 提高對各項數據的保護能力與監察能力，時刻保證單位的網絡數據安全。 無論是作為個人還是單位員工都要提高網絡安全意識， 保證自身的網絡數據安全[3]。

2.2 提升大數據網絡安全感知能力

如今， 幾乎沒有任何一個行業與領域能夠離開互聯網與計算機， 并且為了保障自身利益不受到損害先后都構建了各式各樣的網絡安全防護系統，但是當面臨病毒、黑客入侵，不良信息發布時，絕大多數的網絡安全防護系統大多不堪一擊，幾乎完全沒有抵抗能力，一旦面臨有比較大的危險時無法保護個人的數據信息， 導致個人或者企事業單位遭受巨大損失。 想要加強網絡安全防護能力的建設，就必須要提升網絡安全感知能力。 在當今互聯網大數據時代背景下， 網絡安全感知能力是一種能夠提高處理效率， 同時準確率也能相對提高的一種網絡安全技術，能夠實現脆弱性感知、異常行為檢測感知以及資產感知等操作， 還能夠對用戶的信息來往和操作進行安全性評估， 同時網絡安全感知技術還能夠對用戶的行為進行特征分析計算， 從而進一步辨別用戶的操作能否遭受到安全威脅。 當被判別為能夠威脅到用過戶的安全時，系統就能夠自行屏蔽并提示管理員或者用戶， 從而大大提高對個人或者企事業單位的網絡安全保障。

2.3 提升大數據網絡安全融合能力

與如今的互聯網空間相比， 在過去的互聯網普及度相對較低，互聯網領域內的法律法規也并不規范、并不完善， 各單位所上線的網絡安全管理系統在面對病毒以及黑客入侵時不堪一擊，無法抵御惡意程序和病毒的入侵，也不能夠攔截不良網站傳播的各種各樣非法廣告與危險性極高的數據信息，大大破壞了網絡的安全與環境。 而現今，隨著業界內相關的法律法規逐漸發展與完善，各種各樣的安全技術不斷攀升，各式各樣的安全設備推陳出新，例如邊界防護墻、VPN 設備、上網認證系統、殺毒軟件、上網行為管理系統以及用戶訪問控制系統等等，使得現今的網絡安全系統越來越牢不可破。 但是，雖然各大安全技術廠家推出了各式各樣的網絡安全設備，如果僅用單一的網絡安全設備或者單一廠家的安全設備，是不能在當今大數據時代來保護網絡安全的。 如今的病毒或惡意程序是多渠道、多空間、多層次的無差別攻擊，必須要將各個廠家的多種安全設備合理串聯利用，例如天融信的防火墻，依訊的漏洞掃描，深信服的VPN 等等多廠家主打的網絡安全設備筑起一道牢不可破的“長城”，才能提升網絡安全防護能力。

2.4 構建基于大數據分析技術的網絡安全平臺

在了解各網絡安全設備并構建了網絡安全防護系統的基礎上，還需要基于大數據分析技術搭建其網絡安全平臺。 構建網絡安全平臺的分為數據收集層與數據處理層。數據收集層又分為數據信息的分析層與大數據技術信息存儲層，而數據處理層又分為數據挖掘層、分析層以及展示層。 在這些層面內能夠對所得到用戶各式各樣的數據信息展開逐一分類，以方便對這海量數據的量化存儲。 至于展示層就是通過大數據分析技術對數據進行特定的檢索，并將其可視化，最后將安全規范數據多維度的空間模型來呈現網絡的安全性。

基于大數據分析技術網絡安全平臺的構建在運行期間通常會采用Hive 的方式來統計和分析所得到的海量數據，通過分析、檢索得到的數據可存儲在HDFS 內。對于數據挖掘層而言，可采取基于Hadoop 技術的機械化數據挖掘技術（對于海量的靜態數據而言，Hadoop 技術對數據的處理速度要遠遠大于Spack 技術）， 對于海量數據進行深度挖掘與整理，并且能夠按照數據分析所引用的事件流來進行特殊化分析工作[4]。在最后可以采用CPE 技術來對平臺內的不同類型、不同時間的數據加以分析，并且能夠較好幫助建設關系庫，從而更好實現平臺對數據處理的整體性，以保障網絡環境的安全與防范。

3 結論

在現如今的互聯網背景下，雖然能夠大幅度提高網絡安全防護水平，但是從長遠的角度來看，還遠遠不夠，同樣存在著比較嚴重的網絡安全隱患。 對于網絡安全防護要與時俱進，需要在設備上繼續加大研發力度，在技術上要改進對網絡安全隱患的分析方法，才能夠在網絡安全防患的能力上得到加強，確保網絡環境的安全，才能夠更好地服務大眾與社會。