大數(shù)據(jù)技術在網(wǎng)絡安全分析中的應用

滕雅玲

（萊州市融媒體中心，山東 萊州 261400）

0 引言

隨著近年來我國信息技術的飛速發(fā)展，我國的網(wǎng)絡信息技術實現(xiàn)了普及。我國居民對于網(wǎng)絡安全也變得越來越重視，因為網(wǎng)絡安全將直接關系到我國居民的隱私，對我國的國家機密也會造成巨大的威脅，使我國的網(wǎng)絡安全分析面臨著全新的挑戰(zhàn)。

1 大數(shù)據(jù)技術背景下網(wǎng)絡安全分析的必要性探究

1.1 網(wǎng)絡信息安全管理現(xiàn)狀

得益于我國信息技術的進步，IT行業(yè)發(fā)生了巨大的變革，具體的表現(xiàn)就是利用信息技術與信息工具所建立的網(wǎng)絡數(shù)據(jù)業(yè)務數(shù)量越來越多。因此，網(wǎng)絡應用的復雜性也變得越來越高，現(xiàn)階段以往的網(wǎng)絡設備已經(jīng)無法滿足信息技術飛速發(fā)展的需求，如何提升網(wǎng)絡運行的安全性是需要重視的問題。以往在分析網(wǎng)絡運行的安全性時需要消耗大量的成本，且有效性往往難以得到保障。利用云計算平臺實現(xiàn)數(shù)據(jù)分析，通過云計算實現(xiàn)網(wǎng)絡信息數(shù)據(jù)的有效分析，獲取數(shù)據(jù)包漏洞已經(jīng)成了網(wǎng)絡安全分析的一大發(fā)展趨勢。非結(jié)構(gòu)化與半結(jié)構(gòu)化數(shù)據(jù)相較以往已產(chǎn)生巨大的變化，以往的數(shù)據(jù)整理手段無法滿足現(xiàn)階段網(wǎng)絡安全運行的需求，因此大數(shù)據(jù)技術的在網(wǎng)絡安全分析中的應用迫在眉睫[1]。

1.2 大數(shù)據(jù)技術概述

大數(shù)據(jù)技術的應用是未來網(wǎng)絡安全分析的重要發(fā)展趨勢。大數(shù)據(jù)技術最大的特點就是數(shù)據(jù)量大、數(shù)據(jù)多樣化。就以往的數(shù)據(jù)體系而言，要想處理好大數(shù)據(jù)，是有著一定的難度的。受到大數(shù)據(jù)技術的影響，大數(shù)據(jù)已經(jīng)成為了一種新型網(wǎng)絡資源。大數(shù)據(jù)指的也就是通過搜集與整理網(wǎng)絡信息，利用數(shù)據(jù)處理技術，有效處理大數(shù)據(jù)的獨特方法與技術。

1.3 大數(shù)據(jù)技術背景下網(wǎng)絡安全分析的意義

網(wǎng)絡安全分析面臨的壓力與負擔具體體現(xiàn)在以下兩個方面：第一個壓力是我國互聯(lián)網(wǎng)高速發(fā)展帶來的數(shù)據(jù)問題，隨著網(wǎng)絡數(shù)據(jù)的爆炸式增長，網(wǎng)絡安全要面對的數(shù)據(jù)種類以及數(shù)據(jù)儲量也大幅增加，以往的數(shù)據(jù)處理方法已經(jīng)無法滿足現(xiàn)階段數(shù)據(jù)處理的需求；第二個壓力是隨著我國網(wǎng)絡傳輸速度的升級換代，要想做好網(wǎng)絡安全分析工作，就要提升信息采集的速度與效率，如果網(wǎng)絡安全分析效率跟不上數(shù)據(jù)傳輸?shù)乃俣龋敲匆矡o法真正有效地保證網(wǎng)絡安全。就網(wǎng)絡安全分析系統(tǒng)而言，傳統(tǒng)的網(wǎng)絡安全分析系統(tǒng)采用結(jié)構(gòu)化數(shù)據(jù)庫實現(xiàn)數(shù)據(jù)的存儲會大幅增加網(wǎng)絡安全分析的運營成本。要想減少這方面的成本，就要對數(shù)據(jù)進行相應的處理，即減小數(shù)據(jù)，提升存儲量。但是這樣的方式會導致數(shù)據(jù)在處理的過程中出現(xiàn)丟失，在數(shù)據(jù)長時間的存儲過程中也會導致數(shù)據(jù)的丟失。因此，傳統(tǒng)的網(wǎng)絡安全分析在面對互聯(lián)網(wǎng)飛速發(fā)展帶來的復雜數(shù)據(jù)時，難以發(fā)揮作用，分析速度與分析效率無法滿足現(xiàn)階段發(fā)展的需求[2]。

大數(shù)據(jù)技術的發(fā)展為網(wǎng)絡安全分析打開了新的大門，其較好的應用效果推進了網(wǎng)絡安全分析的進一步發(fā)展。首先，大數(shù)據(jù)技術能夠顯著提升網(wǎng)絡安全分析的數(shù)據(jù)儲存量，在應對現(xiàn)階段網(wǎng)絡上大量的非結(jié)構(gòu)化數(shù)據(jù)，大數(shù)據(jù)技術能夠確保效率與速度，還能保證數(shù)據(jù)的完整性實現(xiàn)高效分析。其次，大數(shù)據(jù)技術能夠降低傳統(tǒng)網(wǎng)絡安全分析高額的運營成本，大數(shù)據(jù)技術所應用的分布式數(shù)據(jù)庫相較于傳統(tǒng)機構(gòu)化數(shù)據(jù)庫，其成本更低，對于硬件的要求也更加低，這也使得數(shù)據(jù)的分析門檻降低，確定數(shù)據(jù)分析的穩(wěn)定運行。再者，大數(shù)據(jù)技術的發(fā)展能夠提升網(wǎng)絡安全分析系統(tǒng)的運行效率，實現(xiàn)非結(jié)構(gòu)數(shù)據(jù)的存儲與處理，提升訪問速度。最后是大數(shù)據(jù)技術的應用能夠顯著提升數(shù)據(jù)處理的精度與速度，實現(xiàn)多維度與多層次的數(shù)據(jù)處理與分析[3]。

2 大數(shù)據(jù)技術在網(wǎng)絡安全分析中的應用

2.1 數(shù)據(jù)采集

數(shù)據(jù)采集是將大數(shù)據(jù)應用在網(wǎng)絡安全分析的第一個基礎步驟，其由日志和流量兩部分采集內(nèi)容構(gòu)成。大數(shù)據(jù)技術需要對這兩種形式的內(nèi)容進行采集，并開展后續(xù)的工作，是網(wǎng)絡安全分析的重要步驟。就傳統(tǒng)數(shù)據(jù)采集而言，其比較容易受到工作者的專業(yè)技術能力的限制，如果工作者缺乏相應的技術，那么數(shù)據(jù)采集的準確性就難以保證。在大數(shù)據(jù)技術與網(wǎng)絡安全技術的結(jié)合下，Chukwa等類型的工具被廣泛應用于數(shù)據(jù)采集當中，這無疑解決了傳統(tǒng)數(shù)據(jù)采集效率低、準確性低的難題。

2.2 數(shù)據(jù)查詢

得益于大數(shù)據(jù)技術龐大的數(shù)據(jù)量以及強大的分析能力，其大大提升了檢索效率，使檢索結(jié)果更加符合人們預期，因此數(shù)據(jù)查詢工作的效率也會大幅提升。這主要是因為大數(shù)據(jù)技術所能夠采集到的信息量大幅增加，在進行數(shù)據(jù)查詢時其所能夠提供的是一個更加龐大的資料。且大數(shù)據(jù)技術有著定期采集與更新的特點，其能夠?qū)Σ杉降男畔⑦M行分類，對采集到的信息類型與信息特點進行總結(jié)，來判斷信息是否與人們的需求相貼合，進而節(jié)約了大量的時間，為人們提供了便利[4]。

2.3 數(shù)據(jù)存儲

就數(shù)據(jù)存儲而言，我國網(wǎng)絡信息的數(shù)量、類型與種類都在不斷增加，這就導致了現(xiàn)階段網(wǎng)絡安全分析當中對數(shù)據(jù)存儲容量的需求也變得越來越大，數(shù)據(jù)在傳輸?shù)倪^程中難免會產(chǎn)生改變，但隨著數(shù)據(jù)種類的增多，對數(shù)據(jù)存儲也提出了更高的要求。現(xiàn)階段以往的存儲類型已經(jīng)無法推進網(wǎng)絡安全的進一步發(fā)展，所以在數(shù)據(jù)存儲方面也要應用到大數(shù)據(jù)技術。大數(shù)據(jù)技術在數(shù)據(jù)存儲中的應用主要體現(xiàn)在不同存儲方式的提供與使用，大數(shù)據(jù)龐大的計算能力可以幫助數(shù)據(jù)更好地進行分類，結(jié)合數(shù)據(jù)的特點對數(shù)據(jù)進行處理、計算與分類。通常大數(shù)據(jù)技術支撐下存儲的主要方式是云存儲，其能夠方便數(shù)據(jù)的分析與處理，解決信息量大帶來的一系列問題。

2.4 數(shù)據(jù)分析

網(wǎng)絡安全分析中，應用大數(shù)據(jù)技術進行數(shù)據(jù)分析能夠?qū)崿F(xiàn)信息的實時監(jiān)控，其主要是對信息的安全性進行監(jiān)控，以確保網(wǎng)絡的安全。在利用大數(shù)據(jù)進行數(shù)據(jù)分析時，會根據(jù)信息的特點選擇不同類型的分析方法，且會利用與信息相對應的技術進行分析，確保數(shù)據(jù)信息的安全性與準確性。GEP技術、Sprk技術是常見的大數(shù)據(jù)技術下數(shù)據(jù)分析方式，其主要針對數(shù)據(jù)信息中存在的錯誤、隱患與漏洞進行分析，以確保數(shù)據(jù)分析工作能夠順利開展，推進下一步工作的進行。

2.5 復雜數(shù)據(jù)處理

我國的數(shù)據(jù)信息種類近年來也變得更加豐富與多元化，其面臨的問題也越來越復雜。應及時解決其中所存在的問題，才能夠確保網(wǎng)絡的安全。大數(shù)據(jù)技術在處理復雜數(shù)據(jù)時也有著較好的效果，如果大數(shù)據(jù)技術在進行網(wǎng)絡安全分析過程中遇到了僵尸網(wǎng)絡，大數(shù)據(jù)技術可以利用其強大的采集能力，對數(shù)據(jù)進行全面分析，以確保數(shù)據(jù)的準確性與安全性。

3 大數(shù)據(jù)技術下網(wǎng)絡安全平臺的構(gòu)建

3.1 網(wǎng)絡安全平臺架構(gòu)

網(wǎng)絡安全平臺的架構(gòu)主要建立在以下四個方面，其分別是數(shù)據(jù)的采集、存儲、分析與表現(xiàn)。數(shù)據(jù)的采集是進行后續(xù)工作的重要技術，大數(shù)據(jù)技術支撐下的數(shù)據(jù)采集有著更高的準確性與進度。數(shù)據(jù)的存儲是為了方便后續(xù)數(shù)據(jù)的分析，只有確保數(shù)據(jù)存儲的質(zhì)量與效率，才能夠推進后續(xù)數(shù)據(jù)分析準確性的提升。數(shù)據(jù)分析指的是對數(shù)據(jù)的信息進行安全分析，確保其安全性的同時還要對數(shù)據(jù)進行整理。根據(jù)數(shù)據(jù)類型的不同特點進行分類與整理，大數(shù)據(jù)技術對網(wǎng)絡安全分析能夠提供強有力的信息依據(jù)，更好地構(gòu)建網(wǎng)絡安全平臺。其次就是大數(shù)據(jù)技術豐富了數(shù)據(jù)的表現(xiàn)形式，以往種類單一的數(shù)據(jù)在大數(shù)據(jù)技術的加持下變得更加多樣化，實現(xiàn)了數(shù)據(jù)信息的有效處理[5]。

3.2 平臺實現(xiàn)的技術支持

針對數(shù)據(jù)應用形式的不同，也應該采用不同的技術手段。Stom、hive、flume等技術是常見的數(shù)據(jù)采集技術，根據(jù)數(shù)據(jù)采集需求與類型的不同進行采集，使數(shù)據(jù)的采集更具系統(tǒng)性與規(guī)范性。HDFS是數(shù)據(jù)存儲的常用技術，其容量較大、吞吐量高，能夠?qū)崿F(xiàn)數(shù)據(jù)的有效存儲。MapReduce技術是常見的數(shù)據(jù)分析手段，其能夠?qū)Υ鎯Φ男畔⑦M行整合，進行進一步的分析與整理，推進網(wǎng)絡安全工作的順利開展。

3.3 實時安全分析

主機入侵檢測與DDoS攻擊路徑準實時監(jiān)測是實時安全分析的兩大板塊，DDoS攻擊路徑實時監(jiān)測能夠及時獲取入侵信息的相關信息，查詢獲取到的信息并進行分析；而主機入侵檢測指的是對上述信息進行標記，將這類信息存儲到名單之中，在名單之中與已有的入侵信息記錄進行比對后，如果發(fā)現(xiàn)是一種新的攻擊主機信息，系統(tǒng)便會對其進行自動定義，日后對這類信息加以防范，提升網(wǎng)絡安全分析的效率。

4 結(jié)語

大數(shù)據(jù)技術彌補了以往網(wǎng)絡安全分析中，安全分析能力不足的問題，其通過關聯(lián)分析、人機交互、流量計算引擎、分布式采集處理等技術，能夠在大量的數(shù)據(jù)中發(fā)現(xiàn)攻擊與威脅，以便采取及時的預防與處理措施，使網(wǎng)絡安全得到大幅提升。尤其是在當前網(wǎng)絡技術大范圍應用的背景下，網(wǎng)絡安全已經(jīng)成為人們普遍關注的問題，因此在網(wǎng)絡安全分析中，大數(shù)據(jù)技術以其在網(wǎng)絡安全分析中的優(yōu)勢，必然能發(fā)揮出更顯著的作用。