大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用

滕雅玲

（萊州市融媒體中心，山東 萊州 261400）

0 引言

隨著近年來我國信息技術(shù)的飛速發(fā)展，我國的網(wǎng)絡(luò)信息技術(shù)實(shí)現(xiàn)了普及。我國居民對于網(wǎng)絡(luò)安全也變得越來越重視，因?yàn)榫W(wǎng)絡(luò)安全將直接關(guān)系到我國居民的隱私，對我國的國家機(jī)密也會造成巨大的威脅，使我國的網(wǎng)絡(luò)安全分析面臨著全新的挑戰(zhàn)。

1 大數(shù)據(jù)技術(shù)背景下網(wǎng)絡(luò)安全分析的必要性探究

1.1 網(wǎng)絡(luò)信息安全管理現(xiàn)狀

得益于我國信息技術(shù)的進(jìn)步，IT行業(yè)發(fā)生了巨大的變革，具體的表現(xiàn)就是利用信息技術(shù)與信息工具所建立的網(wǎng)絡(luò)數(shù)據(jù)業(yè)務(wù)數(shù)量越來越多。因此，網(wǎng)絡(luò)應(yīng)用的復(fù)雜性也變得越來越高，現(xiàn)階段以往的網(wǎng)絡(luò)設(shè)備已經(jīng)無法滿足信息技術(shù)飛速發(fā)展的需求，如何提升網(wǎng)絡(luò)運(yùn)行的安全性是需要重視的問題。以往在分析網(wǎng)絡(luò)運(yùn)行的安全性時需要消耗大量的成本，且有效性往往難以得到保障。利用云計算平臺實(shí)現(xiàn)數(shù)據(jù)分析，通過云計算實(shí)現(xiàn)網(wǎng)絡(luò)信息數(shù)據(jù)的有效分析，獲取數(shù)據(jù)包漏洞已經(jīng)成了網(wǎng)絡(luò)安全分析的一大發(fā)展趨勢。非結(jié)構(gòu)化與半結(jié)構(gòu)化數(shù)據(jù)相較以往已產(chǎn)生巨大的變化，以往的數(shù)據(jù)整理手段無法滿足現(xiàn)階段網(wǎng)絡(luò)安全運(yùn)行的需求，因此大數(shù)據(jù)技術(shù)的在網(wǎng)絡(luò)安全分析中的應(yīng)用迫在眉睫[1]。

1.2 大數(shù)據(jù)技術(shù)概述

大數(shù)據(jù)技術(shù)的應(yīng)用是未來網(wǎng)絡(luò)安全分析的重要發(fā)展趨勢。大數(shù)據(jù)技術(shù)最大的特點(diǎn)就是數(shù)據(jù)量大、數(shù)據(jù)多樣化。就以往的數(shù)據(jù)體系而言，要想處理好大數(shù)據(jù)，是有著一定的難度的。受到大數(shù)據(jù)技術(shù)的影響，大數(shù)據(jù)已經(jīng)成為了一種新型網(wǎng)絡(luò)資源。大數(shù)據(jù)指的也就是通過搜集與整理網(wǎng)絡(luò)信息，利用數(shù)據(jù)處理技術(shù)，有效處理大數(shù)據(jù)的獨(dú)特方法與技術(shù)。

1.3 大數(shù)據(jù)技術(shù)背景下網(wǎng)絡(luò)安全分析的意義

網(wǎng)絡(luò)安全分析面臨的壓力與負(fù)擔(dān)具體體現(xiàn)在以下兩個方面：第一個壓力是我國互聯(lián)網(wǎng)高速發(fā)展帶來的數(shù)據(jù)問題，隨著網(wǎng)絡(luò)數(shù)據(jù)的爆炸式增長，網(wǎng)絡(luò)安全要面對的數(shù)據(jù)種類以及數(shù)據(jù)儲量也大幅增加，以往的數(shù)據(jù)處理方法已經(jīng)無法滿足現(xiàn)階段數(shù)據(jù)處理的需求；第二個壓力是隨著我國網(wǎng)絡(luò)傳輸速度的升級換代，要想做好網(wǎng)絡(luò)安全分析工作，就要提升信息采集的速度與效率，如果網(wǎng)絡(luò)安全分析效率跟不上數(shù)據(jù)傳輸?shù)乃俣龋敲匆矡o法真正有效地保證網(wǎng)絡(luò)安全。就網(wǎng)絡(luò)安全分析系統(tǒng)而言，傳統(tǒng)的網(wǎng)絡(luò)安全分析系統(tǒng)采用結(jié)構(gòu)化數(shù)據(jù)庫實(shí)現(xiàn)數(shù)據(jù)的存儲會大幅增加網(wǎng)絡(luò)安全分析的運(yùn)營成本。要想減少這方面的成本，就要對數(shù)據(jù)進(jìn)行相應(yīng)的處理，即減小數(shù)據(jù)，提升存儲量。但是這樣的方式會導(dǎo)致數(shù)據(jù)在處理的過程中出現(xiàn)丟失，在數(shù)據(jù)長時間的存儲過程中也會導(dǎo)致數(shù)據(jù)的丟失。因此，傳統(tǒng)的網(wǎng)絡(luò)安全分析在面對互聯(lián)網(wǎng)飛速發(fā)展帶來的復(fù)雜數(shù)據(jù)時，難以發(fā)揮作用，分析速度與分析效率無法滿足現(xiàn)階段發(fā)展的需求[2]。

大數(shù)據(jù)技術(shù)的發(fā)展為網(wǎng)絡(luò)安全分析打開了新的大門，其較好的應(yīng)用效果推進(jìn)了網(wǎng)絡(luò)安全分析的進(jìn)一步發(fā)展。首先，大數(shù)據(jù)技術(shù)能夠顯著提升網(wǎng)絡(luò)安全分析的數(shù)據(jù)儲存量，在應(yīng)對現(xiàn)階段網(wǎng)絡(luò)上大量的非結(jié)構(gòu)化數(shù)據(jù)，大數(shù)據(jù)技術(shù)能夠確保效率與速度，還能保證數(shù)據(jù)的完整性實(shí)現(xiàn)高效分析。其次，大數(shù)據(jù)技術(shù)能夠降低傳統(tǒng)網(wǎng)絡(luò)安全分析高額的運(yùn)營成本，大數(shù)據(jù)技術(shù)所應(yīng)用的分布式數(shù)據(jù)庫相較于傳統(tǒng)機(jī)構(gòu)化數(shù)據(jù)庫，其成本更低，對于硬件的要求也更加低，這也使得數(shù)據(jù)的分析門檻降低，確定數(shù)據(jù)分析的穩(wěn)定運(yùn)行。再者，大數(shù)據(jù)技術(shù)的發(fā)展能夠提升網(wǎng)絡(luò)安全分析系統(tǒng)的運(yùn)行效率，實(shí)現(xiàn)非結(jié)構(gòu)數(shù)據(jù)的存儲與處理，提升訪問速度。最后是大數(shù)據(jù)技術(shù)的應(yīng)用能夠顯著提升數(shù)據(jù)處理的精度與速度，實(shí)現(xiàn)多維度與多層次的數(shù)據(jù)處理與分析[3]。

2 大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用

2.1 數(shù)據(jù)采集

數(shù)據(jù)采集是將大數(shù)據(jù)應(yīng)用在網(wǎng)絡(luò)安全分析的第一個基礎(chǔ)步驟，其由日志和流量兩部分采集內(nèi)容構(gòu)成。大數(shù)據(jù)技術(shù)需要對這兩種形式的內(nèi)容進(jìn)行采集，并開展后續(xù)的工作，是網(wǎng)絡(luò)安全分析的重要步驟。就傳統(tǒng)數(shù)據(jù)采集而言，其比較容易受到工作者的專業(yè)技術(shù)能力的限制，如果工作者缺乏相應(yīng)的技術(shù)，那么數(shù)據(jù)采集的準(zhǔn)確性就難以保證。在大數(shù)據(jù)技術(shù)與網(wǎng)絡(luò)安全技術(shù)的結(jié)合下，Chukwa等類型的工具被廣泛應(yīng)用于數(shù)據(jù)采集當(dāng)中，這無疑解決了傳統(tǒng)數(shù)據(jù)采集效率低、準(zhǔn)確性低的難題。

2.2 數(shù)據(jù)查詢

得益于大數(shù)據(jù)技術(shù)龐大的數(shù)據(jù)量以及強(qiáng)大的分析能力，其大大提升了檢索效率，使檢索結(jié)果更加符合人們預(yù)期，因此數(shù)據(jù)查詢工作的效率也會大幅提升。這主要是因?yàn)榇髷?shù)據(jù)技術(shù)所能夠采集到的信息量大幅增加，在進(jìn)行數(shù)據(jù)查詢時其所能夠提供的是一個更加龐大的資料。且大數(shù)據(jù)技術(shù)有著定期采集與更新的特點(diǎn)，其能夠?qū)Σ杉降男畔⑦M(jìn)行分類，對采集到的信息類型與信息特點(diǎn)進(jìn)行總結(jié)，來判斷信息是否與人們的需求相貼合，進(jìn)而節(jié)約了大量的時間，為人們提供了便利[4]。

2.3 數(shù)據(jù)存儲

就數(shù)據(jù)存儲而言，我國網(wǎng)絡(luò)信息的數(shù)量、類型與種類都在不斷增加，這就導(dǎo)致了現(xiàn)階段網(wǎng)絡(luò)安全分析當(dāng)中對數(shù)據(jù)存儲容量的需求也變得越來越大，數(shù)據(jù)在傳輸?shù)倪^程中難免會產(chǎn)生改變，但隨著數(shù)據(jù)種類的增多，對數(shù)據(jù)存儲也提出了更高的要求。現(xiàn)階段以往的存儲類型已經(jīng)無法推進(jìn)網(wǎng)絡(luò)安全的進(jìn)一步發(fā)展，所以在數(shù)據(jù)存儲方面也要應(yīng)用到大數(shù)據(jù)技術(shù)。大數(shù)據(jù)技術(shù)在數(shù)據(jù)存儲中的應(yīng)用主要體現(xiàn)在不同存儲方式的提供與使用，大數(shù)據(jù)龐大的計算能力可以幫助數(shù)據(jù)更好地進(jìn)行分類，結(jié)合數(shù)據(jù)的特點(diǎn)對數(shù)據(jù)進(jìn)行處理、計算與分類。通常大數(shù)據(jù)技術(shù)支撐下存儲的主要方式是云存儲，其能夠方便數(shù)據(jù)的分析與處理，解決信息量大帶來的一系列問題。

2.4 數(shù)據(jù)分析

網(wǎng)絡(luò)安全分析中，應(yīng)用大數(shù)據(jù)技術(shù)進(jìn)行數(shù)據(jù)分析能夠?qū)崿F(xiàn)信息的實(shí)時監(jiān)控，其主要是對信息的安全性進(jìn)行監(jiān)控，以確保網(wǎng)絡(luò)的安全。在利用大數(shù)據(jù)進(jìn)行數(shù)據(jù)分析時，會根據(jù)信息的特點(diǎn)選擇不同類型的分析方法，且會利用與信息相對應(yīng)的技術(shù)進(jìn)行分析，確保數(shù)據(jù)信息的安全性與準(zhǔn)確性。GEP技術(shù)、Sprk技術(shù)是常見的大數(shù)據(jù)技術(shù)下數(shù)據(jù)分析方式，其主要針對數(shù)據(jù)信息中存在的錯誤、隱患與漏洞進(jìn)行分析，以確保數(shù)據(jù)分析工作能夠順利開展，推進(jìn)下一步工作的進(jìn)行。

2.5 復(fù)雜數(shù)據(jù)處理

我國的數(shù)據(jù)信息種類近年來也變得更加豐富與多元化，其面臨的問題也越來越復(fù)雜。應(yīng)及時解決其中所存在的問題，才能夠確保網(wǎng)絡(luò)的安全。大數(shù)據(jù)技術(shù)在處理復(fù)雜數(shù)據(jù)時也有著較好的效果，如果大數(shù)據(jù)技術(shù)在進(jìn)行網(wǎng)絡(luò)安全分析過程中遇到了僵尸網(wǎng)絡(luò)，大數(shù)據(jù)技術(shù)可以利用其強(qiáng)大的采集能力，對數(shù)據(jù)進(jìn)行全面分析，以確保數(shù)據(jù)的準(zhǔn)確性與安全性。

3 大數(shù)據(jù)技術(shù)下網(wǎng)絡(luò)安全平臺的構(gòu)建

3.1 網(wǎng)絡(luò)安全平臺架構(gòu)

網(wǎng)絡(luò)安全平臺的架構(gòu)主要建立在以下四個方面，其分別是數(shù)據(jù)的采集、存儲、分析與表現(xiàn)。數(shù)據(jù)的采集是進(jìn)行后續(xù)工作的重要技術(shù)，大數(shù)據(jù)技術(shù)支撐下的數(shù)據(jù)采集有著更高的準(zhǔn)確性與進(jìn)度。數(shù)據(jù)的存儲是為了方便后續(xù)數(shù)據(jù)的分析，只有確保數(shù)據(jù)存儲的質(zhì)量與效率，才能夠推進(jìn)后續(xù)數(shù)據(jù)分析準(zhǔn)確性的提升。數(shù)據(jù)分析指的是對數(shù)據(jù)的信息進(jìn)行安全分析，確保其安全性的同時還要對數(shù)據(jù)進(jìn)行整理。根據(jù)數(shù)據(jù)類型的不同特點(diǎn)進(jìn)行分類與整理，大數(shù)據(jù)技術(shù)對網(wǎng)絡(luò)安全分析能夠提供強(qiáng)有力的信息依據(jù)，更好地構(gòu)建網(wǎng)絡(luò)安全平臺。其次就是大數(shù)據(jù)技術(shù)豐富了數(shù)據(jù)的表現(xiàn)形式，以往種類單一的數(shù)據(jù)在大數(shù)據(jù)技術(shù)的加持下變得更加多樣化，實(shí)現(xiàn)了數(shù)據(jù)信息的有效處理[5]。

3.2 平臺實(shí)現(xiàn)的技術(shù)支持

針對數(shù)據(jù)應(yīng)用形式的不同，也應(yīng)該采用不同的技術(shù)手段。Stom、hive、flume等技術(shù)是常見的數(shù)據(jù)采集技術(shù)，根據(jù)數(shù)據(jù)采集需求與類型的不同進(jìn)行采集，使數(shù)據(jù)的采集更具系統(tǒng)性與規(guī)范性。HDFS是數(shù)據(jù)存儲的常用技術(shù)，其容量較大、吞吐量高，能夠?qū)崿F(xiàn)數(shù)據(jù)的有效存儲。MapReduce技術(shù)是常見的數(shù)據(jù)分析手段，其能夠?qū)Υ鎯Φ男畔⑦M(jìn)行整合，進(jìn)行進(jìn)一步的分析與整理，推進(jìn)網(wǎng)絡(luò)安全工作的順利開展。

3.3 實(shí)時安全分析

主機(jī)入侵檢測與DDoS攻擊路徑準(zhǔn)實(shí)時監(jiān)測是實(shí)時安全分析的兩大板塊，DDoS攻擊路徑實(shí)時監(jiān)測能夠及時獲取入侵信息的相關(guān)信息，查詢獲取到的信息并進(jìn)行分析；而主機(jī)入侵檢測指的是對上述信息進(jìn)行標(biāo)記，將這類信息存儲到名單之中，在名單之中與已有的入侵信息記錄進(jìn)行比對后，如果發(fā)現(xiàn)是一種新的攻擊主機(jī)信息，系統(tǒng)便會對其進(jìn)行自動定義，日后對這類信息加以防范，提升網(wǎng)絡(luò)安全分析的效率。

4 結(jié)語

大數(shù)據(jù)技術(shù)彌補(bǔ)了以往網(wǎng)絡(luò)安全分析中，安全分析能力不足的問題，其通過關(guān)聯(lián)分析、人機(jī)交互、流量計算引擎、分布式采集處理等技術(shù)，能夠在大量的數(shù)據(jù)中發(fā)現(xiàn)攻擊與威脅，以便采取及時的預(yù)防與處理措施，使網(wǎng)絡(luò)安全得到大幅提升。尤其是在當(dāng)前網(wǎng)絡(luò)技術(shù)大范圍應(yīng)用的背景下，網(wǎng)絡(luò)安全已經(jīng)成為人們普遍關(guān)注的問題，因此在網(wǎng)絡(luò)安全分析中，大數(shù)據(jù)技術(shù)以其在網(wǎng)絡(luò)安全分析中的優(yōu)勢，必然能發(fā)揮出更顯著的作用。