網(wǎng)絡(luò)安全分析中的大數(shù)據(jù)技術(shù)應(yīng)用

姜莉

（國(guó)網(wǎng)河南省電力公司羅山縣供電公司，河南 羅山 464200）

一、網(wǎng)絡(luò)安全分析中大數(shù)據(jù)的應(yīng)用要點(diǎn)

（一）用于數(shù)據(jù)采集

數(shù)據(jù)采集是大數(shù)據(jù)技術(shù)的基本功能之一，通過(guò)對(duì)海量數(shù)據(jù)信息的搜集、篩選、整合，結(jié)合用戶(hù)的需求指令，形成特定的信息報(bào)告，再以合理的方式進(jìn)行數(shù)據(jù)呈現(xiàn)，完成所有信息處理程序后，將所采集的數(shù)據(jù)信息輸送至接收方。在實(shí)際工作中，利用Kafka分布式可對(duì)信息流進(jìn)行二次加工，將流動(dòng)數(shù)據(jù)轉(zhuǎn)變?yōu)樘囟ǖ木鶆蚍植紶顟B(tài)，便于數(shù)據(jù)需求方對(duì)信息的提取和更新。

（二）用于數(shù)據(jù)存儲(chǔ)

與一般的網(wǎng)絡(luò)技術(shù)相比，大數(shù)據(jù)技術(shù)具有容量大、計(jì)算速度快、精確查找的優(yōu)勢(shì)，能夠在短時(shí)間內(nèi)完成歷史數(shù)據(jù)的保存，利用Hshoop分布式進(jìn)行節(jié)點(diǎn)計(jì)算和腳本分析，建立龐大的數(shù)據(jù)庫(kù)系統(tǒng)，完成數(shù)據(jù)存儲(chǔ)的過(guò)程，為各項(xiàng)工作的開(kāi)展提供數(shù)據(jù)支撐。在數(shù)據(jù)計(jì)算存儲(chǔ)的同時(shí)，安全系統(tǒng)可以自動(dòng)為信息流進(jìn)行安全分析，如不符合要求，將會(huì)出現(xiàn)安全預(yù)警提示，增強(qiáng)信息存儲(chǔ)的安全性。

（三）用于數(shù)據(jù)安全檢索

利用大數(shù)據(jù)技術(shù)，能夠根據(jù)用戶(hù)的實(shí)際需求對(duì)信息進(jìn)行查詢(xún)、檢索和分析，通過(guò)MapReduce對(duì)選定范圍內(nèi)的信息進(jìn)行重新計(jì)算，第一時(shí)間捕獲系統(tǒng)中的異常信息，并加以分析處理，檢測(cè)出具有安全隱患的信息模塊，及時(shí)從源頭排除故障，從根本上提高系統(tǒng)的安全性，以確保網(wǎng)絡(luò)安全。

（四）多元信息組合聯(lián)動(dòng)分析

在網(wǎng)絡(luò)技術(shù)的推動(dòng)下，信息更新?lián)Q代的速度越來(lái)越快，結(jié)構(gòu)日益復(fù)雜化，各項(xiàng)信息之間的內(nèi)部關(guān)聯(lián)性日益緊密化，由單一的信息單元轉(zhuǎn)變?yōu)槎嚯A的信息網(wǎng)絡(luò)，增加了信息分析的難度。利用大數(shù)據(jù)分析技術(shù)能夠有效解決該問(wèn)題，通過(guò)對(duì)多源異構(gòu)信息的安全分析，結(jié)合DNS訪問(wèn)和流量變化狀況，對(duì)數(shù)據(jù)源進(jìn)行追溯，發(fā)現(xiàn)安全攻擊痕跡及漏洞，提高系統(tǒng)安全保護(hù)等級(jí)。

二、基于大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全分析平臺(tái)搭建

（一）安全信息采集層

一般來(lái)說(shuō)，搭建安全系統(tǒng)的首要環(huán)節(jié)是設(shè)計(jì)和建立基本框架，信息采集層是最為基礎(chǔ)的層級(jí)。在實(shí)際應(yīng)用中，往往利用Storm或Kafka分布式計(jì)算來(lái)實(shí)現(xiàn)此層級(jí)功能，用于采集系統(tǒng)參與方的相關(guān)信息和訪問(wèn)記錄，并對(duì)數(shù)據(jù)進(jìn)行安全整合，根據(jù)數(shù)據(jù)定制命令，進(jìn)行數(shù)據(jù)的發(fā)送和傳遞。利用大數(shù)據(jù)技術(shù)進(jìn)行安全信息采集，保證了信息來(lái)源的可靠性，為信息分析提供了有效的可用數(shù)據(jù)。

（二）安全信息存儲(chǔ)層

通過(guò)大數(shù)據(jù)技術(shù)，采集信息后，需要實(shí)現(xiàn)信息的長(zhǎng)期性保存，選擇適用的緩存格式，保證云端接入數(shù)據(jù)的有效性和安全性。具體來(lái)說(shuō)，通過(guò)HDFS命令對(duì)數(shù)據(jù)進(jìn)行讀取和記憶，以實(shí)現(xiàn)安全系統(tǒng)的信息存儲(chǔ)功能，與一般的存儲(chǔ)文件相比，HDFS具有吞吐量大、容錯(cuò)性高的獨(dú)特優(yōu)勢(shì)，能夠最大限度地保持信息的完整性，建立安全的信息存儲(chǔ)數(shù)據(jù)庫(kù)。HDFS節(jié)點(diǎn)設(shè)置完畢后，運(yùn)行HBase列式存儲(chǔ)命令，能夠容納大量的數(shù)據(jù)信息，并對(duì)其進(jìn)行存儲(chǔ)管理，與數(shù)據(jù)分析結(jié)果一一映射，形成關(guān)系型存儲(chǔ)模式，通過(guò)Sqoop命令實(shí)現(xiàn)與非關(guān)系型存儲(chǔ)模型的關(guān)聯(lián)，完成二者之間相互的數(shù)據(jù)輸入和數(shù)據(jù)輸出過(guò)程，最大限度地保持安全信息存儲(chǔ)的無(wú)損性，避免出現(xiàn)信息失真的情況。

（三）安全信息呈現(xiàn)層

本層級(jí)的主要功能：根據(jù)用戶(hù)對(duì)信息提取的實(shí)際要求，以適當(dāng)?shù)男问秸故拘畔?shù)據(jù)，實(shí)現(xiàn)多維度的信息結(jié)果呈現(xiàn)。由于信息的種類(lèi)繁多，不同用戶(hù)之間對(duì)信息呈現(xiàn)的要求各不相同，利用大數(shù)據(jù)檢索技術(shù)，能夠根據(jù)用戶(hù)的檢索記錄、指令和日志資料等，自動(dòng)配對(duì)相應(yīng)的信息報(bào)表，快速響應(yīng)用戶(hù)的信息需求，將數(shù)據(jù)分析的結(jié)果進(jìn)行格式整理，向用戶(hù)呈現(xiàn)出完整的安全信息報(bào)告，體現(xiàn)大數(shù)據(jù)技術(shù)的用戶(hù)導(dǎo)向性。

（四）安全信息分析層

在大數(shù)據(jù)技術(shù)的實(shí)際應(yīng)用過(guò)程中，一般利用Hive運(yùn)算模型完成多元化、復(fù)雜化、多階級(jí)數(shù)據(jù)的檢索、計(jì)算和判斷，實(shí)現(xiàn)數(shù)據(jù)的異常檢索和聯(lián)動(dòng)分析，及時(shí)檢測(cè)系統(tǒng)的異常情況，并做出安全預(yù)警提示。在布局結(jié)構(gòu)上，該計(jì)算節(jié)點(diǎn)往往和HDFS節(jié)點(diǎn)并排設(shè)立，當(dāng)接收到數(shù)據(jù)分析的指令時(shí)，系統(tǒng)自動(dòng)完成查詢(xún)和計(jì)算任務(wù)的分配，各自完成本節(jié)點(diǎn)的指令任務(wù)，HDFS主要負(fù)責(zé)信息的快速檢索和查詢(xún)，Hive節(jié)點(diǎn)則負(fù)責(zé)完成各項(xiàng)信息的統(tǒng)計(jì)分析。為對(duì)流動(dòng)數(shù)據(jù)進(jìn)行準(zhǔn)確判斷，還可將在安全系統(tǒng)中融入CPE技術(shù)，基于多維度分析，形成多項(xiàng)事件間的關(guān)系網(wǎng)，通過(guò)對(duì)其進(jìn)行聚合、篩選分析，在龐大的數(shù)據(jù)流中發(fā)掘異常行為和安全事件，達(dá)到安全信息分析的目的。

三、結(jié)束語(yǔ)

綜上所述，大數(shù)據(jù)技術(shù)對(duì)現(xiàn)代信息安全維護(hù)具有重要的現(xiàn)實(shí)意義，在網(wǎng)絡(luò)安全分析中發(fā)揮了中堅(jiān)技術(shù)力量，為信息采集、傳輸、存儲(chǔ)、分析和呈現(xiàn)全過(guò)程提供安全保障。在實(shí)際應(yīng)用過(guò)程中，大數(shù)據(jù)技術(shù)依托強(qiáng)大的信息處理能力，對(duì)多元安全信息進(jìn)行整合和計(jì)算，識(shí)別和預(yù)警安全隱患，實(shí)現(xiàn)網(wǎng)絡(luò)安全分析的及時(shí)性、有效性。