試論大數(shù)據(jù)技術(shù)網(wǎng)絡(luò)安全態(tài)勢(shì)感知平臺(tái)

汪茹洋 李鵬

摘? 要：在信息技術(shù)不斷發(fā)展進(jìn)步的背景下，各種網(wǎng)絡(luò)威脅也變得更加復(fù)雜多樣化，其技術(shù)水平也隨之提高，傳統(tǒng)的計(jì)算模式已經(jīng)不能滿足抵御網(wǎng)絡(luò)威脅的要求，這就需要基于大數(shù)據(jù)的應(yīng)用對(duì)多種領(lǐng)域的計(jì)算模式進(jìn)行創(chuàng)新，尤其是對(duì)數(shù)據(jù)信息應(yīng)用以及協(xié)同計(jì)算方面的提升有著非常重要的推動(dòng)作用，根據(jù)當(dāng)前網(wǎng)絡(luò)安全存在的問(wèn)題，提出了有效合理的解決方式。根據(jù)現(xiàn)階段網(wǎng)絡(luò)安全的形勢(shì)，需要在建立網(wǎng)絡(luò)安全預(yù)警系統(tǒng)的過(guò)程中，融入新型的信息技術(shù)，保證安全態(tài)勢(shì)感知平臺(tái)的全面性，進(jìn)而能夠做到有效的應(yīng)對(duì)各種網(wǎng)絡(luò)安全威脅。

關(guān)鍵詞：大數(shù)據(jù);威脅感知;威脅發(fā)現(xiàn)

中圖分類號(hào)：TP393? ? ? ? ?文獻(xiàn)標(biāo)志碼：A? ? ? ? ?文章編號(hào)：2095-2945（2020）10-0023-02

Abstract： In the context of the continuous development and progress of information technology， all kinds of network threats have become more complex and diversified， and their technical level has also been improved. The traditional computing model can no longer meet the requirements of resisting network threats， which requires the innovation of computing models in many fields based on big data application， especially in the application of data information and collaborative computing. According to the problems existing in the current network security， an effective and reasonable solution is put forward. According to the current situation of network security， it is necessary to integrate new information technology into the process of establishing a network security early warning system to ensure the comprehensiveness of the security situation awareness platform， so as to effectively deal with a variety of network security threats.

Keywords： big data; threat perception; threat discovery

隨著社會(huì)不斷的進(jìn)步與發(fā)展，網(wǎng)絡(luò)態(tài)勢(shì)感知作為一種新型的技術(shù)，目前已經(jīng)成為我國(guó)互聯(lián)網(wǎng)安全的發(fā)展方向之一。針對(duì)內(nèi)網(wǎng)環(huán)境下，能夠改變網(wǎng)絡(luò)態(tài)勢(shì)的因素進(jìn)行分析、顯示并預(yù)測(cè)未來(lái)的走向的網(wǎng)絡(luò)安全態(tài)勢(shì)感知平臺(tái)，通過(guò)對(duì)各類感知數(shù)據(jù)源進(jìn)行整合分析，利用智能算法和安全模型，把各種安全數(shù)據(jù)轉(zhuǎn)化成直觀的信息。

1 技術(shù)架構(gòu)

建立并完善網(wǎng)絡(luò)安全態(tài)勢(shì)感知平臺(tái)，首先要將整條防御鏈中的相關(guān)安全數(shù)據(jù)進(jìn)行采集，篩選互聯(lián)網(wǎng)中各種存在威脅的信息并進(jìn)行儲(chǔ)存，逐步形成一個(gè)與網(wǎng)絡(luò)安全相關(guān)的大數(shù)據(jù)架構(gòu)。其次，要實(shí)現(xiàn)諸多安全規(guī)劃、分析算法、安全模型等有效的結(jié)合，對(duì)數(shù)據(jù)庫(kù)中的安全數(shù)據(jù)進(jìn)行更深層次的挖掘并加以分析，從這些數(shù)據(jù)之中推算出存在的風(fēng)險(xiǎn)，例如潛在的威脅、安全事件、預(yù)判未知風(fēng)險(xiǎn)等等，最終完成整個(gè)網(wǎng)絡(luò)安全態(tài)勢(shì)感知的任務(wù)[1]。

2 網(wǎng)絡(luò)安全對(duì)數(shù)據(jù)匯聚與存儲(chǔ)的威脅

針對(duì)于采集和儲(chǔ)存威脅數(shù)據(jù)，首先要對(duì)態(tài)勢(shì)感知數(shù)據(jù)源進(jìn)行采集;其次需要用到大數(shù)據(jù)的存儲(chǔ)管理技術(shù)，在數(shù)據(jù)平臺(tái)當(dāng)中，需要輸入采集的數(shù)據(jù)，這樣可以形成初級(jí)的安全數(shù)據(jù)庫(kù)[2]。其中在態(tài)勢(shì)感知數(shù)據(jù)源中，可以為數(shù)據(jù)分析提供一定的技術(shù)保障，同時(shí)還可以提供各種原始的安全數(shù)據(jù)。態(tài)勢(shì)感知數(shù)據(jù)源最大程度的覆蓋整個(gè)互聯(lián)網(wǎng)攻擊鏈條下的每一個(gè)環(huán)節(jié)、要素，保證各類數(shù)據(jù)的全面性;在運(yùn)用大數(shù)據(jù)技術(shù)進(jìn)行管理和存儲(chǔ)的過(guò)程中，不僅需要結(jié)合關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)，同時(shí)還需要構(gòu)建數(shù)據(jù)庫(kù)集群、分布式文件系統(tǒng)，從而保證形成混合式數(shù)據(jù)庫(kù)的順利，滿足各種數(shù)據(jù)的存儲(chǔ)需求，例如結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)。

3 篩選安全數(shù)據(jù)

在挖掘和分析數(shù)據(jù)的過(guò)程中，需要篩選安全數(shù)據(jù)，并且需要轉(zhuǎn)變?yōu)橥{情報(bào)，具體步驟如下;首先，要對(duì)數(shù)據(jù)進(jìn)行預(yù)先處理，利用關(guān)聯(lián)分析、數(shù)據(jù)融合等方式，對(duì)初期的數(shù)據(jù)進(jìn)行組織，這樣可以形成初步的數(shù)據(jù)關(guān)系圖;其次，在對(duì)模型進(jìn)行設(shè)計(jì)的過(guò)程中，需要根據(jù)攻擊數(shù)據(jù)的實(shí)際情況，不僅需要分析攻擊特征，同時(shí)還需要對(duì)行為特征進(jìn)行分析，然后制定數(shù)據(jù)分析的方式，構(gòu)建分析大量數(shù)據(jù)的模型。最后，需要運(yùn)用一些方式對(duì)數(shù)據(jù)進(jìn)行分析，主要包括了離線分析法和實(shí)時(shí)分析法等等，對(duì)于已經(jīng)預(yù)先處理的數(shù)據(jù)，需要結(jié)合分析模式，開展深入挖掘，從中發(fā)掘潛在的威脅、探索網(wǎng)絡(luò)安全態(tài)勢(shì)[3]。

3.1 預(yù)先處理數(shù)據(jù)

對(duì)數(shù)據(jù)進(jìn)行預(yù)處理需要以下三個(gè)步驟：首先，清洗數(shù)據(jù)。原始的數(shù)據(jù)在經(jīng)過(guò)規(guī)整以及標(biāo)注之后，可以保證安全數(shù)據(jù)的準(zhǔn)確性;其次，融合數(shù)據(jù)。對(duì)于基礎(chǔ)的安全數(shù)據(jù)而言，需要與已知的威脅特征進(jìn)行有效的結(jié)合，從而形成數(shù)據(jù)族。最后，關(guān)聯(lián)數(shù)據(jù)。在進(jìn)行數(shù)據(jù)關(guān)聯(lián)的過(guò)程中，需要對(duì)數(shù)據(jù)的時(shí)序關(guān)系進(jìn)行關(guān)聯(lián)，同時(shí)還需要對(duì)數(shù)據(jù)的交互特征進(jìn)行關(guān)聯(lián)，從而可以構(gòu)建數(shù)據(jù)關(guān)系網(wǎng)絡(luò)圖。

（1）清洗數(shù)據(jù)。在數(shù)據(jù)清洗的過(guò)程中，其就是對(duì)各種各樣安全數(shù)據(jù)的格式進(jìn)行轉(zhuǎn)換，然后對(duì)數(shù)據(jù)進(jìn)行去重和過(guò)濾，從而完成數(shù)據(jù)的清洗工作，其目的是可以清除大量數(shù)據(jù)中無(wú)效數(shù)據(jù)。將各類數(shù)據(jù)庫(kù)做為基礎(chǔ)，在對(duì)原始數(shù)據(jù)進(jìn)行整理的過(guò)程中，需要對(duì)數(shù)據(jù)的威脅信息和報(bào)警信息進(jìn)行標(biāo)注，從而可以保證基礎(chǔ)安全數(shù)據(jù)的準(zhǔn)確性[4]。（2）融合數(shù)據(jù)。其含義是有效的融合各種各樣的數(shù)據(jù)，從而可以形成屬性和類別統(tǒng)一的源數(shù)據(jù)。再結(jié)合行為特征、流量特征等，對(duì)同一特征、規(guī)律的數(shù)據(jù)進(jìn)行融合，最終形成一個(gè)共性的數(shù)據(jù)族。（3）關(guān)聯(lián)數(shù)據(jù)。首先是屬性相似的數(shù)據(jù)族進(jìn)行關(guān)聯(lián)，在數(shù)據(jù)族的一些信息相同的情況下，就可以對(duì)數(shù)據(jù)開展關(guān)聯(lián)工作。其次，在對(duì)數(shù)據(jù)進(jìn)行關(guān)聯(lián)的過(guò)程中，可以根據(jù)數(shù)據(jù)的時(shí)間順序進(jìn)行關(guān)聯(lián)，比如在某些數(shù)據(jù)中，具備時(shí)間順序的特征，就可以建立關(guān)聯(lián)。通過(guò)數(shù)據(jù)之間的關(guān)聯(lián)，可以重新組織原始數(shù)據(jù)，并且還可以對(duì)數(shù)據(jù)的關(guān)系進(jìn)行分析總結(jié)，從而形成數(shù)據(jù)關(guān)系圖。

3.2 設(shè)計(jì)計(jì)算模型

（1）數(shù)值統(tǒng)計(jì)模型。在態(tài)勢(shì)感知數(shù)據(jù)源中含有大量的交互IP、用戶行為等數(shù)據(jù)信息，在這些信息的統(tǒng)計(jì)特征當(dāng)中，可以保證表達(dá)網(wǎng)絡(luò)動(dòng)作的完整性，而在這些網(wǎng)絡(luò)動(dòng)作當(dāng)中，在運(yùn)用傳統(tǒng)方式進(jìn)行匹配的過(guò)程中，是非常不容易被發(fā)現(xiàn)的。因此當(dāng)數(shù)據(jù)都表達(dá)了同一種網(wǎng)絡(luò)行為的時(shí)候，而且這個(gè)行為屬于網(wǎng)絡(luò)攻擊的范圍之內(nèi)，那么就可以通過(guò)數(shù)值統(tǒng)計(jì)的方法來(lái)發(fā)現(xiàn)[5]。（2）算法挖掘模型。在算法挖掘模型數(shù)據(jù)當(dāng)中，是根據(jù)現(xiàn)有的分析算法，對(duì)數(shù)據(jù)進(jìn)行挖掘，從而可以發(fā)現(xiàn)存在的隱藏風(fēng)險(xiǎn)，其中主要包括的算法：基于統(tǒng)計(jì)學(xué)方法的度分布計(jì)算、基于PageRank的頂點(diǎn)分析算法[6]?；诮y(tǒng)計(jì)學(xué)方法的度分布計(jì)算：通過(guò)運(yùn)用此算法，不僅可以掌握數(shù)據(jù)關(guān)系中的節(jié)點(diǎn)個(gè)數(shù)，同時(shí)還可以了解節(jié)點(diǎn)度的分布曲線。進(jìn)而能夠發(fā)現(xiàn)，某一時(shí)間段內(nèi)，活躍人員數(shù)量及規(guī)模、熱點(diǎn)服務(wù)器、高危漏洞、嚴(yán)重病毒等，通過(guò)運(yùn)用該算法，可以確定整個(gè)數(shù)據(jù)需重點(diǎn)重視的目標(biāo)。基于PageRank的頂點(diǎn)分析算法：該算法的核心在整個(gè)網(wǎng)絡(luò)訪問(wèn)的IP網(wǎng)頁(yè)得到了廣泛的應(yīng)用，這就是屬于該算法重點(diǎn)注重的對(duì)象，通過(guò)運(yùn)用該算法，可以發(fā)現(xiàn)網(wǎng)絡(luò)中包含的重要信息[7]。

3.3 分析安全數(shù)據(jù)

分析數(shù)據(jù)是基于上述模型的基礎(chǔ)之上，對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)分析和離線分析，進(jìn)而分析出數(shù)據(jù)的流向、層次、行為等，這樣可以在數(shù)據(jù)中發(fā)現(xiàn)存在的風(fēng)險(xiǎn)，其中主要包括了兩個(gè)部分：實(shí)時(shí)分析和離線分析。

（1）實(shí)時(shí)分析。在進(jìn)行實(shí)時(shí)分析的過(guò)程中，就是對(duì)數(shù)據(jù)進(jìn)行實(shí)時(shí)分析，但是在實(shí)時(shí)分析當(dāng)中，需要搭建Spark框架，而在Spark中，是運(yùn)用內(nèi)存計(jì)算的方式，對(duì)數(shù)據(jù)進(jìn)行大批量的流處理，擁有非常高的并發(fā)處理能力、計(jì)算能力，因此適用于實(shí)時(shí)分析計(jì)算。實(shí)時(shí)分析計(jì)算中流式計(jì)算模型和MapReduce調(diào)度計(jì)算有著很大的不同之處，流計(jì)算可以實(shí)現(xiàn)數(shù)據(jù)的實(shí)時(shí)處理，可以根據(jù)計(jì)算范圍的情況，對(duì)模式進(jìn)行合理的擴(kuò)展，保證處理數(shù)據(jù)計(jì)算任務(wù)之間關(guān)系的靈活性。在實(shí)時(shí)分析模型當(dāng)中，需要分析處理在線收集的即時(shí)數(shù)據(jù)，這樣可以保證現(xiàn)場(chǎng)處理的有效性，這樣就會(huì)弱化對(duì)安全事件的分析結(jié)果準(zhǔn)確度要求。在實(shí)時(shí)分析中，其主要的功能包括了判斷威脅類型、挖掘安全事件，這就可以及時(shí)的發(fā)現(xiàn)存在攻擊行為，并且進(jìn)行預(yù)警。而對(duì)不能確定的事件，需要交給離線分析進(jìn)行處理。（2）離線分析。在離線分析中，與實(shí)時(shí)分析進(jìn)行比較的情況下，其駐點(diǎn)是反復(fù)挖掘數(shù)據(jù)庫(kù)的歷史數(shù)據(jù)，并且還需要進(jìn)行分析和計(jì)算，從而保證深入使用數(shù)據(jù)的最大化。在離線分析模塊中，需要收集數(shù)據(jù)庫(kù)中全部的歷史數(shù)據(jù)，并存放在數(shù)據(jù)庫(kù)中，其中包含了實(shí)時(shí)分析模塊轉(zhuǎn)接的疑難數(shù)據(jù)。在離線分析模塊中，需要對(duì)已知安全事件倉(cāng)庫(kù)進(jìn)行維護(hù)，在安全事件的來(lái)源當(dāng)中，不僅包括了實(shí)時(shí)分析的結(jié)果反饋，同時(shí)還包括離線分析的結(jié)構(gòu)反饋。在對(duì)引擎進(jìn)行挖掘的過(guò)程中，需要有效的結(jié)合事件倉(cāng)庫(kù)，可以更加深入分析和挖掘數(shù)據(jù)庫(kù)中的數(shù)據(jù)，然后對(duì)于最新的挖掘結(jié)果而言，需要傳遞到安全事件處理模塊中，對(duì)挖掘結(jié)果進(jìn)行處理，同時(shí)對(duì)于新挖掘的事件，需要保存到事件倉(cāng)庫(kù)當(dāng)中[8]。離線分析模塊在數(shù)據(jù)庫(kù)中提取有效安全事件分析，判別其威脅的類型，在對(duì)分析挖掘進(jìn)行聯(lián)合的過(guò)程中，不僅需要運(yùn)用數(shù)據(jù)庫(kù)中的原始數(shù)據(jù)集，同時(shí)還需要利用數(shù)據(jù)庫(kù)中的已知安全事件，然后對(duì)多個(gè)安全事件的聯(lián)系進(jìn)行分析，并根據(jù)此聯(lián)系形成新的安全事件。通過(guò)離線分析和實(shí)時(shí)分析的有效結(jié)合，可以保證建立大數(shù)據(jù)分析引擎的完善性，不但能夠?qū)M(jìn)入系統(tǒng)的實(shí)時(shí)數(shù)據(jù)進(jìn)行現(xiàn)場(chǎng)的分析挖掘，做到第一時(shí)間的預(yù)警，同時(shí)也能夠?qū)v史數(shù)據(jù)進(jìn)行更深層次的分析挖掘，并通過(guò)分析找出存在的安全隱患，預(yù)判未知的威脅。

4 態(tài)勢(shì)感知在預(yù)警業(yè)務(wù)中的應(yīng)用

態(tài)勢(shì)感知在預(yù)警方面主要有著以下三點(diǎn)運(yùn)用：一是，通過(guò)對(duì)大數(shù)據(jù)的分析挖掘，實(shí)現(xiàn)網(wǎng)絡(luò)安全威脅自動(dòng)預(yù)警，防止受到木馬傳播、仿冒釣魚等攻擊。二是能夠?qū)崿F(xiàn)對(duì)重要系統(tǒng)的實(shí)時(shí)監(jiān)控，比如對(duì)政府部門、事業(yè)單位的官網(wǎng)等進(jìn)行實(shí)時(shí)全方位的監(jiān)測(cè)，防止網(wǎng)頁(yè)被篡改、服務(wù)器被攻擊等現(xiàn)象的發(fā)生。三是實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)風(fēng)險(xiǎn)的預(yù)警及感知，能夠?qū)W(wǎng)絡(luò)攻擊行為、安全隱患等進(jìn)行分析總結(jié)，使人們對(duì)網(wǎng)絡(luò)風(fēng)險(xiǎn)有一定的理解并加以預(yù)防。

5 結(jié)束語(yǔ)

態(tài)勢(shì)感知是網(wǎng)絡(luò)對(duì)抗預(yù)警的重要組成部分，能夠從安全數(shù)據(jù)中分析挖掘出安全風(fēng)險(xiǎn)。本文對(duì)當(dāng)今網(wǎng)絡(luò)攻擊方式和防御需求進(jìn)行分析，闡述了在大數(shù)據(jù)技術(shù)的應(yīng)用背景下網(wǎng)絡(luò)安全的優(yōu)勢(shì)，并提出了大數(shù)據(jù)技術(shù)網(wǎng)絡(luò)安全態(tài)勢(shì)感知平臺(tái)概念，從多個(gè)方面分析了構(gòu)建此平臺(tái)的優(yōu)勢(shì)以及平臺(tái)的功能，希望能夠幫助更多的單位、企業(yè)做好網(wǎng)絡(luò)攻擊防范預(yù)警工作。

參考文獻(xiàn)：

[1]董超，劉雷.大數(shù)據(jù)網(wǎng)絡(luò)安全態(tài)勢(shì)感知中數(shù)據(jù)融合技術(shù)研究[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2019（7）：60-62.

[2]盧慶，文衛(wèi)疆，陳新.大數(shù)據(jù)技術(shù)支持下的網(wǎng)絡(luò)安全態(tài)勢(shì)感知技術(shù)探究[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2018（10）：63-64.

[3]伍黎明.基于大數(shù)據(jù)分析的網(wǎng)絡(luò)安全態(tài)勢(shì)感知技術(shù)及評(píng)估方法研究[J].電子元器件與信息技術(shù)，2018（9）：49-51，101.

[4]鄧曉東，何慶，許敬偉，等.大數(shù)據(jù)網(wǎng)絡(luò)安全態(tài)勢(shì)感知中數(shù)據(jù)融合技術(shù)研究[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2017（8）：79-80.

[5]付瑋.大數(shù)據(jù)時(shí)代背景下的網(wǎng)絡(luò)安全策略研究[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2019（10）：15-16.

[6]許暖.基于大數(shù)據(jù)背景下分析網(wǎng)絡(luò)安全態(tài)勢(shì)感知關(guān)鍵實(shí)現(xiàn)技術(shù)探索[J].數(shù)字化用戶，2019，25（1）：179-180.

[7]李若愚，張新躍，張晉豪.網(wǎng)絡(luò)安全態(tài)勢(shì)感知系統(tǒng)架構(gòu)淺析[J].信息記錄材料，2019，20（8）：101-102.

[8]胡志軍.基于大數(shù)據(jù)的網(wǎng)絡(luò)安全態(tài)勢(shì)感知平臺(tái)的應(yīng)用思考[J].金融科技時(shí)代，2019（10）：44-46.