次數(shù)據(jù)集的網(wǎng)絡(luò)安全態(tài)勢感知技術(shù)應(yīng)用分析

◎張 琦 丁 慶 陳 瑜

（上海文化廣播影視集團(tuán)有限公司 上海 200000）

隨著計算機(jī)網(wǎng)絡(luò)技術(shù)的高速發(fā)展，網(wǎng)絡(luò)數(shù)據(jù)處理技術(shù)和網(wǎng)絡(luò)安全態(tài)勢感知技術(shù)為網(wǎng)絡(luò)環(huán)境提供強(qiáng)有力的保障。我國網(wǎng)絡(luò)信息主要存在兩方面的問題：一是外部威脅，信息網(wǎng)絡(luò)日益開放，引起不法分子覬覦，以黑客攻擊為首的網(wǎng)絡(luò)惡意攻擊，侵入網(wǎng)絡(luò)信息內(nèi)部來獲得重要網(wǎng)絡(luò)信息，影響網(wǎng)絡(luò)信息安全，網(wǎng)絡(luò)環(huán)境面臨巨大威脅；二是系統(tǒng)內(nèi)部隱患，海量信息數(shù)據(jù)運行，不能有效管控運行數(shù)據(jù)，垃圾文件在網(wǎng)絡(luò)系統(tǒng)肆意流轉(zhuǎn)，勢必影響網(wǎng)絡(luò)安全。當(dāng)前形勢下的安全態(tài)勢感知，將數(shù)據(jù)預(yù)處理技術(shù)與網(wǎng)絡(luò)安全態(tài)勢感知技術(shù)結(jié)合，處理網(wǎng)絡(luò)安全隱患，保障網(wǎng)絡(luò)運行環(huán)境穩(wěn)定有序。

一、次數(shù)據(jù)集的技術(shù)背景

次數(shù)據(jù)集技術(shù)是數(shù)據(jù)預(yù)處理技術(shù)的前期整合技術(shù)方法，數(shù)據(jù)預(yù)處理在收集到安全態(tài)勢數(shù)據(jù)之后，本身經(jīng)過二次矩陣反應(yīng)可以得出一套數(shù)據(jù)恢復(fù)反應(yīng)總結(jié)，根據(jù)實際使用前的數(shù)據(jù)集合與具體反應(yīng)能力，一般數(shù)據(jù)都會有所反應(yīng)，經(jīng)過進(jìn)行預(yù)處理的數(shù)據(jù)都會形成有效的集合。這里主要的預(yù)處理工作是將安全態(tài)勢數(shù)據(jù)與安全事件數(shù)據(jù)結(jié)合，整合為兩種反應(yīng)弧射，一種是映射關(guān)系，一種是聚合關(guān)系。

在安全態(tài)勢數(shù)據(jù)與安全事件數(shù)據(jù)的雙向融合中，安全態(tài)勢感知一般會占據(jù)主機(jī)的大部分?jǐn)?shù)據(jù)內(nèi)容，基于次數(shù)據(jù)集的前期感知會將主機(jī)IP層次中所涉及安全的部分全部改寫，認(rèn)定安全事件數(shù)據(jù)則是基于組織/企業(yè)層次，根據(jù)認(rèn)定的具體層次關(guān)系以及預(yù)測組織/企業(yè)的事件內(nèi)容進(jìn)行范圍界定，確定清晰的安全態(tài)勢感知事件內(nèi)容，根據(jù)方法來看，次數(shù)據(jù)集的主要技術(shù)是通過一個Sample IP作為代表IP來確定本次攻擊目標(biāo)的實際所有者（組織/企業(yè)），再通過查詢公開的RIR數(shù)據(jù)庫獲得與攻擊目標(biāo)相關(guān)的所有IP地址塊，然后這些IP地址塊作為一個聚合單元與安全態(tài)勢數(shù)據(jù)進(jìn)行結(jié)合。

二、次數(shù)據(jù)集的網(wǎng)絡(luò)安全態(tài)勢感知技術(shù)構(gòu)成

大數(shù)據(jù)時代的網(wǎng)絡(luò)安全態(tài)勢感知體系是從全局出發(fā)，整體把控網(wǎng)絡(luò)環(huán)境，又要做到由點到面，全方位監(jiān)管信息，保障每個場景信息都能及時獲取，轉(zhuǎn)化成計算機(jī)文件，從而查驗是否存在安全隱患。大量的網(wǎng)絡(luò)信息以計算機(jī)代碼形式，承載著不同內(nèi)容運行在網(wǎng)絡(luò)環(huán)境，怎樣收集、匹配、轉(zhuǎn)化、儲存和修復(fù)這些網(wǎng)絡(luò)信息，迫切需求強(qiáng)有力先進(jìn)技術(shù)支持。安全感知是實現(xiàn)全網(wǎng)安全檢查和預(yù)警的一種新技術(shù)，次數(shù)據(jù)集的網(wǎng)絡(luò)安全態(tài)勢感知技術(shù)構(gòu)成為：數(shù)據(jù)驅(qū)動、場景獲取、態(tài)勢轉(zhuǎn)化、系統(tǒng)畫像等，以下分別進(jìn)行詳細(xì)分析。

（一）數(shù)據(jù)驅(qū)動

建立基于大數(shù)據(jù)的態(tài)勢感知體系可以全面提升發(fā)現(xiàn)識別、理解分析、響應(yīng)處置威脅的能力。數(shù)據(jù)是態(tài)勢感知的基礎(chǔ)，態(tài)勢感知系統(tǒng)想要充分發(fā)揮作用必須從真實的數(shù)據(jù)做起，即要獲取最真實的底層數(shù)據(jù)。

實現(xiàn)對整個環(huán)境的安全態(tài)勢要素的完整獲取，要有對數(shù)據(jù)理解、獲取和采集的能力，如流量數(shù)據(jù)的還原與監(jiān)控、包括流量數(shù)據(jù)和各類日志數(shù)據(jù)等。把來自不同的源頭、不同類型的數(shù)據(jù)融合在一起、產(chǎn)生關(guān)聯(lián)，通過進(jìn)一步分析去發(fā)現(xiàn)問題。利用大數(shù)據(jù)平臺能實現(xiàn)海量數(shù)據(jù)高效的存儲與計算處理，在此基礎(chǔ)上做深度的安全檢測、事件捕獵、調(diào)查分析，發(fā)現(xiàn)、定位、溯源安全事件。以數(shù)據(jù)驅(qū)動，就是對內(nèi)通過全面日志的收集與分析，實現(xiàn)全方位的日志獲取和監(jiān)控，最終達(dá)到全面防御的目的。

（二）場景獲取

“態(tài)勢感知”是一個由微觀到宏觀的過程。微觀即數(shù)據(jù)，宏觀即場景。數(shù)據(jù)的集合構(gòu)成不同的場景，如何從數(shù)據(jù)中通過分析得到場景，就是我們的研究目標(biāo)。

態(tài)勢感知要得到完全的微觀信息。連接是網(wǎng)絡(luò)中信息的最小顆粒，微觀信息就是連接參數(shù)的全部。有了完整的信息才能進(jìn)行統(tǒng)計和分析，得到可測量的宏觀量。宏觀量隨時間的變化，對網(wǎng)絡(luò)安全威脅是在時間上體現(xiàn)出來的，時間維度是我們最重要的一個維度。由微觀信息可以得到各種統(tǒng)計，例如IP地址的分布，端口的分布，協(xié)議的構(gòu)成等等，也是數(shù)據(jù)之間的關(guān)聯(lián)的一種表現(xiàn)，隨著統(tǒng)計涉及越來越多的參數(shù)和維度，就進(jìn)入了越來越多的層次，獨立出越來越多的場景。

（三）態(tài)勢轉(zhuǎn)換

態(tài)勢轉(zhuǎn)換的重點為日志轉(zhuǎn)換為事件。獨立的日志僅僅只是日志，只有將日志轉(zhuǎn)換為事件，才能針對事件進(jìn)行分析、匹配、挖掘、機(jī)器學(xué)習(xí)。

在數(shù)據(jù)獲取階段，利用ETL過程將數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化，包括對數(shù)據(jù)的篩選、過濾、補齊將數(shù)據(jù)形成統(tǒng)一的標(biāo)準(zhǔn)。針對標(biāo)準(zhǔn)化之后的數(shù)據(jù)，利用規(guī)則匹配、關(guān)聯(lián)分析、復(fù)雜事件處理、黑白名單匹配等操作，將數(shù)據(jù)進(jìn)行關(guān)聯(lián)，形成已知規(guī)則的事件；同時，通過分類、聚類、特征值提取、機(jī)器學(xué)習(xí)等對數(shù)據(jù)進(jìn)行深度分析，發(fā)現(xiàn)未知事件。這兩類事件互相補充，匹配后的數(shù)據(jù)分析，以確保全面核對數(shù)據(jù)，處理安全隱患，實現(xiàn)全方位監(jiān)控以及告警。

（四）系統(tǒng)畫像

在實現(xiàn)全面日志接入之后，通過對系統(tǒng)各個維度的日志信息的采集，實現(xiàn)全方位系統(tǒng)畫像。在基礎(chǔ)硬件層面，通過獲取基礎(chǔ)設(shè)施日志如CPU、內(nèi)存、磁盤、監(jiān)控當(dāng)前的系統(tǒng)基礎(chǔ)設(shè)施的性能；在安全層面，獲取系統(tǒng)相關(guān)安全信息，如頻繁受到過攻擊的類型，有哪些漏洞；在網(wǎng)絡(luò)層面，獲取不同時段的流量信息，同時對流量進(jìn)行還原，監(jiān)控流量文件，發(fā)現(xiàn)未知威脅；對報文進(jìn)行監(jiān)聽，分析報文中交易是否正常；在業(yè)務(wù)層面，獲取用戶行為、交易成功率等，保證業(yè)務(wù)系統(tǒng)的連續(xù)性；在應(yīng)用層面，獲取應(yīng)用系統(tǒng)狀態(tài)，如并發(fā)是否過高，服務(wù)是否健壯。

全方位的系統(tǒng)監(jiān)控與預(yù)測，對外可以阻斷、預(yù)測外部攻擊，對內(nèi)可以及時發(fā)現(xiàn)違規(guī)、危險操作。在本次網(wǎng)絡(luò)安全態(tài)勢感知的建設(shè)過程中，我們主要集中在基礎(chǔ)設(shè)施、安全以及網(wǎng)絡(luò)層面。在實現(xiàn)日志的全面接入之后，從業(yè)務(wù)系統(tǒng)以及應(yīng)用層面進(jìn)行分析，補全系統(tǒng)畫像，實現(xiàn)全方位的防護(hù)。

三、結(jié)語

結(jié)合上述分析，可以了解到次數(shù)據(jù)集的網(wǎng)絡(luò)安全態(tài)勢感知技術(shù)應(yīng)用在基礎(chǔ)建設(shè)與安全結(jié)構(gòu)網(wǎng)絡(luò)層面內(nèi)的認(rèn)知中都擁有很強(qiáng)的技術(shù)指導(dǎo)性，隨著業(yè)務(wù)系統(tǒng)與應(yīng)用的技術(shù)不斷豐富，次數(shù)據(jù)集的網(wǎng)絡(luò)安全態(tài)勢感知能力也不斷增強(qiáng)，伴隨著數(shù)據(jù)庫的發(fā)展越來越完善，這是一種自我升級與自我優(yōu)化的數(shù)據(jù)矩陣數(shù)列，針對次數(shù)據(jù)集的網(wǎng)絡(luò)安全態(tài)勢感知技術(shù)持續(xù)發(fā)展具有很好的推動力。在科學(xué)技術(shù)推動下，基于最新網(wǎng)絡(luò)安全感知技術(shù)的不斷發(fā)展，勢必使網(wǎng)絡(luò)的安全環(huán)境得到更好完善，為用戶提供更加安全的網(wǎng)絡(luò)環(huán)境。