大數(shù)據(jù)驅(qū)動的網(wǎng)絡(luò)綜合監(jiān)測系統(tǒng)的設(shè)計與實現(xiàn)*

曾 彬，張文沛

(1.湖南友道信息技術(shù)有限公司，湖南 長沙 410000； 2.成都卓源網(wǎng)絡(luò)科技有限公司，四川 成都 610041)

0 引言

隨著網(wǎng)絡(luò)攻擊越來越復(fù)雜和隱蔽，傳統(tǒng)以“防護(hù)”為主的安全體系面臨極大挑戰(zhàn)。各種檢測技術(shù)從不同的角度發(fā)現(xiàn)網(wǎng)絡(luò)中可能存在的安全問題，但無法準(zhǔn)確和有效地找出網(wǎng)絡(luò)中存在的真實威脅。以勒索、挖礦病毒等高級持續(xù)性威脅為代表的新型攻擊手段，繞過了傳統(tǒng)邊界防護(hù)設(shè)備，傳統(tǒng)的安全監(jiān)測方法大都是基于已知規(guī)則庫進(jìn)行監(jiān)測，但對未知威脅則無能為力[1-2]。對正在發(fā)生或已造成損失的入侵行為無法做到完整的溯源取證和損失評估。

另一方面，網(wǎng)絡(luò)節(jié)點多、規(guī)模大、設(shè)備和資源眾多，新業(yè)務(wù)層出不窮，宏觀管理層面，缺乏對全局網(wǎng)絡(luò)性能表現(xiàn)、資產(chǎn)設(shè)備、流量分布、用戶行為、安全狀況等的掌控[3]。微觀運(yùn)維層面，缺乏對網(wǎng)絡(luò)原始數(shù)據(jù)的保存與檢索分析能力，不能對故障及安全事故進(jìn)行溯源查證[4]。

隨著網(wǎng)絡(luò)帶寬的持續(xù)增加，海量網(wǎng)絡(luò)數(shù)據(jù)的實時采集、分析與存儲是一個巨大的挑戰(zhàn)，如果長期存儲，代價巨大，另外解析出的流數(shù)據(jù)、元數(shù)據(jù)、包數(shù)據(jù)、事件數(shù)據(jù)等，存儲模式差異巨大，如何融合分析也面臨巨大挑戰(zhàn)[5]。現(xiàn)有系統(tǒng)的交互能力都較弱，專業(yè)分析人員使用工具與數(shù)據(jù)進(jìn)行交互分析，如事件調(diào)查、歷史回溯、條件組合等的效果都有待提高，才能滿足高質(zhì)量高效的分析需求。

網(wǎng)絡(luò)中現(xiàn)存的大量異構(gòu)安全設(shè)備的告警從不同維度對攻擊事件進(jìn)行展現(xiàn)，雖然數(shù)據(jù)之間存在著關(guān)聯(lián)，但是傳統(tǒng)的分析方法無法將海量數(shù)據(jù)進(jìn)行匯總和分析，缺乏對流量的深度分析能力和對未知攻擊的檢測能力[6-7]。Gartner在2013年提出網(wǎng)絡(luò)流量分析(NTA)是未來應(yīng)對高級威脅的主要手段之一，它通過融合深度數(shù)據(jù)包檢測、機(jī)器學(xué)習(xí)等技術(shù)，通過網(wǎng)絡(luò)行為分析檢測網(wǎng)絡(luò)中的可疑行為[8-9]。

人工智能可以對網(wǎng)絡(luò)流量內(nèi)外所包含的無數(shù)元數(shù)據(jù)的海量關(guān)聯(lián)進(jìn)行分析；AI技術(shù)可將包括企業(yè)運(yùn)營日志數(shù)據(jù)和外部威脅情報服務(wù)的多個信息源整合分析，具備處理上百萬數(shù)據(jù)點以及生成預(yù)測的能力，獲得最準(zhǔn)確的網(wǎng)絡(luò)風(fēng)險評估[10-11]。基于大數(shù)據(jù)和人工智能的網(wǎng)絡(luò)運(yùn)維減少了人為差錯，智能化的監(jiān)控有利于提高網(wǎng)絡(luò)的安全防御水平[12]。

本文通過多元化采集、細(xì)化監(jiān)控粒度，實現(xiàn)網(wǎng)絡(luò)、主機(jī)、應(yīng)用、數(shù)據(jù)、終端等物理或虛擬資產(chǎn)的全面監(jiān)控。對網(wǎng)絡(luò)安全態(tài)勢進(jìn)行多維畫像、分析和預(yù)測，開展異構(gòu)網(wǎng)絡(luò)安全事件的綜合分析，突破對多源安全威脅事件進(jìn)行處理、挖掘和分析等關(guān)鍵技術(shù)，達(dá)到快速展現(xiàn)和解決網(wǎng)絡(luò)的安全態(tài)勢，形成相關(guān)的算法和系統(tǒng)，從而提升整體網(wǎng)絡(luò)的安全能力，實現(xiàn)智能、聯(lián)動、快速響應(yīng)的“主動”防御，構(gòu)建關(guān)鍵設(shè)備、資產(chǎn)的基礎(chǔ)設(shè)施安全保障體系。

1 系統(tǒng)設(shè)計

系統(tǒng)采用全新的分布式協(xié)同測量體系架構(gòu)，支持虛擬化部署與分權(quán)分域部署。總體架構(gòu)方面主要包括：數(shù)據(jù)采集層、數(shù)據(jù)接入層、數(shù)據(jù)處理層、數(shù)據(jù)存儲層、可視化展示層，如圖1所示。

圖1 系統(tǒng)整體架構(gòu)圖

1.1 整體架構(gòu)

數(shù)據(jù)采集層結(jié)合實時與非實時的數(shù)據(jù)采集方式，盡可能全方位立體化地收集網(wǎng)絡(luò)空間多維度的數(shù)據(jù)源，實現(xiàn)實時海量異構(gòu)安全數(shù)據(jù)采集。其中海量異構(gòu)安全數(shù)據(jù)主要包括：安全日志、探測數(shù)據(jù)、網(wǎng)絡(luò)流量、網(wǎng)絡(luò)環(huán)境數(shù)據(jù)以及一些固有屬性數(shù)據(jù)等內(nèi)容。以主動或被動的方式收集漏洞評估數(shù)據(jù)、關(guān)鍵系統(tǒng)的運(yùn)行日志及安全告警日志，以上數(shù)據(jù)包括實時數(shù)據(jù)和非實時數(shù)據(jù)，采用開源采集引擎。

數(shù)據(jù)接入層負(fù)責(zé)對收集到的數(shù)據(jù)匯總、預(yù)處理及分發(fā)。對匯聚平臺上傳的數(shù)據(jù)進(jìn)行負(fù)載均衡，分發(fā)到數(shù)據(jù)處理模塊，然后對數(shù)據(jù)進(jìn)行去重、打標(biāo)簽、脫敏等操作。根據(jù)不同接口形式與格式分享數(shù)據(jù)。

數(shù)據(jù)處理層主要實現(xiàn)日志的關(guān)聯(lián)分析、數(shù)據(jù)挖掘、異常發(fā)現(xiàn)等，包含實時分析和離線分析兩個分析引擎。實時分析引擎擬采用Storm/Spark Streaming架構(gòu)，用于數(shù)據(jù)實時統(tǒng)計、實時查詢、實時抽樣；離線分析引擎擬采用Spark/ELK架構(gòu)，用于數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)相關(guān)的分析。兩種分析方式可以聯(lián)動，利用離線的經(jīng)驗結(jié)果來判別實時發(fā)現(xiàn)的疑似異常。

數(shù)據(jù)存儲層負(fù)責(zé)向展示層提供統(tǒng)計指標(biāo)及原始數(shù)據(jù)。數(shù)據(jù)倉庫擬采用分布式的存儲結(jié)構(gòu)，并采用高效的壓縮、索引等算法保證數(shù)據(jù)的完整性、一致性且能夠快速讀取。使用Redis存儲高頻使用數(shù)據(jù)；HDFS存儲PCAP報文；HBase存儲實時統(tǒng)計數(shù)據(jù)；MySQL存儲匯聚數(shù)據(jù)、用戶配置數(shù)據(jù)等。

展示層主要以B/S的方式，主要包括流量分析、性能監(jiān)控、漏洞監(jiān)測與管理、運(yùn)行監(jiān)測與管理、安全管理、攻擊告警等模塊。同時，將利用新型的可視化交互技術(shù)，將抽象的數(shù)據(jù)轉(zhuǎn)變?yōu)槿丝筛兄男畔ⅲ瑢⒑Ａ慨悩?gòu)數(shù)據(jù)以圖形圖像的方式表現(xiàn)出來，在海量異構(gòu)數(shù)據(jù)可視化層面，采用基于WebSocket的多數(shù)據(jù)并行、實時推送技術(shù)，輔以基于結(jié)構(gòu)的方法、基于統(tǒng)計的方法、基于分割的方法、基于圖壓縮的方法，實現(xiàn)對大規(guī)模的數(shù)據(jù)監(jiān)控。

經(jīng)過大數(shù)據(jù)架構(gòu)分析后的數(shù)據(jù)，可以供流量透視系統(tǒng)、性能分析與預(yù)測系統(tǒng)、安全態(tài)勢與反制系統(tǒng)、流量朔源與取證系統(tǒng)、報表等系統(tǒng)實時或者直觀可視化地展示數(shù)據(jù)。

1.2 大數(shù)據(jù)存儲及檢索方案設(shè)計

大數(shù)據(jù)平臺對各個區(qū)域內(nèi)流量進(jìn)行實時采集并長期存儲，通過全量采集數(shù)據(jù)并存儲分析，結(jié)合特征規(guī)則檢測方式，對網(wǎng)絡(luò)流量進(jìn)行安全特征檢測及告警，同時可以提供告警日志及流量會話分析日志等信息通過API接口輸出給第三方統(tǒng)一分析平臺。系統(tǒng)自身能夠長期采集并存儲分析網(wǎng)絡(luò)通信流量數(shù)據(jù)，包括IP地址、IP會話、TCP/UDP會話統(tǒng)計分析，并提供數(shù)據(jù)追溯分析能力，能夠?qū)θ我鈺r間段的數(shù)據(jù)進(jìn)行追溯取證。通過自定義警報規(guī)則，能夠?qū)W(wǎng)絡(luò)全流量進(jìn)行檢測預(yù)警，發(fā)現(xiàn)網(wǎng)絡(luò)中安全隱患。對于分析日志及告警日志，系統(tǒng)提供API接口，能夠通過API接口輸出給第三方數(shù)據(jù)分析平臺，實現(xiàn)結(jié)果統(tǒng)一分析及展示，如圖2所示。

圖2 大數(shù)據(jù)采集調(diào)度設(shè)計方案

采用HBase作為原始數(shù)據(jù)的存儲主體。采用key-value形式存儲的非結(jié)構(gòu)化數(shù)據(jù)庫，通過其主鍵快速查詢到原始記錄。并且通過分布式擴(kuò)展、數(shù)據(jù)壓縮、批量寫入，既可以保證海量流記錄寫入速度，又能保證系統(tǒng)的擴(kuò)展性，在單機(jī)性能不足時可增加存儲服務(wù)器節(jié)點解決問題。

采用Mycat作為MySQL的分布式中間件，將數(shù)據(jù)均勻分布存儲至多個個MySQL數(shù)據(jù)庫中，做到負(fù)載均衡。查詢數(shù)據(jù)時，可通過Mycat中間件調(diào)用各個MySQL數(shù)據(jù)庫進(jìn)行數(shù)據(jù)查詢，提高查詢速度。在每個MySQL數(shù)據(jù)庫中可采用分表策略進(jìn)行數(shù)據(jù)存儲，例如每天分一個表或者每6個小時分一個表，每個表也可以建立相應(yīng)的分區(qū)，將數(shù)據(jù)均勻分布在各個分區(qū)，在數(shù)據(jù)查詢時只需在某些分區(qū)掃描數(shù)據(jù)，可提高查詢效率。

在HBase的基礎(chǔ)上，采用ElasticSearch搜索引擎對所有查詢條件(IP、端口、協(xié)議等)建立二級索引，在需要多條件查詢原始流記錄時，先通過ElasticSearch進(jìn)行索引搜索，由于ElasticSearch內(nèi)部采用性能優(yōu)越的Lucene搜索算法，可快速找到符合條件的唯一性的key值，然后利用HBase一級索引的優(yōu)勢，通過key值快速取出原始流記錄，如圖3所示。

圖3 海量測量數(shù)據(jù)快速檢索機(jī)制設(shè)計

2 關(guān)鍵技術(shù)

2.1 多維度測量數(shù)據(jù)融合與動態(tài)關(guān)聯(lián)

系統(tǒng)支持分布式測試探針獲得的指標(biāo)進(jìn)行綜合分析，數(shù)據(jù)采集、存儲、本地緩存，支持流量、性能、安全等結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)的存儲。對網(wǎng)絡(luò)數(shù)據(jù)分析結(jié)果進(jìn)行分層次建模分析，獲得網(wǎng)絡(luò)流量基準(zhǔn)特征，并通過實時監(jiān)測對網(wǎng)絡(luò)異常行為進(jìn)行告警，并自動觸發(fā)深度流量分析功能，獲得造成網(wǎng)絡(luò)異常行為的地址、協(xié)議以及端口號等特征，有必要情況下自動觸發(fā)相關(guān)網(wǎng)絡(luò)設(shè)備的信息查詢，包括接口狀態(tài)查詢等；并結(jié)合網(wǎng)絡(luò)設(shè)備信息自動觸發(fā)主動網(wǎng)絡(luò)性能探測，對網(wǎng)絡(luò)狀況進(jìn)行實時跟蹤分析，從而幫助定位網(wǎng)絡(luò)故障。

異構(gòu)信息之間的挖掘、關(guān)聯(lián)分析算法和技術(shù)：設(shè)計信息關(guān)聯(lián)引擎和相關(guān)算法，包括事件采集、事件歸一化(將各種日志格式標(biāo)準(zhǔn)化以消除異構(gòu)產(chǎn)品來源間的差異)、聚合(將頻繁重復(fù)事件如大量的端口掃描告警，聚合為一條事件)、事件關(guān)聯(lián)分析引擎等幾個部分，如圖4、圖5所示。基于上述方法，開展異構(gòu)網(wǎng)絡(luò)性能的綜合分析，對網(wǎng)絡(luò)異常行為進(jìn)行預(yù)判和快速響應(yīng)，基于數(shù)據(jù)挖掘算法，利用網(wǎng)絡(luò)態(tài)勢感知及預(yù)測技術(shù)，突破對多源威脅事件的處理、挖掘和分析等關(guān)鍵技術(shù)，達(dá)到快速展現(xiàn)和解決網(wǎng)絡(luò)的安全隱患，形成相關(guān)的算法和系統(tǒng)。牽引性指標(biāo)有：數(shù)據(jù)包監(jiān)測性能、流量應(yīng)用識別比率、支持的應(yīng)用種類。

圖4 多維度測量數(shù)據(jù)的融合管理

圖5 基于大數(shù)據(jù)挖掘的網(wǎng)絡(luò)綜合態(tài)勢與關(guān)聯(lián)分析

2.2 面向海量網(wǎng)絡(luò)數(shù)據(jù)的存儲與快速檢索

應(yīng)對海量數(shù)據(jù)的挑戰(zhàn)，基于交叉表聚合的技術(shù)，處理數(shù)據(jù)存儲、檢索、共享與分發(fā)方法，系統(tǒng)實現(xiàn)了多時間粒度、多側(cè)面立體式數(shù)據(jù)存儲以及分布式存儲。系統(tǒng)還支持通過外置磁盤陣列進(jìn)行存儲，保證結(jié)果可長期保存、可回溯，同時提出靈活方便的高效數(shù)據(jù)共享和分發(fā)方案，實現(xiàn)數(shù)據(jù)的高效共享，系統(tǒng)支持將通過高速探針采集得到的流量以多種形式導(dǎo)出共享，包括原始數(shù)據(jù)包、流(如NetFlow V5/V9、sFlow和cFlow，以及自定義的iFlow格式，等等)、流量統(tǒng)計信息和抽象得出的流量事件(如流量構(gòu)成、分布趨勢和異常告警等系統(tǒng)專有信息等)，如圖6、圖7所示。

提供高效網(wǎng)絡(luò)流量的索引方法，包括網(wǎng)絡(luò)流量的索引特征，索引存儲空間的消耗，索引記錄插入的速率，索引的查詢響應(yīng)時間。采用Redis緩存上報日志流，ES存儲進(jìn)行全量計算的數(shù)據(jù)處理框架，分開處理離線數(shù)據(jù)和實時數(shù)據(jù)，分別使用Hive/Spark來處理離線數(shù)據(jù)以及實時數(shù)據(jù)流的分析。

圖6 海量數(shù)據(jù)分布式存儲、快速檢索能力示意圖

圖7 海量數(shù)據(jù)的分布式集群部署示意圖

2.3 支持軟件定義與虛擬化的新型測試架構(gòu)

平臺支持虛擬化與云端部署，實現(xiàn)功能模塊的動態(tài)加載與銷毀，可以擴(kuò)展流量控制、攻擊溯源反制、威脅文件還原等功能，具有分布式的海量網(wǎng)絡(luò)測量管理數(shù)據(jù)共享平臺，提供開放、通用、透明的數(shù)據(jù)查詢分析接口。

研究實現(xiàn)測試探針與虛擬化、軟件定義和邊緣計算技術(shù)的結(jié)合。現(xiàn)有方案中多是獨(dú)立探針形態(tài)，且位置不能更靠近用戶側(cè)。平臺中既有獨(dú)立探針，又有與軟件定義智能網(wǎng)關(guān)結(jié)合的虛擬化探針，和獨(dú)立的虛擬化探針(云化部署)實現(xiàn)完整的調(diào)度、配置、結(jié)果采集和數(shù)據(jù)分析框架，如圖8所示。

3 系統(tǒng)實現(xiàn)與應(yīng)用

系統(tǒng)通過多元化采集、大數(shù)據(jù)存儲檢索與AI智能分析，在2至7層用戶通信數(shù)據(jù)報文還原分析，呈現(xiàn)態(tài)勢感知、流量透視、回溯分析、性能監(jiān)控、安全檢測、資產(chǎn)管理六大主體功能，并結(jié)合各類設(shè)備與拓?fù)涔芾怼ｎ}分析、機(jī)器學(xué)習(xí)建模分析、攻擊反制，無損探測、異常文件識別和還原、主動測量、工控網(wǎng)絡(luò)監(jiān)控等功能，打造一體化網(wǎng)絡(luò)綜合、智能化監(jiān)測分析解決方案。

圖8 支持軟件定義與虛擬化的新型測試架構(gòu)

(1)態(tài)勢感知。全局展示網(wǎng)絡(luò)走勢、流量組成/分布情況、性能/告警提示，虛擬現(xiàn)實可視化分攻擊方與被攻擊方視角查看安全事件軌跡，展示攻擊類型、嚴(yán)重等級、嚴(yán)重地理區(qū)域、攻擊以及被攻擊部門、機(jī)構(gòu)、個人最嚴(yán)重TOP等信息。如圖9所示。

(2)流量透視。支持實時監(jiān)控流量，顯示時間粒度可支持到1 s，并可實時查看當(dāng)前流量的應(yīng)用、用戶、外部地址的成分。系統(tǒng)支持以虛鏈路為基本對象，網(wǎng)絡(luò)流量的應(yīng)用、應(yīng)用組、用戶、用戶組，國家、城市、外部地址、虛鏈路、學(xué)術(shù)平臺之間的數(shù)據(jù)應(yīng)支持相互關(guān)聯(lián)，支持多維度的Drill-Down分析。

(3)性能監(jiān)控。系統(tǒng)可以對Web網(wǎng)頁、DNS、郵件、數(shù)據(jù)庫、語音等主流業(yè)務(wù)訪問服務(wù)的綜合評價分析，包括建立連接時間、響應(yīng)時間、連接成功率等關(guān)鍵性能指標(biāo)；支持對業(yè)務(wù)的綜合對比分析，按地區(qū)、按服務(wù)器角度對比分析，評價業(yè)務(wù)狀況，定位性能故障和瓶頸。

圖9 網(wǎng)絡(luò)態(tài)勢感知

(4)回溯分析。保存會話記錄數(shù)據(jù)包含記錄時間、端口、MAC地址、持續(xù)時間、總字節(jié)數(shù)、總包個數(shù)、速率等25個以上關(guān)鍵指標(biāo)。安全事件能自動觸發(fā)原始數(shù)據(jù)報文保存，留存攻擊、入侵、病毒等數(shù)據(jù)報文，同時支持?jǐn)?shù)據(jù)報文在線解碼、在線分析、下載等功能。通過基準(zhǔn)線告警能觸發(fā)業(yè)務(wù)性能、網(wǎng)絡(luò)性能、網(wǎng)絡(luò)會話、安全事件數(shù)據(jù)的相互關(guān)聯(lián)，在業(yè)務(wù)性能中查看關(guān)聯(lián)會話記錄，在會話記錄中可以查看關(guān)聯(lián)網(wǎng)絡(luò)性能指標(biāo)，在安全事件中查看關(guān)聯(lián)原始數(shù)據(jù)包，在安全事件中查看關(guān)聯(lián)會話記錄。

(5)檢測網(wǎng)絡(luò)中存在的各種攻擊行為，其中包括端口掃描類攻擊、代碼溢出類攻擊、木馬病毒類攻擊、蠕蟲類攻擊、SQL注入攻擊、DOS攻擊、ActiveX控件攻擊、郵件類攻擊、不良IP檢測、個人上網(wǎng)檢測、遠(yuǎn)程過程調(diào)用攻擊、系統(tǒng)漏洞攻擊等35個大類50 000余種攻擊檢測行為。支持用戶自定義攻擊行為：用戶通過配置源/目的IP、端口、特征字符在payload中出現(xiàn)的位置、數(shù)據(jù)包標(biāo)志位、數(shù)據(jù)包頻率定義安全事件。按任意維度(如告警類型、告警信息、目標(biāo)國家、目標(biāo)城市、協(xié)議、源地址、目的地址、嫌疑犯用戶、嫌疑犯用戶組、嚴(yán)重等級)多層次關(guān)聯(lián)分析，多維度的Drill-Down分析，并且可以查看告警事件趨勢、事件數(shù)目、流量狀態(tài)等詳情。

(6)資產(chǎn)管理。監(jiān)測特定范圍內(nèi)的整體資產(chǎn)/虛擬資產(chǎn)概況，并進(jìn)行概要統(tǒng)計分類，展示選定資產(chǎn)的總體狀態(tài)及其安全告警情況，支持類型篩選、核心設(shè)定與合法設(shè)備配置，支持資產(chǎn)定時掃描和手動立即掃描，資產(chǎn)業(yè)務(wù)種類超過2 300種。支持資產(chǎn)的全生命周期管理，資產(chǎn)的安全狀態(tài)評分，提示高危資產(chǎn)，對失陷資產(chǎn)的檢測和發(fā)現(xiàn)，并給出安全加固建議。

4 結(jié)論

本文通過異構(gòu)的網(wǎng)絡(luò)數(shù)據(jù)采集邊緣終端或軟件，產(chǎn)生和獲取多元的信息數(shù)據(jù)，流量和告警的數(shù)據(jù)采集；通過事件分析，異構(gòu)安全信息之間的聚合關(guān)聯(lián)分析引擎；大數(shù)據(jù)平臺的支撐和保障海量數(shù)據(jù)的存儲和高速處理。在單個平臺內(nèi)集成“態(tài)勢感知、流量透視、性能監(jiān)控、安全檢測、回溯分析、主動撥測、資產(chǎn)發(fā)現(xiàn)、網(wǎng)絡(luò)管理、數(shù)據(jù)挖掘”功能，通過多元化數(shù)據(jù)源采集與智能關(guān)聯(lián)，實現(xiàn)大數(shù)據(jù)驅(qū)動的智能一體化運(yùn)維安全監(jiān)控分析。