基于大數據的網絡信息安全分析平臺應用研究

翁躍鑫 聶小偉 林海祥 呂震東 劉躍鴻

摘要：隨著網絡規模的不斷發展，整個網絡產生的網絡安全信息量越來越大。使用傳統的關系型數據庫對網絡安全數據的采集、存儲、分析、處理越來越困難。基于大數據的網絡信息安全分析平臺能夠有效地提升數據處理的及時性，從而提高網絡安全預警的及時性和網絡安全事件的應急處置速度，強化網絡安全的生命周期管理。

關鍵詞：大數據；網絡信息安全；數據分析

中圖分類號：TP309 文獻標識碼：A

文章編號：1009-3044（2019）07-0069-02

Abstract：With the continuous development of network scale， the amount of network security information generated by the whole network is increasing. It is more and more difficult to collect， store， analyze and process network security data using traditional relational database. Network information security analysis platform based on large data can effectively improve the timeliness of data processing， thus improving the timeliness of network security early warning and the speed of emergency disposal of network security incidents， and strengthening the life cycle management of network security.

Key words： big data； network information security； data analysis

1 現狀

隨著國家對網絡信息安全的要求越來越全面，不少單位已部署多種網絡信息安全設備來提升自己的網絡安全防護水平，加強對自身網絡的安全防護，提升自身的網絡安全管理水平。但各個安全防護設備未相互關聯，無法對全網的資產進行統一的網絡信息安全管理，形成信息孤島。且隨著網絡信息安全數據量不斷增長，使用傳統的關系型數據庫對海量信息的采集、存儲與處理均存在困難。在大量安全防護設備部署后，卻仍無法實現對整個網絡平臺的網絡安全運行狀態的統一展示和對網絡安全攻擊事件進行關聯分析并及時預警，無法對網絡中信息資產的安全狀態進行主動有效的監控及處置，導致網絡信息安全事件仍時有發生，應急處置速度總是滯后于網絡安全監管要求。如何有效地利用現有的網絡安全防護設備，提高海量數據的處理速度，提升網絡信息安全預警的及時性和信息安全事件發生后應急處置的及時性，讓網絡管理者能全面掌控自身網絡的安全狀況，成為亟待解決的問題。

2 大數據在網絡信息安全領域的應用分析

網絡信息安全領域的數據分析對象一般是各個網絡安全設備的防護日志和流量，涉及的類型包括主機數據庫的漏洞、入侵檢測日志、抗拒絕服務攻擊的流量檢測信息、網頁防篡改信息、病毒木馬掃描結果信息、WEB應用安全信息等。對這些信息的處理遵循數據采集、數據存儲，數據分析三個最主要的階段，大數據在這三個階段的主要應用如下：

1）數據采集。網絡信息安全數據來源多種多樣，位置分散，為了進行高效的數據采集，可以使用Chukwa、Scribe等工具，采用分布式采集方法，傳輸速度基本達到幾百兆以上，能夠滿足快速采集的需求。

2）數據存儲。在多種格式的數據采集后，為了方便后期進行存儲處理，需要先對數據進行歸一操作，將不同類型的數據格式進行標準化處理，形成平臺能夠處理的格式。對于標準化后的數據采用Hadoop分布式架構進行存儲，可以利用MapRedu規則類進行定制化的分析處理，并存儲分析后的結果。

3）數據分析。網絡攻擊者會對多個網絡對象使用不同的工具進行多層次的攻擊，攻擊的路徑可能存在多條，網絡安全防護設備對同一攻擊者的攻擊行為會產生很多條不同的數據，人工很難對這些數據進行關聯分析，并準確定位攻擊行為及攻擊目標。使用大數據對網絡安全設備的防護信息進行關聯分析，將多條攻擊信息歸并成一條，降低人工分析的困難，提升防護準確性。同時，利用大數據對發現的系統漏洞進行主動關聯分析，探測同類型設備是否存在相同漏洞，以便及時通知管理人員進行修復。

3 基于大數據的網絡信息安全分析平臺建設

從系統框架角度來看，網絡信息安全分析平臺從安全防護設備、網絡設備和業務服務器上采集網絡安全信息，經數據處理層進行數據歸一處理后，交由應用分析層處理，最后由展現層進行統一展現。應用分析層是整個系統的核心，它負責系統中的所有信息的處理和關聯分析，主要包括資產統一管理、系統脆弱性分析、入侵攻擊溯源、防火墻日志及策略分析、WEB網站安全分析、業務行為分析等功能，安全設備可通過標準協議來與分析平臺服務器進行通訊。

3.1 平臺的設計原則

面對海量的安全日志，傳統數據庫下進行的數據分析、數據挖掘變得極端困難。大數據的多樣性、高速性、海量性等特點特別適合用來進行網絡信息安全數據分析。網絡安全防護設備種類多樣，產生的日志格式也各不相同，整個平臺每天產生的網絡安全信息、系統安全信息、攻擊信息的數據量也特別大，長此以往，所需要的存儲空間也是巨大的。通過使用Hadoop分布式數據庫、搜索型數據庫、內存數據庫等最新的技術，使得海量數據的挖掘、高速處理成為可能。

分析平臺為了能夠有效達到與各類安全防護設備、安全系統、進行數據交互和信息共享，必須要建立有一套完善的接口體系規范。

3.2 平臺主要功能模塊

3.2.1 資產統一管理

實現資產的統一管理是進行網絡信息安全管理的第一步。業務系統上線之前，要對業務系統資產進行梳理，收集資產系統類型、所屬部門、資產責任人、使用的協議、授權認證類型等信息，將資產錄入到分析平臺中。分析平臺能從業務類型維度、系統責任人維度、操作系統類型、系統安裝的組件類型、IP段等維度進行分析，同時可根據各個維度重新組織資產信息，將重組后的資產信息形成直觀的資產樹狀結構展示視圖。完成網絡資產信息的整理分析后，可以方便地進行下一步的安全配置檢查、安全評估、安全監測、安全審計等各項工作。

3.2.2 系統脆弱性分析

全方位檢測IT系統存在的脆弱性，核查信息系統的基線合規情況，重點檢查系統是否開啟登錄認證，是否對非法登錄進行自動限制，是否存在共享賬號，是否限制root賬號遠程登錄、是否按照管理要求安裝了系統準入軟件、殺毒軟件、應用防篡改軟件等關鍵項目。能在平臺上定期對網絡的服務器進行系統數據庫層面、業務應用層面的安全評估，自動探測系統存在的賬號、是否存在弱口令、系統中部署的服務、對外開放的端口等信息，整合形成一份完整的安全風險評估報告，幫助安全管理人員先于攻擊者發現安全問題，及時進行修補。

3.2.3 WEB網站安全分析

通過日志解析器，解析現網WEB網絡安全評估設備的安全日志，建立整體網站安全關聯分析模型，利用大數據可視化技術實時呈現網站安全狀況。同時，通過數據分析平臺對WEB資產進行掃描評估任務下發，將存在的安全漏洞進行收集并驗證，將網站安全狀況進行呈現，包括網頁漏洞、敏感內容、域名劫持、網站平穩度問題等各類網站全風險。

3.2.4 入侵攻擊溯源

分析平臺根據來自各種安全設備的日志流量等信息，開展來自網絡外部的異常流量進行監控，同時對內網的安全狀況也進行監控分析。內外網數據的雙向檢測分析，能更全面保障網絡安全。對各類網絡安全信息從各角度進行關聯分析，準確還原攻擊事件始末的攻擊情況。平臺同時存儲實時數據和歷史數據，并對數據進行匯總和多角度的整合，以滿足提取不同分析粒度的統計數據。能夠在告警監控、狀態地圖和統計報表幾個方面進行實時和歷史的數據多形式展現。

3.2.5 防火墻日志及策略分析

通過日志解析器解析現網防火墻設備的安全日志，基于攻擊鏈模型建立防火墻日志關聯分析模型，實現對全網防火墻事件的關聯分析，平臺主要通過攻擊鏈的安全事件關聯分析來找出大量事件中存在的關系，并從這些大量事件中抽取出真正重要的少量事件，系統實時不間斷地對所有標準化后的日志流進行安全事件關聯分析，從而發生安全事件后第一事件協調提供攻擊信息。針對重要系統的攻擊可由平臺與防火墻聯動，實現對攻擊IP的自動封鎖，實現自動應急處理。由于網絡規模較大，各類防火墻策略較多，難免存在無效策略或相關沖突的策略，平臺能夠抽取這些防火墻策略進行分析，找出問題策略，優化防火墻安全性。

3.2.6 業務行為分析

平臺具有良好的擴展功能，可對各個不同的業務定制針對性業務行為分析，規范業務操作合規。平臺接收各個業務系統產生的日志信息，根據業務系統日志特性，開發對應的日志分析模塊，對這些日志進行解析，并通過大數據機器學習能力和業務訪問特性，建立可調試的關聯分析規則，實現對業務訪問行為的可視化展示。在本次研究中，本平臺主要與運維堡壘機平臺對接，通過獲取運維人員的操作日志，分析運維人員操作存在的風險，如賬號的暴力破解，高危指令的操作、批量查詢用戶敏感數據等行為。

4 使用效果

通過系統的使用總結，達到了如下效果：

1）實現了IT資產的統一管理，方便網絡安全管理人員進行查詢管理，避免資產遺漏。

2）實現了對IT資產基線配置、漏洞管理等網絡信息安全評估的全生命周期管理，提升了整個網絡的安全性。

3）實現了對攻擊行為的溯源，清晰展現現攻擊路徑，方便追責與問題整改。

4）提升了應急處置的能力，縮短應急處置流程。

5 總結

隨著網絡安全防護設備的不斷部署，如何有效整合現有各種網絡安全防護設備，形成一套聯動的防護體系，提升安全處置能力成為亟待解決的問題。本文通過采用大數據的分析處理框架，對網絡信息安全等數據進行處理分析，實現一套集資產管理、系統脆弱性分析、WEB網站安全分析、入侵攻擊溯源、防火墻日志及策略分析、業務行為分析等功能的支撐平臺，確實提升了整個網絡的安全管理水平。

參考文獻：

[1] 萬明秀，宋秋蓮.網絡安全分析中的大數據技術應用探討[J].無線互聯科技，2017（21）.

[2] 徐子偉，張陳斌，陳宗海.大數據技術概述[A].系統仿真技術及其應用學術論文集（第15卷）[C]，2014.

[3] 白碩，徐輝.大數據技術在網絡安全分析中的應用[J].數據安全與云計算，2018（6）： 51-52.

【通聯編輯：代影】