基于大數據的網絡安全與情報分析

◆楊浩 魏巍

基于大數據的網絡安全與情報分析

◆楊浩1魏巍2

（1.重慶若可網絡安全測評技術有限公司 重慶 404100；2. 78156部隊 重慶 404100）

隨著通信技術和信息技術的飛速發(fā)展，網絡環(huán)境也隨之越來越復雜，網絡攻擊的破壞性、保密性以及持久性特征更為突出。加之，傳統(tǒng)的網絡安全技術和情報分析存在諸多問題，根本無法有效應對威脅網絡安全的行為。基于此，本文擬以大數據為研究前提與基礎，首先對大數據安全進行深入分析，其次簡述網絡安全大數據，最后提出大數據技術在網絡安全與情報分析中的應用路徑。

大數據；網絡安全；情報分析；數據處理；技術

互聯(lián)網科技的迅猛進步，一方面促使現(xiàn)代人的日常生產生活更為便捷，另一方面也帶來了一定程度的網絡安全威脅。其中，最為常見的就是國家安全信息、個人安全信息以及企業(yè)保密數據等相關信息的篡改或者泄露，給網絡安全帶來了嚴重的消極影響。所以，加大網絡安全與情報分析的研發(fā)力度，切實保障網絡安全，有效抵御不法分子的網絡攻擊行為等，對營造優(yōu)良的網絡安全環(huán)境至關重要。

1 大數據安全分析

1.1 大數據的基本內涵

大數據（Big Data，Mega Data）指從網絡多層次視角對海量數據信息進行收集與整合的技術，具有顯著的實時性特征。從技術視角去看，大數據和云計算息息相關，云存儲、數據庫與處理技術是開展數據信息搜索的重要依據。就目前而言，較高的科學技術水平與廣泛流通的信息，促使人類進入了一個全新的社會形態(tài)。與20世紀相比，人們相互之間的溝通頻次提高了約20倍，新時代人們平均每周所獲信息量等同于古人畢生所獲信息量之和[1]。

1.2 傳統(tǒng)網絡安全和情報分析的困境

首先是傳統(tǒng)網絡安全困境。隨著網絡技術的發(fā)展，IT體系結構的復雜性日益增加，各種應用層出不窮，促使大數據與業(yè)務的集中性更為突出，也導致傳統(tǒng)網絡安全設施難以對互聯(lián)網領域進行有效控制。存儲與分析大規(guī)模信息數據的成本高昂，且安全日志中存儲的數據受時間局限嚴重，導致難以有效處理網絡安全問題。

其次是傳統(tǒng)情報分析困境。隨著通信技術、物聯(lián)網技術、云計算技術、移動互聯(lián)網技術等技術推進，涌現(xiàn)出的網絡威脅情報信息也隨之陡增，而傳統(tǒng)的信息分析設備因內容較為單一、數據源比較小、信息相互割裂等特征，無法滿足需求。亟待構建兼具效率與質量的智能化數據信息檢索系統(tǒng)，對采集的海量、非系統(tǒng)數據予以存儲及處理，實現(xiàn)高速檢索和實時信息跟蹤。

2 網絡安全大數據分析關鍵簡述

2.1 大數據處理技術

網絡安全與情報分析工作中，收集和整合海量數據信息十分重要，通常情況下，批處理模式和流計算模式是兩種主要的大數據技術模式。常用的數據處理技術包括以下三種：一是基于Hive、HBase等數據庫實現(xiàn)多數據庫交互式查詢技術，能夠支持多數據庫交互式查詢，其數據查詢時間可控制在幾分鐘內，具有靈活直觀的優(yōu)點。Dremel、Apache Spark等屬于交互式數據的主要查詢系統(tǒng)[2]。二是批量處理的信息數據技術，即通過對采集數據的批量化處理，實現(xiàn)數據處理效率的提升，在實際使用過程中，通常需要提前進行靜態(tài)化的數據信息存儲，以提高處理數據的整體質量和效果（如下圖1所示）。三是流量數據的數據處理技術，旨在開展實時數據計算與處理業(yè)務，可以直接在存儲器中進行，具有延時短、效率高的優(yōu)點，具有良好的反饋效果。

圖1 批量數據處理示意圖

2.2 大數據安全分析技術

最為常用的大數據分析技術包括以下三類。一是用戶行為分析技術。該技術主要是對企業(yè)用戶的實際網絡行徑進行分析，通過UBA技術運用對網絡流中的瀏覽痕跡、歷史記錄等予以搜集，并在此基礎上創(chuàng)設用戶行徑基線，然后同用戶行徑做比較，從中尋出非正常行為，以此對網絡安全威脅進行有效識別。二是可視化的安全分析技術。通過對數據可視化的實現(xiàn)，確保管理者能夠對數據信息予以直接讀取，從而為安全管理者提供豐富的參考依據，及時發(fā)現(xiàn)網絡攻擊和其他安全問題。三是安全事件的分析技術。逐漸攀升的網絡安全事件之間存在千絲萬縷的聯(lián)系，而常用的網絡主機關聯(lián)、不同領域安全關聯(lián)、安全設備報警等關聯(lián)分析技術，能夠有效分析出不同網絡安全事件間的關系。

3 基于大數據技術的網絡安全與情報分析應用路徑

3.1 APT攻擊檢測

網絡攻擊表現(xiàn)出愈來愈強的隱蔽性及滲透性特征，這對網絡安全構成更大威脅。譬如，近些年相繼出現(xiàn)且造成重大損壞的超級工廠病毒、火焰病毒、黑暗勢力等網絡安全事件，顯示出巨大的網絡攻擊性和破壞性[4]。其中，APT攻擊最為突出，具有攻擊路徑不確定、攻擊方向不明確、隱蔽性極強的特點，常用的網絡安全方案根本無法有效抵御。然而，基于大數據的數據管理分析技術，卻能夠通過對數據信息之間關聯(lián)性的高效分析，對APT攻擊進行高質量監(jiān)測。

3.2 網絡異常檢測

網絡異常檢測作為網絡信息安全分析的基本內容，通常需要對越權性的資源訪問、設備故障或異常網絡流量等問題進行分析。網絡異常檢測主要依據檢測對象目標的狀態(tài)、屬性等方面的一系列變化予以構建，目的在于分析網絡異常行為或者違規(guī)操作行為（如下圖2所示）。網絡中的用戶行徑就是大數據技術檢測的目標與對象，以大數據技術為基礎進行的網絡異常行徑檢測優(yōu)勢十分突出。比如，360企業(yè)工程師王占義在黑帽會議中曾提到，在對異常網絡流量進行檢測的過程中，實施深度學習方式能夠將檢測網絡異常的精準性提高到90%以上。基于大數據的網絡異常檢測能夠對網絡流量進行全方位識別，對于協(xié)議的加密與否則無須予以判斷，網絡流量的最終識別率達到55%。

圖2 網絡異常流量監(jiān)測過程

3.3 網絡安全態(tài)勢感知

針對網絡中存在的多種安全風險，企事業(yè)單位需要實時掌握網絡狀態(tài)，確保網絡風險能夠及時被察覺。在網絡安全態(tài)勢感知的實際工作中，引入大數據技術，對各種安全因素進行分析、了解、評估和分析，可以有效地提高工作效率，保證網絡安全。因此，許多企業(yè)利用大數據技術等于構建網絡安全數據感知平臺。例如，阿里巴巴集團建立阿里巴巴云盾，使用 SAAS實現(xiàn)對網絡風險的有效感知；360建立NGSOC平臺，使用大數據技術收集和存儲本地所有數據，以智能為基礎，提供實時監(jiān)控和網絡安全分析，并支持威脅追蹤。四川大學設計院研發(fā)NTCI.NUBA平臺對校園網絡進行實時監(jiān)控，包括網絡流量、數據中心流量和身份認證數據，并通過 Hadoop和Spark進行數據分析，在很大程度上保證了校園網絡的安全。

3.4 網絡威脅情報分析

對網絡威脅信息的分析以分布式系統(tǒng)、大數據技術的網絡威脅信息采集為主。大數據網絡安全保障技術對行為、特征、威脅以及漏洞等證據信息收集，能夠最大限度地降低網絡系統(tǒng)遭受攻擊的概率（如下圖3所示）。對網絡威脅信息的收集還能夠深化系統(tǒng)用戶對網絡威脅的識別，引導系統(tǒng)用戶采用更為科學的方法抵御網絡威脅。通常來講，健全的網絡威脅情報主要包括事件響應、分析融合、情報源這三方面內容。目前網絡安全威脅情報分析的專業(yè)機構，如賽門鐵克、微步在線等，都能為網絡用戶提供相關的服務及產品，包括預防網絡犯罪、檢測網絡漏洞、清理惡意軟件等。另外，研究人員也創(chuàng)建了一系列網絡數據管理及采集系統(tǒng)，對網絡威脅信息進行篩選，并為用戶提供相應幫助。由此可見，基于大數據的網絡威脅情報分析，更具技術性、規(guī)范性與科學性，在抵御網絡威脅方面也更具優(yōu)勢。

總之，具有較強數據處理和分析能力的大數據技術非常適用于網絡安全和情報工作，亟待其在此領域中的進一步推廣和應用。相關網絡安全與情報分析工作者可以在網絡安全與情報工作中運用大數據技術來進行攻擊檢測、網絡風險感知、網絡威脅情報分析和網絡異常檢測，進而提高網絡安全和情報工作的水平和質量，促進網絡的健康和可持續(xù)發(fā)展，從而為人們帶來更好更優(yōu)、更高質量的網絡服務。

圖3 數據采集系統(tǒng)結構示意圖

[1]鄒勤，余毅，袁俊.試論基于大數據的網絡安全與情報分析[J].電腦知識與技術，2019（12）：23-24.

[2]齊愛民.論大數據時代數據安全法律綜合保護的完善——以《網絡安全法》為視角[J].東北師大學報（哲學社會科學版），2017（04）：108-114.

[3]劉斌.大數據環(huán)境下網絡信息安全的風險與應對策略研究[J].科技傳播，2018（03）：166-168.

[4]水利部信息中心組織召開水利大數據中心和水利部網絡安全防護能力提升工程項目研討會[J].水利信息化，2018（04）：19.