淺談大數(shù)據(jù)分析的應用安全態(tài)勢系統(tǒng)設(shè)計與應用研究

◆何姍姍 諶婧嬌 陳佳

淺談大數(shù)據(jù)分析的應用安全態(tài)勢系統(tǒng)設(shè)計與應用研究

◆何姍姍1諶婧嬌1陳佳2

（1.安徽三聯(lián)學院 安徽 246000；2.池州學院 安徽 247000）

互聯(lián)網(wǎng)技術(shù)的發(fā)展為人們帶來了豐富的信息資源，為各行業(yè)提供了發(fā)展的便利，但是黑客、病毒等各種安全問題，導致用戶的信息泄露、丟失或被篡改。本文對大數(shù)據(jù)時代互聯(lián)網(wǎng)安全的發(fā)展情況進行了分析，從安全指標量化、感知模型架構(gòu)兩方面論述了安全態(tài)勢系統(tǒng)模型的具體建立方式，提出了采集服務(wù)器、分析平臺等安全態(tài)勢系統(tǒng)應用，以期為行業(yè)相關(guān)人員提供系統(tǒng)設(shè)計和應用的具體思路。

大數(shù)據(jù)分析；安全態(tài)勢；系統(tǒng)設(shè)計；系統(tǒng)應用

當前社會各行業(yè)的發(fā)展以及普通人的工作和生活均離不開互聯(lián)網(wǎng)信息化技術(shù)的支持，隨著用戶的增加、信息傳播效率的增加，當前的網(wǎng)絡(luò)信息正處于極速膨脹的階段，各種黑客、病毒等也充斥其中，這導致各行業(yè)的發(fā)展均因為安全問題受到威脅。為此，行業(yè)技術(shù)人員需要加強對網(wǎng)絡(luò)安全威脅的關(guān)注，通過相應的技術(shù)進行感知，以此來規(guī)避安全風險。考慮到當前龐大的信息數(shù)據(jù)量，行業(yè)技術(shù)人員需要積極將大數(shù)據(jù)分析技術(shù)與安全態(tài)勢系統(tǒng)相互結(jié)合，為互聯(lián)網(wǎng)活動提供安全保障。

1 大數(shù)據(jù)時代基于應用日志分析的安全態(tài)勢研究現(xiàn)狀

在分析應用安全態(tài)勢的過程中，應用日志是一個重要的分析點位，能夠輔助技術(shù)人員充分掌握用戶的相關(guān)行為。當前互聯(lián)網(wǎng)用戶急劇增加，應用使用人數(shù)呈指數(shù)暴增，所產(chǎn)生的日志文件也隨之增多，安全態(tài)勢系統(tǒng)研究人員需要充分考慮日志的應用方法，從而更好地對應用日志進行管理和分析，進而實現(xiàn)對安全風險的有效規(guī)避[1]。例如，伊朗核電站在21世紀前期因蠕蟲病毒而出現(xiàn)丟失日志文件的情況，導致日志相關(guān)聯(lián)的上千臺離心機設(shè)備出現(xiàn)結(jié)構(gòu)損傷；法國電視臺在黑客的影響下出現(xiàn)黑屏問題；棱鏡門中大量互聯(lián)網(wǎng)巨頭公司對用戶隱私進行監(jiān)控記錄。應用安全問題的存在不僅對普通人的生活產(chǎn)生負面影響，甚至對一個國家的重要活動產(chǎn)生阻礙作用。

當前應用日志主要有兩種處理措施，分別為規(guī)范化和未規(guī)范化的處理方式。未規(guī)范化的應用日志處理措施在應用過程中直接將系統(tǒng)上傳的數(shù)據(jù)進行審計分析，這一措施常用的系統(tǒng)為SPlunk引擎，可以TB級別的原始日志進行實時監(jiān)控和分析；規(guī)范化的應用日志處理措施則是在上傳之前先進行相應的標準化處理，避免出現(xiàn)大量的重復部分，同步做好分類、聚合等工作，在此基礎(chǔ)上進行規(guī)范處理。相對而言，國內(nèi)在這方面的研究時間較短，而國際上已經(jīng)出現(xiàn)了較多成果，也構(gòu)建了相應的大數(shù)據(jù)生態(tài)系統(tǒng)，如MapReduce、HDFS等[2]。應用態(tài)勢感知系統(tǒng)設(shè)計初期，設(shè)計人員充分考慮了數(shù)據(jù)挖掘所面臨的大數(shù)據(jù)分析問題，提出了從網(wǎng)絡(luò)應用所蘊含的大量數(shù)據(jù)中找出安全問題的思路，明確了安全要素收集、提出以及分析等工作思路，以此實現(xiàn)對安全態(tài)勢的預估和分析，從而規(guī)避安全風險。劉效武（哈爾濱工程大學）在研究中將傳感器與安全態(tài)勢系統(tǒng)相互融合，設(shè)計了相應的模型；陳秀真（西安交通大學）對安全態(tài)勢模型進行了量化處理，提出了層次化的評估模型和具體的計算手段。當前，國內(nèi)在安全態(tài)勢系統(tǒng)設(shè)計應用方面依然存在較長的路要走，需要相關(guān)人員進行更深入的研究和探索。

2 大數(shù)據(jù)分析的應用安全態(tài)勢感知系統(tǒng)模型

2.1 對安全指標進行量化處理

安全態(tài)勢系統(tǒng)模型的構(gòu)建前提是對當前的安全指標進行量化處理，形成相應的體系結(jié)構(gòu)，以此來確保系統(tǒng)模型的可行性和科學性。其中，系統(tǒng)模型主要從應用運行安全情況、用戶行為情況以及數(shù)據(jù)威脅情況這幾個方面進行指標量化。其中，應用運行安全情況主要涉及系統(tǒng)資源、用戶連接、應用服務(wù)等內(nèi)容；用戶行為情況主要涉及應用受到的攻擊、應用內(nèi)部資源下載、應用訪問等內(nèi)容；數(shù)據(jù)威脅情況主要涉及威脅度較高的數(shù)據(jù)操作頻率、數(shù)據(jù)訪問頻率等內(nèi)容，相關(guān)指數(shù)大小與非法攻擊頻次以及應用面臨的安全風險存在直接聯(lián)系。

2.2 模型具體架構(gòu)

安全態(tài)勢模型的系統(tǒng)架構(gòu)的重要基礎(chǔ)，模型的構(gòu)建需要結(jié)合當前的網(wǎng)絡(luò)數(shù)據(jù)情況開展。相關(guān)數(shù)據(jù)結(jié)果表明，現(xiàn)階段網(wǎng)絡(luò)信息種類和數(shù)量正處于快速增加的階段，數(shù)據(jù)安全風險感知所包含的種類極多，涉及用戶請求、數(shù)據(jù)庫操作、系統(tǒng)管理行為以及應用日志等大量信息數(shù)據(jù)，為了避免模型的應用效果受到影響，技術(shù)人員需要綜合考慮不同類型數(shù)據(jù)存在的粒度及格式差別，在應用與用戶之間以及應用與數(shù)據(jù)庫之間進行數(shù)據(jù)的采集匯總工作，通過數(shù)據(jù)分析對其中有問題的數(shù)據(jù)進行預警和過濾，實現(xiàn)異常數(shù)據(jù)阻斷的同時結(jié)合相關(guān)的關(guān)聯(lián)規(guī)則進行分析，獲取相應的態(tài)勢分析報告，下面進行詳細介紹。

數(shù)據(jù)采集匯總是安全態(tài)勢模型的基礎(chǔ)環(huán)節(jié)，關(guān)系到后續(xù)的分析、預警工作能否正常開展，主要工作內(nèi)容是收集融合用戶行為數(shù)據(jù)、異常信息數(shù)據(jù)以及數(shù)據(jù)庫中的應用日志，并按照相關(guān)要求進行處理[3]。其中，用戶行為數(shù)據(jù)主要由用戶對應用的操作過程產(chǎn)生，模型通過處理將日志中沒有意義的內(nèi)容剔除，為后續(xù)的分析通過數(shù)據(jù)基礎(chǔ)；數(shù)據(jù)庫應用日志主要包含了各自操作行為，通過記錄操作相關(guān)的用戶名、操作對象和時間、用戶地址等用于后續(xù)的分析處理。

數(shù)據(jù)過濾和預警階段主要對各種來源不同的安全事件進行數(shù)據(jù)匯總處理，確保各種數(shù)據(jù)具備規(guī)范的組織格式。一般而言，數(shù)據(jù)處理的工作目標在于為安全態(tài)勢感知工作提供數(shù)據(jù)基礎(chǔ)，系統(tǒng)模型需要對冗余的數(shù)據(jù)進行降噪和去重，通過歸一化處理的方式將關(guān)鍵信息從安全事件中選出來，確保后續(xù)的分析模塊可以對關(guān)鍵信息進行快速處理，這種處理方式在處理相似性較高數(shù)據(jù)的過程中可以取得良好的成效，能夠減少系統(tǒng)運行占用率，減少不必要計算成本。

關(guān)聯(lián)分析的前提是技術(shù)人員結(jié)合實際需求制定準確的關(guān)聯(lián)規(guī)則，通過逐級關(guān)聯(lián)匹配的方式將存在安全風險的事件從海量的信息數(shù)據(jù)中篩選處理，避免出現(xiàn)誤報等影響效率和問題，確保能夠及時做出相關(guān)預警，將異常的事件與正常的數(shù)據(jù)相互隔離，避免對應急響應工作造成影響。在具體進行關(guān)聯(lián)分析的過程中，系統(tǒng)需要先結(jié)合大數(shù)據(jù)相關(guān)技術(shù)從海量的信息數(shù)據(jù)中提取所需數(shù)據(jù)，確保信息數(shù)據(jù)獲取的高效性和準確性[4]；其次，系統(tǒng)需要對采集的信息數(shù)據(jù)進行匯總和分類，主要信息類型包含用戶行為、用戶識別、業(yè)務(wù)類型等幾個方面，從而為安全管控措施的改進優(yōu)化提供用戶行為相關(guān)的數(shù)據(jù)基礎(chǔ)；再次，為了避免用戶異常的行為操作對系統(tǒng)應用的運行產(chǎn)生負面影響，引發(fā)不必要的安全事件，系統(tǒng)需要對用戶行為進行風險分級，通過構(gòu)建專家知識庫等對用戶行為進行評估，進而提升異常行為的阻斷準確性與阻斷效率；最后，為了合理應對大數(shù)據(jù)時代數(shù)據(jù)變化快、種類繁多的情況，系統(tǒng)需要結(jié)合應用運行實際情況對相關(guān)知識庫、標準庫進行更新升級，綜合考慮用戶行為的變化趨勢，提升安全態(tài)勢的預估準確性；這就要求技術(shù)人員利用挖掘算法對數(shù)據(jù)進行趨勢分析，綜合考慮IP、行為、時間等方面的異常因素建立更符合當前情況以及后續(xù)應用的規(guī)則數(shù)據(jù)庫，提升安全風險的預測準確性。此外，在安全指標體系的輔助下，系統(tǒng)可以將安全態(tài)勢量化，對用戶行為等進行預測分析。

關(guān)聯(lián)分析是整個安全態(tài)勢模型的關(guān)鍵組成部分，系統(tǒng)模型能夠?qū)W(wǎng)絡(luò)中獲取的訪問數(shù)據(jù)、行為數(shù)據(jù)等進行采集，進而從數(shù)據(jù)、用戶、應用等各個方面進行分析，實現(xiàn)對應用威脅情況的準確預估，實現(xiàn)對應用與用戶以及數(shù)據(jù)庫之間的有效審計和防控。在具體條理性的指標體系輔助下，系統(tǒng)可以及時向管理員發(fā)出異常行為預警，進而我們能夠準確記錄非法訪問等情況，為追蹤、追責等提供基礎(chǔ)，具有大數(shù)據(jù)環(huán)境下的良好應用效果。

3 大數(shù)據(jù)分析的應用安全態(tài)勢系統(tǒng)設(shè)計

在基于大數(shù)據(jù)分析對應用安全態(tài)勢系統(tǒng)進行設(shè)計時，可以通過Hadoop架構(gòu)模式，利用MapReduce以及HDFS進行大數(shù)據(jù)的分析運算，系統(tǒng)主要包含日志數(shù)據(jù)采集、安全態(tài)勢分析以及可視化圖表輸出三個部分，下面進行詳細介紹。

3.1 日志數(shù)據(jù)采集

安全態(tài)勢系統(tǒng)的基礎(chǔ)運行環(huán)節(jié)為數(shù)據(jù)采集環(huán)節(jié)，系統(tǒng)需要通過專門的服務(wù)器對應用日志進行采集，確保分析平臺能夠?qū)Π踩珣B(tài)勢進行評估審計。正如上文提及的日志數(shù)據(jù)處理類型，采集服務(wù)器可以分為規(guī)范化和非規(guī)范化兩種。其中，非規(guī)范化服務(wù)器主要通過Splunk對操作日志等進行采集；規(guī)范化服務(wù)器主要針對用戶操作日志，需要對復雜多樣的數(shù)據(jù)進行去重、降噪處理，將關(guān)鍵詞段在HDFS中以文本格式保存。

3.2 應用安全態(tài)勢分析

在采集服務(wù)器將各種應用日志數(shù)據(jù)采集完畢后，作為系統(tǒng)第二環(huán)節(jié)的安全態(tài)勢分析平臺需要對日志信息進行處理。這一平臺是Hadoop架構(gòu)形成的，是系統(tǒng)的最關(guān)鍵部分，內(nèi)部模塊主要有態(tài)勢感知模塊、專家知識庫、數(shù)據(jù)挖掘預測引擎等，實現(xiàn)對數(shù)據(jù)的關(guān)聯(lián)分析、融合處理以及風險預估。數(shù)據(jù)挖掘引擎可以結(jié)合關(guān)聯(lián)規(guī)則、風險特征以及數(shù)據(jù)庫中的事件標準對日志數(shù)據(jù)中的各種行為、事件進行關(guān)聯(lián)分析，對判定存在威脅的事件進行記錄并存儲。態(tài)勢感知模塊是用于分析潛在威脅的模塊，可以實時對當前的應用行為進行感知評估，避免潛在風險發(fā)展成事實。專家知識庫這一模塊可以定期將采集服務(wù)器中的數(shù)據(jù)匯總存儲，避免大量數(shù)據(jù)在采集服務(wù)器中堆積，產(chǎn)生不必要的運行壓力。

3.3 可視化圖表輸出

在安全態(tài)勢分析平臺確認具體結(jié)果的情況下，安全態(tài)勢系統(tǒng)的最終環(huán)節(jié)可以結(jié)合用戶需求將數(shù)據(jù)結(jié)果以可視化圖表的形式輸出，即為可視化服務(wù)器。管理員可以通過可視化圖表快速掌握潛在風險因素，提供相應的處理決定。同時，可視化服務(wù)器輸出的圖表具有Excel、Html等通用格式，具有較強的實用性。

4 結(jié)語

大數(shù)據(jù)時代相關(guān)技術(shù)人員需要充分認識到當前數(shù)據(jù)規(guī)模大、種類多、更新變換速率快等特點，在安全態(tài)勢模型的構(gòu)建過程中需要做好指標量化工作，從數(shù)據(jù)采集、數(shù)據(jù)過濾處理、關(guān)聯(lián)處理等方面建立適用于大規(guī)模數(shù)據(jù)網(wǎng)絡(luò)的安全態(tài)勢系統(tǒng)模型。系統(tǒng)實際架構(gòu)的過程中，可以將其分為采集服務(wù)器、安全態(tài)勢分析平臺以及可視化服務(wù)器三個模塊，實現(xiàn)對大數(shù)據(jù)應用安全態(tài)勢進行準確評估。

[1]王帥，金華敏，沈軍，等.大數(shù)據(jù)應用安全方案及對策研究[J].廣東通信技術(shù)，2017，37（08）：2-5.

[2]肖霞.基于大數(shù)據(jù)時代計算機網(wǎng)絡(luò)安全技術(shù)應用研究[J].遼寧高職學報，2018，20（01）：78-80.

[3]巴志超.國家安全大數(shù)據(jù)綜合信息集成：應用架構(gòu)與實現(xiàn)路徑[J].中國軟科學，2018（07）：9-20.

[4]盧炳芳.數(shù)據(jù)挖掘算法在大數(shù)據(jù)安全防御中的應用與研究[J].通訊世界，2018（07）：3-4.

基于大數(shù)據(jù)的醫(yī)療數(shù)據(jù)分析平臺的設(shè)計與實現(xiàn)（PTZD2021024）