基于模糊場景關聯分析的技術研究與實踐

曲光學

摘要：文章針對海量多源異構安全日志分析問題，提出了一種基于模糊場景的關聯分析方法。這種方法打破傳統安全告警日志關聯分析技術中常采用的構建固定攻擊場景的方式。它采用聚類算法對多源異構告警日志進行聚合，綜合考慮告警事件的數據來源、數量和事件等級，對每部分進行權重的累加，計算出與源IP對應的事件疑似度。文章介紹了模糊場景關聯分析方法的架構原理、技術實現，并通過實例加以說明，對所提出的方法進行驗證。結果表明該方法和應用是可行和有效的。

關鍵詞：安全日志；多源異構日志；模糊場景關聯分析；聚類分析；疑似度

隨著網絡應用的迅速發展，安全管理問題日益繁雜。企業單位采用各種網絡安全設備，如防火墻、入侵檢測系統、病毒木馬檢測系統、行為審計系統、漏洞掃描器等，節點分散，數量品牌多，產品差異大，各安全設備功能相對獨立，告警日志多。例如連續運行的入侵檢測系統報警量常常達到G數量級。據統計，其中約有99%以上是無關報警。傳統對各種告警日志進行單獨分析和處理的方法，由于忽略各種類型日志之間的相關性，使其分析結果無法準確地反映網絡系統的安全狀況，管理員湮沒在大量告警中，很難了解系統的安全威脅狀況，無法在海量日志中快速定位有價值的安全威脅，也不能及時采取有效的響應措施。因此，針對這種多源異構告警日志的模糊場景關聯分析具有重要的實用價值和研究意義。

近年來，國內外研究人員從不同角度對多源異構日志進行研究，并取得一定的成果。Asif-Iqba等提出了一種異構日志事件過濾的方法，利用聚類算法過濾冗余的日志事件，最后對日志事件進行聚合，從而有利于多源日志事件關聯分析；Robiah等提出了一種基于異構日志的入侵報警關聯分析方法；文獻通過對日志文件的交集進行分析來發現用戶的惡意行為，從而提高系統的安全性，但該方法只能對防火墻日志與應用系統日志進行分析；文章提出了一種日志關聯分析模型，通過對不同來源的日志文件進行采集、過濾、規范化以及關聯分析，重構攻擊序列。

以上方法為多源異構日志分析工作提供了可行的解決思路，為日志分析模型及算法奠定了良好的基礎，但也普遍存在分析數據源不夠廣泛、分析技術單一等問題。為此，本文提出了一種包含聚合分析、統計分析和關聯分析在內的模糊場景關聯分析方法，旨在解決從海量信息安全報警日志中快速準確關聯分析出最有威脅攻擊行為的問題，輔助管理員對事件進行深度分析和準確處理，實現海量異構安全報警的高效關聯分析及處置，以減少網絡攻擊威脅對信息系統所造成的影響。

1系統架構

本文所使用的模糊場景關聯分析是對各類安全設備告警日志數據的深入挖掘和分析，該算法應用在某單位安全運維一體化管控系統的核心關聯分析引擎中。模糊場景關聯分析算法依靠內存數據庫的高效率特點，將格式化后的安全告警日志實時保存在內存中進行周期性快速比對分析，依據攻擊源和目的IP地址聚合后攻擊行為的次數、類型、攻擊手段、事件名稱等關鍵要素進行不同分析，基于越多次數、越多類型、越多攻擊手段其作為攻擊源和攻擊目標的疑似度就越高的基本分析原則，為每個攻擊來源和目的IP地址進行實時疑似度統計分析，管理員不再根據安全告警原始日志的接收順序進行分析處置，而是依據攻擊行為疑似度高低優先處理最具安全威脅的攻擊者或攻擊目標IP地址。

2海量異構安全日志關聯分析原理

在面對大量安全告警信息進行關聯處理中，傳統分析引擎依照順序規則判定安全報警的生成，按照一個既定的告警事件分析順序依次判斷，最終根據提前明確預定義規則生成安全報警。但在實際關聯分析過程中，過于教科書樣式的分析規則在現實關聯分析中，由于受安全產品的部署和檢測效能限制，往往無法保證百分之百地提供真實、有效的安全告警讓分析引擎正確執行命中。為了實現針對全網真實環境下部署策略各不相同的安全設備所觸發安全告警數據的有效分析，本文設計引入模糊化場景分析規則，其具體設計步驟為：以單一日志分析后的來源和目的IP地址作為關鍵索引，在一個有效的時間窗口中不斷聚合告警日志中每次攻擊的來源和目的分別相同的IP地址，在時間窗口中不斷累積攻擊源和攻擊目標IP所對應的安全事件的名稱、級別、對端IP這些信息成為關聯分析的輸入條件。最終基于這些輸入數據進行關聯分析后，形成一個不斷變化的疑似度閾值，當閾值達到提前設置的數值時，算法就趨于認同該來源或者目的IP地址有可能是一個真實的攻擊來源或者攻擊目標。

3整體架構

為了使模糊場景關聯分析算法保持高效的實時比對分析，系統架構采用流式數據處理引擎、內存數據庫和傳統關系型數據庫混合構建完成，將1天24小時即86400秒內采集到的海量日志全部放入內存數據庫中進行實時比對分析，流式數據處理引擎負責格式化處理各類實時安全告警日志數據，流式引擎處理格式化后的日志數據放入內存數據庫，相對傳統關系型數據更適合大量數據的匹配分析。所有分析出來的安全告警數據以及對應原始告警數據日志放入關系型數據庫中進行保存。

4技術實現

4.1模糊關聯場景分析方法

模糊場景關聯分析是對安全運維一體化系統中匯集的安全告警原始日志數據的分析和挖掘。該方法主要是通過模糊關聯分析算法，對當前和歷史的安全告警和日志數據的計算，發現系統中告警威脅的攻擊者和被攻擊者疑似度（疑似度的值為0～1之間，用來表示攻擊者和被攻擊者的疑似程度，越接近1表明攻擊者和被攻擊者的確定程度越大）。

通過對安全告警產生過程的深入分析，認為有4種安全告警對于疑似度的計算可以產生不同影響。

第1種：未符合聚合策略被忽略的安全告警。由于某些高級持續性威脅（APT）的告警會有意識地調整攻擊頻率，系統中單一的聚合策略并不能生成告警。

第2種：已處理生成安全事件的安全告警。對于己生成安全事件的告警，這些攻擊源和攻擊目標是管理員需要持續關注的。

第3種：管理員手動操作忽略的安全告警。由于管理員并不能輕松根據上報的安全告警分析出它們之間的關聯關系，所以往往對這些告警采用忽略處理，進而錯過徹底發現攻擊的最佳時機。

第4種：系統中狀態為未處理的安全告警。系統中未處理的安全告警是管理員最關注的。

以上是模糊場景關聯分析方法的四大數據來源（見圖1）。

對于每一種安全告警中都存在著攻擊源和攻擊目標，在安全告警事件中，源IP即攻擊源，目的IP即攻擊目標。模糊場景關聯分析方法根據4個數據源計算出每個源IP和目的IP的疑似度（見圖2）。

通過對模糊場景關聯分析的數據源的分析，每種數據源都是由安全告警組成，每個安全告警又是由多個原始的告警聚合產生，對于安全告警的聚合數量、告警等級是直接影響計算疑似度的2個重要參數（見圖3）。

4.2模糊場景算法組成

模糊場景關聯分析方法中有4個數據來源、2個維度和2個參數。模糊場景關聯分析主要是攻擊源和攻擊目標疑似度的計算模型（見圖4）。

由于4個數據源產生的安全告警的影響是不同的，己處理生成安全事件的安全告警最高，系統中狀態為未處理的安全告警次之，由于未符合聚合策略被忽略的安全告警和管理員手動忽略的安全告警均屬于忽略狀態的告警，所以此類告警影響最低。

其對應在計算方法中的權值也是依次降低。影響劃分如下：

己處理生成安全事件的安全告警權重>系統中狀態為未處理的安全告警權重>未符合聚合策略被忽略的安全告警和系統運維人員手動忽略的安全告警權重。

數據源的權重Ts范圍為1～100，4種數據源的權重如表1所示（表中數據為假設數據）。

對于模糊場景關聯分析方法中告警數量，每種數據源提供的數量是不同的，為了避免數據量對計算結果誤導性影響，告警數量的權重采用非線性的計算方式獲得，具體計算公式如下所示：

Tc=a*th（X/Fn）

Tc表示報警數量的權重，x表示告警數量。a是控制權重的變化趨勢，a值越大表明_rc的值越大。th（）為雙曲正切函數，使用雙曲正切函數能保證數量的大小變化對權重值影響不成比例。Fn為調整系數，是一個常量值，更能符合Tc的變化趨勢。

模糊場景關聯分析方法告警等級權重Td也是計算方法中重要的參數，安全告警一共分為3個等級：高、中、低。告警等級的權重范圍為1～10，由于低等級的安全告警對于疑似度的影響較小，系統默認定義低級別安全報警的權值為1。其中安全告警等級的權重如表2所示（表中高中級數據為假設數據）。

事件疑似度是由數據源種類、安全告警數量和安全報警等級決定的，具體計算公式如下所示：

其中，DoubtC表示源IP（或目的IP）為攻擊源（或攻擊目的）的疑似度。n表示時間范圍內參加計算的安全報警數量。Ts表示每種數據源的權重。Tc表示通過安全告警聚合的數量計算出的數量權重。Td代表安全告警等級的權重。Fa為疑似度調整系數，是一個常量值，Fa的設置是將疑似度作整體調整的人性化設計，更能符合用戶對于疑似度的感念意識。疑似度計算使用雙曲正切函數y=th（X）=（e∧x-e∧（-X））/（e∧x+e∧、（-x）），如圖5所示，在雙曲正切函數中，不論數值有多大（如：疑似度原值可以是無限大），最終計算出的結果都是在0～1之間的，而其他函數則沒有此性質。疑似度計算公式中利用雙曲正切函數的分值限制將疑似度值控制在0～100%之間。

模糊場景關聯分析算法實例（此數據為測試算法數據）：

（1）時間范圍10分鐘，取源IP為192.168.10.1的10條數據為例。

（2）數量權重計算公式中的Fn值為200，a系數值為10。

（3）安全報警等級權值高中低分別為：Td=6，Td=4，Td=1。

（4）疑似度計算公式中的Fa值為1000。

具體如表3所示。

Doubtc=th（9982.400/1000）=0.7609

則時間范圍10分鐘，源IP；為192.168.10.1的攻擊者疑似度為76.09%。

5應用效果

模糊場景關聯分析算法作為安全運維一體化管控系統的核心日志分析處置功能引擎，已經成功部署在某單位并在安全日志關聯分析處置中發揮了實際功效價值。該引擎自從上線后，平均每天關聯分析接近370萬條不同廠家品牌規格的安全日志數據，通過對安全日志分析處置，每天可以穩定針對20～30個重點攻擊源和攻擊目標IP地址進行高威脅疑似度預警，及時通知管理員進行研判分析處置。管理員可以直接在系統界面中查看相關疑似度統計分析數據以及對應的原始日志主數據，進行運維流程處理。模糊場景關聯分析算法應用后，日常安全運維人員不必每天再面對大量滾動更新的安全日志而束手無策，系統成為安全運維團隊日常工作的重要支撐工具。

6結語

綜上所述，傳統安全告警日志關聯分析技術中經常采用構建固定攻擊場景的方式進行關聯分析，為攻擊行為建立嚴格的發展順序，只有按照場景規定的步驟進行的告警日志才能夠被檢測分析。這種明確的場景規則存在較大的局限性，在實際應用中一方面攻擊場景不可能全部枚舉出來，另一方面攻擊行為隱蔽性越來越強，攻擊者為了繞過安全設備的防守，采取各種各樣的方式，攻擊步驟不斷變化，一旦攻擊步驟變了，而監控系統仍然按照原先設定的場景進行匹配，則此次關聯分析對于攻擊的識別是失敗的。本文提出的安全告警日志模糊場景關聯分析的技術架構，跳出了傳統分析規則的局限，不再針對一系列攻擊行為進行預先場景描述，而是綜合考慮告警事件的數據來源、數量和事件等級，對每部分進行權重的累加，最終得到某個源IP（目的IP）是攻擊威脅（被攻擊威脅對象）的疑似度。該規則更加簡單易用，無需頻繁升級調整，同時也更加符合實際工作中安全告警日志數據的結構特點，增強了安全運維系統針對大型網絡中各類安全攻擊威脅預警的及時性和準確性。