基于局部異常檢測的告警誤報緩解*

袁 齊，范曉波，胥小波

（中國電子科技網絡信息安全有限公司，四川 成都 610041）

0 引言

隨著網絡應用和互聯網技術的高速發展，計算機網絡在提供生活便利的同時，也產生了大量的安全漏洞。互聯網上充斥著各式各樣的網絡攻擊，很多擁有大量網絡資產的大中型企業，往往成為黑客的首要攻擊目標，因此企業往往會部署多種安全設備。在這種背景下，企業內部的多種安全防護設備每天會產生大量的安全告警，一個中等的企業每天的安全日志告警數量通常在百萬級別[1]，企業安全運營人員難以對這些安全告警逐一分析調查，也無法定位出真正高威脅的告警。因此，安全運營人員疲于處理大量安全誤報，而真實的惡意攻擊行為被淹沒在警報中沒有得到及時處理。

告警誤報緩解[2]旨在去除大量的誤報，從而使得安全運營人員集中精力分析真正的高危告警。告警誤報緩解是異源多構網絡空間知識高質量轉化的需要，海量網絡空間信息的正確決策對智能化程度有更高的要求。網絡空間行為是由信息主導的，但制約正確決策的并非是信息本身，而是從海量數據中提取重要信息的能力。告警誤報緩解是網絡態勢理解的前提，只有進行過整理、解釋、選擇后生成的知識層面的網絡空間信息才能有效用于態勢理解。一方面，應著重關注網絡空間信息大數據挖掘的研究，從而加強對網絡空間態勢的抽象理解，如網絡空間態勢的感知判斷，信息內部因果關系的理解，網絡空間知識的搜索、判斷、歸類和度量，對不同格式數據（結構化和非結構化）的自動分析等；另一方面，應當對專家知識等已有的成果和結論加以高效利用，比如可以組織經驗豐富的網絡安全專家為生成的樣本集添加標簽，形成數據資產，以提高網絡空間信息處理能力。

一般來說，傳統的告警緩解方法大都基于規則[3]采用前件與后件的工作方式，當告警滿足前件時則忽略該告警或者將該告警置于優先級較低的隊列。近年來，由于規則方法的局限性，很多工作探索數據驅動的方法進行告警緩解，如將告警看作是一種特殊的“語言”采用遞歸神經網絡進行分析[4]，或是基于生成對抗網絡的進行系統日志級檢測[5]等。而在文獻[6]中，作者利用先驗知識采用聚類的方法進行告警關聯驗證。

本文提出一種新的基于局部異常檢測的告警誤報緩解方法對攻擊網際互連協議地址（Internet Protocol，IP）進行畫像，該方法蘊含的1 個基本前提是絕大部分告警都是使用自動化工具發起的嘗試性攻擊，真正高威脅的攻擊相對是比較少的。那么，從攻擊階段、攻擊頻次、攻擊者地域特征等維度去刻畫，真實高威脅的攻擊會偏離正常范圍。

1 模型和框架

網絡安全監控已經逐步走向成熟，目前很多工具旨在監控并發現針對自身網絡里的攻擊行為，如防火墻、入侵檢測系統（Intrusion Detection System，IDS）[7]、入侵防御系統（Intrusion Prevention System，IPS）[8]、主機監控設備等，以全局、“自上而下”的方式監控每個服務和設備。每個監控設備都會產生大量的日志，安全信息和事件管理中心（Security Information and Event Management，SIEM）[9]對所有的安全日志進行歸一化處理和保存，以便對企業的安全狀態有一個全面地認識，典型的SIEM 中告警日志處理流程如圖1 所示。

圖1 SIEM 中日志處理流程

通常來說，一方面，監測設備為了不遺漏攻擊事件，發現任意攻擊特征就上報事件，這種攻擊特征檢測是非常寬松的；而另一方面，糟糕的開發者通常對用戶的輸入不進行過濾、轉義等處理，兩者相互配合造成大量誤報，開發者編碼不規范，導致這種誤報更加泛濫，從而掩蓋真實攻擊。

本文提出的基于異常檢測的告警誤報緩解系統如圖2 所示。圖中特征層基于數據拉取模塊拉取的數據，定期通過特征工程計算源攻擊IP 最近一段時間的統計特征，在特征空間中刻畫源IP 的行為特征，并將特征數據存入數據庫中。在訓練階段，對于某個攻擊IP 來說，獲取其前一段時間的特征數據用于訓練異常檢測模型，模型評估與驗證模塊對訓練的模型進行交叉驗證，若通過驗證則保存模型。檢測階段則用保存的模型對當前的告警日志進行實時檢測，輸出真實、高危的告警。告警誤報緩解可以去除大量的誤報，從而使得安全運營人員集中精力分析真正的高危告警。值得注意的是，由于數據漂移等問題存在，在經過一段時間后，模型可能并不適用當前數據分布情況，因而模型需要定期進行更新。

圖2 基于異常檢測的告警誤報緩解流程

2 局部異常檢測

2.1 特征工程

對于機器學習模型來說，數據和特征決定了機器學習的上限，而模型和算法只是逼近這個上限。本文異常檢測的特征主要分為基本屬性特征和統計特征兩大類。不管是統計特征還是屬性特征，都需要將原始日志如事件類型、執行的動作、設備源等通過配置文件中的特征字典映射為對應的數值編碼，并通過數值編碼來表示嚴重等級或者可信程度。屬性特征用0-1 就可以進行編碼，表明攻擊者是否具備某個屬性，如是否命中威脅情報字段，可以用1 表示命中，而0 表示未命中。模型主要的屬性特征如圖3 所示。

圖3 屬性特征及說明

針對告警階段等強相關數值特征，則采用統計特征分別從總量特性sum、最大值特性max、唯一值特性unique 3 個維度進行刻畫。如圖4 所示，其中攻擊階段是指告警事件在網絡攻擊生命周期殺傷鏈（kill-chain）7 個階段中所處的位置。殺傷鏈7個階段用來拆分惡意軟件的每個攻擊階段，包括偵查跟蹤、武器構建、載荷投遞、漏洞利用、安裝植入、命令與控制、目標達成等。

圖4 統計特征及說明

屬性特征和統計特征的具體說明如下文所述。

（1）屬性特征說明：例如源IP 是國內或國外、是否命中威脅情報、源IP 和目的IP 的內外網類型。

（2）統計特征說明：通過主鍵（源IP 和資產標識兩個字段）進行聚合之后對每個原始日志字段進行對應的聚合函數（主要是求和函數sum、最大值函數max、唯一值函數unique）得到對應的特征字段。

2.2 異常檢測算法

真實的攻擊日志通常和實際監控網絡環境（拓撲、業務、資產、漏洞等）息息相關。通過將上述系統部署到真實的線上環境中，抽取高維特征數據進行可視化分析，告警日志通常會形成相關簇。例如，對于提供公網服務的企業來說，在外網中部署的設備較多，使得產生的告警日志中外網占了大部分，內網少部分；相反，對于內網業務系統較多的企業來講，內網中部署的設備較多，使得產生的告警日志中內網占了大部分，外網少部分。此外，內網和外網的安全設備類型也不一致，產生的告警類型也不同。因此，內網和外網產生的告警數量以及類型不同，其通過特征工程后形成了兩種相對獨立的分布。如果選擇孤立森林（Isolation Forest，iForest）[10]或者直方圖異常（Histogram-based Outlier Score，HbOS）[11]這種全局的異常檢測算法，在進行檢測的時候會將少量的簇判定為異常，從而造成誤判。

不同的攻擊方向關注的告警類型也不一樣，在3 種攻擊方向外網到內網、內網到內網、內網到外網中，其特征顯然是不一樣的。如從外到內更多關注的是掃描、漏洞攻擊、挑戰黑洞（Challenge Collapsar，CC）攻擊、暴力破解等，內網之間則更關注橫向滲透、內網服務、蠕蟲傳播等[12]。

本文在異常檢測中采用局部異常因子算法（Local Outlier Factor，LOF）[13-15]。LOF 局部異常檢測依賴每個點p和鄰域點的密度來判斷該點是否為異常，點p的密度越低，越有可能是異常點。而點的密度是通過點之間的距離來計算的，也就是說，LOF 算法中點的密度是通過點的k鄰域計算得到的，而不是通過全局計算得到。LOF 的計算依賴如下幾個定義。

（1）k-鄰近距離。在距離數據點p最近的幾個點中，第k個最近的點跟點p之間的距離稱為點p的k-鄰近距離，記為k_distance(p)。

（2）可達距離。可達距離的定義跟k-鄰近距離是相關的，給定參數k時，數據點p到數據點o的可達距離reach_dist（p,o）為數據點o的k-鄰近距離和數據點p與點o之間的直接距離的最大值，計算方式為：

數據點p的局部可達密度（local reachability density，lrd）的定義是基于可達距離的，為它與鄰近的數據點的平均可達距離的倒數，具體為：

式中：Nk(p)是那些跟點p的距離小于等于k-distance（p）的數據點集合。

（3）局部異常因子。根據局部可達密度的定義，如果一個數據點跟其他點比較疏遠的話，那么顯然它的局部可達密度就小。但LOF 算法衡量一個數據點的異常程度，并不是看它的絕對局部密度，而是看它跟周圍鄰近的數據點的相對密度。局部異常因子即是用局部相對密度來定義的。數據點p的局部相對密度（局部異常因子）為點p的鄰居們的平均局部可達密度跟數據點p的局部可達密度的比值，計算方法為：

根據局部異常因子的定義，如果數據點p的LOF 得分在1 附近，表明數據點p的局部密度跟它的鄰居們差不多；如果數據點p的LOF 得分小于1，表明數據點p處在一個相對密集的區域；如果數據點p的LOF 得分遠大于1，表明數據點p跟其他點比較疏遠，很有可能是一個異常點，從而實現異常檢測。

3 實驗結果與分析

本文系統在公安部組織的2021 年針對國內基礎設施系統的大型攻防演練中進行實驗。攻防演練持續14 天，采集了流量側日志（綠盟綜合威脅探針uts、天眼分析平臺）、防火墻日志和終端告警日志，日志分布情況如圖5 所示，從圖中可以看出大部分日志為流量側日志。

圖5 日志分布情況

在攻防演練中的每一天，都統計上報被封的IP數目、算法檢測IP 數目及算法檢測的真實攻擊IP數目，記錄結果如表1 表2 所示。

表1 第1 周IP 數統計

表2 第2 周IP 數統計

值得注意的是，表中僅包含安全分析人員通過分析網絡態勢感知系統攻擊日志進行上報的IP 數，不包括通過主機上的普通業務日志進行研判封堵的IP，也不包括其他廠商上報的IP，因為這些IP 無法從攻擊日志中進行分析得到。

由表1和表2中可以看出，攻防演練開始的時候算法檢測的性能較差，其原因是：一方面，異常檢測算法需要訓練數據的沉淀；另一方面，需要根據實際情況進行算法調優，包括超參數和特征等。除去開始的第1天，后面13 天的平均檢測精度P（Precision）為0.59，平均召回率R（Recall）為0.69。精度的定義是算法檢測的正確攻擊IP 數，占檢測IP 總數的比例；而召回率為檢測的正確攻擊IP 數，占實際攻擊IP 的比例。兩者計算如下：

式中：TP 為被判定為攻擊IP，NTP為攻擊IP 的數目；FP 為被判定為攻擊IP，NFP為正常訪問的數目；FN為被判定為正常訪問，NFN為攻擊IP 的數目。

根據精度和召回率的定義，本文提出的基于局部異常的算法檢測出IP 中接近六成的IP 屬于真實的攻擊IP，且檢測的真實攻擊IP 占所有真實攻擊IP 總數的七成。

此外，將本文提出的算法性能和監控設備內置的規則進行比較，規則輸出將所有的告警日志分為4 類：很高、高、中、信息，從而在日志量巨大的情況下使得安全分析人員關注等級為“很高”的日志。圖6 為基于規則的不同等級占比顯示每個等級的日志占比，由于整個攻防演練期間，被封的真實IP 總數為245 個，而等級為“很高”的日志數目為24 718，其最高精度為245/24 718 ≈1%，與之對應的，本文算法精度為59%，和只采用規則相比，該算法可以極大減少分析人員的時間。

圖6 基于規則的不同等級占比

4 結語

針對企業安全運營中存在的海量告警問題，本文提出一種新的告警誤報緩解方法，基于真正高威脅的攻擊相對是比較少的事實，該方法采用局部異常檢測算法從攻擊階段、攻擊頻次、攻擊者地域特征等維度去刻畫攻擊IP 的偏離正常范圍的程度，從而去除大量的誤報，使得安全運營人員集中精力分析真正的高危告警。該方法在大型網絡攻防實戰中進行部署，結果表明具備較好的檢測性能。