智能告警在監控管理中的應用

廣東飛達交通工程有限公司 傅宏偉

引言

高速公路作為我國交通運輸基礎設施建設的重要構成，已在由信息化轉向數字化、智能化的快速發展階段。高速智能化發展方向主要集中在對管理系統的智能升級上，由監控系統、通信系統、收費系統三大系統組成的高速智能化交通系統，涵蓋了龐雜的數據信息，如何做好這些數據的統一管理、調用、分析、故障發現、告警準確及時等運維工作，是推動高速數字化、智能化的關鍵所在。數據統一化管理后，由于各系統的告警信息的匯聚也帶來另外一個問題：各個業務系統及IT基礎設施產生大量的重復告警、錯誤告警增加了監控人員識別及確認時間，尤其在網絡異常及設備/系統故障情況下，大量的重復、無效告警形成告警風暴，干擾了監控人員正常工作，嚴重降低工作效率。

1 系統架構

告警總體處理系統架構如圖1。數據層：集中接入高速公路上主線、隧道、橋梁、服務區機電系統的所有告警數據，包括機電設備、IT基礎設施、AIOT相關設備告警數據；處理層：系統基于配置管理庫及人工策略庫，關聯規則庫經過告警收斂處理輸出有效告警；應用層：告警經過收斂分析處理以及分類、分優先級別進行系統展示和提醒。

圖1 總體處理系統架構圖

告警收斂流程：告警收斂是指部分告警產生時往往會伴隨著其它告警。此時可只對根本原因產生告警，其它告警收斂為子告警一并發送通知，以此降低告警總體數量，降低監控人員的重復確認的工作頻率。其主要包括正確告警重復、錯誤告警多次的數量壓縮，告警關聯關系合并。

告警數量壓縮是指同一重復告警在指定的時間內壓縮為一條告警，重復告警發生時只累計告警的數量，不增加告警推送，當一條告警確認為誤報時，后續產生的同類型告警自動確認為誤報，直到設備故障恢復為止；告警關聯關系合并是指相關聯的設備針對同一故障發出多個告警，系統根據設備的關聯關系依賴性、從屬關系及關聯規則對告警進行甄別和合并[1]。

告警收斂流程分為五個步驟：告警收斂規則發現、實時告警輸入、基于人工策略過濾、基于收斂關聯規則進行處理和告警輸出及智能提醒。

1.1 告警收斂規則生成

本文選用一種基于機器學習領域經典的FPgrowth（Frequent Pattern Growth）模型算法的告警收斂方案，其作用是找到項集數據中的頻繁項并生成關聯規則，較Apriori算法具有更高的效率。項集表示一組項目（告警）的集合，對于告警關聯分析，一起告警事件可看作為一個項集，支持度為項集的頻率。置信度反映了關聯規則的可靠程度，其值為項集M支持度與N支持度比值。提升度可表示關聯規則的相關性程度，提升度高于1時表示正相關，低于1時表示負相關。提升度的數值越大正相關程度越高，越小負相關程度越高。當提升度等于1時表示不相關。

支持度：(X→Y)=P(X,Y)/P(I)=P(X∪Y)/P(I)=num(XUY)/num(I)；置信度：(X→Y)=P(Y|X)=P(X,Y)/P(X)=P(XUY)/P(X)；提升度：(X→Y)=P(Y|X)/P(Y)。

FP-growth告警收斂規則發現的流程如下：定義項目最小支持度，輪詢所有原始數據，計算所有告警項的支持度，從原始告警數據集中剔除小于最小支持度告警數據項目，按照最小支持度大小對告警數據重新排序；針對上一步告警數據，輪詢原始數據，創建FP樹并逐個添加項集；輪詢FP樹獲取關聯規則，并計算置信度。為更直觀地展示這一過程，從如下示例數據入手。

1.1.1 計算項的支持度

原始數據中各項集編號/項集分別為：1/ABCEFO，2/ACG，3/EI，4/ACDEG，5/ACEGL，6/EJ，7/ABECEFP，8/ACD，9/ACEGM，10/ACEGN。統計原始數據中各項的支持度，為更加直觀的展示實際效果，將項一共出現在了幾個項集中作為該項的支持度，比如對于項“A”，在項集1、2、4、5、7、8、9、10中都出現過，共出現在了8個項集中，則A的支持度為8，其余各項的支持度為：A、C、E為8，G為5，B、D、F為2，I、J、L、M、N、P、O為1。

1.1.2 確定支持度閾值

同樣的，FP-Growth算法也需要確定支持度閾值，假定支持度閾值設定為2；篩選頻繁項。不滿足支持度閾值的項將被刪去，則保留的項和支持度如下：A、C、E為8，G為5，B、D、F為2；根據項的支持度對項集排序。為了構建樹結構需要將剩余項按照支持度進行排序，亦即按照A、C、E、G、B、D、F這一順序排序項集。（同支持度的項可以按照項的出現順序進行排序，不同支持度的項按照支持度排序，如G的支持度為5、小于E的支持度，則排在E后）。

1.1.3 創建樹并逐個添加項集

獲得經過排序后的頻繁項集后，將建立項頭表和FP樹，項頭表可以被認為是頻繁項及節點鏈表的組合，FP樹可被認為是將項集內的節點一一映射到樹中，樹上的每個節點為一個項，這些節點都可通過項頭表內的節點鏈表訪問到，也可通過樹的根節點訪問到。如圖2所示，掃描項集編號為1的項集[A、C、E、B、F]后，可建立項頭標以及樹，項頭表第一列為項的編號，第二列為該項的支持度，第三列為節點鏈表的起始點。重復上述步驟，直到掃描完成所有項集，可得圖3結果，其中部分項無法僅用一個節點表示，如G在項集2和5中，項集分別為[A、C、G]和[A、C、E、G、D]，因此需采用鏈表鏈接兩個節點。

表1 根據項的支持度對項集排序

圖2 FP樹型圖

圖3 FP樹型圖

1.1.4 掃描FP樹并獲得關聯規則

建立FP樹后挖掘關聯規則，需要引入FPGrowth算法特有的條件模式基的概念，條件模式基是指某個項的前綴路徑的集合，即從根節點到該項所有節點走過的路徑組成的新的樹。如，假定希望挖掘與D有關的規則，則D的條件模式基為圖4標紅部分。獲得D的條件模式基后，可看出共有兩個主要分支，即A-C-E-G-D和A-C-D，由于末端節點D的出現次數都為1，因此以上兩個分支的出現次數也為1，這一點通過原始數據也可看出。接著能判斷其中的公共分支為A-C-D，在兩個分支中各出現1次，一共出現了2次，由于支持度閾值為2，因此[A、C、D]為頻繁項集之一，其子集[A，C],[A，D],[C，D]也就都是頻繁項集。至此演示了如何挖掘頻繁項集。

圖4 FP樹型圖

1.1.5 生成關聯規則并計算置信度

在特定的場景下，如果僅僅是頻繁項集并不能滿足使用者的需求，還需要將他們轉化為關聯規則，并針對這些關聯規則的可信程度進行評估。關聯規則的格式為：項X=＞項Y，這意味著獲得了一條規則，規則的含義為在項X存在的情況下、有很大概率項Y也會存在。而置信度則是對這一規則的可信程度的考量，置信度100%意味著項X存在的情況下項Y永遠存在，而50%則意味著項X存在時只有50%的概率同時出現項Y。這一指標可以通過計算項X和項Y的出現次數與項X單獨出現次數的比值獲得。

1.2 基于人工策略過濾

策略規則與監控業務緊密相關，允許監控人員根據業務需求進行配置和管理，告警合并可按照配置單元、主機、監控策略（時間段）、業務規則等合并；按照主機合并策略，是指當多個告警來自一臺主機，系統將這些告警壓縮為一條告警，將多余的告警累計為該告警的關聯數量，從而達到告警壓縮收斂的效果。

按照配置單元合并是指當多個告警來自于配置單元相關聯的配置項時，系統根據配置項相的依賴關系和主從關系，將強依賴和從屬關系配置項產生的告警歸并到一起發送；按監控策略合并是指若一個監控策略下多臺機器或實例產生告警，則該策略下多余告警合并到一起；按業務規則合并是指按照預先指定的業務規則進行告警合并[2]。

1.3 告警輸出及智能提醒

合并后的告警根據系統的嚴重等級及通知方式（告警警報、語音播報、系統彈窗）智能的分發給監控人員進行確認和處理。

2 試點效果

告警收斂算法2022年2月在紫惠高速隧道通行安全管控系統中應用，經半年的持續優化升級和運行，系統可對監測到的告警數據進行統計分析。本文對系統在2022年2月1日～2022年7月30日的告警數據進行統計，從圖5可知系統告警收斂率平均達到89%。

圖5 統計分析圖

目前該告警收斂算法已應用于隧道安全管控系統智能告警子模塊并正式在紫惠高速上線使用，系統運行半年運行效果良好，系統能有效歸并重復告警和甄別錯誤告警，提升告警的精準性和及時性，從而減少監控人員的告警信息人工判別和確認的大量重復勞動。

在系統實際的運行中發現，告警的收斂效率跟收斂規則有關，同時告警系統本身的告警質量也對告警收斂效率影響較大。在下一步工作中將采用深度學習算法優化告警事件關聯模型，提升重復告警的收斂率，同時對各個業務系統的告警采集方法及告警判斷的標準進行改進及優化，從而提高告警收斂率。