基于事件關聯的根本原因分析系統的設計與實現

摘要：在對事件關聯等技術研究的基礎上，設計并實現根本原因分析系統，并對該系統的性能進行測試。結果表明該系統能夠在很大范圍內減少告警事件數目，滿足網絡故障管理的需要。

關鍵詞：網絡故障；根本原因分析；事件關聯

中圖分類號：TP393.07 文獻標志碼：A 文章編號：1001—3695(2007)09—0238—03

大型網絡經常出現大量的故障狀況或異常。如果網絡中產生一個故障，則在網管工作站中出現多個告警事件，通常導致數以萬計的告警產生。例如網絡中某一路由器出現了故障，那么在網管工作站中，不但出現該路由器的告警，而且所有與該路由器相連的設備均會產生告警。所以對收集到的告警信息進行根本原因分析非常重要。目前的根本原因分析的基本思路是通過事件過濾機制或者簡單地將大量事件重定向到打印機或數據庫來減少事件數目。事件關聯則是故障管理的新興領域，它通過對事件在時間和空間上進行相關處理，在減少事件數目的同時，增強事件的語義，有助于發現引起故障的真正原因。

1 事件關聯技術

1．1 根本原因與根本原因分析

根本原因(root cause)是影響網絡正常工作并觸發告警的原因，如路由器軟件出現問題、接收緩存不足，則在MIB中if-InDiscards信息將超過閾值，觸發“丟棄輸入報文”事件。根本原因分析是識別故障的根本原因以及這些原因影響到的網元，它可以簡單地定義為解釋一系列癥狀和事件并且查明引起這些癥狀和事件的原因。

識別根本原因是外延推理常見的問題。外延推理是從結果推論原因的過程(如告警)。許多網絡管理系統的外延推理過程分為兩個步驟：首先，它們在網絡中建立原因一結果傳播模型；然后為不確定的根本原因研究模型來解釋觀察到的告警。有些系統需要用戶在專家系統規則中提取出有關根本原因分析的知識。因此，外延推理的問題依賴于用戶。另外還有些系統通過基于事例的推理或者代碼書的方法進行外延推理。

1．2 事件關聯

事件關聯是對多個事件的一種解釋。一方面通過去除冗余減少了事件數量；另一方面增強了事件內所含的語義信息。事件關聯可以看成是一種數據簡約及由事件推理與識別故障的技術。事件關聯技術到目前為止已經得到了巨大的發展，國內外的研究機構已先后提出多種事件關聯技術。這些事件關聯技術涉及了計算機科學的不同研究領域，包括人工智能、自動控制論、神經網絡、信息論以及圖論。下面介紹在RCA系統中使用的兩種事件關聯的方法：

1．2．1 基于規則的推理

基于規則的推理(RBR)也稱為基于規則的專家系統，是最早出現的一種事件關聯技術，也是現在用得比較多的一種事件關聯技術。基于規則的推理把領域知識以規則集的形式表示，再將網絡當前狀態與規則的條件部分進行比較，以確定是否采用該規則。規則推理問題求解過程符合人的認知過程，容易實現，有利于問題求解和專家系統的開發。然而基于規則的推理存在很多不足。只依靠專家的經驗獲得規則，使得基于規則推理存在一定的局限性。為此引入了數據挖掘技術。數據挖掘根據某種關聯規則算法，自動找出隱藏在大量事件中的規律性，形成關聯規則。

1．2．2 基于事例的推理

基于事例的推理(CBR)是通過過去求解類似問題的經驗和知識獲得當前問題結果的一種推理模式。在基于事例的系統中，知識的基本單元是事例而不是規則。很多過去發生的事例被存儲、檢索，并用來解決新問題。由解決新問題的經驗構成新的事例；系統將新的事例加入到數據庫中，為將來使用作好準備。這樣系統可以通過自己的方法來獲取知識而不必從通信專家那里獲取知識。基于事例推理的另外一個特點是可以根據出現的錯誤自動改正將來的行為，而且基于事例推理可以通過調整過去的事例來構建新的方法，以自適應的方式面對和處理新的問題。可見，基于事例的推理在一定程度上克服了基于規則的推理的不足：

a)在基于規則的推理中，知識單元是規則，規則必須在原理上解釋所有問題類型，因此它的獲取過程費力，而且不一定有效。在基于事例的推理中，知識的單元是事例，是從完整的特殊事例中推理而來，無須將經驗分解開來，也不需要使用其中的某些部分產生規則，知識獲取比較容易。

b)在基于規則的推理中，檢索是基于對規則的完全匹配。如果當前網絡的狀態與規則的前件不匹配，系統將退出整個推理過程。在基于事例的推理中，檢索是基于對事例的部分匹配，還可以通過修改添加新的事例。

c)在基于規則的推理中，規則的維護、修改必須要將以前的規則刪除，重新得到一個新規則。基于事例的推理進行知識維護，只需要用戶將新的事例加入事例庫，比較容易實現。

d)基于規則的推理適用于網絡規模不大而且微小事件的重復出現；基于事例的推理適用于大規模網絡中的復雜問題的整體解決。

2 系統總體設計

2．1 總體結構

實現自動故障管理不僅簡單地包括快速獲得網絡事件和正確關聯到它的根本原因，也需要對事件豐富的響應，根據分析的結果進行通告。RCA系統由三個階段實現，包括事件確認、事件關聯、事件通告。在事件確認階段，RCA系統消滅了臨時的網絡故障，同時過濾了冗余事件。在關聯階段，RCA系統定位了網絡故障的根本原因。在事件通告階段，RCA系統不但向管理員通報特定的設備或接口故障，同時也根據事先設定的排錯流程給出排錯方案，如圖1所示。

2．2 事件確認階段

對于有效的網絡故障管理來說，發現問題的根本原因是必要的。消滅臨時網絡告警的能力是正確分析根本原因的主要因素。臨時網絡失效通常是網絡正常操作的一部分。例如，由于網絡擁塞或其他臨時條件而產生的數據丟失。RCA在關聯過程之前應用事件過濾技術進行事件確認，完成臨時告警以及其他冗余告警的消除。

事件確認的過程：a)當事件檢測模塊將發現的事件輸入RCA系統后，首先應用忽略規則，檢測是否存在用戶定義的特定上下文環境c，如果存在則將該事件忽略。b)如果不存在則應用事件壓縮規則查看臨時事件數據庫中是否在某一時間間隔中存在同樣事件。如果存在，則將該事件與以前發生的事件進行合并，并且刷新關聯數據庫；如果不存在則存人臨時數據庫。c)在應用過濾規則中，主要是定期檢查臨時數據庫中事件發生的時間屬性，如果事件發生的時間小于預設的閾值則認為可能是臨時事件，將該事件從臨時數據庫中刪除。存入事件關聯數據庫中的事件即為通過事件確認的事件。

2．3 事件關聯階段

當網絡設備故障通過確認階段鑒別之后，RCA主要通過關聯引擎執行根本原因分析來得出故障的確切原因。關聯引擎的輸入來自兩方面：經過事件確認存儲在關聯數據庫中的事件和存儲在知識庫中的知識，其輸出端輸出故障假設。測試模塊則對故障假設實施測試，驗證假設。關聯引擎工作原理如圖2所示。

1)關聯數據庫經過事件確認的事件數據按照一定的格式統一保存在關聯數據庫中，等待關聯引擎進行事件關聯。

2)知識庫知識主要由規則庫和事例庫組成。規則庫是一些故障精練的描述，它是按一定的語法格式書寫的，并在相應的模塊內存儲一張規則表。在規則庫中，對規則的描述包括規則的序號、前提、結論和規則本身的可信度。事例庫提供支持問題求解的一組案例，它是系統過去進行問題求解經驗的聚集。事例庫應用一定的事例表示方法，構造數據結構，存儲事例的類別、特征、屬性、方法、解答以及一般知識或領域知識等信息。

3)事件關聯引擎支持基于規則的推理和基于事例的推理，關聯引擎提供數據庫的檢索、比較、修改、添加、刪除等功能。首先，關聯數據庫中的事件所表達的當前網絡的狀態與規則庫中規則的條件部分進行比較，以決定該規則是否被采用。當條件滿足時，輸出規則的后項。在最簡單的情況下，一條規則就可以判斷網絡故障的根源。實際上這種情況十分少見，多數時候關聯引擎需要將當前得到的結論再作為條件在規則庫中進行多次推理，最終得出故障假設。

如果應用基于規則的推理未得出結論，則進一步應用基于事例的推理。根據問題描述，關聯引擎的事例檢索機制從事例庫中查找一個與當前問題相匹配的事例。如果該事例滿足問題描述的要求，則輸出相應的結果；否則根據問題描述，對檢索出的事例進行修改，事例改寫的結果形成一個滿足全部問題描述要求的答案。該結果同時作為一個新的事例經索引機制組織添加到事例庫中以備將來使用。

基于規則的推理和基于事例的推理是常用的事件關聯技術，在滿足關聯引擎需求的同時，具有容易實現的優點。

2．4 通告階段

只向網絡管理員通告事件關聯的結果是不夠的。由于計算機本身并不知道怎樣排除錯誤，為了減輕管理員的負擔，在通告階段首先建立排錯流程庫，管理人員事先設定排錯條件和排錯步驟。系統根據根本原因分析的結果查詢排錯條件并按照管理經驗設定規則給出排錯方案；同時告警的級別和告警的方式可以根據實際的需要進行設定，盡量及時準確地向管理員進行通告，以減輕網絡故障所帶來的損失。

3 實驗及運行結果

RCA系統用于大型數據庫集群系統的故障管理。所管理的數據庫集群系統由4個Force10 FA00高性能交換機將10個Cluster連接起來，每個Cluster包含了6個計算節點，18個磁盤控制器和1個磁帶庫；Cluster內部通過私有網絡連接。系統還提供了一套備份網絡，因此需要管理的接口總數達500個。實驗通過收集事件。并且將事件輸入RCA系統，對比分析前與分析后的事件數測試系統的性能。表1、2分別顯示分析前和分析后的事件數與每分鐘平均事件數。

實驗結果表明，通過對網絡中的事件進行根本原因分析，平均減少告警日志中90％的數據。

4 結束語

網絡故障RCA系統能夠消除臨時告警和冗余事件，并且應用事件關聯技術對事件的根本原因進行分析，及時準確地向網絡管理員進行通告，給出排錯方案，極大地減輕了網絡管理員的工作負擔，為故障的排除奠定了基礎。下一步需要做的工作就是進一步改進基于規則的推理和基于事例的推理算法，增強關聯引擎的功能，更準確、快速地定位網絡故障的根源。