基于數(shù)據(jù)挖掘的網(wǎng)管告警處理方法研究

許劭慶+馬彪+安海英

摘 要：為了方便電力行業(yè)網(wǎng)管人員能夠快速的從這些告警中找到有用信息，迅速的定位設(shè)備故障。本文設(shè)計了由接口告警采集、故障處理系統(tǒng)、告警相關(guān)性分析模塊等構(gòu)成處理框架。采用過濾告警、補全缺值數(shù)據(jù)、去重等方式進行數(shù)據(jù)預處理。通過告警發(fā)現(xiàn)和相關(guān)性分析機制實現(xiàn)告警的匹配和識別，利用基于關(guān)聯(lián)規(guī)則的方法對告警信息挖掘。采用本文設(shè)計的方法，能夠有效的實現(xiàn)網(wǎng)管系統(tǒng)的告警信息的挖掘分析，提高網(wǎng)管的效率。

關(guān)鍵詞：數(shù)據(jù)挖掘；告警信息；關(guān)聯(lián)規(guī)則

中圖分類號：TP311 文獻標識碼：A

1 引言（Introduction）

隨著信息技術(shù)的發(fā)展，越來越多的行業(yè)采用計算機技術(shù)來實現(xiàn)管理的自動化和智能化。電力企業(yè)也不例外，為了實現(xiàn)對供電線路和設(shè)備的管理，建立了自己的監(jiān)控網(wǎng)絡(luò)，進一步提高自己的運維保障能力。但隨著監(jiān)控網(wǎng)絡(luò)的不斷擴大，網(wǎng)絡(luò)結(jié)構(gòu)越來越復雜，很多的網(wǎng)絡(luò)技術(shù)慢慢的走向了融合，這導致了網(wǎng)絡(luò)發(fā)生故障的突然性越來越高，這些因素交融在一塊，致使網(wǎng)絡(luò)的維護、管理、操作變得越來越困難[1-3]。因此，目前的當務之急是找尋一種更加自動智能化、綜合化的網(wǎng)絡(luò)管理辦法。當一個運維支撐網(wǎng)絡(luò)產(chǎn)生問題或故障發(fā)生時，就會導致大量的告警產(chǎn)生，根據(jù)這些告警信息，就可以方便的分析設(shè)備的問題和故障，能夠成功的解決網(wǎng)絡(luò)運維管理中的各類問題。

本文利用這些告警信息，提出了基于數(shù)據(jù)挖掘的網(wǎng)管告警處理方法，該處理方法是在對比和研究了告警相關(guān)性分析理論以及技術(shù)之后才提出的。規(guī)則引擎可以利用其中已有的規(guī)則來動態(tài)的實時分析告警信息，規(guī)則引擎中保存的規(guī)則是在分析那些數(shù)據(jù)庫中的告警信息并自學習之后才獲取到的，告警轉(zhuǎn)故障和根告警的分析就是通過對比這些規(guī)則來實現(xiàn)的，從而可以為系統(tǒng)故障智能化管理提供一系列的解決方案。不管是從理論研究還是實際工程研究應用方面都有著很強的意義和價值[4]。

2 告警處理總體設(shè)計（General design of alarming

treatment）

告警信息處理涉及告警數(shù)據(jù)的采集、分析、過濾等方面工作。一個完整的電力行業(yè)網(wǎng)絡(luò)監(jiān)控的告警處理由網(wǎng)管子系統(tǒng)、接口告警采集、JMS消息通信、故障處理系統(tǒng)、告警相關(guān)性分析、規(guī)則專家管理模塊和GUI界面等構(gòu)成，具體的結(jié)構(gòu)如圖1所示。

圖1 告警信息處理系統(tǒng)結(jié)構(gòu)

Fig.1 Structure of alarm information processing system

其中，接口層告警采集完成對網(wǎng)管子系統(tǒng)（如銳捷傳輸系統(tǒng)、華為傳輸系統(tǒng)、動力環(huán)境系統(tǒng)）的告警數(shù)據(jù)采集，接口層會根據(jù)不同的網(wǎng)絡(luò)硬件設(shè)備，設(shè)計出多種不同的網(wǎng)絡(luò)接口，從而實現(xiàn)對不同設(shè)備告警信息的采集；告警信息采集完畢后由告警預處理模塊對告警數(shù)據(jù)的進行預處理；告警信息處理完畢后通過JMS消息傳送到數(shù)據(jù)庫中；告警相關(guān)性分析模塊會根據(jù)數(shù)據(jù)庫中的告警數(shù)據(jù)結(jié)合規(guī)則專家系統(tǒng)，確定告警的類型，并交由故障處理系統(tǒng)進行處理。所有信息處理完畢后，用戶可以從GUI界面看到告警的狀態(tài)、處理的過程、故障的定性和解決方案，從而實現(xiàn)對網(wǎng)絡(luò)設(shè)備告警的全面管理。

3 網(wǎng)絡(luò)告警數(shù)據(jù)預處理（Alarm data pretreatment）

通過對接口層采集的告警數(shù)據(jù)觀察分析后發(fā)現(xiàn)，有些告警只持續(xù)短短幾秒鐘，有些告警的關(guān)鍵字段缺失，有些告警重復多次出現(xiàn)，有些屬性冗余等。這些數(shù)據(jù)會影響數(shù)據(jù)挖掘的準確度和效率，因此為了將原始數(shù)據(jù)轉(zhuǎn)換成便于挖掘的形式，通常會對這些告警信息進行預處理，預處理的過程通常會包括過濾瞬斷告警、過濾噪聲、補全缺值數(shù)據(jù)、去除重復記錄、完成數(shù)據(jù)類型轉(zhuǎn)換等操作[5，6]。具體的內(nèi)容為：

（1）過濾瞬斷告警：瞬斷告警是指那些歷時比較短的告警，瞬斷告警本身沒有價值，所以不需要進行分析，要過濾掉。

（2）過濾噪聲：告警庫中那些無法識別或者缺失關(guān)鍵字段的告警數(shù)據(jù)，是無用的“噪音”數(shù)據(jù)，故此也要將其過濾掉，比如缺失時間或者告警名稱的信息等。

（3）補全不完整數(shù)據(jù)：告警庫中存在一些不完整但能根據(jù)告警信息的不同字段或者其他的信息來對缺失的信息進行推導，進而補全的信息，比如可以通過電路的路由信息來推導告警的網(wǎng)元信息等。

（4）去除重復記錄：將在小段時間內(nèi)產(chǎn)生的重復告警合并成一條告警，消除對冗余數(shù)據(jù)的分析。合并后告警的產(chǎn)生時間為最先發(fā)生的重復告警的開始時間。

（5）數(shù)據(jù)轉(zhuǎn)換：數(shù)據(jù)轉(zhuǎn)換是為了方便數(shù)據(jù)挖掘，減少數(shù)據(jù)維度，從告警庫中的原始告警信息中抽取與數(shù)據(jù)挖掘相關(guān)的屬性如告警的產(chǎn)生時間、告警的名稱等。

經(jīng)過這五步的預處理后，告警信息會被整理成一條獨立完整的告警信息，告警信息基本形式詳細信息如表1所示。

4 告警規(guī)則發(fā)現(xiàn)與相關(guān)性分析（Rule discovery and

correlation analysis of alarm）

4.1 告警規(guī)則發(fā)現(xiàn)

告警規(guī)則發(fā)現(xiàn)是告警處理系統(tǒng)中的核心模塊，具有不可替代的作用。告警規(guī)則發(fā)現(xiàn)模塊實現(xiàn)著告警事件的匹配、過濾等工作，負責告警事件的識別、發(fā)現(xiàn)和挖掘等多項任務，規(guī)則發(fā)現(xiàn)功能的框架如圖2所示。

規(guī)則發(fā)現(xiàn)功能是一個相對獨立的模塊。從流程框架圖不難發(fā)現(xiàn)，規(guī)則發(fā)現(xiàn)功能總體的流程處理為規(guī)則發(fā)現(xiàn)功能模塊首先對數(shù)據(jù)庫中的告警數(shù)據(jù)進行預處理操作，即對其作加權(quán)和時間跨度的劃分，然后從預處理后的數(shù)據(jù)中篩選可以滿足最小支持度的頻繁項目集，接著再從這些篩選得到的項目集的最大頻繁項目集里篩選，找出可以滿足最小可信度的規(guī)則，最后，再把這些挖掘出的規(guī)則保存在數(shù)據(jù)庫中。前臺不僅可以根據(jù)需求為規(guī)則引擎添加其所需大量必要的規(guī)則支持到規(guī)則引擎的規(guī)則庫中，方便規(guī)則引擎系統(tǒng)對告警數(shù)據(jù)的相關(guān)分析；同時，還可以通過規(guī)則庫管理來對挖掘出的規(guī)則進一步的篩選及增刪改操作。該功能需要大量的開銷，因為該功能的實現(xiàn)需要對數(shù)據(jù)庫進行多次的掃描和處理。

4.2 告警相關(guān)性分析

告警產(chǎn)生的原因及告警之間的內(nèi)在關(guān)聯(lián)是由告警相關(guān)性分析負責分析。如圖3所示，即為告警相關(guān)性分析的內(nèi)部處理流程。圖3給出了基于規(guī)則引擎的相關(guān)性分析系統(tǒng)處理上報實時告警的情況。需要特別說明的是，如果有必要告警數(shù)據(jù)是可以轉(zhuǎn)化為故障信息，并進入故障處理系統(tǒng)進行故障處理的[7]。

綜合網(wǎng)絡(luò)管理系統(tǒng)的告警相關(guān)性分析模塊是由規(guī)則發(fā)現(xiàn)功能和相關(guān)性分析處理功能組成的。在整個系統(tǒng)中，告警轉(zhuǎn)故障后進入的故障處理系統(tǒng)即工單處理系統(tǒng)和配置數(shù)據(jù)的接口網(wǎng)關(guān)或接口上傳告警均與告警相關(guān)性分析模塊有著直接的相關(guān)。其中，故障的維修及相關(guān)性信息的填寫就是在工單處理系統(tǒng)中完成的。填寫完成之后，再將故障處理的詳情回寫數(shù)據(jù)庫，從而一點點的建立故障維修專家?guī)臁?/p>

5 告警規(guī)則挖掘方法（Mining method of alarm rule）

本文將關(guān)聯(lián)規(guī)則算法應用在了告警數(shù)據(jù)挖掘方面，算法的主要目的是為了挖掘出告警數(shù)據(jù)中的關(guān)聯(lián)規(guī)則。

根據(jù)告警原因、告警所屬網(wǎng)元、告警級別等因素作為比較對象來劃分算法中用到的告警分類集[8]。

設(shè)第k種告警可用來表示，則各種告警的分類集合為；設(shè)告警分類集中第k種告警對應的權(quán)值用來表示，則告所有種類的告警對應的權(quán)值集合為；告警集是告警數(shù)據(jù)被時間跨度interval將按時間順序劃分形成的；的每個元素，

滿足最小支持度且中每個元素是由中個不同的告警組成，故稱為項告警頻繁項目集；中的元素之間存在的告警規(guī)則形如，且 ， 。

挖掘告警數(shù)據(jù)關(guān)聯(lián)規(guī)則的算法步驟如下：

（1）首先將預處理后的告警數(shù)據(jù)用時間跨度interval按時間順序劃分為多個告警集，并去除告警集中的那些重復告警類。

（2）在按照時間順序劃分好的告警集中，尋找1-項告警頻繁項目集。

（3）在劃分好的所有告警集合中，以項告警頻繁項目集為基礎(chǔ)，尋找第項告警頻繁項目集，直到得到 為空集為止。

（4）合并告警頻繁項目集，。

（5）遍歷告警頻繁項目集的集合L中的每一個元素，計算并在每個元素中尋找滿足最小置信度的告警關(guān)聯(lián)規(guī)則的元素，如此循環(huán)遍歷，直到遍歷完L中的所有元素為止。

（6）最后，將那些滿足要求被篩選出來的告警關(guān)聯(lián)規(guī)則放入待處理的規(guī)則庫里。

關(guān)聯(lián)規(guī)則挖掘算法的流程圖如圖4所示。

上面給出了應用于挖掘綜合網(wǎng)絡(luò)管理系統(tǒng)的告警數(shù)據(jù)的關(guān)聯(lián)規(guī)則模塊的關(guān)聯(lián)規(guī)則挖掘算法，該算法是經(jīng)過了加權(quán)和時間約束處理的。算法模型的建立使規(guī)則發(fā)現(xiàn)系統(tǒng)的實現(xiàn)成為可能。

6 結(jié)論（Conclusion）

本文設(shè)計了由網(wǎng)管子系統(tǒng)、接口告警采集、JMS消息通信、故障處理系統(tǒng)、告警相關(guān)性分析、規(guī)則專家管理模塊及GUI界面等構(gòu)成的網(wǎng)管告警處理框架。采用過濾瞬斷告警、過濾噪聲、補全缺值數(shù)據(jù)、去除重復記錄等方式進行數(shù)據(jù)預處理。通過告警發(fā)現(xiàn)和相關(guān)性分析機制對實現(xiàn)告警的匹配和識別，利用基于關(guān)聯(lián)規(guī)則的方法對告警信息挖掘。實踐證明，本文提出的處理方法能夠有效的實現(xiàn)網(wǎng)管系統(tǒng)的告警信息的

挖掘分析，定位設(shè)備的故障原因，提高網(wǎng)管的效率。

參考文獻（References）

[1] RygielskiP，KounevS.Network Virtualization for QoS-Aware Resource Management in Cloud Data Centers：A Survey[J].Praxisder Informations Verarbeitung und Kommunikation，2013，36（1）：55-64.

[2] Jain R，Paul S.Network Virtualization and Software Defined Networking for Cloud Computing：a Survey[J].Communications Magazine，IEEE，2013，51（11）：24-31.

[3] YUE Zheng-Kun，et al.The Study of Algorithms for Multi-VMs Bandwidth Guarantee in Data Centers[C].2013 3rd International Conference on Computer Science and Network Technology，2013：767-771.

[4] 李德仁，張良培，夏桂松.遙感大數(shù)據(jù)自動分析與數(shù)據(jù)挖掘[J].測繪學報，2014，43（12）：1211-1216.

[5] 丁兆云，賈焰，周斌.微博數(shù)據(jù)挖掘研究綜述[J].計算機研究與發(fā)展，2014，51（4）：691-706.

[6] 黃斌，許舒人，蒲衛(wèi).基于MapReduce的數(shù)據(jù)挖掘平臺設(shè)計與實現(xiàn)[J].計算機工程與設(shè)計，2013，34（2）：495-501.

[7] 朱姣姣，葉猛.多模式匹配及其改進算法在協(xié)議識別中的應用[J].電視技術(shù)，2012，36（7）：60-62.

[8] Chen C，et al.Providing Scalable Database Services on the Cloud[C].The 11th Int'l Conf. on Web Information Systems Engineering（WISE），Xiamen 2010.

[9] 陳占芳，等.基于OA系統(tǒng)的即時通訊平臺關(guān)鍵技術(shù)研究與實現(xiàn)[J].長春理工大學學報：自然科學版，2012，5（04）：125-129.

作者簡介：

許劭慶（1974-），男，本科，高級工程師.研究領(lǐng)域：軟件開發(fā).

馬 彪（1962-），男，本科，高級工程師.研究領(lǐng)域：計算機網(wǎng)絡(luò).

安英海（1976-），男，本科，高級工程師.研究領(lǐng)域：軟件開發(fā).