基于數(shù)據(jù)挖掘的網(wǎng)管告警處理方法研究

許劭慶+馬彪+安海英

摘 要：為了方便電力行業(yè)網(wǎng)管人員能夠快速的從這些告警中找到有用信息，迅速的定位設(shè)備故障。本文設(shè)計了由接口告警采集、故障處理系統(tǒng)、告警相關(guān)性分析模塊等構(gòu)成處理框架。采用過濾告警、補全缺值數(shù)據(jù)、去重等方式進行數(shù)據(jù)預(yù)處理。通過告警發(fā)現(xiàn)和相關(guān)性分析機制實現(xiàn)告警的匹配和識別，利用基于關(guān)聯(lián)規(guī)則的方法對告警信息挖掘。采用本文設(shè)計的方法，能夠有效的實現(xiàn)網(wǎng)管系統(tǒng)的告警信息的挖掘分析，提高網(wǎng)管的效率。

關(guān)鍵詞：數(shù)據(jù)挖掘；告警信息；關(guān)聯(lián)規(guī)則

中圖分類號：TP311 文獻標識碼：A

1 引言（Introduction）

隨著信息技術(shù)的發(fā)展，越來越多的行業(yè)采用計算機技術(shù)來實現(xiàn)管理的自動化和智能化。電力企業(yè)也不例外，為了實現(xiàn)對供電線路和設(shè)備的管理，建立了自己的監(jiān)控網(wǎng)絡(luò)，進一步提高自己的運維保障能力。但隨著監(jiān)控網(wǎng)絡(luò)的不斷擴大，網(wǎng)絡(luò)結(jié)構(gòu)越來越復(fù)雜，很多的網(wǎng)絡(luò)技術(shù)慢慢的走向了融合，這導(dǎo)致了網(wǎng)絡(luò)發(fā)生故障的突然性越來越高，這些因素交融在一塊，致使網(wǎng)絡(luò)的維護、管理、操作變得越來越困難[1-3]。因此，目前的當務(wù)之急是找尋一種更加自動智能化、綜合化的網(wǎng)絡(luò)管理辦法。當一個運維支撐網(wǎng)絡(luò)產(chǎn)生問題或故障發(fā)生時，就會導(dǎo)致大量的告警產(chǎn)生，根據(jù)這些告警信息，就可以方便的分析設(shè)備的問題和故障，能夠成功的解決網(wǎng)絡(luò)運維管理中的各類問題。

本文利用這些告警信息，提出了基于數(shù)據(jù)挖掘的網(wǎng)管告警處理方法，該處理方法是在對比和研究了告警相關(guān)性分析理論以及技術(shù)之后才提出的。規(guī)則引擎可以利用其中已有的規(guī)則來動態(tài)的實時分析告警信息，規(guī)則引擎中保存的規(guī)則是在分析那些數(shù)據(jù)庫中的告警信息并自學(xué)習(xí)之后才獲取到的，告警轉(zhuǎn)故障和根告警的分析就是通過對比這些規(guī)則來實現(xiàn)的，從而可以為系統(tǒng)故障智能化管理提供一系列的解決方案。不管是從理論研究還是實際工程研究應(yīng)用方面都有著很強的意義和價值[4]。

2 告警處理總體設(shè)計（General design of alarming

treatment）

告警信息處理涉及告警數(shù)據(jù)的采集、分析、過濾等方面工作。一個完整的電力行業(yè)網(wǎng)絡(luò)監(jiān)控的告警處理由網(wǎng)管子系統(tǒng)、接口告警采集、JMS消息通信、故障處理系統(tǒng)、告警相關(guān)性分析、規(guī)則專家管理模塊和GUI界面等構(gòu)成，具體的結(jié)構(gòu)如圖1所示。

圖1 告警信息處理系統(tǒng)結(jié)構(gòu)

Fig.1 Structure of alarm information processing system

其中，接口層告警采集完成對網(wǎng)管子系統(tǒng)（如銳捷傳輸系統(tǒng)、華為傳輸系統(tǒng)、動力環(huán)境系統(tǒng)）的告警數(shù)據(jù)采集，接口層會根據(jù)不同的網(wǎng)絡(luò)硬件設(shè)備，設(shè)計出多種不同的網(wǎng)絡(luò)接口，從而實現(xiàn)對不同設(shè)備告警信息的采集；告警信息采集完畢后由告警預(yù)處理模塊對告警數(shù)據(jù)的進行預(yù)處理；告警信息處理完畢后通過JMS消息傳送到數(shù)據(jù)庫中；告警相關(guān)性分析模塊會根據(jù)數(shù)據(jù)庫中的告警數(shù)據(jù)結(jié)合規(guī)則專家系統(tǒng)，確定告警的類型，并交由故障處理系統(tǒng)進行處理。所有信息處理完畢后，用戶可以從GUI界面看到告警的狀態(tài)、處理的過程、故障的定性和解決方案，從而實現(xiàn)對網(wǎng)絡(luò)設(shè)備告警的全面管理。

3 網(wǎng)絡(luò)告警數(shù)據(jù)預(yù)處理（Alarm data pretreatment）

通過對接口層采集的告警數(shù)據(jù)觀察分析后發(fā)現(xiàn)，有些告警只持續(xù)短短幾秒鐘，有些告警的關(guān)鍵字段缺失，有些告警重復(fù)多次出現(xiàn)，有些屬性冗余等。這些數(shù)據(jù)會影響數(shù)據(jù)挖掘的準確度和效率，因此為了將原始數(shù)據(jù)轉(zhuǎn)換成便于挖掘的形式，通常會對這些告警信息進行預(yù)處理，預(yù)處理的過程通常會包括過濾瞬斷告警、過濾噪聲、補全缺值數(shù)據(jù)、去除重復(fù)記錄、完成數(shù)據(jù)類型轉(zhuǎn)換等操作[5，6]。具體的內(nèi)容為：

（1）過濾瞬斷告警：瞬斷告警是指那些歷時比較短的告警，瞬斷告警本身沒有價值，所以不需要進行分析，要過濾掉。

（2）過濾噪聲：告警庫中那些無法識別或者缺失關(guān)鍵字段的告警數(shù)據(jù)，是無用的“噪音”數(shù)據(jù)，故此也要將其過濾掉，比如缺失時間或者告警名稱的信息等。

（3）補全不完整數(shù)據(jù)：告警庫中存在一些不完整但能根據(jù)告警信息的不同字段或者其他的信息來對缺失的信息進行推導(dǎo)，進而補全的信息，比如可以通過電路的路由信息來推導(dǎo)告警的網(wǎng)元信息等。

（4）去除重復(fù)記錄：將在小段時間內(nèi)產(chǎn)生的重復(fù)告警合并成一條告警，消除對冗余數(shù)據(jù)的分析。合并后告警的產(chǎn)生時間為最先發(fā)生的重復(fù)告警的開始時間。

（5）數(shù)據(jù)轉(zhuǎn)換：數(shù)據(jù)轉(zhuǎn)換是為了方便數(shù)據(jù)挖掘，減少數(shù)據(jù)維度，從告警庫中的原始告警信息中抽取與數(shù)據(jù)挖掘相關(guān)的屬性如告警的產(chǎn)生時間、告警的名稱等。

經(jīng)過這五步的預(yù)處理后，告警信息會被整理成一條獨立完整的告警信息，告警信息基本形式詳細信息如表1所示。

4 告警規(guī)則發(fā)現(xiàn)與相關(guān)性分析（Rule discovery and

correlation analysis of alarm）

4.1 告警規(guī)則發(fā)現(xiàn)

告警規(guī)則發(fā)現(xiàn)是告警處理系統(tǒng)中的核心模塊，具有不可替代的作用。告警規(guī)則發(fā)現(xiàn)模塊實現(xiàn)著告警事件的匹配、過濾等工作，負責告警事件的識別、發(fā)現(xiàn)和挖掘等多項任務(wù)，規(guī)則發(fā)現(xiàn)功能的框架如圖2所示。

規(guī)則發(fā)現(xiàn)功能是一個相對獨立的模塊。從流程框架圖不難發(fā)現(xiàn)，規(guī)則發(fā)現(xiàn)功能總體的流程處理為規(guī)則發(fā)現(xiàn)功能模塊首先對數(shù)據(jù)庫中的告警數(shù)據(jù)進行預(yù)處理操作，即對其作加權(quán)和時間跨度的劃分，然后從預(yù)處理后的數(shù)據(jù)中篩選可以滿足最小支持度的頻繁項目集，接著再從這些篩選得到的項目集的最大頻繁項目集里篩選，找出可以滿足最小可信度的規(guī)則，最后，再把這些挖掘出的規(guī)則保存在數(shù)據(jù)庫中。前臺不僅可以根據(jù)需求為規(guī)則引擎添加其所需大量必要的規(guī)則支持到規(guī)則引擎的規(guī)則庫中，方便規(guī)則引擎系統(tǒng)對告警數(shù)據(jù)的相關(guān)分析；同時，還可以通過規(guī)則庫管理來對挖掘出的規(guī)則進一步的篩選及增刪改操作。該功能需要大量的開銷，因為該功能的實現(xiàn)需要對數(shù)據(jù)庫進行多次的掃描和處理。

4.2 告警相關(guān)性分析

告警產(chǎn)生的原因及告警之間的內(nèi)在關(guān)聯(lián)是由告警相關(guān)性分析負責分析。如圖3所示，即為告警相關(guān)性分析的內(nèi)部處理流程。圖3給出了基于規(guī)則引擎的相關(guān)性分析系統(tǒng)處理上報實時告警的情況。需要特別說明的是，如果有必要告警數(shù)據(jù)是可以轉(zhuǎn)化為故障信息，并進入故障處理系統(tǒng)進行故障處理的[7]。

綜合網(wǎng)絡(luò)管理系統(tǒng)的告警相關(guān)性分析模塊是由規(guī)則發(fā)現(xiàn)功能和相關(guān)性分析處理功能組成的。在整個系統(tǒng)中，告警轉(zhuǎn)故障后進入的故障處理系統(tǒng)即工單處理系統(tǒng)和配置數(shù)據(jù)的接口網(wǎng)關(guān)或接口上傳告警均與告警相關(guān)性分析模塊有著直接的相關(guān)。其中，故障的維修及相關(guān)性信息的填寫就是在工單處理系統(tǒng)中完成的。填寫完成之后，再將故障處理的詳情回寫數(shù)據(jù)庫，從而一點點的建立故障維修專家?guī)臁?/p>

5 告警規(guī)則挖掘方法（Mining method of alarm rule）

本文將關(guān)聯(lián)規(guī)則算法應(yīng)用在了告警數(shù)據(jù)挖掘方面，算法的主要目的是為了挖掘出告警數(shù)據(jù)中的關(guān)聯(lián)規(guī)則。

根據(jù)告警原因、告警所屬網(wǎng)元、告警級別等因素作為比較對象來劃分算法中用到的告警分類集[8]。

設(shè)第k種告警可用來表示，則各種告警的分類集合為；設(shè)告警分類集中第k種告警對應(yīng)的權(quán)值用來表示，則告所有種類的告警對應(yīng)的權(quán)值集合為；告警集是告警數(shù)據(jù)被時間跨度interval將按時間順序劃分形成的；的每個元素，

滿足最小支持度且中每個元素是由中個不同的告警組成，故稱為項告警頻繁項目集；中的元素之間存在的告警規(guī)則形如，且 ， 。

挖掘告警數(shù)據(jù)關(guān)聯(lián)規(guī)則的算法步驟如下：

（1）首先將預(yù)處理后的告警數(shù)據(jù)用時間跨度interval按時間順序劃分為多個告警集，并去除告警集中的那些重復(fù)告警類。

（2）在按照時間順序劃分好的告警集中，尋找1-項告警頻繁項目集。

（3）在劃分好的所有告警集合中，以項告警頻繁項目集為基礎(chǔ)，尋找第項告警頻繁項目集，直到得到 為空集為止。

（4）合并告警頻繁項目集，。

（5）遍歷告警頻繁項目集的集合L中的每一個元素，計算并在每個元素中尋找滿足最小置信度的告警關(guān)聯(lián)規(guī)則的元素，如此循環(huán)遍歷，直到遍歷完L中的所有元素為止。

（6）最后，將那些滿足要求被篩選出來的告警關(guān)聯(lián)規(guī)則放入待處理的規(guī)則庫里。

關(guān)聯(lián)規(guī)則挖掘算法的流程圖如圖4所示。

上面給出了應(yīng)用于挖掘綜合網(wǎng)絡(luò)管理系統(tǒng)的告警數(shù)據(jù)的關(guān)聯(lián)規(guī)則模塊的關(guān)聯(lián)規(guī)則挖掘算法，該算法是經(jīng)過了加權(quán)和時間約束處理的。算法模型的建立使規(guī)則發(fā)現(xiàn)系統(tǒng)的實現(xiàn)成為可能。

6 結(jié)論（Conclusion）

本文設(shè)計了由網(wǎng)管子系統(tǒng)、接口告警采集、JMS消息通信、故障處理系統(tǒng)、告警相關(guān)性分析、規(guī)則專家管理模塊及GUI界面等構(gòu)成的網(wǎng)管告警處理框架。采用過濾瞬斷告警、過濾噪聲、補全缺值數(shù)據(jù)、去除重復(fù)記錄等方式進行數(shù)據(jù)預(yù)處理。通過告警發(fā)現(xiàn)和相關(guān)性分析機制對實現(xiàn)告警的匹配和識別，利用基于關(guān)聯(lián)規(guī)則的方法對告警信息挖掘。實踐證明，本文提出的處理方法能夠有效的實現(xiàn)網(wǎng)管系統(tǒng)的告警信息的

挖掘分析，定位設(shè)備的故障原因，提高網(wǎng)管的效率。

參考文獻（References）

[1] RygielskiP，KounevS.Network Virtualization for QoS-Aware Resource Management in Cloud Data Centers：A Survey[J].Praxisder Informations Verarbeitung und Kommunikation，2013，36（1）：55-64.

[2] Jain R，Paul S.Network Virtualization and Software Defined Networking for Cloud Computing：a Survey[J].Communications Magazine，IEEE，2013，51（11）：24-31.

[3] YUE Zheng-Kun，et al.The Study of Algorithms for Multi-VMs Bandwidth Guarantee in Data Centers[C].2013 3rd International Conference on Computer Science and Network Technology，2013：767-771.

[4] 李德仁，張良培，夏桂松.遙感大數(shù)據(jù)自動分析與數(shù)據(jù)挖掘[J].測繪學(xué)報，2014，43（12）：1211-1216.

[5] 丁兆云，賈焰，周斌.微博數(shù)據(jù)挖掘研究綜述[J].計算機研究與發(fā)展，2014，51（4）：691-706.

[6] 黃斌，許舒人，蒲衛(wèi).基于MapReduce的數(shù)據(jù)挖掘平臺設(shè)計與實現(xiàn)[J].計算機工程與設(shè)計，2013，34（2）：495-501.

[7] 朱姣姣，葉猛.多模式匹配及其改進算法在協(xié)議識別中的應(yīng)用[J].電視技術(shù)，2012，36（7）：60-62.

[8] Chen C，et al.Providing Scalable Database Services on the Cloud[C].The 11th Int'l Conf. on Web Information Systems Engineering（WISE），Xiamen 2010.

[9] 陳占芳，等.基于OA系統(tǒng)的即時通訊平臺關(guān)鍵技術(shù)研究與實現(xiàn)[J].長春理工大學(xué)學(xué)報：自然科學(xué)版，2012，5（04）：125-129.

作者簡介：

許劭慶（1974-），男，本科，高級工程師.研究領(lǐng)域：軟件開發(fā).

馬 彪（1962-），男，本科，高級工程師.研究領(lǐng)域：計算機網(wǎng)絡(luò).

安英海（1976-），男，本科，高級工程師.研究領(lǐng)域：軟件開發(fā).