數(shù)據(jù)挖掘在綜合網(wǎng)管告警相關(guān)性中的研究與應(yīng)用

摘 ?要： 隨著社會(huì)經(jīng)濟(jì)的不斷進(jìn)步，我國(guó)的電信事業(yè)得到了很大的發(fā)展，對(duì)電信網(wǎng)進(jìn)行綜合化的管理以及讓電信網(wǎng)的管理變得更加智能化，也是目前電信網(wǎng)網(wǎng)絡(luò)管理系統(tǒng)主要發(fā)展的方向。綜合性的網(wǎng)絡(luò)管理系統(tǒng)的目標(biāo)就是能夠集中監(jiān)控多個(gè)子網(wǎng)，但是由于目前電信網(wǎng)絡(luò)的規(guī)模逐漸變大且結(jié)構(gòu)也相對(duì)比較復(fù)雜，在同一時(shí)間產(chǎn)生的一些告警信息具有多類型、數(shù)量龐大等的特點(diǎn)，要想對(duì)告告警的根源進(jìn)行分析和定位是非常困難的事情，而有效利用好數(shù)據(jù)挖掘技術(shù)能夠進(jìn)一步解決綜合網(wǎng)管告警當(dāng)中存在的問(wèn)題，讓網(wǎng)絡(luò)的運(yùn)行更加流暢，質(zhì)量不斷提高。因此本文主要研究了數(shù)據(jù)挖掘在綜合網(wǎng)管告警相關(guān)性及其應(yīng)用，希望能夠提供一定的參考價(jià)值。

關(guān)鍵詞：?數(shù)據(jù)挖掘;綜合管網(wǎng)告警

中圖分類號(hào)：?TP391. 41????文獻(xiàn)標(biāo)識(shí)碼：?A????DOI：10.3969/j.issn.1003-6970.2019.09.031

本文著錄格式：曹素娥. 數(shù)據(jù)挖掘在綜合網(wǎng)管告警相關(guān)性中的研究與應(yīng)用[J]. 軟件，2019，40（9）：135-138

Research and Application of Data Mining in Alarm Relevance of Integrated Network Management

CAO Su-e

（school of Computer and Network Engineering， Shanxi Datong University， Shanxi Datong，?037009）

【Abstract】：?With the continuous progress of social economy， China's telecommunications industry has been greatly developed. Integrated management of telecommunications network and making the management of telecommuni cations network more intelligent are also the main development direction of telecommunications network manage ement system. The goal of a comprehensive network management system is to be able to centrally monitor multiple subnetworks. However， as the scale of the telecommunication network is becoming larger and the structure is rela tively complex， some alarm information generated at the same time has the characteristics of many types and large quantities. It is very difficult to analyze and locate the origin of the alarm， and to make good use of the data. Mining technology can further solve the problems existing in the integrated network management alarm， make the network run more smoothly and improve the quality continuously. Therefore， this paper mainly studies the corr elation and application of data mining in integrated network management alarm， hoping to provide some reference value.

【Key words】：?Data mining; Integrated pipeline network warning

0??引言

社會(huì)經(jīng)濟(jì)在不斷發(fā)展的過(guò)程當(dāng)中，通信業(yè)務(wù)的需求也在不斷擴(kuò)大，導(dǎo)致網(wǎng)絡(luò)規(guī)模也呈現(xiàn)擴(kuò)大的趨勢(shì)，增強(qiáng)了網(wǎng)絡(luò)規(guī)模的復(fù)雜性和帶寬需求量，所以對(duì)網(wǎng)絡(luò)進(jìn)行綜合化、自動(dòng)化以及智能化的管理是目前發(fā)展的主要趨勢(shì)，相關(guān)研究人員必須要認(rèn)識(shí)到綜合網(wǎng)絡(luò)管理系統(tǒng)的重要性，并對(duì)其進(jìn)行深入的研究，讓其能夠?qū)⑿畔⑦M(jìn)行收集、傳輸、儲(chǔ)存、維護(hù)、運(yùn)

營(yíng)等功能集為一體，將網(wǎng)絡(luò)資源最大限度利用起來(lái)，從而讓網(wǎng)絡(luò)的運(yùn)行質(zhì)量和效率不斷提高，也進(jìn)一步價(jià)格低網(wǎng)絡(luò)管理和控制的成本，讓網(wǎng)絡(luò)維護(hù)的手段呈現(xiàn)多樣化發(fā)展，促進(jìn)我國(guó)網(wǎng)絡(luò)的進(jìn)一步發(fā)展。

1??告警相關(guān)性以及數(shù)據(jù)挖掘的綜合概述

1.1告警相關(guān)性的綜合概述

告警相關(guān)性^[1]主要表示兩個(gè)或兩個(gè)以上的告警實(shí)體之間相互聯(lián)系、相互出現(xiàn)的情況，其相關(guān)性的結(jié)果一般有兩個(gè)：第一時(shí)增加了信息的語(yǔ)義內(nèi)容，第二是縮減了獨(dú)立單元的總數(shù)。所以告警相關(guān)性是對(duì)網(wǎng)絡(luò)中出現(xiàn)的多個(gè)告警的解釋和分析，將一個(gè)熟練縮減后的的告警的語(yǔ)義信息內(nèi)容提高的一種聯(lián)系。

告警主要是在綜合網(wǎng)絡(luò)管理的區(qū)域內(nèi)被定義的故障產(chǎn)生異常功能的原因，而故障是產(chǎn)生告警的主要因素，在特定事件發(fā)生的過(guò)程當(dāng)中，被管制的對(duì)象發(fā)出的一個(gè)通報(bào)就是告警，在系統(tǒng)當(dāng)中，發(fā)出的告警信息就表示其發(fā)生了一些異常或某些問(wèn)題，告警指示對(duì)可能有故障發(fā)生進(jìn)行表示，但是并不一定真正有故障發(fā)生，告警事件^[2]主要包括被管制的對(duì)象異常狀態(tài)下的信息。一般是故障的征兆、告警產(chǎn)生的時(shí)間等，但是告警并不會(huì)將網(wǎng)絡(luò)故障的問(wèn)題根源確切的位置信息明顯顯示出來(lái)，所以這就需要通過(guò)對(duì)網(wǎng)絡(luò)產(chǎn)生的告警進(jìn)行分析，從而對(duì)故障產(chǎn)生的原因進(jìn)行判斷。告警主要包含時(shí)間不同步、重復(fù)、閃斷、擴(kuò)散等的特點(diǎn)，其中時(shí)間不同步主要是由于在大型或者異構(gòu)的通訊網(wǎng)絡(luò)當(dāng)中，并沒(méi)有一個(gè)統(tǒng)一的網(wǎng)絡(luò)時(shí)間，導(dǎo)致告警事件發(fā)生時(shí)，會(huì)存在一定的時(shí)間誤差，所以會(huì)讓告警事件的分析以及解決面臨比較大的困難;重復(fù)告警主要是多個(gè)網(wǎng)絡(luò)部件檢測(cè)到了單獨(dú)一個(gè)告警，但是每一個(gè)都把告警事件發(fā)送導(dǎo)致告警信息出現(xiàn)重復(fù)的現(xiàn)象;閃斷告警主要是當(dāng)網(wǎng)絡(luò)業(yè)務(wù)量不斷增加的過(guò)程中，出現(xiàn)了網(wǎng)絡(luò)阻塞，或者是電腦的硬件處理能力較差，導(dǎo)致網(wǎng)絡(luò)管理的系統(tǒng)沒(méi)有處于正常狀態(tài)下，其處理器就會(huì)產(chǎn)生波動(dòng)負(fù)荷，導(dǎo)致網(wǎng)絡(luò)管理系統(tǒng)與設(shè)備管理系統(tǒng)在進(jìn)行通信的過(guò)程當(dāng)中出現(xiàn)超時(shí)的錯(cuò)誤，從而導(dǎo)致閃電告警出現(xiàn)。根據(jù)以上告警的特點(diǎn)對(duì)告警信息進(jìn)行處理，過(guò)濾掉告警數(shù)據(jù)，將告警的一些冗余數(shù)據(jù)消除，可以在一定程度讓告警數(shù)據(jù)的處理更具針對(duì)性和專業(yè)性，也讓告警的相關(guān)性分析效率有效提高。

1.2數(shù)據(jù)挖掘的綜合概述

隨著計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)的不斷進(jìn)步，數(shù)據(jù)挖掘機(jī)技術(shù)的出現(xiàn)是必然趨勢(shì)，它的出現(xiàn)一開(kāi)始就是與應(yīng)用相關(guān)。由于現(xiàn)在各個(gè)行業(yè)當(dāng)中進(jìn)行業(yè)務(wù)操作的發(fā)展方向都是流程自動(dòng)化發(fā)展，企業(yè)在經(jīng)營(yíng)的過(guò)程當(dāng)中產(chǎn)生的業(yè)務(wù)數(shù)據(jù)非常大量，所以企業(yè)在發(fā)展的過(guò)程當(dāng)中積極應(yīng)用數(shù)據(jù)挖掘能夠讓數(shù)據(jù)分析變得更加高層次和高效。目前在很多領(lǐng)域當(dāng)中，都有效應(yīng)用了數(shù)據(jù)挖掘，比如銀行、保險(xiǎn)、電信等商業(yè)領(lǐng)域，盡管它在這些領(lǐng)域當(dāng)中都將其技術(shù)優(yōu)勢(shì)有效展現(xiàn)出來(lái)，但是在綜合館網(wǎng)絡(luò)管理的應(yīng)用當(dāng)中，由于沒(méi)有比較成熟的經(jīng)驗(yàn)，所以其應(yīng)用還不完善。在電信當(dāng)中，應(yīng)用數(shù)據(jù)挖掘能夠幫助電信企業(yè)制定出更加合理的收費(fèi)和服務(wù)的標(biāo)準(zhǔn)，防止出現(xiàn)費(fèi)用欺詐等情況;在信息安全當(dāng)中應(yīng)用數(shù)據(jù)挖掘，這是因?yàn)樵诰W(wǎng)上日益增多的儲(chǔ)存處理的敏感問(wèn)題，出現(xiàn)了許多安全問(wèn)題，所以人們希望能有軟件進(jìn)行自動(dòng)的審計(jì)數(shù)據(jù)，并對(duì)數(shù)據(jù)進(jìn)行更深層次的分析，從中挑篩選出有用的信息，數(shù)據(jù)挖掘能夠判斷和與安全相關(guān)的一些特征，從而及時(shí)阻止一些未知入侵行為的出現(xiàn)。

2??數(shù)據(jù)挖掘在綜合網(wǎng)管告警相關(guān)性中的研究

2.1改進(jìn)設(shè)計(jì)綜合管網(wǎng)中的算法

在綜合網(wǎng)管系統(tǒng)當(dāng)中，使用關(guān)聯(lián)規(guī)則挖掘算法處理的對(duì)象主要是告警的數(shù)據(jù)，所以就需要對(duì)層次分析法和序列模式進(jìn)行了解，在綜合網(wǎng)絡(luò)管理當(dāng)中告警數(shù)據(jù)怎樣進(jìn)行關(guān)聯(lián)規(guī)則性的挖掘是面臨的主要問(wèn)題。告警數(shù)據(jù)的屬性^[3-4]有對(duì)象、ID、原因、級(jí)別等，其中告警的級(jí)別更是將告警的輕重程度直觀展現(xiàn)出來(lái)。在告警網(wǎng)元的度數(shù)表當(dāng)中其基本的屬性也包括網(wǎng)元的ID、名稱、拓?fù)涞亩葦?shù)等，由于使用層次分析法可以了解到當(dāng)屬性的維數(shù)較高，則會(huì)在降低其效率，所以可以區(qū)按照度數(shù)區(qū)間劃分出網(wǎng)元拓?fù)洌@樣就可以避免出現(xiàn)因?yàn)榫S度較高而出現(xiàn)的效率較低的問(wèn)題，其中綜合網(wǎng)絡(luò)管理中局部網(wǎng)元之間存在的拓?fù)潢P(guān)系如下圖1所示。

由以上的關(guān)系圖當(dāng)中可以看出，在整個(gè)網(wǎng)絡(luò)當(dāng)中的關(guān)聯(lián)強(qiáng)度是每個(gè)網(wǎng)元當(dāng)中的連接線數(shù)表明的，在綜合網(wǎng)絡(luò)管理系統(tǒng)當(dāng)中網(wǎng)元的數(shù)量非常多，并且網(wǎng)元不同，其拓?fù)涠葦?shù)也不相同，因此為了讓?xiě)?yīng)用層次分析法能夠方便計(jì)算，所以可以按照網(wǎng)元的拓?fù)涠葦?shù)進(jìn)行區(qū)間劃分，從而有效避免出現(xiàn)效率較低的情況，根據(jù)相關(guān)的專家研究顯示，在網(wǎng)元的拓?fù)涠葦?shù)^[5]一般要≤10，所以在具體工程當(dāng)中，對(duì)網(wǎng)元拓?fù)涠葦?shù)進(jìn)行獲取時(shí)，可以根據(jù)實(shí)際的情況對(duì)區(qū)間進(jìn)行劃分，如果說(shuō)普度數(shù)小于10則實(shí)際的度數(shù)值不做劃分，如果大于10則需要將拓?fù)涠葦?shù)劃分在10個(gè)以內(nèi)，所以在綜合網(wǎng)絡(luò)管理的系統(tǒng)當(dāng)中，為了能夠?qū)⒂绊憴?quán)值的數(shù)據(jù)信息獲取，就可以建立一個(gè)確定兩個(gè)因素權(quán)值的層次模型，其設(shè)計(jì)結(jié)構(gòu)圖如圖2所示。

在上圖當(dāng)中的n值應(yīng)該取≤10。根據(jù)設(shè)計(jì)的層次模型，建立起判斷的矩陣，就可以對(duì)告警級(jí)別和網(wǎng)元拓?fù)涠葦?shù)組合方案對(duì)應(yīng)的權(quán)值進(jìn)行計(jì)算，從而減少一些冗余且頻繁的項(xiàng)目產(chǎn)生，讓網(wǎng)絡(luò)效果更好。

2.2構(gòu)建綜合網(wǎng)管中的數(shù)據(jù)挖掘算法模型

通過(guò)改進(jìn)設(shè)計(jì)關(guān)聯(lián)規(guī)則挖掘算法，可以構(gòu)建出綜合網(wǎng)絡(luò)管理當(dāng)中數(shù)據(jù)挖掘算法的模型^[6]。本文所使用的算法挖掘的對(duì)象是網(wǎng)絡(luò)管理系統(tǒng)當(dāng)中的告警數(shù)據(jù)，所以其關(guān)聯(lián)的規(guī)則是挖掘告警數(shù)據(jù)相關(guān)的規(guī)則。整個(gè)算法的步驟^[7]-[8]首先要預(yù)處理告警數(shù)據(jù)后，按照時(shí)間的跨度和順序?qū)⒏婢l(fā)劃分為多個(gè)告警集合，并將每個(gè)告警當(dāng)中重復(fù)的告警類有效去除，在對(duì)所有的告警集合t進(jìn)行劃分的過(guò)程當(dāng)中，要找到1項(xiàng)目中的告警頻繁的項(xiàng)目集L1，以其為基礎(chǔ)，在對(duì)所有的告警集合t進(jìn)行劃分的過(guò)程當(dāng)中，還要尋找第K項(xiàng)的告警頻繁的項(xiàng)目集Lk，直到所得到的Lk出現(xiàn)空集為止，可以獲取到頻繁項(xiàng)目集當(dāng)中的集合L，將告警頻繁項(xiàng)目集和L中的Lk元素取出，尋找并對(duì)其每個(gè)元素中存在的相關(guān)規(guī)則進(jìn)行計(jì)算，直到都處理完，最后要在規(guī)則庫(kù)當(dāng)中，把所有滿足要求的告警關(guān)聯(lián)規(guī)則放入其中，整個(gè)算法才算完成，其主要的流程圖如下圖3所示。

這樣就可以設(shè)計(jì)出基于數(shù)據(jù)挖掘算法的相關(guān)性分析系統(tǒng)。在綜合網(wǎng)絡(luò)管理的系統(tǒng)^[9]當(dāng)中包括配置安全、告警故障等的管理，其中告警與故障管理兩者進(jìn)行配合能夠起到監(jiān)測(cè)的作用，迅速發(fā)現(xiàn)和糾正網(wǎng)絡(luò)中的故障，從而對(duì)網(wǎng)絡(luò)進(jìn)行維護(hù)，其主要的硬件結(jié)構(gòu)拓?fù)鋱D如圖4所示。

告警相關(guān)性分析的流程圖如圖5所示。

3??數(shù)據(jù)挖掘在綜合網(wǎng)管告警相關(guān)性中的應(yīng)用

數(shù)據(jù)挖掘在綜合網(wǎng)管告警相關(guān)性當(dāng)中的運(yùn)用^[10]，主要應(yīng)用在規(guī)則發(fā)現(xiàn)數(shù)據(jù)的預(yù)處理階段、挖掘階段以及后處理階段。其中用在規(guī)則發(fā)現(xiàn)數(shù)據(jù)預(yù)處理模塊當(dāng)中，需要對(duì)數(shù)據(jù)庫(kù)進(jìn)行頻繁的訪問(wèn)，其作用是進(jìn)行一定的降維操作，并且讓告警屬性具有特征性，把告警記錄表示出來(lái)，并在面對(duì)雪崩告警時(shí)能對(duì)一些重復(fù)性的告警進(jìn)行刪除，然后對(duì)告警進(jìn)行分類，從而讓告警信息的權(quán)值不斷增加，其主要的流程圖如圖6所示。

應(yīng)用在規(guī)則挖掘的模塊當(dāng)中，主要是在處理完告警數(shù)據(jù)之后，規(guī)則發(fā)現(xiàn)系統(tǒng)當(dāng)中的挖掘模塊，挖掘這些數(shù)據(jù)當(dāng)中一些頻繁的項(xiàng)目。規(guī)則挖掘模塊是一個(gè)內(nèi)部處理的模塊，通過(guò)研究出相關(guān)的函數(shù)代碼，可以讓一些頻繁項(xiàng)目集和規(guī)則的挖掘更加方便，在規(guī)則挖掘模塊當(dāng)中具有兩大功能，第一是發(fā)現(xiàn)頻繁項(xiàng)目集，第二是發(fā)現(xiàn)規(guī)則，在頻繁項(xiàng)目集表和挖掘規(guī)則表當(dāng)中存放入符合的支持度和置信度挖掘的結(jié)果，從而讓用戶可以通過(guò)平臺(tái)對(duì)這些挖掘的規(guī)則進(jìn)行編輯。

用于規(guī)則發(fā)現(xiàn)規(guī)則后處理的模塊，主要是對(duì)用戶提供一些編輯挖掘規(guī)則的界面，但是該模塊只是總結(jié)歷史數(shù)據(jù)，對(duì)信息統(tǒng)計(jì)，所以很難保證信息的準(zhǔn)確度和準(zhǔn)確性，但是其也有一定的優(yōu)勢(shì)，其主要的優(yōu)勢(shì)是能夠在海量的信息當(dāng)中挖掘出有用的信息和人們所關(guān)注的數(shù)據(jù)信息，但必須要用戶進(jìn)行一定的編輯之后才能使用，規(guī)則的后處理模塊主要是對(duì)用戶以及挖掘規(guī)則之間提供一個(gè)相互交互的平臺(tái)，由于挖掘的規(guī)則格式中還有一些冗余的規(guī)則，其描述也相對(duì)比較簡(jiǎn)單，所以規(guī)則模式是非常粗糙，因此需要增添和設(shè)置一些規(guī)則屬性，比如有限的時(shí)間、級(jí)別等，從而讓規(guī)則描述不斷得到豐富。

4??結(jié)束語(yǔ)

隨著社會(huì)經(jīng)濟(jì)的不斷發(fā)展，網(wǎng)絡(luò)的規(guī)模不斷擴(kuò)大是必然趨勢(shì)，逐漸建立的綜合網(wǎng)絡(luò)管理系統(tǒng)讓網(wǎng)絡(luò)運(yùn)行的質(zhì)量和效率得到了很大的提升，降低了一些運(yùn)營(yíng)商的運(yùn)營(yíng)成本，也讓維護(hù)的手段更加多樣化，從而讓相關(guān)企業(yè)得到了進(jìn)一步的發(fā)展，但是在社會(huì)發(fā)展的過(guò)程當(dāng)中，通訊網(wǎng)絡(luò)的節(jié)點(diǎn)構(gòu)成有成千上萬(wàn)種，所以當(dāng)發(fā)生一個(gè)網(wǎng)絡(luò)故障或者問(wèn)題的時(shí)候，就會(huì)產(chǎn)生大量的告警信息，從而影響了用戶用網(wǎng)的體驗(yàn)，因此在綜合網(wǎng)絡(luò)管理告警相關(guān)性分析中運(yùn)用數(shù)據(jù)挖掘技術(shù)，能夠幫助網(wǎng)絡(luò)管理人員對(duì)故障的信息進(jìn)行分析，并準(zhǔn)確定位故障的位置，從而縮減網(wǎng)絡(luò)故障的時(shí)間，減少一些告警數(shù)據(jù)，提高網(wǎng)絡(luò)的質(zhì)量，讓綜合網(wǎng)絡(luò)管理系統(tǒng)發(fā)揮出最大的作用，促進(jìn)其進(jìn)一步的發(fā)展。

參考文獻(xiàn)

• 韓宏瑩. 并行數(shù)據(jù)挖掘技術(shù)在電信網(wǎng)管告警中的應(yīng)用研究[D]. 長(zhǎng)春工業(yè)大學(xué)， 2016.
• 吳英虎. 寧夏鐵通網(wǎng)絡(luò)綜合告警系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D]. 電子科技大學(xué)， 2015.
• Wei Chen， Paraskevas Tsangaratos， Ioanna Ilia， Zhao Duan， Xinjian Chen. Groundwater spring potential mapping using population-based evolutionary algorithms and data mining methods[J]. Science of the Total Environment， 2019， 684.
• Javed A. Face Recognition Based on Principal Component Analysis[J]. International Journal of Image， Graphics and Signal Processing （IJIGSP）， 2013， 5（2）： 38.
• 李志敏， 趙晴. 綜合網(wǎng)管告警數(shù)據(jù)缺失原因與解決策略分析[J]. 移動(dòng)通信， 2015， 39（Z1）： 112-116.
• 蔡琦. 智能網(wǎng)管系統(tǒng)中的告警關(guān)聯(lián)規(guī)則研究與實(shí)現(xiàn)[D]. 武漢理工大學(xué)， 2014.
• 朱劍， 張錦， 成奮華， 等. 基于支持向量機(jī)的人臉識(shí)別研究[J]. 計(jì)算技術(shù)與自動(dòng)化， 2008， 26（4）： 79-81.
• 鐘彩. 邊緣檢測(cè)算法在圖像預(yù)處理中的應(yīng)用[J]. 軟件， 2013， 34（1）： 158-159.
• 馮杰， 屈志毅， 李志輝. 基于分類稀疏表示的人臉表情識(shí)別[J]. 軟件， 2013， 34（11）： 59-61
• 張錚， 王艷平， 薛桂香. 數(shù)字圖像處理與機(jī)器視覺(jué)[M]. 北京： 人民郵電出版社， 2010.