基于大數據的網絡隱患分析系統研究與應用

摘要：文章提出了一種基于大數據技術的應用方式，通過挖掘告警強關聯規則深入挖掘網絡故障隱患，提升故障及隱患處理效率；通過構建季節性時間序列分析模型揭示歷史數據中故障隱患發生、發展的規律，對故障隱患進行有效預警，將故障隱患從被動處理的傳統模式革新到主動處理的預控層面上。

關鍵詞：大數據分析；告警關聯規則；故障預測

Research and Application of Network Hazard Analysis System Based on Big Data

ZHANG Rui， HUANG Jianbo， WANG Ruyue， ZHU Kunyuan， ZHAN Pengfei

（China Mobile Communications Corporation， Guangzhou 510000， China）

Abstract： The article proposes an application method based on big data technology， which deeply mines network fault hidden dangers by mining strong alarm association rules， and improves the efficiency of fault and hidden danger processing; By constructing a seasonal time series analysis model to reveal the occurrence and development patterns of fault hazards in historical data， effective early warning of faults and hazards can be provided， and fault hazards can be innovated from the traditional passive processing mode to the proactive pre control level.

Key words： big data analysis; alarm association rules; fault prediction

現階段網絡隱患主要通過人為方式對網絡告警及性能進行定性分析，無法有效挖掘出海量告警中的隱藏價值，不能實現多業務復雜網絡中的故障及隱患的快速處理[1]。大數據技術可以有效推動網絡分析工作的開展，但在當前5G背景下，在移動網絡中應用大數據分析技術仍舊存在一些問題，導致無法有效地開展故障隱患處理及預測工作[2]?；诖耍疚奶岢隽艘环N基于大數據平臺技術的應用方案，通過挖掘告警強關聯規則深入排查網絡故障隱患。

1" "大數據平臺技術架構及功能實現

1.1 大數據平臺技術架構

大數據平臺基于Hadoop HDFS組件實現海量數據存儲，通過Hive+Spark SQL模塊實現數據的分布式運算，通過Apache Kylin模塊實現數據多維分析。最后通過關聯規則（Apriori）深入挖掘告警性能與隱患的強關聯規則，開展隱患挖掘；通過構建季節性差分整合移動平均自回歸模型（SARIMA）對歷史數據進行故障預測，開展故障預防性維護。大數據平臺技術整體架構體系如圖1所示。

1.2 大數據平臺功能實現

（1）數據采集及存儲模塊：系統數據通過各廠家網管及故障管理系統實時采集和離線采集，共采集性能、告警、故障、割接、投訴5大類不同來源的178列屬性字段的數據，并將數據存儲在HDFS中。

（2）數據處理模塊：通過SQL語句盡可能賦予屬性名和屬性值明確的含義，統一多數據源的屬性值編碼，統一多數據源的時間計算方法，去除重復性、去除空白字段、去除干擾字段等。通過數據預處理、清洗操作，最終獲得包含性能名稱、告警名稱、故障類型、網元名稱、網元經緯度、發生時間、持續時間、設備信息、專線路由、復用段信息等關鍵特征的數據。

（3）數據分析及應用模塊：數據清洗完成后通過Python使用Apache Kylin、Spark SQL提供數據查詢與多維分析，同時通過Matplotlib和Seaborn庫提供豐富靈活的可視化圖表統計分析服務。通過表間關聯，利用關聯規則（Apriori）挖掘關鍵告警性能數據與故障、隱患、業務投訴之間的強關聯規則，有效攔截處理故障及隱患事件。通過構建季節性差分整合移動平均自回歸模型（SARIMA）對歷史故障及隱患數據進行預測，實現故障隱患的預防性維護。

2" "隱患分析模型研究

2.1 關聯規則分析

通信網絡設備多、規模大且組網結構復雜，當一個節點發生故障時，產生的告警、性能信息都有千絲萬縷的關聯[3]。挖掘出根源告警、根源性能事件與故障之間的強關聯規則，可以極大地提高故障定位及處理效率[3，4]。在隱患挖掘關聯規則（Apriori）實施前，首先對長期存在或特別指定的工程網元及監控規則界定的閃報類告警進行過濾，僅對有效告警進行關聯規則挖掘；其次將全量告警區分為設備類、通信類、環境類、時鐘類、網管類、光層類、電層類、指示類8大類，最后由于告警、故障、性能的上報時間并不同步，存在一定的延遲現象，因此設置滑動的時間窗口按類、逐層迭代，對告警進行關聯規則分析。關聯規則實施步驟圖2所示。將每一類告警對應的數據定義為數據集D，掃描其所有的事務，計算每一個項的支持度，生成候選項集C1，然后通過比較最小支持度生成頻繁項集L1，通過頻繁項集L1組合生成候選項集C2，然后逐層搜索迭代掃描數據庫，使用頻繁k-項集，對比篩選出頻繁k+1-項集。例如，將線路類告警對應的數據定義為數據集D1，掃描其所有的事務，計算每一項支持度后，將與線路無關的告警剔除，繼續生成候選項集，計算支持度，生成頻繁項集，最終得到與線路類故障及隱患相關的根源告警及性能事件。

實施通過關聯規則（Apriori），獲取告警與故障及隱患之間的強關聯規則，可以在告警或性能上報時及時觸發強關聯規則，有效提升網絡監控人員故障定位的效率。表1列舉了國際專網2023年1～4月的告警關聯率，介于83%～88%之間，這意味著實施告警強關聯規則將有效攔截或處理83%以上的故障及隱患，這對于改善網絡質量有重要的意義。通過實施關聯規則，挖掘告警與專線投訴中斷或閃斷之間的強關聯規則，這對于攔截批量投訴具有一定的意義。

2.2 時間序列預測模型

通過對5大類（性能、告警、故障、割接、投訴）歷史數據的分析發現數據具有較明顯的季節特征，地理氣候、節假日等因素對某些省份、某些復用段故障隱患的發生有顯著影響。經數據平穩性檢驗發現該時間序列數據為非平穩數據，因此可采取季節性差分整合移動平均自回歸模型（SARIMA）開展預測分析[5，6]。SARIMA也叫做季節性ARIMA，是ARIMA的擴展，明確支持具有季節性成分的單變量時間序列數據。該模型表示為SARIMA（p，d，q）（P，D，Q）m，其中（p，d，q）是模型中的非季節部分，（P，D，Q）模型中的季節部分，m表示時序的周期性，這里我們選擇以月為周期m=1。通過對時間序列進行了1階差分運算，得到平穩的時間序列，因此d=1。接下來通過網格搜索（Grid Search）法確定SARIMA模型參數，用Python itertools函數生成不同的參數組合，通過AIC（Akaike InformationCruterion）準則確定最優模型參數，選取AIC最小值147.14293對應的參數組合SARIMA（0，1，1）x（0，1，1，1）。通過plot_diagnostics方法開展殘差序列隨機性檢驗，殘差互相獨立，模型通過檢驗殘差成立。流程如圖3所示。

接下來選取2017年—2021年的國際專網的歷史數據對2022年5月以來數據進行SARIMA（0，1，1）（0，1，1，）1模型擬合，將預測數據與實際數據對比發現（圖4），模型預測值與真實值差異不大，計算均方誤差（Mean Squared Error，MSE）為1.415386，均方根誤差（Root Mean Squared Error，RMSE）為1.208941，說明模型能較好地預測故障的發生。同時也對某復用段進行了數據擬合，擬合后MSE=1.4，RMSE=1.183215，這說明模型對數據具有良好的適應性，可以較好地預測故障或隱患的發生。

基于SARIMA的時間序列模型的故障及隱患預測可以有效建立健全預警機制，提升處理故障效率。對于預測到即將發生較多故障及隱患的段落加強巡查，這對于優化人員調度、提升故障處理效率，具有重大的意義[7]。

3" "系統使用效果及應用場景

基于大數據技術的隱患智能分析系統自在現網應用以來，有效支撐了日常生產工作。以周為粒度開展全網基礎數據與指標管理，及時分析數據波動情況，消除網絡隱患。2022年有效挖掘告警隱患220起，網絡質量得到極大改善；工程告警占比從34.4%下降至1.3%，監控效率進一步提升；有效預測設備類（單板、連接單元等）隱患45起，性能劣化故障19起，預防性維護效果初現。

4" "結束語

基于大數據技術的隱患分析挖掘系統通過采用Hadoop HDFS組件的大數據平臺，實現了海量數據的分布式運算及數據多維分析，提供靈活可視化報表服務；通過關聯規則（Apriori）深入挖掘告警性能與隱患的強關聯規則，開展隱患挖掘；通過構建季節性差分整合移動平均自回歸模型（SARIMA）對歷史數據進行故障排查，開展故障預防性維護。通過全面管控、有效預警、合理分析、信息互聯，使網絡分析及隱患治理工作進一步走向科學化、規范化與信息化，顯著提高了網絡質量和管理水平。

參考文獻

[1] 李棟．大數據分析在網絡監控中的實現與應用[J]．通信管理與技術，2020（4）：44-46.

[2] 齊小剛，胡秋秋，姚旭清，等．一種有效的通信網絡告警分析方法[J]．西安電子科技大學學報，2019，46（4）：1-8，158.

[3] 李彤巖．基于數據挖掘的通信網告警相關性分析研究[D]．成都：電子科技大學，2010.

[4] 丁宏，周宏林．基于機器學習的通信網告警關聯分析綜述[J]．東方電氣評論，2021，35（1）：77-88.

[5] MAKRIDAKIS S. A survey of time series[J].International Statistical Review， 1976， 44（1）： 29-70.

[6] 李明敏，裘煒毅，蔣舜等．一種基于修正ARIMA模型的軌道交通站點出站客流預測方法[J]．交通與港航，2017，4（2）：45-49.

[7] 陳穎．基于電信網管告警數據分析的網絡故障預測研究[D]．北京：北京郵電大學，2020.

作者簡介：張" 蕊（1988-），女，漢族，河南新鄉人，工程師，碩士研究生，研究方向為網絡告警、數據分析。