基于大數(shù)據(jù)處理技術(shù)的電力通信網(wǎng)資源預(yù)警分析系統(tǒng)的研究與實現(xiàn)

沃瀟瀟 王 燁

?

基于大數(shù)據(jù)處理技術(shù)的電力通信網(wǎng)資源預(yù)警分析系統(tǒng)的研究與實現(xiàn)

沃瀟瀟1王 燁2

1.國網(wǎng)湖南省電力有限公司信息通信分公司，湖南 長沙 410004 2.南京南瑞集團(tuán)公司，江蘇 南京 210003

隨著電力通信網(wǎng)資源數(shù)據(jù)的海量激增，大數(shù)據(jù)處理技術(shù)在電力通信網(wǎng)中的深入應(yīng)用，如何高效地使用“海量”通信資源數(shù)據(jù)，對電力通信系統(tǒng)的資源管理提出了更新、更高的要求。從海量實時數(shù)據(jù)的匯聚和處理方式著手，對如何建立多維度的電力通信網(wǎng)資源預(yù)警分析模型、如何實現(xiàn)資源預(yù)警場景實現(xiàn)進(jìn)行研究并提出建設(shè)方案。本系統(tǒng)能夠通過對電力通信資源的緊缺和薄弱環(huán)節(jié)進(jìn)行分析，提供智能分析決策功能，實現(xiàn)通信資源的自動預(yù)警和閉環(huán)管理。

電力通信傳輸網(wǎng)；通信資源；大數(shù)據(jù)處理；預(yù)警

引言

近年來，中國大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展正在從信息技術(shù)驅(qū)動向數(shù)據(jù)驅(qū)動方向進(jìn)階，大數(shù)據(jù)趨勢正從互聯(lián)網(wǎng)向各個領(lǐng)域延展，各行各業(yè)的決策正在向“數(shù)據(jù)智能驅(qū)動”轉(zhuǎn)變，未來在數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、人工智能等技術(shù)的基礎(chǔ)上，還將以智能化的形式賦能各行各業(yè)。

電網(wǎng)公司經(jīng)過近十年的信息化建設(shè)，積累的海量生產(chǎn)運(yùn)行和經(jīng)營管理數(shù)據(jù)，奠定了電力大數(shù)據(jù)應(yīng)用基礎(chǔ)。作為電力系統(tǒng)安全穩(wěn)定運(yùn)行的三大支柱之一的電力通信網(wǎng)，隨著公司快速發(fā)展和業(yè)務(wù)創(chuàng)新、網(wǎng)絡(luò)規(guī)模日益擴(kuò)大、網(wǎng)絡(luò)結(jié)構(gòu)的日趨復(fù)雜、通信資源海量激增，如何更好地發(fā)揮電力通信網(wǎng)對電網(wǎng)的支撐作用，對電力通信資源海量數(shù)據(jù)實時采集接入、關(guān)聯(lián)分析挖掘能力提出了更新、更高的要求。

1 電力通信資源管理存在的問題

電力系統(tǒng)已建立覆蓋全國各級電力骨干通信網(wǎng)、交換網(wǎng)、支撐網(wǎng)、接入網(wǎng)等在內(nèi)的統(tǒng)一通信管理系統(tǒng)（SG-TMS系統(tǒng)），通過系統(tǒng)對大量通信資源進(jìn)行管理，建立縱橫交互的管理體系，提高了通信資源的管理效率，但是在目前電力通信網(wǎng)資源管理中仍存在不足，考慮建立通信網(wǎng)資源預(yù)警分析系統(tǒng)，用以解決以下幾個方面的問題[1]。

一是解決數(shù)據(jù)關(guān)聯(lián)分析能力不足問題，用數(shù)據(jù)輔助決策分析，提升精益化管理水平。雖然經(jīng)過近幾年的電力通信信息化建設(shè)，通信管理系統(tǒng)中已積累了設(shè)備配置、運(yùn)行維護(hù)、業(yè)務(wù)通道關(guān)聯(lián)等海量原始數(shù)據(jù)，但由于缺少強(qiáng)大的數(shù)據(jù)關(guān)聯(lián)分析能力，無法從海量基礎(chǔ)數(shù)據(jù)中獲得真正有價值的、智能的、具有輔助決策的信息。

二是解決通信資源“被動”運(yùn)維問題，通過系統(tǒng)主動發(fā)現(xiàn)資源問題、主動預(yù)警。目前資源管理主要通過SG-TMS系統(tǒng)對通信資源進(jìn)行統(tǒng)計，但分析、管理很大程度上還需人工干預(yù)，現(xiàn)有通信資源的使用情況、預(yù)留額度、稀缺程度缺乏自動預(yù)警監(jiān)控，維護(hù)人員往往無法及時發(fā)現(xiàn)資源問題，有時將直接影響通信網(wǎng)絡(luò)規(guī)劃、建設(shè)、方式安排和設(shè)備運(yùn)行維護(hù)，影響管理效率。

三是解決“海量”數(shù)據(jù)填報準(zhǔn)確性無法校驗問題。通信管理系統(tǒng)中的原始數(shù)據(jù)，部分仍需通過人工方式錄入和維護(hù)，無法通過有效手段發(fā)現(xiàn)錯誤數(shù)據(jù)，嚴(yán)重影響對通信資源統(tǒng)計、分析的準(zhǔn)確性。

2 基于大數(shù)據(jù)電力通信網(wǎng)資源預(yù)警系統(tǒng)構(gòu)建思路

由于通信管理系統(tǒng)（SG-TMS系統(tǒng)）中已積累海量原始數(shù)據(jù)，因此通信網(wǎng)資源預(yù)警分析可借助海量實時數(shù)據(jù)的及時匯聚和分析處理技術(shù)，依托SG-TMS系統(tǒng)開展，同時借助外部數(shù)據(jù)源，對SG-TMS中的數(shù)據(jù)進(jìn)行提取與比對，從而對設(shè)備、光纜、業(yè)務(wù)等通信資源對象開展多維度分析、預(yù)警和優(yōu)化[2]。

2.1 體系構(gòu)建

結(jié)合電力通信資源管理的實際需求，構(gòu)建資源預(yù)警體系，進(jìn)行資源評估、及時預(yù)警、后續(xù)跟蹤，實現(xiàn)“預(yù)警分析—預(yù)控治理—效果評估”的閉環(huán)管理。考慮將資源預(yù)警從4個方向、4個對象、9個關(guān)鍵點來構(gòu)建整個體系，實現(xiàn)資源優(yōu)化、系統(tǒng)安全、自主運(yùn)維3個目標(biāo)。

2.2 功能構(gòu)建

建立資源預(yù)警分析系統(tǒng)主要包括4個功能點，資源預(yù)警分析子系統(tǒng)總體功能結(jié)構(gòu)如圖2所示。

（1）指標(biāo)計算引擎：提供高性能的指標(biāo)計算引擎，從業(yè)務(wù)安全、網(wǎng)絡(luò)安全、風(fēng)險點、利用率4個維度，定時從TMS資源信息管理中提取相關(guān)數(shù)據(jù)，根據(jù)指標(biāo)分析算法，結(jié)合用戶設(shè)置的權(quán)重和閾值（標(biāo)準(zhǔn)和規(guī)范）進(jìn)行對比，產(chǎn)生網(wǎng)絡(luò)預(yù)警及預(yù)警報告。

圖1 電力通信傳輸網(wǎng)資源預(yù)警體系架構(gòu)圖

圖2 總體功能結(jié)構(gòu)

（2）預(yù)警規(guī)則：提供各預(yù)警指標(biāo)的規(guī)則參數(shù)的管理維護(hù)功能，包括預(yù)警的分析范圍、權(quán)重、閾值等。

（3）處理建議：提供各預(yù)警指標(biāo)的處理建議的管理維護(hù)功能，可以為各預(yù)警結(jié)果添加個性化處理建議。

（4）預(yù)警處置與疏導(dǎo)：對于發(fā)現(xiàn)的預(yù)警結(jié)果，提供相關(guān)方式調(diào)配的路由方案支撐，執(zhí)行通道疏導(dǎo)、光路疏導(dǎo)或下發(fā)方式單。

3 基于大數(shù)據(jù)電力通信網(wǎng)資源預(yù)警系統(tǒng)設(shè)計與實現(xiàn)

3.1 系統(tǒng)構(gòu)建

構(gòu)建資源預(yù)警分析系統(tǒng)，需建設(shè)統(tǒng)一的計算框架支撐多維度預(yù)警指標(biāo)的分析計算。資源預(yù)警分析系統(tǒng)的功能架構(gòu)如圖3所示。

3.2 功能實現(xiàn)

由于系統(tǒng)采集數(shù)據(jù)存儲和統(tǒng)計分析均涉及海量數(shù)據(jù)，基礎(chǔ)組件應(yīng)該滿足大數(shù)據(jù)處理能力的要求，主要通過分布式任務(wù)調(diào)度和分布式緩存等實現(xiàn)對海量數(shù)據(jù)的批處理[3]。

圖3 系統(tǒng)架構(gòu)

（1）計算任務(wù)調(diào)度

由于數(shù)據(jù)的統(tǒng)計分析將會涉及大量分組統(tǒng)計、子查詢、嵌套查詢、窗口函數(shù)、聚合函數(shù)、排序等數(shù)據(jù)的聚合運(yùn)算，對系統(tǒng)資源的影響較大，因此采用基于分布式集群的任務(wù)調(diào)度機(jī)制，可按月、按周、按天、按小時間隔靈活配置任務(wù)的調(diào)度周期，計算節(jié)點支持橫向擴(kuò)展，通過數(shù)據(jù)庫進(jìn)行間接溝通，根據(jù)系統(tǒng)負(fù)載情況選擇合適的計算節(jié)點執(zhí)行任務(wù)。

（2）數(shù)據(jù)緩存

通信資源模型分為物理資源模型、邏輯資源模型和業(yè)務(wù)資源模型。物理資源模型從物理角度描述網(wǎng)絡(luò)及網(wǎng)絡(luò)中各種資源關(guān)系，邏輯資源從邏輯角度描述網(wǎng)絡(luò)及網(wǎng)絡(luò)中的各種資源的關(guān)系，業(yè)務(wù)資源模型以邏輯資源模型為基礎(chǔ)，統(tǒng)一描述各類業(yè)務(wù)資源及屬性模型，如圖4所示。

由于大部分預(yù)警分析都需要依賴TMS系統(tǒng)中原始數(shù)據(jù)，同時分析過程中也將產(chǎn)生大量過程性數(shù)據(jù)，因此預(yù)警分析任務(wù)生命周期中產(chǎn)生或使用到的原始數(shù)據(jù)、中間數(shù)據(jù)等過程性數(shù)據(jù)，采用分布式緩存，在存儲通信資源模型的中間層加工數(shù)據(jù)，避免各個計算任務(wù)再重復(fù)采集加工數(shù)據(jù)。

（3）指標(biāo)算法注入

圖4 電力通信資源模型關(guān)系

資源預(yù)警系統(tǒng)基于多處理階段模型，對預(yù)警指標(biāo)的算法模式進(jìn)行抽象建模，將處理過程拆分為數(shù)據(jù)選擇—數(shù)據(jù)預(yù)處理—數(shù)據(jù)變換—數(shù)據(jù)分析四個階段，實現(xiàn)對傳輸系統(tǒng)、光纜網(wǎng)絡(luò)、機(jī)房資源、輔助系統(tǒng)四類資源的指標(biāo)明細(xì)計算，定時從TMS系統(tǒng)中抽取數(shù)據(jù)，并根據(jù)指標(biāo)計算公式進(jìn)行計算結(jié)果。根據(jù)用戶設(shè)置的權(quán)重和閾值（標(biāo)準(zhǔn)和規(guī)范）進(jìn)行對比，發(fā)布預(yù)警工單并生成預(yù)警報告。

（4）計算結(jié)果歸集

資源預(yù)警系統(tǒng)對不同維度預(yù)警指標(biāo)的計算結(jié)果統(tǒng)一建模，記錄網(wǎng)絡(luò)預(yù)警及預(yù)警報告歷史記錄，系統(tǒng)根據(jù)歷史記錄比較生成網(wǎng)絡(luò)各指標(biāo)的總體發(fā)展趨勢。

3.3 主要應(yīng)用場景

為適用方式專責(zé)、設(shè)備專責(zé)、機(jī)房專責(zé)等不同用戶、角色對資源預(yù)警的需求，建立從業(yè)務(wù)安全、網(wǎng)絡(luò)安全、資源風(fēng)險、資源利用率等多個預(yù)警場景，提高對傳輸系統(tǒng)、光纜網(wǎng)絡(luò)、機(jī)房資源、輔助系統(tǒng)4類資源的安全性和運(yùn)維效率。

（1）業(yè)務(wù)安全

該場景以保障業(yè)務(wù)安全為目標(biāo)，以設(shè)備、光纜、業(yè)務(wù)通道組織方式為載體對全網(wǎng)重要業(yè)務(wù)的運(yùn)行安全情況進(jìn)行分析、預(yù)警和監(jiān)視，主要包括設(shè)備/光纜重載情況、業(yè)務(wù)主備通道同路由情況、業(yè)務(wù)通道路由可靠性等，相關(guān)用戶（角色）可通過此預(yù)警及時對業(yè)務(wù)安排方式進(jìn)行調(diào)優(yōu)。

（2）網(wǎng)絡(luò)安全

該場景以保障傳輸網(wǎng)絡(luò)安全為目標(biāo)，以站點、光纜、設(shè)備為載體對傳輸網(wǎng)絡(luò)的運(yùn)行安全情況進(jìn)行分析、預(yù)警和監(jiān)視，主要包括主備路由同纜、設(shè)備單電源供電、末端站單光路接入、樞紐站單節(jié)點接入、超大環(huán)、超長鏈路、超大節(jié)點等，相關(guān)用戶（角色）可通過此預(yù)警及時對網(wǎng)絡(luò)進(jìn)行調(diào)優(yōu)，同時為通信網(wǎng)規(guī)劃、建設(shè)等提供重要支撐數(shù)據(jù)。

（3）資源風(fēng)險和利用率

該場景主要是統(tǒng)計目前通信相關(guān)資源風(fēng)險情況和使用情況。風(fēng)險情況主要針對光纜和設(shè)備服役年限及故障情況進(jìn)行統(tǒng)計分析。資源利用率主要針對光纜和設(shè)備的物理資源以及邏輯資源進(jìn)行統(tǒng)計分析。物理資源利用率主要統(tǒng)計分析設(shè)備槽位、端口利用率及光纜段纖芯利用率等。邏輯資源利用率，主要統(tǒng)計分析帶寬利用率。相關(guān)用戶（角色）可通過此預(yù)警及時對業(yè)務(wù)安排方式進(jìn)行調(diào)優(yōu)，同時為后續(xù)的資源調(diào)配和網(wǎng)絡(luò)規(guī)劃提供重要支撐。

（4）故障處置與業(yè)務(wù)疏導(dǎo)

該場景主要是在突發(fā)故障后為快速恢復(fù)業(yè)務(wù)提供相關(guān)方式調(diào)配的路由方案支撐，與業(yè)務(wù)安全、網(wǎng)絡(luò)安全、資源風(fēng)險、資源利用率等應(yīng)用場景緊密相關(guān)。例如在光纜、設(shè)備或板卡發(fā)生故障時，及時提供疏導(dǎo)建議，快速恢復(fù)業(yè)務(wù)。此場景還可以對預(yù)警資源查看關(guān)聯(lián)的站點、機(jī)房、機(jī)柜、設(shè)備、板卡、光纜段資源的臺賬信息，查看預(yù)警資源涉及的承載業(yè)務(wù)、臨近光路、缺陷單、纖芯占用情況等子資源或相關(guān)資源信息，以便于對資源的進(jìn)一步定位和分析。可通過創(chuàng)建工作聯(lián)系單等方式，對故障處置和業(yè)務(wù)疏導(dǎo)進(jìn)行閉環(huán)管理。

4 結(jié)束語

電力通信傳輸網(wǎng)資源預(yù)警分析成果已在國網(wǎng)湖南省電力有限公司進(jìn)行了試點應(yīng)用，資源預(yù)警分析系統(tǒng)的應(yīng)用較改善了以往通過人工統(tǒng)計分析、問題暴露后再進(jìn)行整改的被動運(yùn)維模式，由“被動”轉(zhuǎn)為“主動”，通過數(shù)據(jù)挖掘、關(guān)聯(lián)分析等技術(shù)的應(yīng)用，實現(xiàn)了及時有效的預(yù)警分析服務(wù)，實現(xiàn)隱患分析和定位輔助技術(shù)手段的自動化和主動性，為建立以預(yù)防為主的主動運(yùn)維模式提供重要支撐，大大提高運(yùn)維效率，有效提升通信資源精益化管理水平。

[1]國網(wǎng)湖南省電力有限公司信息通信分公司. 電力通信傳輸網(wǎng)資源預(yù)警分析可行性研究報告[R]. 2017.

[2]呂順利，周澍，洪自歡，等. 基于門限的電力通信網(wǎng)資源預(yù)警的設(shè)計和實現(xiàn)[J]. 中國電子商情：通信市場，2013（2）：78-82.

[3]林炳花，林麗萍，等. 大數(shù)據(jù)技術(shù)在電力通信網(wǎng)的應(yīng)用分析[J]. 貴州電力技術(shù)，2017，20（10）：35-38.

Research and Implementation of Power Communication Network Resources Early Warning Analysis System Based on Big Data Processing Technology

Wo Xiaoxiao1Wang Ye2

1. Information and Communication Branch of State Grid Hunan Electric Power Co., Ltd., Hunan Changsha 410004 2. Nanjing NARI Group Corporation, Jiangsu Nanjing 210003

With the rapid increase of resource data of power communication network and the in-depth application of big data processing technology in power communication network, how to use “massive” communication resource data efficiently, puts forward newer and higher request for the management of power communication system. Starting from the aggregation and processing of massive real-time data, the paper proposes a construction planon how to establish a multi-dimensional early warning analysis model of power communication network resources and how to realize the implementation of resource early warning scenarios. The system can provide intelligent analysis and decision-making functions by analyzing the shortage and weak links of power communication resources, and realize automatic warning and closed-loop management of communication resources.

power communication transmission network; communication resources; big data processing; early warning

TP311.5；TN915.853

A

沃瀟瀟（1982—），女，湖南長沙人，高級工程師，從事電力通信調(diào)度運(yùn)行管理工作。王燁（1986—），男，江蘇南京人，工程師，從事電力通信管理系統(tǒng)研發(fā)工作。