面向電力電纜狀態監測綜合云計算平臺架構設計

摘要：電力電纜狀態信息監測對于保障電力安全至關重要，但現有監測系統的處理能力無法滿足海量監測數據的實時分析和處理。傳統的串行處理方式在應對海量數據增長時也暴露出很多不足，本文在傳統數據處理分析方法的基礎上，面向電力電纜的故障數據監測的應用場景，設計出一種能夠滿足全方位實時需求的綜合云平臺架構，能夠滿足海量數據的處理和存儲要求，為故障的及時發現與處理提供支持。

關鍵詞：電力安全;海量數據;云平臺

1、引言

電力電纜作為電力傳輸的重要載體，一旦出故障，對于人民的生產生活將造成極大影響。為了保障電力傳輸的安全，對電纜的狀態信息進行實時監測分析，及時發現電纜故障意義十分重大。隨著網絡技術和傳感器技術的不斷發展，電力監測中心能夠監測到的數據量極為龐大，傳統的信息監測系統無法滿足如此量級數據的分析和處理，因此構建海量監測數據快速、高效、穩定的處理平臺是目前電力企業極為關注的問題。

傳統的串行處理方式難以滿足海量電纜監測數據的處理需求，但隨著云計算、大數據等技術的快速發展和普及，為海量數據的處理分析帶來了新的思路。目前，多數的電力監測平臺采用的是大數據處理框架Hadoop，該平臺的大數據批處理能力較強，但無法滿足海量監測數據的快速處理以及實時性處理。針對以上不足，本文設計了一種基于云計算的電力電纜監測數據處理框架，從而保證了電纜監測數據處理的快速性和實時性要求。

2、傳統并行計算的不足

并行計算是一種相對于串行計算的計算模式，在該模式下多個計算過程是同時進行的，不同于循序進行的常規計算方式[1]。按照應用的計算特征分類，主要有以下幾方面的應用：

（1）數據密集應用。此類應用可以處理海量數據，但是計算并不復雜，以數據并行的方式進行計算。

（2）計算密集應用。此類應用處理的數據較少，但是計算非常復雜，主要以任務并行的方式進行計算。

（3）混合應用。相對于前兩種來說，此類應用的數據量和計算量都非常巨大，進行計算時可以采用數據并行的方式或任務并行的方式，也可以兩者結合使用。

并行計算相對于串行計算來說，具有處理速度快、高并發等多種有點。但是傳統的并行計算仍存在著一些不足，主要體現在以下幾點：

（1）擴展性有限。計算性能的提高很大程度上依賴于硬件系統的性能，如需進行擴展的話，可以采用更換處理器、提高內存、增加存儲空間等方式實施，但是此種操作的擴展性有限，成本代價也非常高。

（2）容錯性較差。傳統的并行計算模式是沒有提供容錯性機制的，因此，如果在計算的過程中某一部分出現錯誤，就要對整個過程進行重新計算。即使用戶在并行的程序設計中實現了容錯性，整個系統的穩定性是無法保證的。

（3）編程難度大。傳統的并行計算模型只是對一些功能進行了簡單的封裝，但是對于數據的管理、任務的調度、數據通信等較為復雜的功能并未進行封裝，因此，用戶在使用時，除需要考慮自身應用外，還需要處理較為繁瑣的技術細節，編程難度很大。

3、云計算編程模型

根據美國國家標準與技術研究所（NIST）給出的一種定義是：云計算是一種模式，它可以實現從可配置的計算資源共享池中方便地、按需地通過網絡訪問獲取所需的資源（包括網絡、服務器、存儲、應用及服務），所需資源能夠迅速被提供或釋放，只需投入很少的管理工作或與服務供應商進行很少的交互[2]。云計算主要包括虛擬化、可靠通用、面向服務等特點。隨著云計算技術的快速發展，一批新的編程模式的出現可以給用戶提供并行編程的服務平臺，并且屏蔽掉了底層細節，相對于傳統的并行計算具有很大的優勢，本文設計的云計算平臺主要采用三種主要的計算模式：

（1）Hadoop MapReduce計算模式

Hadoop是目前應用最為廣泛的大數據處理系統，其核心是分布式文件系統HDFS和MapReuce計算模型。HDFS具備分布式存儲的基本特征，采用主-從架構，建立一個完整的物理連接集群。MapReduce編程模型的基本思想仍是并行處理方式，但是其提供的Map和Reduce兩個借口將很多底層功能封裝起來，使用戶可以更加注重問題本身。本文通過Hadoop MapReduce計算模式對電力電纜監測中產生的海量數據進行分析和處理。

（2）Spark計算模式

相對于Hadoop來說，Spark由于是在內存中對數據進行處理，因此，處理速度更快，適用于大量迭代和交互的計算場景，本平臺在設計中通過Spark完成電力電纜海量局部放電信號的分析和處理，從而彌補Hadoop處理速度相對較慢的不足。

（3）Storm計算模式

對電力電纜進行監測，及時發現問題非常關鍵，因此數據的實時性處理尤為重要，Storm主要面向大規模不間斷數據流的實時分析[3]，因此本研究中使用Storm研究在線監測數據的實時處理方法。

4、綜合云平臺架構設計

為了能夠滿足電力電纜監測數據的實時快速分析和處理的需求，本文基于上文三種計算模型設計了綜合云平臺架構，整體包含三個層次：基礎層、平臺層和服務層。

（1）基礎層

基礎層的主要作用就是將需要用到的服務器設備、存儲設備等通過虛擬化的技術進行整合，通過整合，原有的底層之間的異構信息會被虛擬化資源屏蔽掉，因此可以有效降低設備的投資成本。同時，高層應用也不會與底層設備綁定，從而使資源的利用大大提高。

（2）平臺層

平臺層主要作用是在基礎層硬件的基礎之上，為上面的應用層提供需要的計算以及存儲的軟件。該層中的存儲主要是采用HDFS，大量的非結構化數據會以文件形式在其內部進行存儲。對于少量的非結構化數據和半結構化數據可以存儲在Hadoop的HBase中。平臺層整體的資源調度由YARN進行，YARN是一種資源管理系統，可以為上層的應用提供統一的資源調度，通過YARN，前文所述三種框架可以在統一的物理集群中運行，減少維護成本。根據用戶的需求以及監測到數據的特征，不同應用場景會分配給不同的計算模式來運行。

（3）應用層

設計應用層的主要目的是為用戶提供接口和各種服務，提供的接口中包含了很多的通用接口，這些接口可以重復使用，并且具有很好的擴充性。應用層提供的各種服務與用戶業務相連，根據不同的應用提供不同的、相應的服務。

參考文獻：

[1]王龍暉. 基于并行計算的調節閥大數據智能分析及建模方法研究[D].山東大學，2019.

[2]石秋發，邱瀚.基于云計算的大數據挖掘體系構建[J].電子技術與軟件工程，2020（10）：153-154.

[3]李川，鄂海紅，宋美娜.基于Storm的實時計算框架的研究與應用[J].軟件，2014，35（10）：16-20.

基金項目：

衡水市科技計劃自籌經費項目《基于大數據的XLPE電力電纜絕緣故障智能診斷方法研究》（項目編號：2019011003Z）單位：衡水市科技局

衡水學院高層次人才科研啟動基金項目《基于大數據的XLPE電力電纜絕緣診斷在線監測數據處理方法研究》（項目編號：2019GC13）

作者簡介：劉偉（1985-），男（漢族），河北衡水人，博士研究生，講師，研究方向：計算機大數據應用。