基于大數據技術的電力數據質量評估數據框架研究*

高 志 ，樊銳軼 ，耿少博 ，王偉力

(1.國網河北省電力有限公司，河北 石家莊 050000；2.國網天津市電力公司，天津 300019)

在大數據時代，大多數應用都是由數據驅動的。如果能提高數據質量，大數據應用的有效性和可靠性也能得到提高[1－3]。在電力行業中，不斷積累的電力數據越來越多，并在此基礎上開發了許多電力應用[4－7]。在我國，電力大數據在規模、結構、格式、評估要求等方面都具有一定的特殊性，傳統的大數據評估框架無法直接應用[8－9]。

因此，大數據質量評估技術已成為研究熱點。文獻[10]設計了一個基于決策樹和多維模型的大數據質量評估框架。但主要關注大數據評估的維度，沒有考慮不同領域的特點。文獻[11]討論了一種基于大數據采樣策略的高效數據質量評估方案，雖然被證明是可行的，但是評估對象并不是整個數據集。

除了數據評估技術外，電力大數據評估還需要數據采集技術和數據存儲技術。近年來，針對海量數據采集和存儲提出了許多分布式技術，但都不能直接應用于電力大數據[12]。綜上所述，本文提出了一個電力數據質量評估的大數據框架。該框架增加基于灰色理論的量化評價模塊，并給出一般性的數據指標質量計算公式。本框架可以同時積累實時數據和歷史數據，為電力大數據評估提供集成計算環境，支持不同類型數據的存儲。本文的研究結果為其他具有相似特征的大數據應用亦提供了一個有價值的框架。

1 電力數據質量評估數據框架

1.1 中國電力大數據的特點

由于大數據在多樣性、可變性和準確性等方面的特殊性，當下大數據的處理和存儲問題往往超出了傳統信息技術的能力。電力大數據在中國國家電網中的主要特點如下。

圖1 中國電力大數據特點

多層結構:電網是多層次的，有總部、省電網、地電網、市電網等。從總部來看，電網分為總部和省級電網兩個層次。

多源數據:不同類型的數據以不同的方式產生。基本數據是手動輸入的。實時數據由傳感器設備連續生成。歷史數據來自傳感器設備。

多數據類型:電力數據主要有三種類型，包括基礎數據、歷史數據和實時數據。基礎數據用于描述傳感器設備、指標等。歷史數據為包含傳感器設備歷史運行狀態的波形數據和文件。實時數據是指傳感器設備連續產生的數據。

信息獨立:由于每個省級電網都部署了傳感器設備，數據沒有整合，無法從整體角度進行深入分析。

不同的處理要求:根據不同電力應用的需求，完成數據處理的時間從分鐘到小時不等。

大規模:智能電網中廣泛部署的大規模電力傳感器不斷產生數據，這些數據的規模急劇增大。例如，當2 000 個監測點產生諧波數據時，每個監測點包含2 000 個指標，中國一個省的諧波檢測數據的數據容量將達到6 TB。

1.2 電力大數據評估框架

針對以上特點，本文設計了一個電力大數據框架代替標準的大數據框架，并在框架中加入了基于灰色理論的客觀數據評估模塊，以提高電力數據的質量。

圖2 設計了一個用于電力數據質量評估的大數據框架。在功能方面，包括數據采集、數據存儲和數據計算三個部分。在組織結構方面，分為總部和省電網兩部分。

圖2 電力大數據評估框架

首先，數據采集幾乎是每個大數據系統的重要組成部分。如圖2 所示，數據獲取包括四個主要模塊。細節如下。

(1)設備數據采集模塊:該模塊位于省級電網。收集大量傳感器設備的運行數據。

(2)實時數據積累模塊:該模塊負責收集省級電網的實時數據。實時數據積累過程如圖所示。總部首先從省電網獲取Kafka 的配置和主題。其次，數據被多個線程接收。最后，將實時數據保存在HBase 中，并將累積的日志記錄下來。

(3)歷史數據積累模塊:負責從省級電網獲取歷史數據。歷史數據積累過程如圖所示。總部與省電網首次建立了插座連接。其次，總部獲取部署在省電網的ftp 服務器的賬號和密碼。再次，獲取歷史數據的文件名。然后，下載并解壓縮包含歷史數據的zip 文件。最后，將歷史數據保存在HBase 和HDFS 中，并記錄相應的日志。

(4)采集任務調度與監控模塊:由于歷史數據的規模和頻率不相同，因此該模塊用于根據監控數據對任務進行調度。

此外，為了存儲不同類型的數據，設計了一個集成的存儲環境，包括關系數據庫Oracle、NoSQL 數據庫HBase 和分布式文件系統HDFS。使用Oracle 保存結構化數據，包括基礎數據和評估結果，使用HDFS 接收歷史數據，使用HBase 保存實時數據和從歷史數據中提取的信息。

最后是數據評估模塊，該模塊負責使用各種數據質量評估方法對電力大數據質量進行檢查和評估。

如圖2 所示，所有數據質量評估方法都由一個大數據平臺支持，該平臺涉及各種大數據技術，如Sqoop、Hive、Hbase、HDFS、MapReduce(MR)和Spark。

數據質量是一個多維的概念。主觀數據質量評價和客觀數據質量評價是兩種主要類型。主觀數據質量評估是基于利益相關者的經驗而實現的。客觀的數據質量評價主要取決于數據的狀態。考慮到客觀數據質量評估和主觀數據質量評估，框架中應用的數據質量評估過程如圖3 所示。

如圖3 所示，輸入包括實時數據、歷史數據和基礎數據，輸出為數據質量評價結果和高質量數據。由于數據的結構可能不適合后續的評估，因此首先采用預處理來調整實時數據或歷史數據的結構。例如，刪除多余的空白行和空白。其次，確定了數據質量評價的類型。對于無法通過客觀數據質量評價方法進行評價的數據，采用主觀數據質量評價方法。再次，對數據質量評估的結果進行評估，以確定輸入數據是否需要清洗。如果輸入數據的質量較低，則采用數據清洗方法，如基于閾值的離群點檢測方法和基于k均值的離群點檢測方法。

圖3 電力大數據評估流程

1.3 灰色理論客觀評價方法

為實現電力數據質量評價指標的科學合理性，本文在評價模塊提出了基于灰色理論的客觀綜合評價方法，具體實現如下:

首先應確定具體指標評價算法。針對中國電力大數據現狀，選取待評價數據集的正確性、一致性、及時性、完整性、冗余性進行度量[13]。具體算法如下。其中，P1，P2a，P2b，P3，P4，和P5分別為正確性度量，記錄完整率，數據完整率，一致性度量，及時性度量和冗余性度量。

式中:Dq為問題數據數，Cs為缺少數據項數，Ra為記錄數，Ca為數據項數。

式中:Rs為缺少記錄數。

式中:Cq為問題數據項數。

式中:To為數據出庫時間，Ti為數據發生時間，Ri為數據記錄時間，m為發生次數。

式中:Cr為冗余數據項數，Rr為冗余記錄數，Rfr為非冗余記錄數。

此外，本步驟也可根據實際情況選出需計算指標[14]，對于不適合客觀評價的指標，亦可選取專家評價法。

在獲取每項指標的評價值后，本文提出依據灰色理論對數據進行綜合定量評價法。

(1)獲取指標評價數據

最優化指標數列為Y＝{y(k)｜k＝1，2，…，n}；待評價指標數列為Xi＝{xi(k)｜k＝1，2，…，n}，i＝1，2，…，m。

(2)待評價指標與最優化指標關聯系數計算

最優化指標Y與待評價指標Xi的關聯系數計算公式如(7)所示。

式中:ρ∈(0，∞)。一 般ρ取值為(0，1)，當ρ≤0.546 3 時，分辨力最好，本文取ρ＝0.5。ξi(k)是指標矩陣xi的第k個元素與最優化指標矩陣Y的第k個元素之間的關聯系數。

(3)綜合數據質量量化值計算

待評價指標與最優化指標關聯系數是其在各個時刻或條件下的關聯程度值，數值不止一個，因此信息過于分散不便于進行整體性比較。作為待評價指標與最優化指標關聯程度的數量表示，本文以求平均值為例，綜合數據質量量化值ri計算公式如下:

2 數據框架應用

本文最后提出數據框架應用場景，如圖4 所示。本框架實現了對中國電網電力大數據評估的支持，由于本文主要內容為一種耦合灰色理論和數據框架的新思路，因此本節僅對應用架構場景進行概述。

(1)總部系統:主要分為四個部分。應用接口服務器與省電網系統的業務服務器進行通信。Web服務器用于支持不同的應用程序。存儲服務器包含評估結果的關系數據和基礎數據。大數據平臺用于保存實時數據和歷史數據，支持數據質量評估方法。

(2)省級電網系統:主要分為五個部分。接口服務器負責實現總部系統與省電網系統的通信。部署Web 服務器以支持本地電力相關應用程序。省級數據中心負責基礎數據和歷史數據的保存。業務服務器集群是一組用于獲取、分析和緩存數據的服務器。前端處理器集群是一組前端處理器。前端處理器是對從傳感器設備收集到的數據進行預處理的設備。此外，熱備份技術可以避免單點故障。

3 結論

本文提出了一個電力數據質量評估的大數據框架。在功能方面，包括數據采集、數據存儲和數據計算三個部分。在組織結構方面，分為總部和省電網兩部分。

該框架增加了基于灰色理論的量化評價模塊，并給出一般性的數據指標質量計算公式。本框架可以同時積累實時數據和歷史數據，為電力大數據評估提供集成計算環境，支持不同類型數據的存儲。

其研究結果為其他具有相似特征的大數據應用亦提供了一個有價值的框架。