基于云計算的電力電能計量信息采集系統設計

宋曉川,鄭寬昀,李俊臣,武文廣,胡 威

(1.國網陜西省電力有限公司,陜西 西安 710000;2.南瑞集團(國網電力科學研究院)有限公司,江蘇 南京 211000)

智能電網建設的迅速開展,將會引入大量的智能電表、電網友好型設備等終端,從而使電力電能能夠進行雙向交互,為智能電網提供海量數據,但同時也給數據管理、分析和響應技術帶來極大的挑戰[1]。以往電力電能計量信息依靠人工采集的傳統方式,然后再對信息數據進行統計分析和錄入等操作[2],不僅效率低且容易出現錯誤,增加校對過程又會使效率再度降低,對后續電能生產計劃的制定也產生不小影響,且電表僅能顯示一段時間的電量,需要工作人員定期采集[3-4]。因此推進電力電能計量信息采集系統發展是電力行業發展的關鍵,但是現有電力電能計量信息采集方式效率層面還不夠完善,需要進一步深入探討。

云計算的出現為信息技術的發展開辟了新通道[5-6]。面對電能信息大數據時代,文獻[7]提出基于ATT7022E和STM32的電力數據采集系統,但該系統元素過多,需要的存儲空間大,且多余元素會造成空間浪費。文獻[8]提出基于Spark的發電機電能計量與分析自動化系統,但該系統在約簡過程中容易丟失部分屬性,導致信息隨之丟失。而偏序約簡算法解決了上述難題,利用其并行化特征直接約簡電能計量信息數據集,使約簡效率和準確率大幅提升。因此本文提出基于云計算的電力電能計量信息采集系統設計,該系統的創新點是配合使用偏序約簡算法進行電能數據約簡預處理,為電力行業自動化的發展建立技術基礎。

1 云計算下電力電能計量信息采集系統

國家電網已建立了與電能信息采集相關的一系列系統,主要負責采集不同用戶用電情況下的電力電能計量信息[9]。已有的運行體系缺乏整體統一協調,各部門與專業之間相互協作。對個別業務有特殊要求時,未考慮個別數據采集頻率標準,不能實現數據實時共享,限制了系統的應用范圍。對比現有國網系統,所提出的信息采集系統整體框架可以減少很多中間環節,具有更加高效快捷的特點。

1.1 電力電能計量信息采集系統硬件設計

云計算的關鍵技術是將大量的電力電能計量信息資源集中到虛擬化平臺上,為不同的電力用戶提供豐富的平臺服務,同時又能在不占用計算機內存空間的前提下存儲海量信息數據,滿足電力用戶對存儲空間的需求。云計算是一種強大的管理平臺技術,不僅是一種網絡技術,它還是一種集成了分布式存儲技術、編程技術和虛擬技術的綜合技術[10-11]。且云計算的應用成本較低,功能更加豐富,能夠為當前電力電能計量信息采集做出貢獻。

基于云計算的電力電能計量信息采集系統硬件設計整體架構圖如圖1所示。

圖1 基于云計算的信息采集整體架構圖

由圖1可知,信息采集的整體架構共有四層,分別為處理層、操作平臺、數據管理層以及數據采集層,具體介紹如下：

(1)數據采集層采集電能計量裝置中各種數據,通過電力電能檢測裝置和電力電能計量檢測設備以及各種傳感器實現,包括底層數據的采集,輸出電力電能計量,實現測量、記錄和發送各種電量,如發電量、供電量和用電量等。不同型號專變終端和用戶設備等均可作為計量設備被使用。

(2)數據管理層負責實時數據如何接入和研究參數等,以及通過偏序約簡算法對電力電能計量信息數據的預處理。偏序約簡算法是把相同內容的序列視為一個約束動作,根據數據管理層中攻擊者截獲的信息,判斷已等效的約束動作是否達到冗余狀態,然后約簡此刻狀態空間。偏序約簡算法以同一動作序列建立等價關系,在一定程度上可以減少安全協議狀態空間,提高約簡速度和檢測效率。偏序約簡算法計算公式為

Syj=Pij+Qij

(1)

式中：Pij為偏序約簡狀態遷移節點;Qij為偏約簡狀態后繼節點。根據式(1)可計算出偏序約簡狀態空間內最佳約簡效果,實現電力電能計量信息數據的預處理。

(3)操作平臺分為五個模塊,具體如下所示：①分布式文件系統可實現電力電能計量信息的存儲,該系統擴展性高,能夠靈活配置業務。②海量實時數據管理系統基于云計算實現存儲和管理大量實時數據,目前通用數據庫存儲和處理實時用電信息數據時具有局限性,而該系統通過簡化數據模型、擴展分布式存儲資源解決上述問題,以保證整體流程順暢運行。系統采用內存和磁盤組合存儲的分布式數據處理思想,電力電能計量信息為實時數據,使用內存存儲實現信息存儲與檢索,首先通過實時數據庫對其進行實時處理存儲,形成歷史數據文件塊,再通過并行計算系統分割和壓縮文件塊,最終實現數據存儲;存儲用戶與重要負荷電表數據文件采用磁盤存儲方式,存儲采用文件與數據結合方式實現,檢索技術使用哈希表數據結構。③并行計算系統使用MapReduce并行模式完成用電信息的統計與分析。④分布式并發控制系統實現即時刷新數據。⑤平臺安全管理系統負責管理整個操作平臺的安全,具體功能為系統、用戶和權限管理,以及報警等安全監測功能。

(4)處理層分為能力模塊、服務模塊、應用模塊以及終端采集和通信模塊,具體如下所示：①能力模塊含有搜索引擎和并行計算工作引擎,分別負責文檔存儲、索引、搜索和電力系統的計算與應用,為數據搜索和電力系統業務應用提供技術基礎。②服務模塊提供數據訪問接口以及數據查詢和監控訪問等服務,多種接口均可封裝為不同訪問方式,適用范圍廣。③應用模塊。采用云計算信息平臺,實現電力電能計量信息采集等功能,應用在電力系統為建設智能電網提供技術支持。④終端采集和通信模塊。主要包括主站服務器、信息采集基站和兩臺終端。主站服務器也叫總部服務器,主要負責存儲和處理數據;信息采集基站也叫中轉站,主要負責匯總采集的信息;兩個終端包括用戶智能化費控計量裝置和電力線路上的電壓與電流采集裝置。

海量電力電能計量信息采集系統硬件部分的底層數據利用模糊特征采集方法獲取[12],在云計算的環境下可得利用采集方法獲取的統計變量TJB計算公式如下：

TJB=Sjz×(gml-glm)

(2)

式中：Sjz為云計算結構數據組;gml與glm均為云計算關聯特征量。在云計算技術下,利用式(2)可得到電力電能計量信息采集系統的統計結果。根據智能電網全覆蓋、全服務和全費控制的要求,必須對上述四種硬件配置進行合理的配置。

1.2 電力電能計量信息采集系統軟件設計

基于采集到的海量電力電能計量信息采集系統軟件,使用偏序約簡方法進行預處理。偏序約簡方法主要是當有兩個獨立事件最終導致同一個結果時,只對其中一個事件進行分析處理。給出電力電能計量信息采集系統軟件部分屬性偏序約簡算法的具體步驟：

步驟一：在電力系統設定一個三元組：

X=(U,W,V)

(3)

式中：X為運行狀態;X與U均為集合;X包含全部狀態;U包含全部對象,也稱為論域;W=C∪{D},D?C,其中D和C分別描述兩種屬性,前者為決策,后者為條件;其中：

(4)

式中：V描述屬性w的值域,即?w∈W,Vw∈VO,VO為初始屬性值域。此三元組也稱電力系統信息決策表。

步驟二：使用上述定義決策表Vci∈U,VDi∈C(i∈[1,n],i為正整數),條件屬性為ci,Vci描述中間轉換狀態,VDi描述終止狀態,初始狀態設為O,VDi通過變換O得到,該變換經過所有變遷關系c1,c2,…,cn實現。

步驟三：若一個狀態量內有多個對象,經過變換后它們的狀態量也為同一個,但變換中狀態量不同。決策表中的對象擁有一樣的狀態值或者在一個范圍內都可以稱狀態量相同。變換通過經過變遷關系ci+1,ci+2,…,ci+n實現,設有ui∈U滿足以上條件變換。

步驟四：經過一個或相同的多個變遷關系變換后,這些對象依然為同一個狀態量,上述條件成立則去掉其他冗余對象只保留其中一個對象。

給出一個偏序約簡算法的定理：依靠D劃分等價類{D1,D2,…,Di},Di={u1,u2,…,ui}(t∈Z),對象為決策表中的數據。假設在一個等價類內有不止一個數據分片DSk(k=1,2,…,n),則對這些DSk進行約簡,得到的結果就為最后的約簡結果,表達式如式(5)所示：

(5)

式中：Wk為在第k個數據分片內求出的約簡屬性集;Wkj為通過第k個數據分片求出的第j個屬性,j=1,2,…,r。

根據偏序約簡算法的定理,設該決策表內有n個包含m個條件屬性和一個決策屬性D的對象,該決策表如表1所示。

表1 電力系統信息決策表

并行化是MapReduce模型突出的優點,與偏序約簡算法的特點相結合能夠根據決策屬性的取值將電力電能計量信息集進行等價類劃分,然后約簡其中各對象。算法能獨立處理并發事件,MapReduce模型擁有很多map函數,它們可以使約簡同時獨立開展。設E的值有k種,則E的分割等價類如式(6)所示：

(6)

式中：Ecmi為第i個屬性上第m個對象的值。

等價類內含有電力數據集,對其使用map函數完成約簡過程。

使用map函數偏序約簡算法的具體步驟如下：

步驟一：將數據集中的記錄分別作為一個對象,對其從初始狀態經過變遷關系轉換成決策狀態。

步驟二：若步驟一中處理結果為單個對象,則求其經歷狀態集合,否則求所有對象的經歷狀態并集。

步驟三：統計上述結果,若存在步驟二中的情形,解碼中間狀態量的集合并輸出,得到對應的最終結果;若不存在,則以上結果就為全部條件屬性。由此完成電力電能計量信息采集系統軟件設計,結合硬件部分,設計基于云計算的電力電能計量信息采集系統。

2 實驗分析

將本文系統應用于某供電區域,分別驗證本文系統的電力電能計量信息采集情況和查詢功能,并對本文系統信息預處理效率進行實驗分析,以及對實現本文系統信息存儲的分布式文件系統的工作性能進行實驗分析。

對該供電區域使用本文系統采集的月度電量進行查詢記錄,分別查詢供電量、售電量與用電量,查詢結果如表2所示。

表2 某區域月度電量查詢表 億kW·h

通過表2可知,應用本文系統能夠準確采集和查詢電力電能計量信息,滿足電力系統自動化要求,提供記錄分析與查詢服務,大幅度提升工作效率,推進電力行業發展進程。

在該供電區域中選取4組采集到的電力電能計量信息數據,數據規模相同,編號從1到4,比較不同節點數的信息預處理加速比性能,4組信息數據中選取不同節點數的約簡時間對比結果如圖2所示。

圖2 不同節點數約簡效率對比

由圖2中可知,本文系統的信息預處理約簡效率隨節點數的增加而增加,但由于每個節點間存在線程調度等開銷,導致效率不能達到理想狀態,不呈線性增加。不過由此可以推測出當數據規模較大時,節點數隨之增加,便可以使信息預處理的約簡時間大大縮短,表明使用本文系統進行數據預處理在時間效率上有極大的優勢。

本文系統實現信息采集過程中,采用Hadoop分布式文件系統(HDFS)完成電力電能計量信息的有效存儲,為此從分布式文件系統的運行時間和吞吐量兩個工作性能指標來衡量本文系統的信息存儲優勢。其中相同數據采集過程中的不同操作所用的運行時間可準確反映采集效率的高低,采集效率是綜合電力電能計量信息采集的重要指標之一,為了更好地匹配電力電能計量信息采集的可靠性能與準確性能,需要對分布式文件系統文件大小與運行時間的關系進行驗證,分布式文件系統運行時間對比結果如圖3所示。

圖3 分布式文件系統運行時間

由圖3可知,HDFS處理數據的時間隨著文件增大越來越少,尤其讀能力較為優越。主要原因為HDFS的處理模式為單次寫而多次讀,從而大量節省信息數據傳輸時間。

基準測試從吞吐量單方面進行,吞吐量是衡量電力電能計量信息采集的重要工作性能指標之一,基于對電力用戶的測試,根據信息采集過程中用戶的HDFS覆蓋數量確定覆蓋范圍,計算吞吐量是否有效,若沒有錯誤或意外測試結果,說明吞吐量良好,其中吞吐量越大表明工作性能越好,計算公式如下：

(7)

式中：Aa為分布式文件系統信息采集列表;Hh為用戶集合;Bb為項目總集合。分別測試不同大小文件的讀、寫操作吞吐量,其中大文件為一個3 GB的文件,小文件為10 000個單個大小為300 kB的文件。分布式文件系統吞吐量對比結果如圖4所示。

圖4 分布式文件系統吞吐量

由圖4可知,HDFS讀操作性能較好,且處理大文件比小文件工作性更好。客戶端數量的變化對HDFS影響較大,使系統性能出現波動,但隨著客戶端數量逐漸增加,吞吐量也逐漸呈穩定升高趨勢,證明HDFS具有較高的讀、寫操作能力,其中處理大文件的讀操作能力最好,寫操作能力相比之下較低,也從側面說明HDFS適用于計算復雜度不高的文件,當復雜度較高時寫操作可能會出現一定延遲。

3 結 論

設計基于云計算的電力電能計量信息采集系統,通過檢測裝置采集信息數據,偏序約簡算法再對采集到的信息進行預處理。大量的電能數據占用存儲空間,讀取和錄入效率越來越低,因此本文設計一種新的電力電能計量信息采集系統,實現電能信息的整體管理。通過實驗證明本文系統能自動采集電力電能計量信息,且能準確提供信息查詢服務。在數據預處理實驗中,本文所采用的偏序約簡算法的工作效率隨節點數量的增加而升高,實驗選取的節點數中15個節點的算法時間性能最好。分布式文件系統性能實驗中,驗證了文件越大此系統的工作效率越高,且工作性能越好;讀性能優于寫性能,均有較高的可擴展性,因此電力電能計量信息采集系統適合高吞吐量、文件較大且計算復雜度較低的電力電能計量信息數據,為電力電能計量信息的采集系統提供了技術支持,從根本上節約人工與時間成本。

電力電能計量信息采集系統設計工作還在不斷發展中,對于未來的研究,可以針對該系統采集電力電能信息的準確率和效率做更加深入的探討。