基于HBase 的鄉(xiāng)村智能電網(wǎng)數(shù)據(jù)自動分析平臺設(shè)計

蘇余泉，王 瑋，謝海芳，蘇錦青

（1.國網(wǎng)福建省電力有限公司，福建福州 350001；2.國網(wǎng)福建營銷服務(wù)中心，福建福州 350001；3.福建省供電服務(wù)有限責(zé)任公司，福建福州 350001）

鄉(xiāng)村電網(wǎng)建設(shè)的迅速發(fā)展，解決了部分邊遠(yuǎn)鄉(xiāng)村地區(qū)的用電問題，提高了人們的生活質(zhì)量，推動了農(nóng)村經(jīng)濟的快速發(fā)展[1]。但是，由于受鄉(xiāng)村地域、自然環(huán)境或局部負(fù)荷過重等各種因素的影響，導(dǎo)致傳統(tǒng)的鄉(xiāng)村電網(wǎng)無法保障良好的電壓質(zhì)量和可靠的供電性能。再加上鄉(xiāng)村電網(wǎng)成本較高，嚴(yán)重制約著鄉(xiāng)村經(jīng)濟的發(fā)展[2]。

為此，必須根據(jù)鄉(xiāng)村供電需求的特點，利用智能技術(shù)建立智能電網(wǎng)大數(shù)據(jù)分析平臺，可以為鄉(xiāng)村各類分布式電源的實時供需平衡提供決策支持，同時也保障了鄉(xiāng)村供電的可靠性。計算每個聚類中心點，并按照相同的策略對其進行劃分后得到最大迭代數(shù)[3]。通過建立統(tǒng)一規(guī)范的信息模型、接口和信息對象編碼，實現(xiàn)鄉(xiāng)村智能電網(wǎng)數(shù)據(jù)自動分析平臺的標(biāo)準(zhǔn)化管理。但目前該數(shù)據(jù)自動分析平臺缺乏對網(wǎng)格協(xié)同監(jiān)測的整體考慮，無法實現(xiàn)故障主動式檢測，從而導(dǎo)致分析結(jié)果不準(zhǔn)確。針對這一問題，設(shè)計了基于HBase 的農(nóng)村智能電網(wǎng)數(shù)據(jù)自動分析平臺。

1 系統(tǒng)硬件結(jié)構(gòu)設(shè)計

針對鄉(xiāng)村智能電網(wǎng)數(shù)據(jù)分析領(lǐng)域?qū)Υ罅繑?shù)據(jù)量、敏捷響應(yīng)以及數(shù)據(jù)分析任務(wù)多樣化的需求和特點，設(shè)計了一種基于HBase 集群擴展數(shù)據(jù)分析任務(wù)的分層軟件平臺。其中包括數(shù)據(jù)聚合層、云計算層、中間層和展示層，應(yīng)該從低層向高層提供信息和數(shù)據(jù)服務(wù)[4-6]。基于HBase 的鄉(xiāng)村智能電網(wǎng)數(shù)據(jù)自動分析平臺硬件結(jié)構(gòu)如圖1 所示。

圖1 智能電網(wǎng)數(shù)據(jù)自動分析平臺硬件結(jié)構(gòu)

由圖1 可知，數(shù)據(jù)聚合層的數(shù)據(jù)同步引擎主要包括數(shù)據(jù)同步編碼，負(fù)責(zé)對全部范圍內(nèi)同步采集數(shù)據(jù)；電能數(shù)據(jù)采集模塊負(fù)責(zé)采集數(shù)據(jù)；數(shù)據(jù)備份模塊負(fù)責(zé)備份本地數(shù)據(jù)；數(shù)據(jù)預(yù)處理模塊負(fù)責(zé)資料抽取、轉(zhuǎn)換及信息傳輸[7]。

云計算層引入HBase 平臺，采用MapReduce 架構(gòu)，實現(xiàn)對數(shù)據(jù)分析和處理任務(wù)的分布式并行處理，提高了計算速度。HDFS 是基于分布式文件系統(tǒng)的底層預(yù)處理電源數(shù)據(jù)，能有效、持久地存儲在列數(shù)據(jù)庫中[8-9]。

中間層包括Web 后臺程序、數(shù)據(jù)加權(quán)模塊和關(guān)系型數(shù)據(jù)庫等，在這種情況下，網(wǎng)絡(luò)后端負(fù)責(zé)實現(xiàn)層的業(yè)務(wù)邏輯，例如響應(yīng)用戶操作等，并將輸出分析數(shù)據(jù)轉(zhuǎn)換為適合Visual GUI 的數(shù)據(jù)[10-12]。

展示層負(fù)責(zé)給系統(tǒng)提供操作指導(dǎo)、顯示操作界面和數(shù)據(jù)分析結(jié)果。

1.1 HBase體系結(jié)構(gòu)

HBase 是基于Hadoop 的HDFS，因此其結(jié)構(gòu)與Hadoop 的主從模式相似。HBase 的體系結(jié)構(gòu)主要包括HBase 主服務(wù)器和區(qū)域服務(wù)器集群，可以有效地控制和分配數(shù)據(jù)的管理工作[13]。HBase 體系結(jié)構(gòu)如圖2 所示。

圖2 HBase體系結(jié)構(gòu)

由圖2 可知，Hregion 服務(wù)器負(fù)責(zé)區(qū)域的服務(wù)和管理，使用Hregion 服務(wù)器存儲特定區(qū)域的數(shù)據(jù)，可以在一個或多個區(qū)域服務(wù)器中存儲指定表的數(shù)據(jù)。將數(shù)據(jù)添加到HBase 中，無需直接刪除或更新數(shù)據(jù)，即可更新所有數(shù)據(jù)。當(dāng)合并HBase 后，將會對數(shù)據(jù)進行更新或刪除[14]。如儲存的檔案數(shù)目超出設(shè)定的最低數(shù)目，多個儲存單位合并為一個儲存單位會被扣分。該方法以HRegion 為基礎(chǔ)，通過對加載區(qū)的劃分，使新型計算機能夠恢復(fù)加載區(qū)的數(shù)據(jù)。

1.2 數(shù)據(jù)同步平臺

訪問層應(yīng)用程序可以相互調(diào)用，或通過地址分配、路徑分配、合并和交換等方式進行同步調(diào)用或異步消息傳遞，從而建立服務(wù)注冊和發(fā)現(xiàn)機制[15]。

通過解析MySQL 的SQL 二進制日志，實現(xiàn)數(shù)據(jù)中心之間的增量、準(zhǔn)實時和雙向數(shù)據(jù)同步。通過數(shù)據(jù)審核和驗證，確保最終數(shù)據(jù)的一致性。為提高數(shù)據(jù)同步效率，各中心應(yīng)采取相應(yīng)的同步策略。個性化服務(wù)中，兩個中心只對靜態(tài)數(shù)據(jù)和配置數(shù)據(jù)進行同步[16]。不同數(shù)據(jù)中心之間的數(shù)據(jù)同步可以實現(xiàn)遠(yuǎn)程運動狀態(tài)下的數(shù)據(jù)，并解決了不同數(shù)據(jù)中心之間存在的延遲性和不一致的問題，實現(xiàn)遠(yuǎn)程數(shù)據(jù)同步。

2 系統(tǒng)軟件部分設(shè)計

為了提高電能數(shù)據(jù)的分析處理能力，設(shè)計了一種基于HBase 技術(shù)的鄉(xiāng)村智能電網(wǎng)數(shù)據(jù)自動分析平臺。該系統(tǒng)程序設(shè)計步驟如下所示：

步驟一：HBase 平臺在接到電網(wǎng)數(shù)據(jù)分析指令后，在云計算層運作下建立數(shù)據(jù)分析模型，在該模型中分析數(shù)據(jù)。

步驟二：平臺調(diào)用HBase 提供的大量電力數(shù)據(jù)來完成存儲任務(wù)。

步驟三：關(guān)系數(shù)據(jù)庫存儲數(shù)據(jù)分析模型分析得到的電力數(shù)據(jù)。

步驟四：根據(jù)任務(wù)的需要，后臺程序?qū)⒉檎谊P(guān)系數(shù)據(jù)庫中的數(shù)據(jù)分析結(jié)果，并將結(jié)果圖形化地顯示在網(wǎng)頁上。

2.1 基于HBase電網(wǎng)時序數(shù)據(jù)處理

與傳統(tǒng)關(guān)系數(shù)據(jù)庫不同，HBase 提供了一種數(shù)據(jù)組織模式，其特點是：靈活、定制和面向集群。在Hadoop 系統(tǒng)中，HBase 實現(xiàn)了為海量數(shù)據(jù)提供良好面向集群存儲和在線應(yīng)用支持的功能。HBase 數(shù)據(jù)模型如圖3 所示。

圖3 HBase數(shù)據(jù)模型

由圖3 可知，該模型采用分層存儲機制，能較好地實現(xiàn)在線實時處理。使用HBase 中的數(shù)據(jù)，應(yīng)用程序可以直接使用自定義模式，同一數(shù)據(jù)表的不同行可以有不同的列。對所有用戶的日用電量數(shù)據(jù)按式（1）進行歸一化，將數(shù)值映射到范圍[0，1]，并將所有數(shù)據(jù)統(tǒng)一到同一參考標(biāo)準(zhǔn)之下。

式（1）中，xi表示電網(wǎng)時序數(shù)據(jù)的第i個值；表示歸一化電網(wǎng)時序數(shù)據(jù)的的最大值，表示歸一化電網(wǎng)時序數(shù)據(jù)的最小值。

2.2 分析流程設(shè)計

電網(wǎng)數(shù)據(jù)自動分析流程如下：

步驟一：基于智能電網(wǎng)的電力消耗記錄，MAP 操作由多層監(jiān)控節(jié)點中的第一層執(zhí)行。

步驟二：如果監(jiān)控節(jié)點執(zhí)行第一層運算，則其監(jiān)控節(jié)點在預(yù)設(shè)的時間間隔之后執(zhí)行映射運算。同時，每層中的第二層監(jiān)控節(jié)點負(fù)責(zé)第一層監(jiān)控節(jié)點在其管轄范圍內(nèi)的通信操作。

步驟三：在預(yù)定的時間間隔內(nèi)，多層第n層的監(jiān)控節(jié)點合并包含多層第(n-1)層的監(jiān)控節(jié)點，而合并的結(jié)果則存儲在第n層的監(jiān)控節(jié)點中，其中n是整數(shù)。

步驟四：依據(jù)智能電網(wǎng)區(qū)域內(nèi)的用電記錄，包括用電情況、用電方式、用電量、用電量等，生成多個鍵值對，其中鍵值對的關(guān)鍵字為電力消費模式編號。

步驟五：將合并結(jié)果緩存于n層監(jiān)控節(jié)點中，減少了各監(jiān)控節(jié)點間的數(shù)據(jù)分析延遲，提高了智能電網(wǎng)負(fù)荷數(shù)據(jù)分析效率。

3 實驗分析

調(diào)查數(shù)據(jù)來自不同省的電網(wǎng)，從電網(wǎng)數(shù)據(jù)的統(tǒng)計結(jié)果來看，以鄉(xiāng)村居民用電量的4 個類型為依據(jù)，其中每個鄉(xiāng)村常住人口均超過百戶人口數(shù)量，參照國民經(jīng)濟和行業(yè)分類標(biāo)準(zhǔn)，對基于HBase 的鄉(xiāng)村智能電網(wǎng)數(shù)據(jù)自動分析平臺進行了實驗驗證和分析。

3.1 用電行為分析

該項目在實際開發(fā)過程中，從電網(wǎng)公司獲得的數(shù)據(jù)量十分有限。其中，大客戶的數(shù)據(jù)收集能力較弱，部分大客戶在特定的時間段內(nèi)沒有電量數(shù)據(jù)。為了保證數(shù)據(jù)質(zhì)量，在測試過程中，對測試數(shù)據(jù)進行了篩選，以保證主用戶供電數(shù)據(jù)完全可靠。

鄉(xiāng)村的4 個類型電網(wǎng)數(shù)據(jù)相關(guān)信息如表1 所示。

表1 鄉(xiāng)村的4個類型電網(wǎng)數(shù)據(jù)相關(guān)信息

用戶每天的電力消耗趨勢與具體的電力消耗無關(guān)，因此用歸一化值來表示。用電量數(shù)據(jù)歸一化后數(shù)值如表2 所示。

表2 用電量數(shù)據(jù)歸一化后數(shù)值

由表2 可知，2 月初至3 月初是中國傳統(tǒng)的新年，大多數(shù)農(nóng)民和建筑工人回家過年。所以2 月份工業(yè)停產(chǎn)，用電量大幅度下降。3 月初，由于工人大量返工，用電量又回到了原來的水平。相反，畜牧業(yè)和生物質(zhì)產(chǎn)業(yè)的勞動力相對穩(wěn)定，所以2 月份春節(jié)期間每日用電量波動較小。

3.2 實驗結(jié)果與分析

分別使用基于K-means 算法、云計算和基于HBase 鄉(xiāng)村智能電網(wǎng)數(shù)據(jù)自動分析平臺分析鄉(xiāng)村的4 個類型用電量情況，并與實際用電量對比分析。三種平臺用電量分析結(jié)果，如圖4 所示。

由圖4（a）可知，使用基于K-means 算法平臺農(nóng)業(yè)類用電量歸一化后數(shù)值在[0.4-0.9]范圍內(nèi)，畜牧類用電量歸一化后數(shù)值在[0.3-0.7]范圍內(nèi)，建筑類用電量歸一化后數(shù)值在[0.3-0.6]范圍內(nèi)，生產(chǎn)類用電量歸一化后數(shù)值在[0.6-0.9]范圍內(nèi)。

由圖4（b）可知，使用基于云計算平臺農(nóng)業(yè)類用電量歸一化后數(shù)值在[0.6-1.0]范圍內(nèi)，畜牧類用電量歸一化后數(shù)值在[0.2-0.7]范圍內(nèi)，建筑類用電量歸一化后數(shù)值在[0.4-0.9]范圍內(nèi)，生產(chǎn)類用電量歸一化后數(shù)值在[0.5-0.7]范圍內(nèi)。

由圖4（c）可知，使用基于HBase 平臺農(nóng)業(yè)類用電量歸一化后數(shù)值在[0.3-0.7]范圍內(nèi)，畜牧類用電量歸一化后數(shù)值在[0.2-0.7]范圍內(nèi)，建筑類用電量歸一化后數(shù)值在[0.3-0.7]范圍內(nèi)，生產(chǎn)類用電量歸一化后數(shù)值在[0.4-1.0]范圍內(nèi)。

圖4 三種平臺用電量分析結(jié)果對比

綜上所述，利用所設(shè)計基于HBase 的鄉(xiāng)村智能電網(wǎng)數(shù)據(jù)自動分析平臺分析后的數(shù)值均在實際用電量數(shù)值范圍內(nèi)，誤差也在可控范圍內(nèi)，具有精準(zhǔn)分析效果。

4 結(jié)束語

從系統(tǒng)硬件結(jié)構(gòu)和軟件需求方面進行了設(shè)計，結(jié)合HBase 數(shù)據(jù)模型對電網(wǎng)數(shù)據(jù)進行了智能分析。為保證鄉(xiāng)村偏遠(yuǎn)山區(qū)用電穩(wěn)定可靠，建立了一個環(huán)保、簡單實用、靈活兼容、高質(zhì)量的鄉(xiāng)村智能電網(wǎng)技術(shù)支撐平臺。該平臺在HBase 時序數(shù)據(jù)分析技術(shù)的支持下，實現(xiàn)了物聯(lián)網(wǎng)大數(shù)據(jù)下分布式時序數(shù)據(jù)存儲，為鄉(xiāng)村和各地區(qū)提供了高質(zhì)量的電力供應(yīng)。