基于云計算和改進K-means算法的海量用電數據分析方法

張承暢，張華譽，羅建昌，何 豐

(1.重慶郵電大學 光電工程學院，重慶 400065； 2.重慶郵電大學 通信與信息工程學院，重慶 400065)(*通信作者電子郵箱15923180953@139.com)

0 引言

近年來，隨著化石能源的日益枯竭，社會對環境保護、節能減排和可持續發展的要求日益提高，未來的電網必須是“綠色”的電網，未來的小區也必須是“綠色”的小區。在此背景下，居民用電行為逐步智能化，電網和用戶實現用電信息的雙向交互成為必然趨勢。由于智能小區在不斷建設和發展過程中積累了大量的基礎用電數據，這些數據不僅具有海量、高頻、分散等特點，而且數據之間存在關聯性和相似性[1-2]。對智能小區用戶的用電數據采用大數據分析方法進行挖掘并研究用戶類型，可以幫助電網公司了解用戶消費習慣，為用戶提供個性化、差異化的服務需求，從而幫助電網公司進一步拓展服務的深度和廣度，為未來的電力需求響應政策的制定提供數據支撐。同時，電網公司將小區用電數據及居民用電情況及時反饋給用戶，讓用戶清楚自身用電信息，規范用電行為，挖掘節能潛力，為低碳環保作貢獻[3-5]。

聚類分析[6]是數據挖掘領域的一種經典方法，能夠以較高的效率挖掘出海量數據中的隱含信息。聚類分析方法也逐步應用到智能電網領域。文獻[7]提出了一種應用于電力系統短期負荷預測方法，采用雙向比較法對電力數據預處理后，并用K-means算法對數據進行聚類分析，使具有相似特征屬性的數據歸為一類，達到降低數據維度的目的。文獻[8]中提出基于改進K-means的電力負荷曲線聚類方法，采用了基于核方法的聚類算法實現負荷曲線的聚類分析，提高了聚類的準確率。文獻[9]提出了一種基于K-means算法臺區線損率計算方法，通過K-means算法對樣本數據的聚類，解決數據分散的問題，從而提高了線損率計算的準確性。文獻[10]中提出了一種基于優化K-means算法的電力客戶劃分方法，采用一種將Canopy算法與K-means算法相結合的方法，解決傳統K-means的初始中心點選擇的問題，提高了聚類的穩定性。然而，以上的聚類方法面對海量智能用電數據時，存在效率低、計算量大的瓶頸，無法對海量數據進行高效挖掘。

圖1 基于云計算的海量用電數據分析模型架構

針對智能電網中海量數據集的存儲與計算問題，相關學者利用云計算技術進行了研究與探索，并且取得了一定的成果。文獻[11]提出了基于聚類算法和云計算的居民用電行為分析模型，通過K-means算法將用電行為相似的用戶進行聚類，并分析出用戶的特征，同時基于云計算技術實現算法的并行化，提高了聚類的效率，然而針對K-means算法中初始中心和K值的確定問題并沒有給出解決方法。文獻[12]中提出了一種基于云計算的智能電網數據挖掘的方法，文中針對傳統K-means算法存在的初始中心和K值問題，采用Canopy算法對數據進行預聚類，并將結果作為K-means的輸入參數，但Canopy算法中存在閾值T1和T2難確定的問題，并且閾值的選擇對聚類結果的影響很大。

本文針對智能電網中海量用電數據的處理，提出了一種基于云計算和改進K-means算法的用電數據分析方法。通過改進的K-means算法，提高了算法聚類的準確度，并基于MapReduce模型實現其并行化，提高了算法的效率。文中以海量的用電數據為基礎，通過改進的算法挖掘出數據中潛在的價值信息，實現用戶用電行為的分析，從而為電網公司制定最優的用電策略提供了重要的依據。

1 海量用電數據分析模型架構

本文采用云計算主/從(Master/Slave, M/S)架構實現海量用戶用電數據的存儲和分布式計算[13]，通過數據挖掘算法對數據進行分析，提取數據中隱含的有價值的信息。圖1是基于云計算的海量用電數據分析模型架構。

基于云計算的海量用電數據分析模型架構主要由云計算主服務器(Master)和云計算從服務器(Slave)組成。數據源端將采集到的用電數據傳到云計算主服務器(Master)進行數據管理和計算任務。數據管理層負責對源數據進行業務模型轉換和數據抽取，建立用電數據維度模型；數據計算層負責對歷史用電數據的挖掘分析和業務趨勢預測，建立數據挖掘模型。云計算從服務器(Slave)根據主服務器的任務管理機制，主要負責數據存儲和計算任務的執行。主服務器(Master)將接收到的用電數據經過處理后分配到各個從服務器(Slave)分布式存儲，同時管理相應任務的執行，實現海量用電數據的分析，快速、高效地獲取數據中有價值的信息。

2 海量用電數據分析方法

2.1 Hadoop云計算平臺

Hadoop是一個使用MapReduce編程模型對大數據集進行分布式存儲和處理的開源軟件架構，它是一個更容易開發和并行處理大數據集的云計算平臺，具有擴容能力強、成本低、效率高以及高可靠性等優點。Hadoop平臺由以下兩個部分組成：Hadoop分布式文件存儲系統和MapReduce計算模型[14]。Hadoop分布式文件系統(Hadoop Distributed File System，HDFS)采用的是主從架構，一個HDFS集群包含一個管理節點(NameNode)和若干數據節點(DataNode)，每個節點相當于一臺計算機(Personal Computer，PC)。而MapReduce則完成數據的計算和高效分析任務。

2.2 改進的K-means算法

2.2.1 傳統K-means算法

K-means是一種基于劃分的聚類方法[15]，具有簡單、高效和可擴展性強的特點，在各個領域被廣泛應用。K-means算法通常采用兩樣本間的歐氏距離作為衡量相似性的指標，其基本思想是：在數據集D中，隨機選取K個初始聚類中心，計算余下樣本數據到初始中心的歐氏距離，根據最小距離原則將各個樣本歸入到相應的聚類中心所在的類，然后計算每個類的所有樣本的平均距離，并更新為該類的新的聚類中心，直到誤差平方和函數穩定在最小值。

設數據集集合D={x1,x2,…,xn}，xi=(xi1,xi2,…,xir)，xj=(xj1,xj2,…,xjr)，則樣本xi與樣本xj之間的歐氏距離為：

d(xi,xj)=

(1)

誤差平方和函數如下：

(2)

其中：K為聚類類別數，ri為第i類中樣本的個數，ni是第i類中樣本的平均值。

2.2.2 對傳統K-means算法的改進

傳統K-means聚類算法中，是隨機選取初始聚類中心，而這種隨機性會對結果造成很大的影響。為了解決最佳K值的確定和初始聚類中心選擇的問題，提出了一種加入密度參數的改進算法。改進算法將數據集的密度考慮到初始中心點的選取上，在樣本密度更大的數據集合中選取聚類中心，相比傳統K-means算法隨機選取聚類中心的方法，可減少這種隨機性對聚類結果帶來的影響。

按照式(1)計算兩個樣本之間的歐氏距離d(xi,xj)；

按照式(3)計算數據集D中所有樣本間的平均距離MeanDis(D)：

(3)

按照式(4)計算數據集中樣本i的密度：

(4)

由式(4)可知，ρ(i)為滿足與樣本i的距離小于MeanDis(D)的樣本元素數目。所有滿足條件的樣本元素構成一個簇，定義簇內樣本的平均距離為：

(5)

(6)

定義數據集的樣本密度ρ(i)、簇內樣本平均距離的倒數1/a(i)和簇間距離s(i)的乘積為權值積，即：

(7)

傳統K-means算法是隨機選擇初始聚類中心，這種隨機性會對聚類結果造成很大的影響。本文提出樣本密度最大權值法，可以降低這種隨機性對聚類結果造成的不穩定，同時提升準確率。最大權值積法介紹如下。

首先根據式(4)計算樣本元素的密度，找出密度值最大元素作為第一個聚類中心，將所有滿足式(3)中樣本與初始聚類中心的距離小于MeanDis(D)條件的樣本元素加入當前簇，同時將這些樣本點從集合D中去除；按照式(4)～(7)計算余下元素權值積w，找出最大值，并選取對應樣本元素作為第二個聚類中心，重復進行，直到集合D為空集。其中，ρ(i)越大，代表樣本點i周圍元素點越多，元素越集中；a(i)越小，1/a(i)越大，表示簇中元素越密集；s(i)越大，說明兩簇之間距離越遠，其相異度就越大。因而，通過最大權值法可以求出最佳聚類中心，同時，密度參數的引入，使得初始中心的選取更具有客觀性。

2.3 基于云計算和改進K-means算法的海量用電數據分析

2.3.1 用電數據預處理

在海量的居民用電數據挖掘中，為了提高算法的執行效率，需要對數據進行預處理，如圖2所示。

圖2 數據預處理步驟

Fig. 2 Procedure of data preprocessing

1)數據過濾。

在原始居民用電數據中，可能存在某個用戶某一時刻的用電信息數據被重復記錄，或者被分成多條用電信息進行記錄。針對重復記錄的數據采用直接過濾刪除的方法，而對于后者，可以提取出用戶編號后，將用電信息進行疊加合并，整合成一條數據進行記錄。此外，用戶的某一條數據也可能存在若干缺失值。針對這類情況，可以事先設定一個缺失值個數閾值，當超過閾值時，直接把該條記錄刪除；反之，則只過濾掉該缺失值。

2)數據填充。

針對缺失值采取的處理方法是：選取缺失值的相鄰兩負荷值的平均值作為相應的填充值。若鄰值也為空值，則相應向前或向后查找下一個非空負荷值，若不存在非空負荷值，則以0值填充。

3)特征提取。

在負荷數據中，存在一些電壓值、電流值以及一些名稱和時間值，這些數據對于用電分析作用不大，因而可以不予考慮。本文選用的特征包括：峰時耗電率、負荷率、谷電負荷系數以及平段用電量百分比。

①峰時耗電率。用戶在高峰時段的用電量與總的用電量之間的比值。

②負荷率。用戶在一定時間端內的平均負荷與最大負荷之間的比值。

③谷電負荷系數。用戶在低谷時段的用電量與總的用電量之間的比值。

④平段用電量百分比。除去高峰和低谷時段之后的用電量與總的用電量之間的比值。

提取以上用電特征，對用戶對象進行評價描述，并將每一個對象寫成一個矩陣：X=[x1x2…xp]。

4)特征規范化。

在原始數據中，提取相關用戶特征后，不同特征值可能具有不同的值域。值域較大的特征值對整體矩陣的影響將大于值域較小的特征值，從而削弱了數值小的特征的作用，因此需要對特征進行規范化處理。

文中采用的是區間規范化方法對特征值矩陣X=[x1x2…xp]進行處理，計算出特征矩陣中特征值的最大值max(xi)和最小值min(xi)，根據式(8)將各個特征值值域規范化到區間[0,1]，得到一組規范化的矩陣V=[v1v2…vp]。

vi=[xi-min(xi)]/[max(xi)-min(xi)]

(8)

其中vi∈[0,1],i=1,2,…,p。

采用規范化處理后得到矩陣V=[v1v2…vp]，最終基于該矩陣完成居民用電數據集的聚類任務。

2.3.2 基于改進K-means算法的用電數據并行挖掘

用電信息數據集按行存儲在Hadoop分布式文件系統中，并將數據集分成各個切片形成子數據集，MapReduce計算架構讀取每一個切片數據完成計算任務。首先通過并行模型計算出K-means算法的輸入參數：初始聚類中心和最優K值，然后將計算任務再分配給Map任務節點，完成數據集的并行聚類任務。

并行K-means的MapReduce計算任務執行步驟如下。

步驟1 對存儲在分布式文件系統(HDFS)中的智能用電數據集進行初始化操作，產生〈Key,Value〉鍵值對，其中Key定義為用戶編號UserID，Value定義為用戶用電信息UserInfo，即〈UserID,UserInfo〉。

步驟2 Map任務節點分別計算每一個數據塊中各個樣本密度，并根據最大權值積法得到若干個簇集，計算出每一個簇集元素的均值作為該簇的鍵值Key，Reduce節點根據鍵值將具有相同Key值的簇集進行數據合并。

步驟3 計算出每一個簇集數據的均值作為該簇的聚類中心，并將Value更新為該簇的中心向量，同時將Key值依次進行編號，即為該簇的簇號。

步驟4 通過Map函數計算Value中特征向量與K個初始聚類中心的歐氏距離，根據距離最小原則，找出其距離最小對應簇的簇號，從而得到更新的鍵值對〈Key1，Value1〉，其中Key1為距離最近簇的簇號，Value1為用電信息UserInfo。

步驟5 為了減少計算過程中的I/O通信代價，Map階段之后，需要對每個分區具有相同Key值的信息進行合并merge。在此過程中，MapReduce模型對其合并后將得到新的鍵值對〈Key2，List1〈Info〉〉，其中Info={UserInfo1,UserInfo2,…,UserInfom}，m為歸入同一簇集內的用戶數，Key2為該簇的簇號。

步驟6 定義分區函數Partition，將〈Key2，List1〈Info〉〉鍵值對信息按照Key2進行哈希分區，劃分成r個不同的分區，并將每個分區送到相應的Reduce函數。Reduce函數將每個分區中具有相同Key值的信息進行最后的合并，得到鍵值結果〈Key3，List〈List1,List2,…,Lists〉〉，同時計算List中各個信息的累加均值作為更新為對應簇的中心。

步驟7 重復步驟4到步驟6，直到最終聚類結果的誤差平方和達到穩定狀態，并輸出最終K個簇的相應信息。

改進的K-means并行數據挖掘算法流程如圖3所示。

圖3 改進的K-means并行數據挖掘算法流程

3 實驗設計與結果分析

3.1 實驗環境與數據來源

實驗環境：實驗使用Ubuntu12.04作為系統環境，搭建了基于Hadoop 1.0.4的6個節點的集群，包括1個Master節點和5個Slave節點。

數據來源：

1)實驗一的數據來源于UCI機器學習網站，選用6類常用的測試數據集：Soybean-small、Iris、Wine、Segmentation、Ionoshpere、Pima Indians Diabetes。數據集的相關參數如表1所示。

2)實驗二和實驗三數據來源于北京某小區2010年4月至2010年9月400戶居民的用電信息。用電信息包含：用戶編號、用電屬性、行業分類、電價、用電量以及用電時間等。每戶居民用電情況每15 min按用電時間段被記錄成一條數據，并按行存儲在文件中，每一行數據占10 B。原始用電數據經過數據預處理得到規范化的特征矩陣，包括用戶編號、峰時耗電率、負荷率、谷電負荷系數以及平段用電量百分比，以此建立用戶用電分析的數據維度模型。

表1 UCI數據集的相關參數

3.2 實驗結果分析

本文基于Hadoop平臺和改進K-means算法的居民用電數據的分析，完成以下幾個實驗。

1)實驗一。為了驗證改進的K-means聚類算法的有效性，選用了UCI網站的部分數據集，分別采用傳統K-means、文獻[12]中的算法以及本文改進的算法進行對比實驗。聚類結果通過以下參數進行衡量比較：Adjust Rand Index、聚類準確率。

圖4中的聚類結果的參數比較表明：本文改進算法的Adjust Rand Index參數是最優的，準確率也最高，且聚類準確率比傳統K-means算法平均高31個百分點，比文獻[12]中算法高18個百分點。

圖4 不同算法對UCI數據集的聚類結果

2)實驗二。選用不同大小的居民用電數據量，分別進行單機模型下的數據聚類和MapReduce并行模型下的數據聚類實驗，并計算出完成聚類的時間。MapReduce并行數據聚類模型下設置1個從節點、2個從節點和4個從節點進行對比實驗。

單機模型和MapReduce并行模型下的數據聚類耗時對比如圖5所示。

圖5中的聚類時間對比曲線表明：當處理小規模數據時(5 000 000、10 000 000)，MapReduce模型下多節點和單機模型相比，聚類耗時沒有明顯提升。由于在此時的并行模型下，K-means算法聚類時間較短，主要耗時集中在并行節點的任務啟動和任務分配上，因而并沒有體現出并行處理的高效性；當數據量達到一定規模時(數據量大于100 000 000)，MapReduce模型下多節點處理數據是的聚類耗時要明顯優于單機模型，并且MapReduce模型下節點數越多，其聚類效率越高，說明提出的并行挖掘算法能夠高效處理海量用電數據。

圖5 單機模型和MapReduce并行模型下的數據聚類耗時對比

3)實驗三。基于Hadoop平臺和改進的K-means算法，根據用電信息完成用戶的聚類任務。根據數據預處理后得到的用戶用電信息特征向量，將用電信息相似的用戶進行聚類，同時繪出此類用戶的用電負荷曲線。

每一類用戶的用電負荷曲線如圖6所示。

圖6 各類用戶用電負荷曲線

由圖6可知：用戶類型最終分為五類，每一類用戶類型具有不同的行為特征。針對一類用戶：全時段用電量很低，其耗電來源于線損，主要為閑置房居民用戶。二類用戶：全天有兩個高峰用電時段，分別在7:00以及20:00，主要為上班族用戶。三類用戶：全天有三個高峰時段，分別在7:00、12:00以及20:00，主要為退休老人族用戶。四類用戶：與三類用戶相似，具有三個高峰時段，但峰時用電量要高于三類，主要為二類與三類的混合用戶，即上班族+退休老人族用戶。五類用戶：全時段處于高用電量狀態，主要為商業用戶。

根據圖5中分析出的用戶類型，未來電網公司可以針對不同類型的用戶制定相應的用電策略，指導居民科學合理用電。同時，用戶的用電行為分析對于電網公司制定合理的階梯電價也具有一定的指導意義。

4 結語

本文以海量用電數據為基礎，研究了居民用電數據分析模型架構，并提出了一種基于云計算和改進K-means算法的用電數據分析方法。具體包括以下幾個方面的工作：

1)傳統K-means聚類算法中存在初始聚類中心和最優K值難確定的問題。本文提出了一種加入密度參數的改進方法，在選取初始聚類中心時考慮數據集中樣本密度，定義了樣本密度、簇內樣本平均距離的倒數以及簇間距離三者的乘積為權值積，通過最大權值積來依次確定初始中心和K值，提高了聚類的準確率。

2)提出了一種基于云計算和改進K-means算法的用電數據分析方法。首先通過對用戶用電數據的預處理，提取用電數據中各個用戶的峰時耗電率、負荷率、谷電負荷系數以及平段用電量百分比等特征，建立數據向量維度；然后用改進的K-means算法對數據進行聚類分析，并以MapReduce模型實現算法的并行化；最后根據聚類結果對用戶的用電行為進行分析，提取每一類用戶的特征。實驗結果表明，提出的分析方法穩定、高效、可靠。

通過提出的一種基于云計算和改進K-means算法的海量用電數據分析方法，挖掘出用電數據中有價值信息，分析用戶用電行為，對電力調度以及電價機制的制定具有重要的指導性意義。下一步，結合分析模型的用戶聚類結果，針對每一類用戶進行電力短期負荷預測方面的研究。

References)

[1] 張東霞,苗新,劉麗平,等.智能電網大數據技術發展研究[J].中國電機工程學報,2015,35(1):2-12.(ZHANG D X, MIAO X, LIU L P, et al. Research on development strategy for smart grid big data [J]. Proceedings of the CSEE, 2015, 35(1): 2-12.)

[2] 彭小圣,鄧迪元,程時杰,等.面向智能電網應用的電力大數據關鍵技術[J].中國電機工程學報,2015,35(3):503-511.(PENG X S, DENG D Y, CHENG S J, et al. Key technologies of electric power big data and its application prospects in smart grid [J]. Proceedings of the CSEE, 2015, 35(3): 503-511.)

[3] 沈玉玲,呂燕,陳瑞峰,等.基于大數據技術的電力用戶行為分析及應用現狀[J].電氣自動化,2016,38(3):50-52.(SHEN Y J, LYU Y, CHEN R F, et al. Power user behavior analysis and application status based on big data technology [J]. Power System & Automation, 2016, 38(3): 50-52.)

[4] 王德文,孫志偉.電力用戶側大數據分析與并行負荷預測[J].中國電機工程學報,2015,35(3):527-537.(WAND D W, SUN Z W. Big data analysis and parallel load forecasting of electric power user side [J]. Proceedings of the CSEE, 2015, 35(3): 527-537.)

[5] 孫志偉.大數據環境下用電行為分析的研究[D].北京:華北電力大學,2015.(SUN Z W. Study on behavior analysis of electricity in big data environment [D]. Beijing: North China Electric Power University, 2015.)

[6] 孫吉貴,劉杰,趙連宇.聚類算法研究[J].軟件學報,2008,19(1):48-61.(SUN J G, LIU J, ZHAO L Y. Clustering algorithms research [J]. Journal of Software, 2008, 19(1): 48-61.)

[7] 王惠中,劉軻,周佳,等.電力系統短期負荷預測建模仿真研究[J].計算機仿真,2016,33(2):175-179.(WANG H Z, LIU K, ZHOU J, et al. Pretreatment of short-term load forecasting based onK-means clustering algorithm [J]. Computer Simulation, 2016, 33(2): 175-179.)

[8] 趙文清,龔亞強.基于KernelK-means的負荷曲線聚類[J].電力自動化設備,2016,36(6):203-207.(ZHAO W Q, GONG Y Q. Load curve clustering based on KernelK-means [J]. Electric Power Automation Equipment, 2016, 36(6): 203-207.)

[9] 李亞,劉麗平,李柏青,等.基于改進K-means聚類和BP神經網絡的臺區線損率計算方法[J].中國電機工程學報,2016,36(17):4543-4551.(LI Y, LIU L P, LI B Q, et al. Calculation of line loss rate in transformer district based on improvedK-means clustering algorithm and BP neural network [J]. Proceedings of the CSEE, 2016, 36(17): 4543-4551.)

[10] 許元斌,李國輝,郭昆,等.基于改進的并行K-means算法的電力負荷聚類研究[J]. 計算機工程與應用,2017,53(17):260-265.(XU Y B, LI G H, GUO K, et al. Research on parallel clustering of power load based on improvedK-means algorithm [J]. Computer Engineering and Applications, 2017, 53(17): 260-265.)

[11] 張素香,劉建明,趙丙鎮,等.基于云計算的居民用電行為分析模型研究[J].電網技術,2013,37(6):1542-1546.(ZHANG S X, LIU J M, ZHAO B Z, et al. Cloud computing-based analysis on residential electricity consumption behavior [J]. Power System Technology, 2013, 37(6): 1542-1546.)

[12] 程艷柳.基于云計算的智能電網數據挖掘的研究[D].北京:華北電力大學,2013.(CHENG Y L. Research on smart grid data mining based on cloud computing [D]. Beijing: North China Electric Power University, 2013.)

[13] SHVACHKO K, KUANG H, RADIA S, et al. The Hadoop distributed file system [C]// Proceedings of the 2010 IEEE Symposium on MASS Storage Systems and Technologies. Washington, DC: IEEE Computer Society, 2010: 1-10.

[14] DEAN J, GHEMAWAT S. MapReduce: simplified data processing on large clusters [C]// Proceedings of the 2004 Conference on Symposium on Operating Systems Design & Implementation. Berkeley, CA: USENIX Association, 2004: 10-10.

[15] 黃韜,劉勝輝,譚艷娜.基于K-means聚類算法的研究[J].計算機技術與發展,2011,21(7):54-57.(HUANG T, LIU S H, TAN Y N. Research of clustering algorithm based onK-means [J]. Computer Technology and Development, 2011, 21(7): 54-57.)

This work is partially supported by the Technology Foundation of China Electric Power Research Institute (XXB51201603155), the Technology Foundation of State Grid Economic and Technological Research Institute (15JS191).

ZHANGChengchang, born in 1975, Ph. D., associate professor. His research interests include energy Internet, power big data, data mining, cyber-physical systems.

ZHANGHuayu, born in 1990, M. S. candidate. His research interests include data mining.

LUOJianchang, born in 1990, M. S. candidate. His research interests include cyber-physical systems, big data.

HEFeng, born in 1962, professor. His research interests include big data, communication technology.