基于分布式計算的海量用電數據分析技術研究

蔣 菱,王旭東,于建成,袁曉冬

(1.國網天津市電力公司，天津 300010；2.江蘇省電力科學研究院，江蘇 南京 210036)

基于分布式計算的海量用電數據分析技術研究

蔣 菱1,王旭東1,于建成1,袁曉冬2

(1.國網天津市電力公司，天津 300010；2.江蘇省電力科學研究院，江蘇 南京 210036)

用電行為分析技術對供電企業掌握用戶用能方式、調整生產計劃以及進行電網規劃有著較大的現實意義。傳統用電行為分析多利用少量樣本數據，由于數據源覆蓋面的問題往往容易造成結果偏差。借助大數據技術，可以利用海量用電數據提高用電行為分析的準確性。針對用電行為分析在處理海量數據時效率低下的問題，提出了基于MapReduce技術的模糊C均值聚類(FCM)并行算法，通過將FCM算法的迭代過程分解到Map和Reduce兩個步驟中，可以有效地提高聚類過程中數據對象和聚類中心的相似度計算效率。在此基礎上，利用所提出的FCM并行算法對居民用電數據的四個特征進行聚類分析。實驗結果表明，所提算法可以提高海量用電數據聚類分析的效率，證明了計算模型的可行性。

MapReduce；模糊C均值聚類；用電行為分析；大數據

0 引 言

隨著國家電網公司智能電網建設的不斷深入推進，先進的信息技術和數字通信技術在電力網絡的發電、輸電、配電、調度、用電和客戶服務等各個環節得到了應用[1]。同時，隨著經濟的快速發展和居民生活水平的日益提高，一方面居民用電量在不斷增長，另一方面，居民用戶對用電服務的個性化要求也在逐漸提高。電力企業除了向客戶提供電能產品之外，還承擔著對用電行為進行專業化指導，提高電能利用效率和利用水平的任務[2]。這些需求的滿足依賴于用電數據采集和用電數據分析技術。

國網天津市電力公司于2010年1月啟動智能電網綜合示范工程“中新天津生態城智能電網創新示范區”建設。工程于2011年9月建成投運，建設內容包括分布式發電、微電網、配電自動化等12個子項，集中示范智能配電、智能發電、智能用電和信息通信領域的先進技術。在發電側、電網側、用戶側的信息通信方面、技術儲備方面以及政策支持方面均已取得顯著進展[3-5]。其中，雙向智能電表和用戶與電網雙向互動技術的應用可以使天津生態城中的居民用戶和企業大用戶能夠獲取用電量、費率等用電信息，同時接收電力企業下達的用電指導和負荷控制指令，這使得通過提高終端用電效率和優化用電方式，滿足用戶用電需求的同時減少電量消耗，從而達到節約能源和保護環境的目的成為可能。

基于智能電表數據，統計并挖掘電力客戶的用電模式，是電力企業掌握客戶構成，了解用電行為特征的基礎，也是提供個性化、精細化用電服務，實現客戶智能化、精益化管理的先決條件。近年來，已經有一些專家學者對用電行為分析進行了研究。文獻[6]提出了基于k-means算法的用電負荷特性分析算法，實現了依據負荷特性對用戶負荷的分類。針對傳統的單一聚類分析方法對于具有不平衡性以及時序特性的負荷曲線數據存在泛化能力不強、穩健性不高的問題，文獻[7]提出利用多種聚類融合的方法獲得更優的聚類結果。文獻[8]提出了基于模糊聚類的電力負荷特性的分類與綜合算法，并通過實驗證明基于模糊C均值法的聚類能力明顯優于基于等價關系的聚類法，而且聚類結果更為合理有效。而文獻[9]構建了基于k-means、k-medoids、SOM以及FCM等聚類算法的聚類分析模型，實現了對數據集的智能化聚類的分析功能，實驗結果表明FCM模型對用電行為特征的聚類結果更具歸納性。但是，隨著電力通信技術的發展，用電信息采集系統每天產生的用電數據是高頻海量的，這就對用戶行為特征分析技術提出了要求，即能夠高速、高精度處理數量龐大且數據類型眾多的用電數據，從中發掘高價值信息。這符合典型的大數據應用特征，同時也意味著使用傳統聚類算法無法直接滿足上述要求，需要針對大數據的特點進行并行化改進，以適應分布式計算的需求。文獻[10]提出利用MapReduce計算模型實現k-means聚類算法，但是未實現對于用電數據的分析。文獻[11-12]均提出了在MapReduce模型下基于k-means的用電數據分析算法，但是無法直接應用于聚類效果更好的模糊聚類算法中。

針對智能用電領域對海量數據進行用電行為特征分析的需求，文中提出了一種基于模糊C均值聚類(FuzzyC-Meansclustering,FCM)的并行計算算法。該算法在MapReduce框架下實現，可以利用FCM算法的模糊分析特性對用戶用電行為進行更為全面地分析，并利用并行計算提高對海量數據進行分析的效率和可行性。實驗結果表明，該算法可以精確用于居民用戶用電數據的分析統計，以及對用戶的用電模式進行快速、精確的判斷。

1 用電數據分析分布式計算架構

隨著智能電表的普及應用，用戶用電信息采集頻率更加頻繁，15min甚至5min就需要采集一次數據，且數據呈現雙向流動特征，規模和頻率呈指數級增長。以天津生態城為例，用電信息采集系統目前已經覆蓋1 500萬用戶，數據年增長量約為12TB左右。因此，傳統基于單機的分析模式已經無法滿足對于海量用電數據的分析需求。

對于海量數據進行分布式批處理計算是提高聚類計算效率的關鍵，批處理計算框架的理論基礎是Google的MapReduce計算框架。MapReduce將復雜的并行計算過程高度抽象到兩個函數，Map和Reduce，并可運行于大規模計算集群上。利用MapReduce框架，可以將大規模計算任務分解成許多小的子任務由Map步驟處理，由于子任務之間是相互解耦的，因此可以并行處理，Map輸出的結果將通過Reduce函數合并生成最終結果。MapReduce的開源實現的代表就是Hadoop平臺，目前Hadoop廣泛被互聯網企業用于大規模數據分析。

如圖1所示，基于MapReduce計算框架的智能用電分析系統分為用電信息采集、數據轉存、數據清洗和分布式計算這四個步驟。

圖1 用電數據分析分布式計算架構

(1)用電信息采集：用電信息采集依托于采集終端，包括雙向智能電表、轉變采集終端、負荷控制終端和分布式能源監控終端等，采集終端實現電能數據的采集、數據管理、數據雙向傳輸以及控制命令執行。采集終端從不同類型的用電用戶處以一定頻率采集用電數據，包括電壓、電流、功率、電能質量和異常事件等，并通過PLC、無線網絡等數據通道保存在用電信息采集系統中，可作為用電行為分析的基礎數據。

(2)數據轉存：由于用電信息采集系統是基于關系型數據庫或數據倉庫的，而MapReduce計算是基于HDFS分布式文件系統的，因此需要通過數據轉存將數據從用電信息采集系統轉移至HDFS中。可以利用基于Hadoop平臺的數據傳輸工具完成這一過程，如Apache項目Sqoop，可以用來在Hadoop和關系數據庫中傳遞數據。通過Sqoop，可以方便地將數據從關系數據庫導入到HDFS，或者將數據從HDFS導出到關系數據庫。

(3)數據清洗：在對用電數據進行聚類分析之前，為了保證結果的可靠性，需要使用數據清洗等數據預處理手段對不完整數據、錯誤數據和重復數據進行補充、修正和刪除，常見數據清洗的方法包括忽略缺失數據、刪除負值、用整體均值填充、用最可能值填充、回歸方法填充等。

(4)分布式計算：在分布式計算階段，將通過文中提出的基于MapReduce的分布式FCM聚類算法完成對用電行為數據的聚類，從中獲得的聚類中心可以用于刻畫用電用戶群體特征，而每一個參與聚類的數據對象對于不同聚類的模糊隸屬度關系，可以用來判斷用電用戶所屬的聚類。在完成聚類過程后，可以將結果以鍵值對的形式保存在非關系型數據庫(NoSQL)，如Mongodb中，從而方便對于聚類結果的查詢或在聚類結果基礎上進行進一步的數據挖掘。

2 基于FCM算法的用電行為特征分析

2.1 FCM聚類算法

聚類是一種最常見的對大規模數據集進行檢驗和分類的無監督學習算法(Unsupervised Learning Algorithm)。在無監督學習中，不需要預先對群體進行分類或設置輔助聚類過程的樣本，而是根據數據元素自身特性的自動化分組，同一聚類中的數據對象將比來自于其他聚類中的數據對象實例更加“接近”。目前，已有很多聚類算法被應用于不同的領域，其中，模糊聚類(Fuzzy Clustering)算法考慮到了真實數據的不確定性，并且與硬劃分(Hard Clustering)相比，模糊聚類算法允許一個數據對象屬于多個不同的聚類，數據對象與每個聚類中心的接近程度可以使用隸屬度來衡量，因此其應用方式更為靈活。其中，文中提出使用FCM聚類算法進行用電行為分析，基于目標函數的FCM聚類算法適用于處理大量數據，而且算法過程簡單，因此易于在計算機上實現，適合對基于時間序列的復雜數據集進行劃分，這一特性與用電數據的特性吻合。FCM算法的核心思想是通過求解Jm(U,P)的極小值解min{Jm(U,P)}，從而獲得最佳的劃分矩陣和聚類中心矩陣。對于模式空間中包含n個成員的待分類對象集合X={x1,x2,…,xn}而言，劃分舉證U可以表示為：

(1)

其中，μik=μXi(xk)表示樣本xk與子集Xi(1≤i≤c)之間的隸屬關系，對于FCM而言，μik的取值范圍為[0,1]，即每個樣本與子集Xi之間的隸屬關系可以由一個0～1之間的實數模糊表示。而P={pi,1≤i≤c}表示第i類子集Xi的聚類中心矩陣。

優化目標可以表示為：

(2)

其中，m為平滑因子，m控制模式在類子集之間的分享程度，m越大，得到的聚類結果越模糊，一般情況下，為了控制聚類結果不要太模糊，將m設為2；dik表示樣本k到第i個聚類中心pi之間的距離，可以用不同類型的范式距離表示，文中使用歐氏距離表征：

(3)

FCM算法通過迭代不斷更新隸屬度μik和聚類中心pi，當迭代收斂時，獲得的隸屬度和聚類中心可以用于對數據集進行分類并確定數據對象與分類之間的隸屬關系，迭代過程通過在停止域和迭代次數b的控制下，對下式進行求解進行：

(4)

(5)

2.2 基于FCM的用電行為分析

居民用戶、大用戶安裝的智能電表借助PLC和無線通信等技術，以一定頻率向用電信息采集系統傳輸用戶用電數據，從中選取四類特征作為聚類分析的數據對象：

(1)負荷量xi1：采集時刻的用電負荷；

(2)負荷率xi2：平均負荷/最大負荷；

(3)峰電系數xi3：峰時用電量/日用電總量；

(4)谷電系數xi4：谷時用電量/日用電總量。

智能電表的采集頻率是每15min一個點，因此每日采集96個，日用電總量為96點數據之和，平均負荷為日用電總量/96，峰時用電量和谷時用電量分別為峰谷時間內的用電總量。因此聚類分析的每一個樣本xk均為一個四維向量。基于FCM算法的用電行為分析流程如圖2所示。

圖2 基于FCM的用電行為分析算法

在數據預處理階段，需要對缺失數據利用差值算法進行補齊處理，對于超出閾值的數據進行修正。接下來，對FCM聚類算法進行初始化，包括設置聚類類別c，迭代停止域ε和迭代步數b=0，以及隸屬度矩陣U0，可根據用電歷史數據進行初始用戶分群并計算U0。接下來，根據式(4)和式(5)在迭代過程中不斷更新隸屬度和聚類中心，直到滿足設定的停止域條件‖U(b)-U(b+1)‖<ε為止。此時，輸出的聚類中心即為用電行為特征，而隸屬度矩陣決定了每個樣本與用電行為特征的接近程度。

2.3 聚類有效性驗證

聚類分析的結果與數據樣本和參數設定密切相關，由于聚類是一個無監督的學習過程，因此無法獲取數據對象相關的標簽信息。因此，對于聚類算法對一個數據集產生某種劃分結果后，通常難以直觀評價一個特定聚類劃分的優劣，因此需要引入聚類有效性驗證算法對聚類結果進行有效評價。評價的內容包括量化聚類的簇內緊湊度和簇間分離度。對于模糊聚類算法而言，代表性的聚類有效性驗證方法包括Xie-Beni指標Vxie[13]。Vxie基于幾何結構，采用“緊湊度”和“分離度”衡量不同劃分的聚類質量。對于文中所應用的FCM算法而言，Vxie通過獲取式(6)的最小值完成對聚類有效性的驗證。

(6)

3 FCM的分布式計算方法

傳統的用電行為聚類算法需要將樣本數據放入計算機內存再進行計算，受限于計算機的內存大小和運算速度，無法對大量的用電歷史數據進行全局計算，只能從中抽取樣本，通過對抽樣數據集的聚類分析用電行為特征，其結果的準確性由于樣本缺失而無法得到保證。而文中所提出的混合計算架構中的批量計算層，可以使用Hadoop平臺對大規模數據進行分布式計算，由于使用了分布式文件系統(Hadoop Distributed File System，HDFS)和MapReduce計算模型，分布式計算可以對基于文件的海量歷史用電整體數據進行直接計算并獲得用電行為特征。

為了適應MapReduce計算模型，需要對基于FCM算法的用電行為特征分析算法進行并行化改造，將FCM的迭代過程分解為Map和Reduce兩個階段。Map階段在不同的數據節點上將同一個函數作用于不同的數據集，輸出的數據集以形式保存在數據節點上，在Map階段結束后，計算模型將傳輸至承擔Reduce工作的節點，并對Map階段輸出的鍵值對進行合并等處理，并輸出形式的最終結果。由于Map和Reduce步驟都是可以在多臺計算機上分布式運行的，且對分布式計算過程進行了高度抽象，所以MapReduce計算模型可以方便、高效地對大規模數據(1 TB以上)進行分析計算。

通過對MapReduce計算模型的研究，結合FCM算法的流程，可以發現相似度計算，即利用式(3)計算樣本到當前聚類中心的距離是最為頻繁的計算。對于n個樣本對象在k個分類中的FCM聚類過程，每次迭代需要進行n*k次距離計算，且每次計算都要對s個維度的特征進行方差運算。如果能夠將距離計算并行化處理，將極大地提高FCM的工作效率。根據這一思路，提出的基于MapReduce的FCM聚類算法流程如圖3所示。

(1)將用電數據從關系數據庫(如Oracle)拷貝到HDFS中，根據聚類的需要確定聚類個數c和停止域ε；

(2)根據上一次的聚類結果確定初始聚類中心，并將這些數據傳輸至參與分布式計算的數據節點；

(3)對用電數據進行預處理，并產生鍵值對，其中user為用戶的唯一標識，profile中包含了數據對象的特征xi1～xi4；

(4)將所有的鍵值對劃分為若干個數據子集，并傳輸至Map函數，Map函數根據式(4)進行隸屬度計算，產生的結果保存在中間鍵值對中，其中i為聚類編號，μi為數據子集中所有數據對象對第i個聚類的隸屬度；

圖3 基于MapReduce的FCM并行計算過程

(5)將Map函數計算的結果傳輸至Reduce節點，Reduce將Map產生的中間鍵值根據聚類編號進行合并后，根據式(5)進行計算，獲得新的聚類中心；

(6)重復步驟(2)～(5)，直到隸屬度矩陣滿足停止域條件，分布式FCM算法結束，輸出聚類結果，包括聚類編號、聚類中心和每個用戶對于各個聚類的最終隸屬度。

通過上述步驟，可以實現在Hadoop平臺上利用MapReduce計算模型對用戶用電信息的分布式聚類分析，通過最終的聚類中心矩陣獲得對用戶群體的分類，并獲得每一個樣本數據對于聚類的隸屬度，從而確定其所屬分類[14-18]。

4 算例分析

為了驗證利用FCM聚類算法在分布式計算架構上實現用電行為聚類分析，在實驗室環境中搭建了由五個節點組成的分布式計算環境。其中一臺為NameNode，四臺為DataNode，安裝了CentOS 6.5版32位Linux操作系統，以及2.6.0版本Hadoop并行計算環境，節點間采用千兆以太網通信。收集了天津生態城某小區及周邊商戶共457戶居民的家庭用電數據，數據覆蓋范圍為2014年7月3日至2014年10月28日，采樣間隔為15 min，即每戶居民每天采樣96點數據，以此為基礎對居民用戶類型展開研究。

在聚類分析之前，使用式(7)對數據進行了歸一化處理：

(7)

利用圖3的算法流程對所采集的居民用電數據進行并行聚類分析后，剔除因所包含樣本量過小而明顯不合理的壞數據，獲得了四類典型用戶，如圖4所示。

圖4 居民用電行為聚類結果

(1)A類用戶早、晚高峰時期用電負荷量大，特別是晚間用電達到頂峰，其余時間用電量較小，為典型的上班族家庭用戶，A類用戶共274戶。

(2)B類用戶白天整體用電量較高，而19:00后用電量開始回落，符合在小區中租用辦公室白天辦公的公司特征，B類用戶共84戶。

(3)C類用戶全天負荷處于較為平均的水平，中午和晚間略高，屬于全天都要經營的商戶特征，C類用戶共67戶。

(4)D類用戶谷電系數高而峰電系數低，且谷時用電量處于較高水平，應為避免峰時高電價而選擇谷時生產的小型生產加工企業，D類用戶共32戶。

隨著智能電網的發展以及電網與用戶雙向互動業務的增加，未來可針對上述四種不同類型的用戶提供不同的電價產品或套餐，或者根據其用電行為特征進行需求側響應方案的設計，指導最優用電策略的制定。

為了測試算法的性能，將數據復制后形成10GB數據集合，在五節點的并行計算平臺上進行聚類計算的結果與傳統聚類算法相比獲得了4倍以上的加速比。這證明了隨著數據量的增大，聚類問題由多個處理器協同求解，待分類數據被分為若干個部分分別計算后再進行結果合并，從而使得聚類效率大大提升。

5 結束語

針對中新天津生態城中用戶用電行為聚類分析的應用場景，提出利用并行計算技術進行聚類分析的計算過程，并具體實現了FCM聚類算法的并行化設計。實驗結果表明，該算法能夠較為準確地完成天津生態城內的用戶分類，挖掘出了海量用電數據中潛在的價值，為用戶參與需求側響應和制定最優用電策略提供了有益的參考。

[1] 曹軍威，萬宇鑫，涂國煜，等．智能電網信息系統體系結構研究[J]．計算機學報，2013,36(1)：143-167．

[2] 胡學浩．智能電網——未來電網的發展態勢[J]．電網技術，2009(14)：1-5．

[3] 尹 倩．中新天津生態城運作模式研究[D]．天津：天津理工大學，2009．

[4] 謝 開，劉明志，于建成．中新天津生態城智能電網綜合示范工程[J]．電力科學與技術學報，2011,26(1)：43-47．

[5] 李曉詮．智能電力設備在中新生態城電網中的應用[D]．保定：華北電力大學，2013．

[6] 王春雷，梁小放，章堅民，等．基于用電采集系統的負荷特性曲線聚類分析[J]．浙江電力，2014,33(7)：6-10．

[7] 林錦波．聚類融合與深度學習在用電負荷模式識別的應用研究[D]．廣州：華南理工大學，2014．

[8] 李培強，李欣然，陳輝華，等．基于模糊聚類的電力負荷特性的分類與綜合[J]．中國電機工程學報，2005,25(24)：73-78．

[9] 彭顯剛，賴家文，陳 奕．基于聚類分析的客戶用電模式智能識別方法[J]．電力系統保護與控制，2014,42(19)：68-73．

[10]AnchaliaPP．ImprovedMapReducek-meansclusteringalgorithmwithcombiner[C]//2014UKSim-AMSS16thinternationalconferenceoncomputermodellingandsimulation．Cambridge：IEEE，2014：12-17．

[11] 張素香，劉建明，趙丙鎮，等．基于云計算的居民用電行為分析模型研究[J]．電網技術，2013,37(6)：1542-1546．

[12] 趙 莉，候興哲，胡 君，等．基于改進k-means算法的海量智能用電數據分析[J]．電網技術，2014,38(10)：2715-2720．

[13]XieXL,BeniG.Avaliditymeasureforfuzzyclustering[J].IEEETransactionsonPatternAnalysisandmachineIntelligence,1991,13(8):841-847.

[14]RusitschkaS，EgerK，GerdesC．Smartgriddatacloud：amodelforutilizingcloudcomputinginthesmartgriddomain[C]//FirstIEEEinternationalconferenceonsmartgridcommunications．Gaithersburg，MD：IEEE，2010：483-488．

[15]SilvaL,MouraR,CanutoAMP,etal.Aninterval-basedframeworkforfuzzyclusteringapplications[J].IEEETransactionsonFuzzySystems,2015,23(6):2174-2187.

[16]O'MalleyMJ,AbelMF,DamianoDL,etal.Fuzzyclusteringofchildrenwithcerebralpalsybasedontemporal-distancegaitparameters[J].IEEETransactionsonRehabilitationEngineering,1997,5(4):300-309.

[17]AndersonDT,ZareA,PriceS.Comparingfuzzy,probabilistic,andpossibilisticpartitionsusingtheearthmover’sdistance[J].IEEETransactionsonFuzzySystems,2013,21(4):766-775.

[18]SuhIH,KimJae-Hyun,RheeFC.Convex-set-basedfuzzyclustering[J].IEEETransactionsonFuzzySystems,1999,7(3):271-285.

Research on Power Usage Behavior Analysis Based on Distributed Computing

JIANG Ling1,WANG Xu-dong1,YU Jian-cheng1,YUAN Xiao-dong2

(1.State Grid Tianjin Electric Power Company,Tianjin 300010,China;2.Jiangsu Electric Power Research Institute,Nanjing 210036,China)

The power usage behavior analysis technology can be used to acquire costumer power usage pattern,adjust power generation schedule and plan gird development.Thus,it is meaningful to power grid company.Traditional power usage behavior analysis only uses small volume of data.The limited data will draw to inaccurate result.This problem can be solved by using large scale of data.In allusion to the problem about electricity behavior analysis in the low efficiency of dealing with huge amounts of data,the Fuzzy C-Means clustering (FCM) parallel algorithm based on MapReduce is put forward.By decomposing the iterative process of FCM algorithm into two steps of Map and Reduce,it can effectively improve the efficiency of similarity computing between the data objects and the clustering centers.On this basis,the four characteristics of resident electrical data are clustering analyzed by using the proposed FCM parallel algorithm.The experimental results show that the proposed algorithm can improve the efficiency of mass data clustering analysis and also proves the feasibility of the model.

MapReduce;FCM;analysis of electric behavior;big data

2015-09-09

2015-12-23

時間：2016-11-21

國家自然科學基金資助項目(51407025)；江蘇省科技支撐計劃(社會發展)(BE2013737)；天津電力公司科技項目(SGTJDK00 DWJS1500033)

蔣 菱(1971-),女,高級工程師,研究方向為配用電與新能源接入。

http://www.cnki.net/kcms/detail/61.1450.TP.20161121.1633.010.html

TP39

A

1673-629X(2016)12-0176-06

10.3969/j.issn.1673-629X.2016.12.038