基于聚類算法的電網分布式增值業務數據集成系統

陳競，李宇遠，杜杰

(南方電網數字電網研究院有限公司， 廣東， 廣州 510670)

0 引言

對于電網的孤立、異構信息，許多專家進行了研究[1]。通過電網數據交換，解決數據孤立性強、異構性強的問題，以邏輯和物理的形式采集格式和屬性的電網數據，為電力企業方便管理提供全面的電網數據，從異構和孤立的數據中，將具有關聯屬性的數據區分并聚集的過程[2-3]。同時，k-medoids聚類算法具有運算速度快，使用于大型數據的優點，其利用聚類中心點距離削弱電網分布式增值業務數據異常值的影響，計算精度較高。因此，本文結合k-medoids聚類算法，設計一種電網分布式增值業務數據集成系統，為電力企業提供充分的電力數據呈現形式。

1 基于聚類算法的電網分布式增值業務數據集電網分布式增值業務數據集成系統

1.1 系統整體架構

本文依托Spark平臺構建電網分布式增值業務數據集成系統(下文簡稱系統)。Spark平臺是通過內存計算的大數據分布式計算框架[4]，具備處理大數據實時性能力且其容錯性和伸縮性均較強，其兼容性也較好，可安裝在廠家以及型號不一的硬件設備上組成集群。依據分層和針對組件設計理念，將系統分為4個層次，系統具體結構如圖1所示。

圖1中，該系統由應用層、云服務層和基礎平臺層組成。其中，應用層使用B/S結構，通過MVC模型內前端開發工具包完成界面設計，為電網用戶與電網企業管理人員提供可操作頁面，如聚類任務、集成任務、系統性能查看等等;應用層利用前端應用服務器與數據庫服務器，通過HTTP等技術實現分布式增值業務數據交互功能，后端則通過Web服務與云服務層和基礎平臺層相連接；云服務層則為系統提供聚類分析服務、權限查詢等功能，設置在后端服務器內，通過技術手段完成系統接口形式的封裝服務功能，且應用層可自由調取該服務[5]；基礎平臺層為云服務層提供計算服務，該層利用Hibernet框架實現分布式增值業務數據傳遞，為系統供給分布式增值業務數據持久化功能，并以接口的形式與Spark平臺的集群形成連接，為電網增值業務數據庫提供接口，可實現系統的管理、數據訪問與處理等功能。

圖1 系統結構

1.2 基于Canopy的電網分布式增值業務數據集成算法

1.2.1 Canopy算法

在分布式增值業務數據集成時，由于數據構成繁瑣設置合適的類簇數值難度較大[6]，因此本文利用Canopy算法計算最佳類簇數值，在對電網分布式增值業務數據聚類處理之前，需提前設定類簇數值，保證聚類效果，使其適用于海量數據處理，具備較強的伸縮性。

令T1、T2孤立表示電網分布式增值業務數據的粗略劃分，Canopy算法聚類劃分示意圖如圖2所示。

圖2 Canopy聚類過程示意圖

在圖2中，方框表示距離閾值T1，圓圈表示距離閾值T2。其中2個距離閾值利用交叉驗證方式獲取，Canopy算法將所有電網分布式增值業務數據均放在候選集內，該候選集內所有對象之間的Canopy，對比Canopy數值和距離閾值T1，當Canopy數值較離閾值T1數值低時，將Canopy添加到上圖方框區域內，反之將Canopy放置于上圖圓圈內，從候選集內刪除，當所有電網分布式增值業務數據均被加入到Canopy內時，該Canopy的數量即為最佳類簇數量。

1.2.2k-medoids聚類算法

增值業務數據聚類中心選擇非常重要，若聚類中心偏離情況嚴重，則聚類效果不佳且消耗時間過長，在此依據密度聚類理論，在較大程度避免噪聲干擾情況下，增值業務數據的初始聚類中心獲取過程如下。

令U表示增值業務數據集，該數據集內業務數據樣本點由x表示，則以該點為圓心，半徑為r的正整數所涵蓋的圓形區域內數據點的數量為點密度由Dens(s)表示，增值業務數據集內中樣本點密度的平均值稱為均值點密度由AvgDens表示，則有：

(1)

式中，圓心與增值業務數據集內樣本點p的歐式距離由|Dist(s,p)表示，圓心半徑r=α*a，其中α為常數，a為增值業務數據集樣本點之間距離平均數值，其計算公式如下：

(2)

式中，i=1,2,…,n，j=1,2,…,n。

令CDens(ui)表示增值業務數據集內類簇包含樣本點數量占總樣本點數量比值即類簇密度數值，其計算公式如下：

(3)

在k-medoids聚類算法中，通過獲取增值業務數據樣本內樣本點的密度，依據該點密度屬性選取其初始聚類中心，其流程如下。

Step1 獲取增值業務數據樣本內，多個樣本點之間距離。

Step2 計算樣本點密度Dens(si)、點密度平均值AvgDens數值，將密度數值高于點密度平均值的樣本點作為核心點，將其聚集一起構成集合T，密度數值低于點密度平均值的樣本點作為類簇內數據點。

Step3 將包含核心點的類簇合并。

Step4 計算所有類簇密度數值CDens(ui)，以前k個類簇密度較大的簇作為初始聚類中心基礎數據，計算該k個類簇中心點，并將該類簇中心點作為增值業務數據的初始類簇中心。

令類簇ui內具有m個數據點，則數據點集合為{s1,s2,…,sm}，由ni表示該類簇的中心點，其計算公式如下：

(4)

式中，k表示可變參數。

類簇內樣本點的距離計算公式如下：

dist(s,o)=

(5)

式中，o表示與樣本點x相鄰樣本點。

通過上述4個步驟，可有效獲取增值業務數據集的初始聚類中心，從而實現電網分布式增值業務數據并行聚類，該算法使聚類范圍縮小的同時也使聚類時間得到降低。

1.2.3 電網分布式增值業務數據集成模型

電網分布式增值業務數據集成是依據同類思想，將所有數據重新組合，使位于同簇內的數據屬性相同或相似的過程。依據Canopy算法獲取的類簇數量和k-medoids聚類算法獲取的數據初始聚類中心，利用Spark平臺內分布式框架功能建立電網分布式增值業務數據集成，該模型總體流程如圖3所示。

圖3 電網分布式增值業務數據集成模型流程示意圖

電網分布式增值業務數據集成模型先將增值業務數據進行歸一化處理后，利用Canopy算法計算類簇數量后，使用k-medoids聚類算法獲取初始聚類中心后完成數據并行聚類，利用模型輸出最終電網分布式增值業務數據集成結果。

2 實例測試與結果分析

本文系統運行環境為Intel八核處理器、12G DDR3內存、CentOS 6操作系統，200 M網絡交換機，Spark平臺版本為Spark Version 1.0。以某電力企業2020年的隨機一個增值業務數據為實例測試對象，從多個角度對本文系統展開實際應用測試。測試過程如表1所示。

表1 實例測試數據采集與應用過程

2.1 聚類能力測試

從線程數量方面，測試本文系統聚類能力，設置不同線程數，且指定聚類數量為35個，統計本文系統在不同線程時，對該企業增值業務數據聚類消耗時間，結果如圖4所示。

圖4 不同線程數時聚類能力測試

分析圖4可知，在給定聚類數值情況下，隨著聚類時間的增加，不同線程數時聚類曲線均呈現迅速上升趨勢。當達到給定聚類數值后，雖然系統線程數不同，但其聚類數量保持不變。其中，當線程數分別為6和8時，達到設定的簇數所需時間為3 s。當線程數為4時，達到給定簇數的時間比其他2種線程長0.3 s，且差異不大，表明該系統受線程數的影響較小，具有良好的聚類能力。

單從線程數量方面驗證本文系統的聚類能力具有一定片面性，因此，取該增值業務數據大小為100 GB至1 000 GB的相關數據，測試本文系統在數據預處理、數據并行聚類等方面綜合能力，結果如表1所示。

表1 綜合聚類能力測試

分析表1可知，隨著數據量大小的增加，系統對增值業務數據的預處理、并行聚類以及集成輸出運行時間均逐漸增加，類簇數量也隨之增加，其中在并行聚類時消耗時間較多，但運行時間上升不大。在數據量為1 000 GB時，其運行時間較數據量為100 GB時上漲1.81%，而數據集成輸出時間較短，上漲幅度不大，類簇數量上升跨度較大，表明系統對企業增值業務數據屬性劃分精確，聚類準確性較高。在數據量為1 000 GB時，系統整體運行時間僅為7.95 min，聚類性能較好，且當數據量較大時，系統運行時間較少。

2.2 系統集成性能

測試不同文件大小時，系統串行數據集成與平行數據集成時間比值，即系統加速比，該數值表示系統運行時間降低系統性能提升情況，加速比是衡量系統性能的重要指標之一，以加速比為實例測試指標，測試系統集成性能，結果如圖5所示。

圖5 系統集成性能測試結果

分析圖5可知，系統在企業增值業務數據為1 200 MB時，線性趨勢較強，而在數據量分別為200和600個時，在聚類中心數量在7個之前，系統加速比曲線表現為線性關系；在聚類中心數量超過7個之后，系統加速比曲線出現輕微波動，說明增值業務數據越大，系統加速比曲線線性關系越好，越接近理想值。

3 總結

電子信息技術與大數據技術在提升各個領域信息化的同時，也為企業數據管理增加了一定難度，尤其是電力企業，其數據來源眾多且孤立，因此，電力企業對數據集成需求度極高。本文針對此類情況設計了基于聚類算法的電網分布式增值業務數據集成系統，經過多角度測試，本文系統在不同線程數量情況下，給定聚類數量消耗時間僅為0.3 s，受線程數量影響較小，聚類能力好，增值業務數據越大，系統加速比曲線線性關系越好，系統集成性能得到保證。