基于DBSCAN聚類的電力工程數據完整性分析*

袁兆祥， 余春生

(1. 國網經濟技術研究院有限公司， 北京 102209； 2. 德信東源智能科技(北京)有限公司 科技研發中心， 北京 100088)

隨著我國電力營銷管理系統、營配系統、生產管理系統和計量自動化系統建設的不斷加快，企業逐漸積累了豐富的信息系統應用經驗及電能數據資源[1].但國內對電能數據的分析與應用尚處于較為落后的狀態，對于宏觀電能數據分析缺少預見性、精益性和實時性[2].

結算抄表在電力工程數據管理中起著重要的作用，傳統的抄表方式需要工作人員手工錄制數據，存在著漏抄、錯抄和估抄的問題，這對線損、預測及計費等后續分析工作帶來了較大的困難[3-4].而計量自動化系統的投入使用，不僅能有效改善傳統抄表方式所帶來的困難，且能搜集電網各區域的能耗信息，確保電力供給和電力資源質量的平穩安全[5].大數據采集與監視系統、地理信息系統和高級策略系統的投入使用在提升電力工程建設效率的同時，系統中積累的大量電能數據仍面臨著以下挑戰：1)數據規范性、準確性和完整性；2)數據搜索與數據聚合；3)系統與數據采集間的數據共享；4)數據計算與大規模數據存儲.電力工程數據完整性是電力系統正常運行的基本條件[6-7]，是后期高級應用分析的基礎.

本文主要研究電力工程數據的完整性，提出了一種基于DBSCAN聚類算法[8-9]的電力工程數據完整性分析方法，從大規模電力工程數據中快速找出所缺失的數據，并對其進行形態分析.

1 DBSCAN聚類算法

DBSCAN(density based spatial clustering of applications with noise)是一種基于密度的聚類算法，該算法根據所設置的半徑Eps和樣本數目MinPts將待聚類數據分為核心點、邊界點和噪聲點3類，其中，在半徑為Eps的圓內至少包含MinPts個樣本的點稱為核心點；在半徑為Eps的圓內，樣本數量少于MinPts個樣本且落在核心點鄰域內的點稱為邊界點；而既不是邊界點又不是核心點的則被稱為噪聲點.相比于K-means聚類算法，該算法無需事先確定聚類中心的數量，并可以識別出任意形狀的簇類，且具有較強的抗噪聲能力.

該算法通過定義直接密度可達和密度相連的概念，來確定每一個樣本所屬的聚類中心.直接密度可達即對于給定的半徑Eps和樣本數目MinPts，從樣本p直接到達樣本q需要滿足

(1)

式中，NEps(q)為樣本q的樣本范圍.密度相連即存在樣本滿足p和q關于半徑Eps與MinPts均是密度可達的.具體的DBSCAN聚類算法如下：

1) 設置數據集D、半徑Eps和樣本數目MinPts；

2) 判斷輸入樣本點是否為核心點；

3) 若輸入樣本為核心點，找出其鄰域內所有直接密度可達點；

4) 重復步驟2)、3)，直至所有樣本判斷完成；

5) 合并一些密度可達對象，并根據所有核心點鄰域內的直接密度可達點找到最大密度相連點的集合；

6) 重復執行步驟5)，直至遍歷完所有核心點鄰域.

2 基于DBSCAN的數據完整性分析

傳統的數據完整性分析方法取決于一個或多個數據分析師對數據的分析，其性能受分析師對數據熟悉程度的影響.而基于DBSCAN的數據完整性分析方法是基于數據挖掘理論，從電力工程數據中發現潛在的數據缺失風險，該方法能有效應對數據急劇增加的情況，并能實現對數據的高級描述.其主要過程包括：

1) 數據獲取.使用電力工程計量自動化系統獲取發電場、配電網、變電站和用電數據，并構造數據集.

2) 數據預處理.對采集到的各種數據進行數據清洗、格式統一和歸一化處理，得到健康有效的數據.

3) 特征構造.使用預處理后的數據構造有效特征來表征所采集的數據集.

4) 聚類分析.使用DBSCAN算法對數據集各特征進行聚類分析，分析缺失數據的數量分布及同步性特征，為電力工程系統進一步整改提供參考.

2.1 數據獲取

電力工程中的數據包括實時電力運行數據、用戶檔案數據和系統報警數據等.其中，電力運行數據主要包括各類計量終端的通信流量數據、瞬時量數據及表碼數據.通信流量數據可以用于判斷計量終端的運行狀態；瞬時量數據為用戶實時用電功率、電壓與電流等信息；表碼數據為用戶累計用電有功表碼和無功表碼信息.本文使用電能表計量終端每15 min采集一次表碼數據，并每隔1 h向智能終端發送一次數據.各數據具體說明如下：

1) 瞬時量數據.包括用戶的總有功功率、三相有功功率、三相電流值及三相電壓值等用電信息，其部分數據如表1所示.

2) 表碼數據.表碼數據主要為用戶的累計用電信息，其包含的內容如表2所示，其中，費率類型包括總電量、正常情況、高峰、低谷和超高峰等不同時段的計費標準.

表1 瞬時量數據示例Tab.1 Examples of instantaneous data

表2 表碼數據示例Tab.2 Examples of table code data

2.2 數據預處理

使用上文采集的瞬時量數據和表碼數據進行數據完整性分析.考慮到數據每間隔1 h采集一次，本文主要選取瞬時數據的計量點、時間與功率3類數據，選取表碼數據的計量點、時間及正向有功表碼3類數據進行后續分析.考慮到智能計量終端可能存在記錄時間不齊和通訊故障等問題，導致相應時間上的計量數據整條缺失，本文主要通過分析缺失數據的形態來判斷數據缺失的類型.

本文將具體的數值信息進行去值化，使用‘1’表示某一時刻存在瞬時數據和表碼數據，使用‘0’表示某一時刻缺失瞬時數據及表碼數據.數據預處理過程如下：

1) 掃描采集的數據，獲取計量點編碼POINTID；

2) 將每一個計量點按照月份和時刻設定為31×24的數組，并初始化為0；

3) 使用數值判斷程序判斷每個計量點在響應數組位上是否存在數據及其是否為NULL，若存在數據且不為NULL，則給數組的相應位賦值1；

4) 統計每個計量點的數據缺失數量，并記為ERRORNUM.

本文預處理后的部分瞬時量數據和表碼數據分別如表3、4所示.表3、4中分別用Pi和BMi(i=0，1，…，23)表示24個時刻的數據值.

表3 預處理后的瞬時數據Tab.3 Instantaneous data after preprocessing

表4 預處理后的表碼數據Tab.4 Table code data after preprocessing

2.3 特征構造與特征分析

使用DBSCAN聚類算法分析所采集的電力工程數據前，需針對不同的問題對預處理后的數據進行特征構造和特征分析，以適應相應的問題與模式.本文根據電能表與智能終端數據缺失數量及數據缺失同步性的特點，分別構造了不同的特征組合并進行了有效性分析.

2.3.1 電能表與智能終端數據缺失數量分析

本文分別使用電能表的表碼、終端的表碼以及電能表的瞬時量、終端的瞬時量分析所采集的電力工程數據的缺失數量.

數據缺失量特征格式如表5所示，表5中顯示了所采集數據的全部特征數據缺失數量，其中，M_POINTID和F_POINTID分別為電能表與終端的計量點；電能表的表碼和終端的表碼缺失數量分別為MBM、FBM；電能表的瞬時量和終端的瞬時量缺失數量分別為MSSL、FSSL；4種特征缺失數量的總和為MISSNUM.

表5 數據缺失量分析特征格式Tab.5 Feature format of data missing amount analysis

為保證聚類分析的有效型，本文排除了運行正常的計量終端及拆除、損壞或無信號的計量終端，即4個特征量均為0和均為24的樣本，共統計了53 903個計量終端采集的313 346條有效數據.各特征具體統計結果如表6所示.

表6 各特征缺失數據統計結果Tab.6 Statistical results of missing data with respective feature

從表6的統計結果可以看出，電能表的瞬時量和表碼數據的缺失值明顯少于終端上的缺失值，由此表明，終端數據的不完整性更嚴重.分別分析終端和電能表的數據可知，電能表上表碼數據的缺失數量比瞬時量的缺失數量少24.7%；而終端上瞬時量的缺失數量比表碼的缺失數量少13.2%.分析結果表明，終端上數據的波動情況更為穩定.

2.3.2 電能表與智能終端數據缺失同步性分析

本文將終端和電能表上的表碼數據按異或的方式編碼，以判斷終端與電能表數據缺失的同步性，特征數據構造如表7所示，其中，DIFNUM表示差異值的數量.

表7 數據缺失同步性的特征數據格式Tab.7 Feature data format of data missing synchronization

表7中，XOR0～XOR23分別表示24個時刻終端的表碼數據和電能表數據在對應時刻的異或值，用于表示電能表與智能終端數據缺失形態上的差異.其中，表碼數據和電能表數據同時存在用0表示，表碼數據與電能表數據中有一個缺失時則用1表示.同時，本文刪除電能表與智能終端數據缺失同步的情況，即異或數據全為0的數據樣本.

3 實驗與結果分析

使用本文介紹的DBSCAN聚類算法對提取的電力工程數據進行聚類分析，并分析不同半徑Eps時所得到的不同聚類結果.

本文分析了聚類半徑分別為5和10的電能表與智能終端的聚類結果，分別如圖1、2所示.用不同的顏色表示不同的聚類中心，每個聚類中心顯示了類簇樣本的數量.圖1共有8個聚類中心，圖2共有4個聚類中心，兩圖均表明終端數據的缺失值(FBM、FSSL)要多于電能表數據的缺失值(MBM、MSSL)，且大部分數據點的缺失量較少，而缺失值大的數據點只占少部分.

圖1 半徑為5時的聚類結果Fig.1 Cluster results with a radius of 5

上述實驗結果表明，使用DBSCAN聚類算法可以有效地分析電力工程數據的完整性及其缺失的形態分布，且可設置不同的聚類參數，從多角度分析數據缺失的狀態.

4 結 論

本文提出了一種基于DBSCAN聚類算法的電力工程完整性分析方法，從電力工程數據獲取、數據預處理、特征提取和聚類分析4個層面介紹了具體的分析方法，并使用該方法分析了電能表與智能終端數據缺失數量與數據缺失同步性.對采集的數據進行多角度分析的結果表明，提出的方法可以有效地分析電力工程數據的完整性及其缺失的形態分布，這對于提高電力工程數據的完整性和分析用戶的用電情況均具有較好的參考價值.