基于DBSCAN二次聚類的配電網負荷缺失數據修補

蔡文斌 程曉磊 王 鵬 王 淵

基于DBSCAN二次聚類的配電網負荷缺失數據修補

蔡文斌 程曉磊 王 鵬 王 淵

（內蒙古電力經濟研究院，呼和浩特 010090）

電力負荷屬于具有時間序列特性的數據，依據數據固有的規律性和波動性特征，修補由于各種因素而缺失的負荷數據，可為電力系統研究和實驗結果的有效性和可預測性奠定基礎。本文首先提出基于密度的含噪聲應用空間聚類（DBSCAN）二次聚類的方法；其次，提出針對配電網負荷數據的負荷屬性相似度，在此基礎上進一步提出負荷記錄綜合相似度；然后，依據DBSCAN二次聚類方法的負荷類別結果和所得負荷記錄綜合相似度，匹配相似度最大的數據類別，并依據該類別的記錄信息對所缺失數據進行修補；最后，采用算例分析證明所提方法的有效性和正確性。

基于密度的含噪聲應用空間聚類（DBSCAN）；電力負荷；數據相似度；數據修補

0 引言

用電信息采集系統、自動化技術等在配電網的應用，為智能配電網運用大數據技術解決各種問題提供了路徑。但是在電力數據的采集、傳輸及存儲過程中常常會出現數據缺失、數據異常等質量問題，這些異常數據的存在使配電網的運行、調度、分析實驗等工作受到潛在的影響。因此，如何對這些數據進行修復成為當前研究的一個重要熱點問題。

事實上，針對缺失數據的處理技術廣泛存在于各行各業之中，缺失數據處理工作隨著各個領域特征的不同，以及數據應用目的的不同可采用多種方法[1]。實際處理時，往往根據缺失數據的特征屬性、數據處理需要達到的目的、數據缺失的具體原因等選擇最佳的處理方法以求達到最好的效果。配電網負荷數據往往存在時空特征明顯、數據的規律性[2]較強、數據在電力系統規劃、調度、運行等各個環節的應用面較廣等特征，所以需要對缺失的數據進行較為精準的填充和修補。

針對配電網負荷數據具有時間規律的特點，對缺失數據的填充修補主要分為三種類型：①采用構造映射的方法，根據數據規律的相似性[3]，構造已有數據對缺失數據的映射[4]進行修補；②采用多重填補的方法，通過構造或者模擬影響其變動規律的相關因素的運動軌跡，推斷出缺失數據的可能范圍，再進一步通過統計、綜合分析等方法從中優選最匹配結果[5]；③采用機器學習的方法，在海量數據集中進行數據集的聚類分析[6-7]，通過去噪、壓縮感知等方法匹配與缺失數據所屬數據集最為接近的特征，從而完成對缺失數據的填補。

在配電網負荷數據有較多積累的現狀下，采用聚類分析，并按照特征匹配的方法填補缺失數據已成為針對具有時間特性規律數據的一種廣泛而有效的方法。針對電力負荷數據，主要采用的聚類方法包括最近鄰加權聚類[8-9]、K均值聚類[10-12]、熵權聚類[13-14]等多種分析方法，這些方法的基本思想均為先將數據對象聚類，劃分成多個簇，根據簇內相似對象對缺失數據進行修補。其中，基于密度的含噪聲應用空間聚類（density-based spatial clustering of applications with noise, DBSCAN）方法對數據集的分布不敏感，抗噪性好，且對于數據集的識別能力較強，針對空間分布較為廣泛的配電網負荷數據聚類具有較好的適應性，但該方法在處理大量龐雜數據時的計算速度還有待進一步提高。文獻[15]針對DBSCAN方法計算速度提升方面進行了深入的 研究。

基于上述背景，本文依據配電網負荷數據的時序特性，提出一種改進的DBSCAN二次聚類方法對配電網負荷缺失數據進行修補。首先依據負荷數據長周期特征的關鍵指標，提取每一個數據記錄的關鍵信息，針對縮減的數據集進行初步聚類，然后在初步聚類的基礎上針對完整數據再次進行DBSCAN空間密度二次聚類，以利于縮短由于龐大數據集而延長的聚類時間。其次通過負荷數據的數值屬性相似度和記錄值相似度比較，以相似度最大為原則、以同類數據屬性相同為原則修復缺失的負荷數據。最后將仿真結果與實測數據進行對比，驗證所提方法對配電網負荷數據修復的有效性和準確性。

1 DBSCAN配電網負荷數據聚類

1.1 DBSCAN聚類方法的改進

DBSCAN聚類方法在處理大量配電網負荷數據的過程中，分類器往往需要不斷接觸多種類型較新的未知實例，強大的填補算法會占用大量計算資源，造成計算速度下降的問題。故而，對聚類數據進行預處理，降低新數據的種類數，可以有效提高聚類算法的效率。

根據負荷數據同時具有短時間周期和長時間周期的多種周期性規律，提出先按照長時間周期對數據進行初步聚類，再在每一個類別內按照短時間周期再次聚類的方法，以提高聚類的速度。

負荷數據的長時間周期往往可以用較少的負荷信息表征，如表征負荷年內變化時，可以僅采用日（或周、月）的最大負荷或平均負荷等少量指標表征其變動趨勢，這樣壓縮了負荷數據記錄所包含的信息，每一條負荷記錄僅包含長時間周期特征的少數幾個數據，將在此基礎上得到的初步聚類結果，稱為負荷子集。然后在初步聚類結果的基礎上，在每一個負荷子集內部按照短時間周期特性再對數據進行二次聚類，得到最終負荷分類。DBSCAN二次聚類示意圖如圖1所示。

圖1 DBSCAN二次聚類示意圖

由圖1可見，每一個數據記錄在整體聚類的過程中，均需要先提取長時間序列特征進行聚類，然后再次采用擁有完整信息的負荷數據進行二次聚類，即每一數據均經過了“雙重”聚類。雖然總的聚類次數有所增加，但每一次聚類中涉及的數據量極大減少；且由于初次聚類已使長時間周期特征相同或相近的數據分布在同一數據子集內，二次聚類僅在子集內進行，使二次聚類時具有新特征的數據量極大降低，加之二次聚類可以實現多個數據子集并行聚類，故而極大降低了聚類計算需要的時間。

1.2 DBSCAN負荷數據二次聚類

DBSCAN是一種基于密度的聚類算法，其算法的基本假設是類別可以通過樣本分布的緊密程度決定，即同一類別的樣本，它們之間一定是緊密相連的，將緊密相連的樣本劃為一類，這樣就得到了一個聚類類別。通過將各組緊密相連的樣本劃為各個不同的類別，則可形成聚類類別的最終結果。

因此，該方法有兩個核心參數，分別為聚類半徑（Eps）和樣本個數閾值（MinPts）。聚類半徑描述了某一樣本的鄰域距離閾值，而樣本個數閾值描述了某一樣本的距離為Eps的鄰域中樣本個數的閾值。兩個參數綜合起來反映了鄰域的樣本分布緊密程度。

算法根據所設置的聚類半徑Eps和樣本數目MinPts將待聚類數據分為核心點、邊界點和噪聲點3類，其中，在半徑為Eps的圓內至少包含MinPts個樣本的點稱為核心點；在半徑為Eps的圓內，樣本數量少于MinPts個且落在核心點鄰域內的點稱為邊界點；而既不是邊界點又不是核心點的則被稱為噪聲點。

DBSCAN算法可以對任意形狀的稠密數據集進行聚類，其聚類結果沒有偏倚，并且可在聚類的同時發現異常點，對數據集中的異常點不敏感，同時具有較好的抗噪特性。

DBSCAN負荷數據二次聚類的主要思想為：首先將所有負荷數據集按照數據的完整性分成兩個子數據集，即完整負荷數據集和缺失負荷數據集。完整負荷數據集保存了所有完整無缺失值的負荷數據。緊接著對完整數據集采用圖1中所示的DBSCAN二次聚類方法，則完整數據集在進行了兩次聚類后，得到若干個分類。

第一次聚類的目的是為了能夠較快地將特征相似的數據聚類，故而在此過程中重點考察數據的關鍵特征，如表征數據水平的平均值、表征數據波動范圍的最大值、最小值等少數特征。

通過第一次聚類后，已經將數據波動范圍相同的數據聚為一類，則在此范圍內，第二次聚類時重點可從負荷曲線的線形、時變特征等角度來進行二次聚類。

2 DBSCAN負荷數據聚類

相似度比較的基本思想都是在已有的完整數據分類中尋找與缺失對象屬性最相似的對象來進行數據修補。電力負荷數據具有較強的時間規律，屬于典型的數值型數據，且不具備離散數據的特點，故而根據負荷特性設定數值型屬性，并以此屬性衡量完整數據與缺失數據的相似程度。

2.1 負荷屬性相似度

電力負荷的屬性特性包含多種，基于其時間序列內連續的特點，一般表征負荷屬性可用負荷最大值、最小值、平均值、負荷率、峰谷差率等多個指標進行描述。對于每一屬性，均可以采用以下方法計算其屬性相似度。

假設和是同一數據分類中的兩條記錄，其中x和y分別為表征兩條記錄針對屬性的兩個屬性值，那么和對屬性的屬性值差異定義為

則和對于屬性的相似度定義為

根據以上屬性相似度的計算方法，可計算任意兩條負荷記錄針對某一屬性（如負荷最大值、最小值、負荷率等）的屬性相似度。

2.2 負荷記錄綜合相似度

由于表征時間序列負荷屬性的指標為多個，因此有必要采用綜合指標對多個屬性相似度進行考量，即在計算了記錄中的每一個屬性相似度指標后，對多個屬性相似度進行加權處理，比較重要的屬性占有更大的權重，可以準確方便地比較數據集中任意兩條記錄的相似度。

針對同一個數據分類中的兩條記錄和，那么這兩條記錄對全部個屬性的算數平均綜合相似度為

考慮到負荷特征中各個屬性的重要程度不同，故可對各屬性相似度設置不同權重，比較重要的屬性占有更大的權重，這樣形成的綜合相似度稱為負荷記錄綜合相似度。帶權重的負荷記錄綜合相似度表示為

負荷記錄綜合相似度用于判斷具有缺失值的負荷記錄與各個數據分類的相似度，以負荷記錄綜合相似度最大為原則，任選缺失負荷數據集中的一條記錄逐一與這若干分類進行相似度比較，找到相似度最大的那個分類后，標記缺失值負荷記錄為此分類中的一條記錄，則該具有缺失值的負荷記錄歸并入負荷記錄綜合相似度最大的那一個類別，如此反復操作直至所有缺失值記錄均并入某一分類類別，然后按照此分類的負荷屬性值推算相應的缺失值，由此得到的缺失值具有較高的正確率。

3 算法流程

采用DBSCAN二次聚類算法對負荷數據缺失值進行修補的步驟如下：

1）將所有完整數據記錄納入數據集，將所有具有缺失數據的記錄納入數據集中。

2）提取數據集中的每一條記錄的長時間周期特性值，如僅提取每一條記錄中的最大負荷、平均負荷、最大負荷出現的具體時間等少數特征值形成新的記錄，將所有新的負荷記錄納入數據集中。

3）確定參數Eps和MinPts，對數據集進行DBSCAN算法聚類，則按照參數設定數據集被劃分為個數據子集，記為1,2, …,C。由于還需要進行二次聚類，所以參數MinPts可以設置得大一些，并據此調整Eps數值，以減少形成的子集個數。

4）對個數據子集，保留數據所屬類別，恢復該類中每一記錄的全部信息，對應得到個數據子集。

將得到的個數據分類記為1,2,3,…,C。

6）遍歷數據集中的記錄，逐一比較缺失值記錄與這個數據類別的負荷記錄綜合相似度，取相似度最大的那個分類標記為缺失值記錄所屬類別。

7）上一步驟得到缺失值記錄所屬的分類類別，計算與該分類中其他完整記錄中對應于缺失值屬性的平均值，然后使用該屬性平均值來修補記錄的缺失值。

通過上面步驟6）和7），將中的每一條記錄缺失值修補完畢，填充過的數據集記為'，數據集和數據集就構成了完整數據集。具體流程如圖2所示。

圖2 DBSCAN二次聚類數據修補算法流程

4 算例分析

選取2020年4月16日至6月15日某地區電網負荷數據，從本身不存在數據缺失的原始數據中隨機選取占比10%的數據將其設置為缺失，則全月744個負荷中出現74個數據缺失，分別分布在5月份的13天里，其中連續缺失3個數據以上的情況為6個。則形成48條完整的日負荷記錄和13條缺失值日負荷記錄，采用文中所述DBSCAN二次聚類方法對此缺失數據集進行修補。

圖3 DBSCAN二次聚類方法對缺失負荷曲線的修補結果

通過絕對誤差和相對誤差，可以進一步分析DBSCAN二次聚類數據修補的效果。

式中：為絕對誤差，表示真值與修正值之間的數值差；%為相對誤差，表示絕對誤差占真值的百分比。

從圖3可以看出，對缺失數據進行填補后的數據集，其數據的整體變化規律、趨勢與原始數據基本吻合。缺失數據的填補值與真實數據之間的誤差見表1，可以看出，采用DBSCAN二次聚類法對缺失值進行修補后，絕對誤差平均值為31.223MW，相對誤差平均值為1.85%，且誤差基本可以控制在5%以內。同時，由圖3可見，算法對連續缺失的數據修補效果也較好。

表1 修補結果誤差

將以上修補結果與單純DBSCAN聚類算法的負荷缺失值修補結果進行對比，分別對比其誤差和計算速度，所得對比結果見表2。

表2 兩種算法對比

由表2可見，相較于單純采用DBSCAN聚類算法對缺失值進行修補，DBSCAN二次聚類算法修補結果的絕對誤差最大降低了約24MW，相對誤差平均值由2.32%降低至1.85%，起到了很好的修補效果。此外，從運行速度來看，采用DBSCAN二次聚類算法的計算耗時更短，也驗證了該方法針對DBSCAN聚類方法速度的提升作用。

從實驗結果來看，DBSCAN二次聚類針對普通的數據缺失修補效果非常好，總體平均誤差在1%以內，主要原因是通過二次聚類形成的各數據類別中的數據，不但其數值大小較為匹配，數值的時變特征也非常接近，故而數據修補能夠得到較好的效果。但是針對個別數據缺失出現在日負荷曲線極值處的情況，如圖3中第22日和第10日的的峰值數據修補，由于這兩日的峰值負荷點為較為陡峭的尖峰點，在二次聚類之后，與其處于同一類的其他負荷的尖峰不那么“突出”，且這兩個數據所在類別中的尖峰時間有較小差異，所以在對尖峰值修補后出現了4.63%的誤差。但是對于同類中尖峰的時間特征較為一致的其他數據分類，DBSCAN二次聚類修補算法仍然保持了2%以內的修補誤差。

由于以上算例中數據記錄數較少，僅采用了61條數據進行計算速度對比，若針對更大的數據量進行計算，則計算耗時將有更為顯著的降低。

為了能夠更進一步說明問題，將本文所提DBSCAN二次聚類方法與傳統K均值聚類方法，以及當前較為常用的神經網絡方法進行對比，對比的誤差結果見表3。

表3 DBSCAN二次聚類方法與K均值聚類及神經網絡算法的修補結果對比

從表3可見，DBSCAN二次聚類算法的數據修補效果仍然最好。從方法原理上，對比DBSCAN聚類方法和K均值聚類方法的特點，DBSCAN方法在聚類的過程中，可以做到依據數據的密度進行數據分類，不必事先確定類別數量；而K均值聚類過程中，必須事先指定聚類的類別數量，且由于要將任一數值都歸于某一類導致聚類結果對異常點比較敏感。故而DBSCAN聚類后，每一數據分類中數據的相似程度較高，這也是其能夠有較高修復精度的重要原因。當然兩類方法對比之下，K均值聚類方法有較快的計算速度，但采用DBSCAN二次聚類后，由于能夠通過并行計算以提高計算速度，DBSCAN聚類方法的缺點已經得到克服。

由于神經網絡算法需要大量的原始數據進行訓練，所以在訓練樣本不足的條件下，神經網絡算法的效果難以得到有效保證。在本例中，從具有一定數據規律的日負荷曲線角度而言，僅有48條完整負荷曲線，而對應的不完整負荷曲線則達到了13條，這也是導致神經網絡算法的訓練效果不夠理想的主要原因；但是DBSCAN算法則不受此限制條件的嚴格制約，故而DBSCAN二次聚類算法能夠得到較好的數據修復效果。

5 結論

針對配電網負荷缺失數據修補問題，本文研究得出如下結論：

1）在針對配電網負荷數據進行缺失數據修補時，DBSCAN二次聚類算法可以較好地依據負荷特性對負荷數據進行修補，且修補效果較好。

2）改進的DBSCAN二次聚類算法，通過首先按照長時間周期特征對數據進行初步聚類形成子集，再在每一個子集內按照短時間周期二次聚類的方法，有效提高了聚類算法的計算速度。

3）算例分析結果表明，DBSCAN二次聚類算法進行數據修補有更高的準確度，且針對連續性數據缺失也能取得較好的修補效果。

后續研究還需要重點結合兩方面問題進行考慮：一是兩次DBSCAN聚類中，參數Eps和MinPts大小的適度配合，尤其是面向更大量數據的時候，兩者的相互配合直接關系到計算速度的提升幅度；二是負荷記錄綜合相似度包含多種負荷屬性特征，針對不同類型的數據修補問題，各權重大小如何取值才能取得更好的數據修補效果。

[1] 熊中敏, 郭懷宇, 吳月欣. 缺失數據處理方法研究綜述[J]. 計算機工程與應用, 2021(5): 1-13.

[2] 武佳卉, 邵振國, 楊少華, 等. 數據清洗在新能源功率預測中的研究綜述和展望[J]. 電氣技術, 2020, 21(11): 1-6.

[3] 王方雨, 劉文穎, 陳鑫鑫, 等. 基于“秩和”近似相等特性的同期線損異常數據辨識方法[J]. 電工技術學報, 2020, 35(11): 4771-4783.

[4] 王子馨, 胡俊杰, 劉寶柱. 基于長短期記憶網絡的電力系統量測缺失數據恢復方法[J]. 電力建設, 2021, 42(5): 1-8.

[5] LITTLE R J A, RUBIN D B. Statistical analysis with missing data[M]. New York: John Wiley & Sons, 2019.

[6] 楊亞洲, 錢秋明, 梁鴨紅. 基于k-means聚類方法的曲線按比伸縮置換缺失數據補全法[J]. 電氣自動化, 2021, 43(2): 50-52.

[7] 胡金磊, 賴俊駒, 黎陽羊, 等. 基于自適應DBSCAN算法的開關柜絕緣狀態評價方法[J]. 電工技術學報, 2021, 36(增刊1): 344-352.

[8] 杜沛, 程曉榮. 一種基于K近鄰的比較密度峰值聚類算法[J]. 計算機工程與應用, 2019, 55(10): 161- 168.

[9] 陳曦, 駱高超, 曹杰, 等. 基于改進K-近鄰算法的XLPE電纜氣隙放電發展階段識別[J]. 電工技術學報, 2020, 35(12): 5015-5024.

[10] 趙天輝, 王建學, 馬龍濤, 等. 基于非參數回歸分析的工業負荷異常值識別與修正方法[J]. 電力系統自動化, 2017, 41(18): 53-59.

[11] 林順富, 謝潮, 李東東, 等. 基于灰色關聯與模糊聚類分析的負荷預處理方法[J]. 電測與儀表, 2017, 54(11): 36-42.

[12] 翁秉鈞, 楊耿杰, 高偉, 等. 一種基于改進K均值聚類的輸電線路覆冰狀態偵測方法[J]. 電氣技術, 2021, 22(5): 43-49.

[13] 謝樺, 任超宇, 郭志星, 等. 基于聚類抽樣的隨機潮流計算[J]. 電工技術學報, 2020, 35(23): 4940-4948.

[14] 劉如輝, 黃煒平, 王凱, 等. 半監督約束集成的快速密度峰值聚類算法[J]. 浙江大學學報(工學版), 2018, 52(11): 2191-2200.

[15] 謝國偉, 錢雪忠, 周世兵. 基于非參數核密度估計的密度峰值聚類算法[J]. 計算機應用研究, 2018, 35(10): 82-85.

Repair of missing load data in distribution network based on DBSCAN secondary clustering

CAI Wenbin CHENG Xiaolei WANG Peng WANG Yuan

(Inner Mongolia Electric Power Institute of Economics and Technology, Hohhot 010090)

Distribution power load belongs to data with time series characteristics. According to the inherent regularity and fluctuation characteristics of the data, repairing the missing load data due to various factors can lay a foundation for the validity and predictability of the power system research and experimental results. Firstly, this paper proposes density-based spatial clustering of applications with noise (DBSCAN) secondary clustering method. Secondly, the load attribute similarity for distribution network load data is proposed, and the load record comprehensive similarity is further proposed. Thirdly, according to the load category results of DBSCAN secondary clustering method and the comprehensive similarity of the obtained load records, the data category with the largest similarity is matched, and the missing data is repaired. At last, the validity and correctness of the proposed method are proved by a numerical example.

density-based spatial clustering of applications with noise (DBSCAN); power load; data similarity; data repair

2021-06-15

2021-07-23

蔡文彬（1977—），男，內蒙古自治區呼和浩特市人，本科，主要從事配電網規劃與運行管理工作。