面向能源互聯網終端用戶的異常數據檢測方法

戶艷琴，李海明，劉念，傅皆愷，黃天翔，李承霖，李珂舟，胡志強，范志夫，鄔小可

(1.國網江西綜合能源服務有限公司，南昌市330096；2.新能源電力系統國家重點實驗室(華北電力大學)，北京市 102206；3.國網江西省電力有限公司，南昌市330077；4.國網江西省電力有限公司鷹潭供電分公司，江西省鷹潭市335000)

0 引 言

隨著互聯網理念的不斷深化，一種新型能源體系架構——“能源互聯網”應運而生[1]。能源互聯網結合互聯網信息技術與能源利用技術，為終端用戶提供靈活多樣的能源共享服務[2-3]。此外，能源互聯網的發展，增加了能源系統中的數據采集量，提高了其信息共享程度，為基于大數據分析技術解決能源系統中的問題提供了數據基礎。若能源互聯網終端發生用電異常情況，將會增大系統的電能損耗，降低能源利用效率，因此需要對終端用戶進行異常用電模式檢測，從而便于電網公司及時發現用電異常的情況，減少電網的經濟損失，降低竊電行為的發生率[4]。

傳統的終端用戶異常用電模式檢測方法是現場人員定期巡檢線路、定期校驗電表、用戶舉報等，但這些手段對人的依賴性較大，需要投入大量的人力成本，同時，用電模式的檢測耗時較長、效率較低[5]。此外，用戶的竊電手段多種多樣，傳統的異常用電模式檢測方法難以準確地判斷用戶用電是否正常，亟需檢測精度較高、耗時較少的輕量化的異常用電模式檢測方法。

目前，對于異常用電模式檢測的研究主要分為基于系統狀態和基于人工智能2類方法。基于系統狀態的分析方法是通過實時比較配電網的功率、電壓、電流等大量數據的變化來檢測異常用電模式[6]。文獻[7]通過對用戶日用電量和日線損電量數據進行批量處理及相關度分析識別臺區用戶竊電行為，從而實現用戶異常用電模式的檢測。文獻[8]中綜合對比分析同期線損、用電負荷、日用電量、電流及有功功率等電量信息，實現用戶異常用電模式的精準檢測。然而用戶側具有海量且多元的用電數據，異常用電模式也多種多樣，基于系統狀態的檢測方法需要較長的檢測時間。為了縮短檢測時間并提高檢測精度，逐漸出現了基于人工智能的異常用電模式檢測模型，該模型首先通過數據分析提取可以反映異常用電模式的指標，再借助人工智能的方法訓練指標與用電模式檢測結果之間的映射關系，完成異常用電模式檢測模型的構建。例如，借助主成分分析實現大量負荷數據的可視化，構建了無監督學習的異常用電模式檢測模型[9]；以正常用戶用電數據為訓練樣本，采用自編碼網絡學習數據特征，重構輸入數據以計算檢測閾值，基于此建立了對比誤差與檢測閾值的異常用電行為辨識模型[10]；利用時間窗函數與Bootstrap重采樣建立用戶側行為模式信息簇的隨機森林模型[11]。文獻[12-13]采用極端梯度提升(extreme gradient boosting,XGBoost)算法對異常用戶進行識別，從用電用戶基本屬性特征、不同時間尺度用電特征和不同時間尺度上用電相似性3個方面進行特征提取，但未采取特征重新構造的方法對數據進行加工處理，因此這種粗顆粒度的原始數據會限制模型檢測精度的提升。為了進一步提高檢測精度，2種或2種以上算法形成的組合算法被提出[14]。此外，基于圖論的方法[15]、加權算法[16]、神經網絡算法[17]、支持向量機[18]等也應用于用電模式檢測問題中。上述方法均在特定情況下取得了不錯的檢測結果，但是在評價指標的選擇、檢測時間和效率的優化方面仍存在較大的提升空間。

為此，本文首先綜合考慮終端用戶用能負荷、用能損耗及告警信息等數據對用戶異常用電模式的影響，構建由負荷曲線斜率指標、線損指標和告警類指標組成的異常用電模式檢測評估指標體系，提出基于XGBoost的能源互聯網終端用戶模式檢測模型。此外，為了消除無關數據及缺失數據對模型精確度的影響，在模型訓練前進行數據預處理。最后通過與決策樹、隨機森林及Adaboost算法進行對比分析驗證方法的有效性。

1 異常用電模式評價指標體系

能源互聯網終端用戶發生異常用電時，配電網的電氣參數會發生變化，如電壓、電流、線損等，根據變化的電氣參數可以構建異常用電模式評價指標體系，從而便于檢測異常用電的終端用戶。基于采集系統中的數據，選擇用戶用電量、線損、終端告警情況建立如圖1所示的評價指標體系。

圖1 異常用電模式評價指標體系Fig.1 Evaluation index system of abnormal electricity consumption pattern

1.1 負荷曲線斜率指標

由于用戶的用電行為存在慣性，每天的用電負荷基本一致，一般情況下正常用戶的用電量斜率接近于0，然而處于異常用電模式的用戶的用電量曲線較為特殊，在異常初期其用電量持續下降，斜率隨時間而減小，下降到某一較低值后，長期處于這一穩定狀態。因此將用戶在某一個時間段內用電量是否持續下降作為識別其是否發生異常用電行為的特征之一。計算公式如式(1)—(3)所示[5]。

(1)

(2)

(3)

式中：Kα為第α天的負荷曲線斜率；Lt為第t天的負荷，以m天為統計周期，計算包括該天在內的共(2m+1)天的負荷曲線斜率。

如果負荷曲線的斜率持續減小，則該用戶具有異常用電嫌疑。對于該類用戶，統計(2m+1)天中當天負荷曲線斜率比前一天小的天數，并且定義(2m+1)天的負荷曲線斜率指標為：

(4)

(5)

式中：IS為負荷曲線斜率指標；D(t)為負荷曲線斜率變化的標志，若負荷曲線斜率變小，則D(t)=1，否則D(t)=0。

1.2 線損指標

較多的可靠特征會提高基于數據的學習類算法的準確性，降低誤判率，增強實際應用過程中對數據集的適應性，因此增加線損指標作為檢測異常用電模式的一個關鍵特征。線損為電網供電量與售電量的差值，當用戶側出現異常用電時，電網供電量不變，售電量降低，導致電網的線損會出現明顯增大。考慮到用電量數值差異，定義線損率為線損指標，其計算公式如式(6)所示[19]。

(6)

當用戶側出現異常用電模式時，線路的線損率增大。然而用戶每天的用電量存在一定的波動，僅以當天線損率的增大作為異常用電特征會導致較大的誤差，因此將m天的線損率平均值作為評估指標，并分別計算當天的前m天和后m天的平均線損率。定義線損指標如式(7)所示。

(7)

(8)

(9)

1.3 告警類指標

與異常用電模式有關的終端告警信息主要包括電壓斷相、電流不平衡及電能表異常等[20]。將與異常用電模式有關的終端告警次數的總和作為告警信息指標，可以有效地減少單一告警信息帶來的誤差。告警類指標的計算公式如式(10)所示。

(10)

(11)

式中：wt為報警的總次數；Q為終端告警信號類別總數；sq是警告信號的狀態，如果有報警信息，則sq=1，否則sq=0；Iw是告警類指標；b是警告次數參考值。

2 異常用電模式檢測模型

2.1 數據預處理

從用電采集系統和能量管理系統獲取的數據存在部分數據缺失的問題，無法直接進行特征挖掘。為了提高數據質量，并使數據更好地適應挖掘方法，對原始數據進行數據預處理，包括數據清洗、缺失值處理及數據變換等。

1)數據清洗。

數據清洗是基于建模需要，篩選出所需要的數據。原始數據中的冗余、無關數據會影響特征挖掘過程，因此需要刪除此類數據，平滑數據噪聲。

公用事業等非居民用電一般不會存在異常用電模式，因此刪除非居民用電類別的用電數據。對于居民用戶而言，節假日與工作日的用電存在較大差異，為減小用電量差異對檢測模型的影響，刪除節假日的用電數據，即令m=5。

2)缺失值處理。

用電采集系統記錄的數據會由于采集設備故障、傳輸丟包等原因存在部分缺失，若直接忽略缺失樣本，會導致日線損率數據誤差較大，從而降低異常用電模式檢測模型的精確度。為了避免這種影響，采用拉格朗日插值法[21]對缺失值進行處理。具體方法如下：首先從原始數據集中確定因變量和自變量，取出缺失值前后的5個數據(若遇到數據不存在或者為空，直接將數據舍去，將僅有的數據組成一組)，將取出來的10個數據組成一組。然后采用拉格朗日多項式插值公式進行處理，如式(12)—(13)所示。對全部缺失數據依次進行插補，直到不存在缺失值為止。

(12)

(13)

式中：v為缺失值對應的節點序號；Ф(v)為缺失值的插值結果；φh(v)為插值基函數；vβ、vh為非缺失值Vh對應的不同節點序號；N是缺失值前后取出數據樣本的總數。

3)數據變換。

數據變換是指對數據進行規范化處理，即轉換數據格式使之適用于特征挖掘算法。根據數據特點，可以從規范化處理和屬性構造2個方面進行數據變換。規范化處理是將具有不同量綱的數據轉換到同一量綱，將數據規定到一個較小的特定范圍。數據規范化的方法有3種：最小-最大規范化、z-score規范化和小數定標規范化[22]，這里采用操作簡單的最小-最大規范化處理方法。

2.2 XGBboost算法

XGBoost能夠進行多線程并行計算，在計算速度和學習能力方面都大幅提升[23]。并且XGBoost算法的損失函數根據二階泰勒展開，具有高準確度、不易過擬合、可擴展性等特點。XGBoost還可以分布式處理高維度稀疏特征，因此，XGBoost算法優于同類算法。

1)模型輸入。

將給定的包含c個屬性，n個樣本的數據集作為XGBoost算法的輸入數據，記為：

D={(xi,yi):xi∈Rc,|D|=n}

(14)

式中：xi表示樣本的特征向量，i=1,2,…,n，n為樣本總數；yi表示樣本的類別標簽；Rc為c維特征實數空間。

2)構建提升樹。

提升樹是一種集成方法，XGBoost算法基于數據集D進行樹的累加，每次迭代訓練一棵樹，并且采用CART回歸樹作為該模型的子樹模型，一棵回歸樹的集合記為：

F={f?(x)=ωq(x),q:Rc→T,ω∈RT}

(15)

式中：q代表樣本映射到相應的葉子節點的規則；T代表一棵樹的葉子節點數量；ω表示葉子節點的權重；f?(·)代表CART樹。

當完成θ棵樹的訓練時，基于XGBoost模型的預測值表示為：

(16)

對樹的訓練迭代過程是相互獨立的，即原來的模型保持不變，將一個新的函數添加到模型中。一個函數對應一棵樹，新生成的樹擬合上次預測的殘差，迭代過程如公式(17)所示。

(17)

3)正則化目標函數。

XGBoost的目標函數如式(18)、(19)所示：

(18)

(19)

式中：l(·)是誤差函數，用來衡量預測值與真實值之間的偏差；Ω(f?)是正則化項，用來衡量模型的復雜度，防止模型訓練過擬合；γ、λ為參數，分別用來控制葉子結點的個數和控制葉子節點的權重大小。對式(18)第一項進行泰勒展開，并聯立式(19)，最終的目標函數只依賴于每個數據點在誤差函數上的一階導數和二階導數，如式(20)所示。

(20)

(21)

(22)

(23)

(24)

式中：Lobj(t)為第t次迭代的目標函數；Ij={i|q(xi)=j}為節點j上的樣本集合；gi、hi分別為訓練誤差的一階和二階梯度統計量。

4)節點切分算法。

XGBoost算法采用貪心算法從根節點開始，每次分裂一個節點，計算分裂后的增益并選擇最大增益對應的節點。IL和IR分別是分割點左邊和右邊的樣本集，根據XGBoost損失函數計算其信息增益：

(25)

式中：I=IL∪IR；加和的3項分別為左子樹、右子樹和不分割時的增益分數，當增益Gain<0時，放棄分割。

訓練過程中，模型不斷計算節點損失以選擇增益損失最大的葉子節點。模型損失計算過程見表1。

表1 XGBoost節點切分算法Table 1 Node segmentation algorithm for XGBoost

2.3 基于XGBoost的終端用戶異常用電模式檢測模型

1)終端用戶異常用電模式檢測流程。

根據基學習器為樹的XGBoost算法建立終端用戶異常用電模式檢測模型，其流程如圖2所示，具體步驟如下所示：

圖2 基于XGBoost的異常用電模式檢測流程Fig.2 Flow chart of detection of abnormal electricity consumption pattern based on XGBoost

步驟1：導入預處理后的用戶數據，并將其分為訓練集和測試集，訓練集用來訓練XGBoost異常用電模式檢測模型，測試集用來評價模型的泛化性能。

步驟2：通過繪制弱學習器個數-準確率曲線，確定弱學習器個數M(迭代次數)及學習率參數。在弱學習器個數和學習率確定的條件下，通過網格搜索法來確定XGBoost子樹的最大深度、樣本的采樣比和樣本屬性采樣比等其他模型參數。最終得到最優的基于XGBoost的異常用電模式檢測模型。

步驟3：將步驟1中的測試集輸入到步驟2得到的檢測模型中，輸出終端用戶異常用電模式檢測結果，并通過繪制受試者工作特征(receiver operating characteristic,ROC)曲線來評價模型的性能。

2)準確率檢驗。

終端用戶異常用電模式檢測的本質是基于用電數據進行用戶正常和異常用電行為的檢測。

對于二分類檢測問題，可將樣例根據其真假類別與學習器預測類別的組合劃分為：真正例 (true positive，TP)、假正例 (false positive，FP)、真反例 (true negative，TN)、假反例 (false negative，FN)，分別用TP、FP、TN、FN表示上述4種情形。分類結果的“混淆矩陣”如表2所示。

表2 混淆矩陣Table 2 Confusion matrix

定義準確率為正確分類的測試樣本的個數占測試樣本總數的比例Accurary：

(26)

式中：nTP、nFP、nFN、nTN分別為TP、FP、FN、TN的數量。

由于準確率指標無法體現正例和負例的覆蓋率，在一些有特殊要求的場景下，單一的準確率指標并不能夠全面地表現模型的分類效果。在實際的數據集中經常會出現類不平衡(class imbalance)現象，即負樣本比正樣本多很多(或者相反)，而且測試數據中的正負樣本的分布也可能隨著時間變化。而ROC曲線則不受這種變化的影響，更能反映模型的檢測效果。ROC曲線的橫坐標為FPR，縱坐標為TPR。其中，TPR表示正常用電的樣本被正確地判斷為正常的比率，如式(27)所示；FPR 表示異常用電的樣本被錯誤地判斷為正常用電的比率，如式(28)所示。

(27)

(28)

ROC曲線覆蓋下的面積 (area under curve，AUC)介于0.1和1.0之間，AUC的值越大則模型的準確率越高。

3 算例分析

3.1 基礎數據

本算例基于如圖3所示的配電系統結構，208個用戶在5年內的相關數據[24]驗證所提模型的有效性。該系統包括用戶層及能量管理層，首先借助用戶層終端智能電表獲取用戶的負荷數據、線損數據及終端報警次數等信息，再將采集信息傳輸到能量管理層的數據接收單元，在用電異常模式檢測單元訓練檢測模型并分析用戶的用能特征，若用戶用電異常，則借助用戶側開關控制單元斷開該用戶的接入開關，減少電網損失。

圖3 配電系統結構Fig.3 The structure of distribution network

3.2 終端用戶異常用電模式檢測模型參數的確定

在數據預處理后的數據樣本中隨機抽取70%作為訓練集，30%作為測試集，并且訓練集與測試集中正負樣本的比例均為1∶1。基于XGBoost算法的異常用電模式檢測模型包含多種參數，如學習率、樹的最大深度、迭代次數、樣本采樣比、樣本屬性采樣比及正則化項權重比等，其中迭代次數、樹的最大深度和學習率3個參數直接影響模型的準確率，因此需要調節參數以達到模型的最優效果。

為了確定檢測模型的最佳學習率及迭代次數，分別令學習率為0.1、0.3、0.5、0.8和1.0，并基于訓練集得到各自的準確率曲線，如圖4所示。

圖4 迭代次數-準確率曲線Fig.4 Iteration times -accuracy curve

由圖4可知，學習率為0.5時，模型的準確率最高，因此確定學習率取值范圍為0.1～0.5。根據學習率為0.1、0.3和0.5的曲線可以得到，迭代次數為48時的準確率效果較好，且曲線相對穩定，考慮到訓練時間與迭代次數的近似正比關系，將模型的迭代次數設定為48。

XGBoost算法在迭代每一棵樹的過程中，樹的最大深度是防止模型過擬合的重要參數，樹的最大深度較大時會使模型更為復雜，并容易導致過擬合，延長訓練時間。為了減輕調參的工作量，采用網格搜索法確定樹的最大深度和其他參數的最佳值。依據訓練結果得知，樹的最大深度為5、樣本的采樣比為0.9、樣本屬性的采樣比為1.0、正則化項權重比為5，其余參數值選擇默認時，模型表現出更優的綜合性能。

為了排除訓練得到的模型產生過擬合現象，分別基于訓練集與測試集得到異常用電模式檢測模型的準確率曲線，如圖5所示，訓練集與測試集的準確率比較接近，從而說明異常用電模式檢測模型沒有被過擬合。

圖5 XGBoost的準確度曲線Fig.5 Accuracy curve of XGBoost algorithm

3.3 終端用戶異常用電模式檢測模型的訓練結果

通過調參過程，確定終端用戶異常用電模式檢測模型的最優訓練參數，然后基于測試集得到檢測模型檢測結果及準確率。如圖6所示，該模型的訓練時間為8.971 ms，在測試集上的準確率達到94.915%，說明該模型具有較好的檢測效果。從模型的評估報告中可以看出，模型的精確度、召回率和F1都有較高的得分。

圖6 訓練效果Fig.6 Training effect

XGBoost算法根據結構分數的增益計算得到作為分割點的特征，并且某個特征的重要性就是它在所有樹中出現的次數之和，即出現次數越多，重要性就越高。負荷曲線斜率指標、線損指標和告警類指標三類指標對異常用電模式檢測的重要性如圖7所示，從圖7可以得出，負荷曲線斜率指標的重要性最高，其次為線損指標，告警類指標的重要程度相對較低。

圖7 特征貢獻度Fig.7 The contribution of features

3.4 數據清洗前后對比

數據質量的好壞會給模型的訓練效果帶來一定程度的影響，而獲取的原始數據存在缺失、冗余和無關數據，因此需要對其進行一定的數據清洗工作。對于大數據分析而言，數據清洗是數據挖掘的關鍵環節。本文通過缺失值處理、屬性構造等技術對原始數據進行必要的數據預處理，并且通過比較數據清洗前后XGBoost檢測模型的訓練效果，來驗證數據清洗工作對模型訓練產生的影響。

如表3所示，經過清洗后的數據在XGBoost模型上有更好的訓練效果，其檢測準確度明顯高于原始數據。由于清洗前后的數據樣本量會發生略微改變，所以在訓練時間上，經過數據清洗的模型訓練時間也會低于直接使用原始數據訓練的時間。

表3 數據清洗前后的測試結果Table 3 Test results before and after data cleaning

3.5 與其他算法的對比

為了驗證模型的有效性，選擇決策樹、隨機森林、Adaboost、文獻[12]中的檢測模型與本文XGBoost模型進行對比分析。文獻[12]也采用XGBoost算法進行用戶異常用電檢測，但是本文對原始數據做了新的特征構造，使得離線數據在XGBoost模型上有更出色的檢測效果。各算法檢測結果的準確率和訓練時間如表4所示，本文所提方法在測試集上的準確率為94.915%，明顯高于其他4種算法；其訓練時間也短于隨機森林算法和Adaboost算法。雖然決策樹算法的訓練時間比本文所提算法短，但是其分類準確率較低。此外，本文對訓練數據進行了新的特征構造，通過與文獻[12]對比可以看出，本文經過新特征構造的數據在XGBoost模型上有更好的檢測精度。由于文獻[12]的數據樣本容量較大，兩者數據集存在一定差異，因此，在訓練時間方面不具有比較性。通過以上對比，可以看出本文通過數據清洗和新特征構建的XGBoost異常用電模模型具有更優的檢測性能。

表4 5種算法的測試結果Table 4 Test results of the five algorithms

為了全面評價上述算法的檢測效果，分別繪制其ROC曲線并計算AUC面積，如圖8所示。由圖8可知，基于XGBoost算法的異常用電模式檢測模型的ROC曲線明顯包住了Adaboost算法和決策樹的曲線，而隨機森林算法的ROC曲線和XGBoost、Adaboost算法都存在部分交叉；計算各自ROC曲線下的面積AUC值，可以得出XGBoost(0.97)>隨機森林算法(0.96)>Adaboost算法(0.94)>決策樹(0.87)。以上比較可以說明基于XGBoost的異常用電模式檢測模型的準確性明顯優于決策樹、隨機森林和Adaboost算法。

4 結 論

首先基于能源互聯網系統采集到的大量且多元的終端數據，篩選出用電量、線損及告警次數3個特征，并建立了包含負荷曲線斜率指標、線損指標與告警類指標的終端用戶異常用電模式評價指標體系，提出了基于XGBoost的異常用電模式檢測模型。針對原始數據中存在壞數據、數據缺失及量綱影響等問題，提出數據清洗方法、基于拉格朗日插值法的缺失值處理方法和數據變換方法，提高了數據質量并使之適用于異常用電模式檢測模型。最后，通過案例分析，驗證了異常用電模式檢測模型的有效性，基于與決策樹、隨機森林及Adaboost算法的對比，所提檢測模型具有更好的檢測性能、較強的泛化能力。未來將進一步挖掘影響異常用電模式檢測的因素，借助多核服務器、云邊結合的計算平臺提高檢測模型對大數據的訓練速度，實現所采集數據的最大化利用。