基于L0稀疏超圖半監督學習的異常用電行為識別

郭志民　袁少光　孫玉寶

1(國網河南省電力公司電力科學研究院　河南 鄭州 450052) 2(南京信息工程大學信息與控制學院　江蘇 南京 210044)

0　引　言

隨著“三集五大”體系建設的建成，智能電網建設取得了重大進展，拓展了信息分析技術在電力系統中的應用廣度和深度，應用的支點正逐漸轉變為數據效能驅動層面的架構重構。對電力數據的有挖掘分析是實現數據價值提升的重要方法[1-2]。

供電公司調研發現在配電網側存在電力用戶的竊電、欺詐等一系列異常用電行為，帶來了電能損失。通過采集終端記錄用戶用電負荷信息，檢測用戶用電的竊電行為，是電力公司正在廣泛研究的問題[3-4]。中低壓配輸電網絡是電能損失發生的主要區域，并呈現向遍布整個電力系統蔓延的趨勢，給電力公司帶來了重要的經濟損失與安全隱患。而目前的主要監控手段仍多是現場檢查，不僅效率低、消耗大量的人力資源，增加了運營成本，同時技術專家的人工判別準則存在一定的主觀性與片面性[3-4]。

近些年，運用機器學習，從用戶用電負荷數據進行NTL自動檢測引起電力部門與科研人員的廣泛關注。從運用樣本標定信息的方式來看，主要可以分為非監督學習、監督學習以及半監督學習三類。非監督學習不使用樣本標定信息，通常采用K-Means、模糊C均值以及譜聚類等算法對數據進行聚類分析[3,5-6]，分析各類用戶的用電行為，為負荷預測、后期電網規劃以及更好地提高電網服務提供決策依據，然而無法直接判別異常用電行為是否存在。監督學習通過訓練集來學習分類器，即需要一定數量的用戶用電行為類型(正常、異常)數據來建立分類器，如K近鄰法KNN(K Nearest Neighbor)、支持向量機、極限學習機等算法[4,7-8]，然而在實際業務中，較難獲得足夠多的訓練集，從而容易造成過擬合，影響分類準確性。半監督學習算法同時利用少數的標定樣本和大多數的非標定樣本進行學習，通過分析用戶之間的關系來對用戶用電行為進行分類，可為電力公司提供有效的異常用電模式檢測方法。基于圖模型的半監督分類算法將圖中每個頂點關聯一個樣本，根據頂點間的連接關系將類別信息從少數的標定樣本傳遞至鄰近樣本，如文獻[9]的圖拉普拉斯正則的半監督學習模型，文獻[10]的拉普拉斯特征映射模型，算法經過迭代直到達到全局穩定狀態，是應用較為廣泛的半監督分類算法。在實際問題中，不同數據樣本間具有非常復雜的關聯關系，例如電力行業數據中，由于用電數據的復雜性，不同用戶間呈現高階復雜關聯關系。然而，經典圖模型僅度量兩兩頂點間的二元連接關系，不利于獲得良好的學習結果。

與經典圖模型中一條邊連接兩個頂點的連接關系不同，超圖模型運用超邊連接多個頂點，同一超邊內各頂點有相近特征，進而可以表達多個樣本間的高階復雜關系。D. Zhou等在NIPS會議論文中提出了超圖譜聚類算法，運用隨機游走思想詳細證明了超圖歸一化割算法，為超圖學習算法的推廣應用奠定了基礎[11]，后續研究將超圖模型推廣應用于圖像分類、圖像檢索等問題[12]。目前，最為常用構建超邊的方法是K近鄰，以一個數據點為中心，通過歐式距離、高斯核等度量尋找最為類似的K個近鄰，共同組建為一條超邊。盡管KNN超邊構建方法簡單明了，然而KNN超圖的每條超邊大小相同，無法有效匹配數據的局部變化，對于非均勻分布的數據，特別是對于用戶負荷數據，經典的KNN方法并不合理。同時歐氏距離來進行相似性度量對數據噪聲不夠魯棒[13]。由于用戶行為的千差萬別，逐分量計算的歐式距離并不能有效度量用戶用電負荷數據之間的相關性。

本文提出一種基于L0稀疏超圖半監督學習的竊電行為識別算法，可有效解決KNN超圖存在的上述問題。如圖1所示，首先建立用戶用電數據的L0魯棒稀疏表示模型，選用樣本數據集作為字典，獲得每個數據在該字典下的L0稀疏表示系數，將顯著大系數所對應的樣本以及當前樣本組建為一條超邊。本文通過稀疏重構選擇強關聯的樣本構建超邊，可有效表示樣本間的高階耦合關系，同時超邊大小不再固定，有利于捕獲樣本集的局部分布結構。最后構建超圖拉普拉斯正則約束的半監督分類模型，判別用戶用電行為是否存在異常。在業務系統采集的用戶數據上驗證了本文方法的有效性。

圖1　稀疏超圖半監督學習算法框圖

1　L0魯棒稀疏表示模型

電力信息系統采集每個用戶m天的用電量序列，其原始用電力量數據或經過特征提取后的數據可表示為n維向量x∈Rn，m個用戶的用電信息可以表示為矩陣X=[x1,x2,…,xm]∈Rn×m，每一列為一個用戶的用電負荷序列。在實際問題中，高維數據(如時間序列、人臉等)往往都存在一定的稀疏關聯結構，即樣本數據可以通過樣本空間中的同類別的少量樣本進行線性表示[13]。基于該先驗，本節建立用戶用電數據X的L0魯棒稀疏表示模型，如公式所示：

(1)

模型式(1)包含Z和E兩個優化變量，本文通過交替方向乘子法(ADMM)進行求解，由于包含不可分離的耦合項XZ，本文引入輔助變量J∈Rm×m，建立模型式(1)的增廣拉格朗日函數[14]，如下式所示：

E,Y1)+tr(Z-J,Y2)+μ/2‖X-XJ-

(2)

式中Y1∈Rn×m,Y2∈Rm×m為拉格朗日乘子，‖·‖F表示矩陣的F范數，tr表示矩陣的跡，μ>0。在稀疏分解時使用除自身以外的數據樣本作為字典進行稀疏表示即可滿足約束條件diag(Z)，因此未在式(2)中列出該約束。通過解式(2)，將原問題轉為關于Z的硬閾值收縮[15]、關于J的最小二乘逼近、關于E的l2,1范數閾值收縮[16]以及拉格朗日乘子更新四個子問題的迭代求解，直至算法滿足收斂性條件：

(3)

式中：k最為迭代次數，當RelErr小于設定的常數ε時，滿足收斂條件，進而得到系數矩陣Z。

圖2給出了所列的數據上相對誤差與隨迭代次數的變化曲線，可以看出，相對誤差能夠隨著迭代次數快速衰減，并趨于穩定，驗證了本文ADMM優化算法的收斂性。

圖2　相對誤差RelErr隨迭代次數的衰減曲線，Y軸為對數尺度

2　L0稀疏超圖半監督學習

根據求解模型式(1)獲得的系數矩陣Z，本節構建表征樣本間關聯關系的超圖模型，根據每個樣本的稀疏重構關系構建超邊，計算超圖拉普拉斯矩陣，繼而建立超圖半監督學習模型，對于用戶用電數據進行分類。在闡述稀疏超圖構建以及超圖譜半監督學習算法之前，首先簡要介紹超圖的基本理論。

2.1　超圖理論基礎

記加權超圖為G=(V,E,W)，其中V={v1,v2,…,vm}是頂點集合、E={e1,e2,…,ek}實超邊集合、W為超邊權重w(ei)組成的對角矩陣。

如圖3對應了包含7個頂點的圖與超圖模型，與兩兩連接的圖模型不同，超圖模型的每一個超邊ei可連接多于兩個頂點，賦予每一個超邊一個權重w(ei)。

圖3　圖(左)與超圖(右)對比

超圖G中各超邊的連接關系表示為m×m維的關聯矩陣H，定義如下：

(4)

根據關聯矩陣H，每一個頂點v∈V的度表示為：

(5)

每個超邊e∈E的度表示為：

(6)

定義對角矩陣Dv為超圖G的頂點度矩陣，其對角元素由各頂點的度d(v)，對角矩陣De為超圖G的超邊度矩陣，其對角元素為超邊的度δ(e)。

根據超圖的定義，構建超圖需要解決的關鍵問題是建立超邊，確定超圖的H矩陣，并計算超邊權重矩陣W。

2.2　L0稀疏超圖構建

本節構建表示樣本集X的L0稀疏超圖模型G=(V,E,W)，超圖的每一個頂點vi關聯樣本數據集中的xi。所有超邊組成的集合為E，對角矩陣W是超圖權重矩陣，其對角元素為各超邊ei的權重w(ei)。

構建L0稀疏超圖G的關鍵是選擇每個頂點的近鄰樣本。通過交替方向乘子法(ADMM)迭代求解魯棒稀疏表示模型式(1)，可獲得稀疏系數矩陣Z。矩陣Z第i列向量zi為樣本xi在字典X下的稀疏重構系數，大系數所對應的樣本同xi具有顯著相關性。為此，本文針對每個樣本xi，建立一條超邊，由xi自身及其zi中顯著大系數對應的樣本數據組成。

實際中，樣本數據xi的稀疏編碼向量zi中通常有一些較小的值，表明其與樣本zi的相關性較弱。為此，本文定義一個準則來選擇相關性強的樣本構建超邊ei，如公式所示：

ei=vi∪{vj||zij|>θ}

(7)

式中：θ為設定的閾值，根據實驗分析，本論文選取為zi的均值。為此，將每個樣本與魯棒稀疏表示系數中大于θ的樣本組建為超邊。由式(7)，超圖G的關聯矩陣H計算為：

(8)

圖4對比了本文L0稀疏超圖的H陣與通過經典的KNN方法的H矩陣，可以看出KNN方法的H矩陣中有很多非零元素散落在對角線之外，而本文算法的H矩陣具有塊對角結構，有利于后續的半監督學習。

圖4　本文L0稀疏超圖與KNN超圖的H矩陣比較

超邊權重應能有效度量超邊內頂點的關聯程度，關聯度越高的超邊應被賦予越大的權重，定義為：

(9)

式中：A(vi,vj)=1/2(|Zij|+|Zji|)度量頂點vi,vj間的相似性，即對超邊內兩個頂點間的相似性進行求和。

2.3　超圖譜半監督學習

超圖拉普拉斯矩陣是描述超圖G中頂點間關聯關系的重要算子，定義為：

(10)

式中：I為單位矩陣。根據式(8)，可計算各個頂點與超邊的度，進而確定矩陣Dv與De。進一步，本文構建超圖拉普拉斯正則約束的半監督分類模型，記數據集X中前l個樣本xi(1≤i≤l)為標定樣本，其類別信息表示為向量Yi∈Rc，c為類別數，若頂點xi屬于第j類，則Yi的第j分量為Yi,j=1，否則設置為0。對于未標定的樣本類別信息設置為全零向量。

超圖半監督模型聯合利用標定的樣本與非標定樣本進行學習，目標函數為：

(11)

式中：第一項是分類結果誤差項，第二項是超圖拉普拉斯正則項，F是m×c的矩陣，Fi為xi的分類標簽。該目標函數期望學習得到的樣本類別應與已標定的樣本盡可能相同，同時通過正則項約束相似的未標記樣本，其預測的類別標簽也應相似，λ是正則化參數，調節分類結果誤差項與超圖拉普拉斯正則項的作用大小。目標函數式(11)具有解析解[11]，求解為：

F*=(1-γΘ)-1Y

(12)

(13)

3　實驗結果與分析

本節通過實驗驗證本文L0稀疏超圖算法(簡記為L0-HG)的性能。所使用的用戶用電數據采集自某市電力部分的實際業務系統，包含8 956個用戶300余天的用電量數據。圖5給出了部分用戶的用電量曲線示例圖形。

數據中有2 176名用戶被標識為違規用電(竊電)用戶。由電力執法人員現場調查得到，其余數據為正常用電數據。由于不同用戶的最大用電量差異性較大，為此對各用戶的每日用電量根據歸一化至區間[0,1]。

圖5　用戶用電負荷曲線示例

為了驗證本文算法的有效性，將其與基于高斯核的圖半監督學習方法(G-graph)[9], 拉普拉斯特征映射的半監督學習方法(LE-graph)[10]，以及基于KNN的超圖半監督分類方法(KNN-HG)進行對比分析。采用準確度AC(Accuracy)與規范化互信息NMI(Normalized mutual information)指標度量半監督分類結果與真實類別的相一致程度[17]。AC指標運用一個映射函數來對分類結果與真實分類結果進行最優匹配，度量各算法分類結果的準確性。NMI值可有效度量分類結果的魯棒性。

表1給出了在不同標定樣本比率下各算法半監督分類的AC值，表2給出對應的NMI值。考慮到選擇標定樣本的隨機因素，每次實驗執行5次，所列AC和NMI值為5次實驗的均值，并用黑色粗體字標出每組實驗最高的AC和NMI值。綜合表1和表2中的結果，本文的L0-HG算法具有最優的半監督分類結果，特別是在標定樣本率比較低時，本文算法具有更為明顯的優勢，表明L0稀疏超圖拉普拉斯正則項具有較好的泛化能力。同時總體而言各算法的AC和NMI值之間呈現正向相關性，當各算法在取得高的NMI時，其AC值一般也較高。與基于圖模型的G-graph與LE-graph算法相比，基于超圖的KNN超圖以及本文算具有更高的AC和NMI值，說明超圖模型所表征的高階信息有利于提升分類性能。與KNN超圖相比，本文L0-HG算法具有更高的AC和NMI指標，表明通過L0稀疏表示構建的超圖能夠更加有效表達用戶用電數據的內在復雜關聯結構，提升分類準確性。

表1　不同算法在不同標定比例下的AC值

表2　不同算法在不同標定樣本比例下的NMI值

圖6給出了本算法分類結果的用戶用電曲線示例，(a)為正常用戶用電曲線，(b)、(c)為異常用電曲線。可以看出正常用電用戶的電量盡管有些波動，但整體表現出一致的趨勢。而(b)圖顯示的異常用戶用電量很多時間為很小的值，少數時間涌現為大的用電量。從(c)圖可以看出，部分異常用電曲線盡管整體趨勢未能表現大的波動，但存在很多“倒V型”的變化模式，局部用電量呈現出很大的波動。

圖6　本文算法分類結果的用戶用電曲線示例

本文模型式(12)中參數γ用于權衡經驗損失項與超圖拉普拉斯正則項在半監督學習中的作用，對分類結果具有一定的影響。在標定樣本比例為10%時，圖7給出了γ取值分別為0.4,0.6,0.8,0.9,1.0時本文算法的分類精度，可以看出在γ=0.8時，能夠取得較好的分類結果。

圖7　不同γ值下本文算法的分類精度

4　結　語

建立竊電行為的自動檢測算法是電力部門關切的一個重要問題。本文構建超圖模型表示用戶用電數據間的關聯關系，其核心是通過L0稀疏重構尋找近鄰樣本，建立超邊，能夠自適應于用戶用電數據的分布結構。進一步構建超圖半監督學習模型，利用少量標定的樣本預測異常用電行為。在實測用電數據集上的實驗結果驗證了本文算法的有效性，與其他基于圖的半監督算法以及KNN超圖相比，本文的L0稀疏超圖半監督學習算法具有更為優越的性能。

[1] 張沛,楊華飛,許元斌.電力大數據及其在電網公司的應用[J].中國電機工程學報,2014,34(S1):85-92.

[2] 齊俊,曲朝陽,婁建樓,等.一種基于Hadoop的電力大數據屬性實體識別算法[J].電力系統保護與控制,2016,44(24):52-57.

[3] 莊池杰,張斌,胡軍,等.基于無監督學習的電力用戶異常用電模式檢測[J].中國電機工程學報,2016,36(2):379-387.

[4] Nagi J,Yap K S,Tiong S K,et al.Nontechnical loss detection for metered customers in power utility using support vector machines[J].IEEE Transactions on Power Delivery,2010,25(2):1162-1171.

[5] 彭顯剛,賴家文,陳奕.基于聚類分析的客戶用電模式智能識別方法[J].電力系統保護與控制,2014(19):68-73.

[6] 胡曉雪,趙嵩,正吳楠.面向分類屬性數據的一種改進相異性度量及其在客戶細分中的應用[J].計算機應用研究,2016,33(2):400-403.

[7] 劉慶時,趙賀,劉迪,等.基于支持向量機的家庭負荷控制策略研究[J].電力科學與技術學報,2016,31(4):96-101.

[8] 胡殿剛,李韶瑜,樓俏,等.ELM算法在用戶用電行為分析中的應用[J].計算機系統應用,2016,25(8):155-161.

[9] Zhu X,Ghahramani Z,Lafferty J D.Semi-supervised learning using gaussian fields and harmonic functions[C]//Machine Learning, Proceedings of the Twentieth International Conference,USA,2003:912-919.

[10] Belkin M,Niyogi P.Laplacian eigenmaps for dimensionality reduction and data representation[J].Neural computation,2003,15(6):1373-1396.

[11] Zhou D,Huang J.Learning with hypergraphs:clustering,classification,and embedding[C]//International Conference on Neural Information Processing Systems.MIT Press,2006:1601-1608.

[12] Huang Y,Liu Q,Lü F,et al.Unsupervised image categorization by hypergraph partition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(6):1266-1273.

[13] Liu Q,Sun Y,Wang C,et al.Elastic Net Hypergraph Learning for Image Clustering and Semi-Supervised Classification[J].IEEE Transactions on Image Processing,2017,26(1):452-463.

[14] Lin Z,Liu R,Su Z.Linearized alternating direction method with adaptive penalty for low-rank representation[C]//Advances in neural information processing systems,Granada,2011:612-620.

[15] Combettes P L,Pesquet J C.Proximal splitting methods in signal processing[M].New York:Springer New York,2011.

[16] Liu G,Lin Z,Yan S,et al.Robust recovery of subspace structures by low-rank representation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(1):171-184.

[17] He X,Cai D.Active subspace learning[C]//Computer Vision,2009 IEEE 12th International Conference on,Kyoto,2009:911-916.