基于多特征和LOF的用戶負荷突變檢測

曾靜，婁冰，呂娜，鄧雋，王冠明

（1.浙江華云信息科技有限公司，杭州 310007；2.杭州師范大學 附屬未來科技城學校，杭州 311100）

0 引言

隨著現代電力技術向智能化、信息化、數字化方向的高速發展，電力數據量呈指數型增長，居民用戶負荷也呈高速增長態勢，用戶用電行為日趨復雜［1］。負荷曲線是電力系統運行規劃、負荷預測和用戶畫像等分析預測的重要依據，因此數據質量尤為重要。為了高效地挖掘和分析數據，維持電力系統穩定運行，異常值檢測和分析必不可少。其中用戶負荷突變事件檢測是非介入式負荷辨識技術中的核心原理之一［1］，負荷突變與天氣、政府政策等息息相關，通常用戶用電異常、設備故障或者采集通信過程中的擾動都會對電力系統運行產生較大影響［2］。大多突變負荷在后續分析中需要進行特殊處理，因此從負荷曲線中有效地檢測突變負荷數據對后續負荷特征辨識與電網穩定運行有重要意義，尤其可在用電安全檢查、配電臺區的優化調度管理、用戶負荷畫像及負荷預測方面提供應用。

從源端監測負荷數據的異常值檢測方法較為成熟且效果較好。文獻［3］提出了一種基于滑動窗口和多元高斯分布的變壓器油色譜異常值檢測方法。文獻［4］提出了一種基于滑動窗口和聚類算法的變壓器狀態異常檢測方法。文獻［5］提出了一種基于灰色關聯度和K-means 聚類的異常數據檢測方法。源端監測負荷數據異常識別在變壓器狀態評估和故障診斷中有重要作用，但其對后續大量負荷數據特征研究、電能生產、調度分配和負荷預測等規律性研究益處不大。文獻［6］介紹了因子分析的理論及其應用于母線負荷異常數據辨識的原理，提出了基于因子分析的母線負荷異常數據辨識方法，對母線負荷突變有較好的辨識結果。文獻［7］基于采樣技術對FCM 算法進行改進，利用遺傳算法對聚類結果進行優化，實現了對電力異常數據的動態處理，但數據量小，算法相對復雜。文獻［8］采用基于相對密度和相對距離的方式對聚類中心進行判別，利用LOF（局部離群因子）算法對負荷曲線進行聚類，從而基于聚類檢測出異常數據，但該方法需要面向特定的數據集。針對用戶負荷數據量大、時間強耦合、高維復雜，且不同變壓器負荷特征大相徑庭的特點，目前主要采用傳統的概率統計或者閾值判定法對其突變異常進行檢測，但傳統方法存在檢測準確率低、互信息量小、計算復雜、靈活性低等問題［9］。

本文針對用戶負荷數據量大、且需要每天監測數據異常的需求，基于以阿里云為基礎的數據中臺對變壓器負荷進行數據挖掘，分析數據的潛在特征，提出了多特征與LOF 算法相結合的在線負荷突變異常檢測方法。該方法不僅可以進行異常值檢測，還可以根據閾值設定異常程度，將業務上認為突變異常的負荷曲線識別出來；結合實際情況，在中臺每天定時檢測并存儲突變異常，以便后續進行快速統計分析和展示，從而實現突變檢測的工程化應用。

1 負荷數據特征提取

1.1 負荷數據特點

用電負荷是指連接在系統上的一切用電設備所消耗的功率，負荷數據是大量、連續和有序的，一般負荷一天之內用電模式相對固定，波動較小。用電負荷也會隨人口增長、季節變化以及生活水平而變化，具有以下主要特點［10］：

1）周期規律性。負荷數據是用戶用電消費行為的外在表現，各類型用戶的生產、生活往往呈現出一定的周期性規律。

2）時序性強。負荷數據以數據流的形式出現在采集、傳輸和存儲各個環節，前后點相關性較大。

3）數據處理代價高昂。負荷數據一般為高精度浮點數且數值敏感性較強，用戶數量大和采集頻率高導致其數據量非常大，分析困難且需要大量計算資源。

4）隨機性。由于電網的復雜性和用戶活動的靈活多變性，突變普遍存在且難以預測。

雖然負荷具有隨機性，但在一天內用電變化不會特別大，多天用電模式相對固定。如圖1所示為某用戶的5 天負荷曲線，用電負荷大多在10～35 kW之間變化，且變化不會特別劇烈。

圖1 某用戶5天負荷曲線Fig.1 Load curves of a user in five days

而存在負荷突變的曲線變化速度快、間隔短，往往帶有暫升、驟降等突變特性。突變負荷可大致分為毛刺型突變負荷和連續型突變負荷兩類［11］：毛刺型突變通常表現為相鄰時刻負荷數據突然增大或者突然減小，如圖2所示。連續型突變通常表現為負荷轉移，多是線路由于局部故障或者存在故障風險時承擔其他線路負荷，使負荷在電網中重新分配，如圖3所示。

圖2 毛刺型突變負荷Fig.2 Burr-type load change

圖3 連續型突變負荷Fig.3 Continuous load change

1.2 特征分析與提取

負荷突變判斷需要考慮受多方面因素的影響而產生的非規律性波動。每天選取用戶96 點負荷作為特征輸入維度過大，且單純的負荷量測數據對于突變這種行為特征表述不夠準確。為了降低數據維度并實現對海量用戶負荷數據的有效分析，需要進行數據挖掘并提取關鍵特征。負荷曲線是電力系統中負荷數值隨時間變化的曲線，與信號有類似的規律，受信號分析方法啟發，主要提取變壓器負荷曲線數據統計特征和波形特征。統計特征包括平均負荷和標準差，波形特征［12］包括峭度、離散系數、波形因子和脈沖因子。

平均負荷即對當天96 點負荷取平均值，這是表示變壓器一天用電負荷最直觀、簡明的統計特征。

標準差σ主要用于統計每天96 點負荷曲線數據的差異程度；方差是各個數據與其算術平均數和離差平方和的平均數；標準差為方差的算術平方根。計算公式如式（1）所示，n為負荷曲線采集點數量；Xi為任一采集點負荷；Xˉ為負荷曲線數據平均值。

峭度Ck表示波形的平緩程度，用于描述數據的分布。正態分布的峭度等于3；峭度小于3時分布曲線會較“平”；大于3時分布曲線較“陡”。計算公式如式（2）所示：

離散Cd系數用于比較不同樣本數據的離散程度。離散系數大，說明數據存在抖起抖落的現象；離散系數小，說明數據比較均衡。計算公式如式（3）所示，xmean為負荷曲線數據平均值：

波形因子Cs是數據均方根與平均值的比值［13］。在電子領域其物理含義為直流電流相對于等功率的交流電流的比值，其值大于等于1，在這里表征負荷數據相對于平均值的波動程度：

脈沖因子Cif是信號峰值與整流平均值（絕對值的平均值）的比值［14］，代表峰值在波形中的極端程度：

本文主要采用人工提取特征，因此特征中可能會存在冗余信息，這些特征不僅不會增加異常檢測的有用信息，相反可能會降低檢測性能。因此，需要對其進行降維，提取對突變數據檢測有效的特征。

2 基于多特征和LOF 算法的用戶負荷突變異常檢測

由于電力數據量極大，并且突變數據并未有適用的方式進行識別和標注，均為無標簽數據，因此用無監督算法對突變數據進行檢測最為合適?；趯ω摵汕€提取的特征，采用PCA（主成分分析）方法進行降維，并使用LOF 對所有用戶負荷數據進行聚類，對突變異常數據進行檢測。

2.1 PCA基本原理

PCA 是一種數學降維方法。將提取到的負荷數據多維特征進行降維的主要目的在于：簡化運算、去除數據噪音、發現隱形相關變量。PCA 算法能夠減少數據集的維數，同時保持數據集貢獻率最大特征并找到隱變量，可簡單高效地對特征進行處理。PCA 基本原理是利用正交變換將一系列可能線性相關的變量轉換為一組線性不相關的新變量，也稱為主成分，從而利用新變量在更小的維度下展示數據的特征［15］?；静襟E如下：

1）將特征數據按列組成N行M列矩陣X。

2）將X的每一行進行零均值化，即減去每一行的均值。

3）求出X的協方差矩陣C。

4）求出協方差矩陣C的特征值及對應的特征向量，C的特征值就是Y的每維元素的方差，也是D的對角線元素，從大到小沿對角線排列構成D。

5）將特征向量按對應特征值大小從上到下按行排列成矩陣，根據實際業務場景，取貢獻率為99%的前R行組成矩陣P。

6）Y=PX即為降到R維后的目標矩陣。

2.2 LOF算法基本原理

LOF 算法是一種基于密度的無監督高精度離群點異常檢測算法，其主要思想是：針對給定的數據集，對其中的任意一個數據點，如果在其局部鄰域內的點都很密集，認為此數據點為正常數據點；而離群點則是距離正常數據點最近鄰的點都比較遠的數據點，通常由閾值界定距離的遠近［16］。

LOF 算法的核心是將特征分布異常離群的點“挑出來”，由于負荷曲線數據異常值只占很少一部分，因此相比非監督聚類算法，采用LOF 算法把異常分布相似的點集“聚出來”會更有針對性，同時比傳統的統計方法考慮更多互信息，且靈活性高。當未知類型的異常數據因為各種原因而分布比較零散、且距離正常數據集合較遠時，LOF算法具有很好的表現性能，而負荷曲線在提取特征降維后已有了基本的區分，非常適合采用LOF算法進行異常值檢測。

對于一個給定的點p，LOF 算法的基本過程［17］如下。

1）對象p的k距離。對象p的k距離指對象p與它第k近鄰數據點o的距離，用dk（p）表示：

滿足條件：集合中至少存在k個數據點o′∈D，使得d(p，o′)≤d(p，o)；集合中至多存在k-1個數據點o′∈D，使得d(p，o′)＜d(p，o)。

Nk（p）是p的第k距離及以內的所有點，包括第k距離，因此p的第k鄰域點的個數|Nk（p）|滿足|Nk（p）|≤k。

2）對象p到對象o的第k可達距離?？捎胷each_distk表示，該距離至少是o的第k距離，或是o、p間的真實距離：

reach_distk(p，o)=max{dk(p)，d(p，o)} （7）

3）對象p的局部可達密度。使用局部可達密度表征樣本點p的密度，用lrdk（p）表示：

4）對象p的LOF。離群因子標識了一個數據點的離群程度，用LOFk（p）表示：

LOFk（p）表示對象p的鄰域點Nk（p）的局部可達密度之比的平均數，對象p的LOF 意義在于其值越接近1，說明點p與其鄰域點的密度相差較小，屬于同一類簇；如果比值大于1，說明點p的密度小于其鄰域點的密度，p有可能是異常點。

檢測異常值需要計算每一個樣本的LOF 并設置閾值，通過閾值與離群因子的比較來判斷樣本點是否為異常值。

2.3 基于多特征和LOF 算法的用戶負荷突變異常檢測步驟

用戶分為專變用戶和公變用戶。本文以營銷系統某市所有專變和公變負荷數據為實驗數據，為了更加精確地判定負荷，每15 min 更新1 次，一天共選取96 個負荷量測值數據。主要檢測步驟如下：

1）將T-1 的數據按量測點進行分組，形成以id為主鍵、以分鐘為表字段的寬表。

2）對分組后的負荷進行數據處理，漏點補全（插值），并對96點負荷均為0的數據進行剔除。

3）提取每個用戶T-1 負荷曲線的時域和波形特征。

4）使用PCA 對特征數據進行降維，提取主要特征。

5）將降維后的2 個新特征作為輸入，設定LOF算法中鄰域K和離群閾值λ。

6）計算樣本p的離群因子LOFk（p）。

7）比較離群因子LOFk（p）與離群閾值大小。LOFk（p）＞λ時該樣本為異常負荷，否則為正常負荷，從而將有突變數據和無突變數據進行區分。

具體檢測流程如圖4所示。

圖4 檢測總體流程Fig.4 Overall flow of testing

3 在線檢測平臺

用戶負荷量測數據每15 min 更新1 次，且某市用戶數量大，專變用戶有4.7 萬戶，每天產生450 萬條數據，公變用戶有5.6 萬戶，每天產生540 萬條數據。而負荷突變的檢測需要每天進行，為了在數據量大的情況下將整個檢測過程進行貫通，實現負荷突變檢測的工程化應用，依托數據中臺中數據讀取和存儲的優勢，檢測任務在公司創建的浙電數據中臺中進行。

數據中臺集成了阿里云各組件，其中max-Compute（大數據計算服務，原名ODPS）是一種快速、完全托管的TB/PB 級數據倉庫解決方案［18］。MaxCompute向用戶提供了完善的數據導入方案以及多種經典的分布式計算模型，能夠更快速地解決用戶海量數據計算問題。MaxCompute 支持SQL、MapReduce 和Python 等計算類型及MPI 迭代類算法，本文在數據開發過程中使用ODPS（開放數據處理服務）中SQL和Python的開發功能。

以數據中臺中數據處理和分析組件為基礎，每天定時對某市所有專變和公變用戶負荷數據進行突變異常檢測，平臺中在線檢測數據流如圖5所示。

圖5 在線檢測數據流Fig.5 Online inspection data flow

在數據中臺中實現整個流程的貫通。首先，從數據中臺的ODPS 共享層中讀取杭州T-1 的用戶負荷數據；其次，通過ODPS SQL 開發功能對用戶負荷量測數據和用戶檔案數據進行查看和關聯；然后，使用PyODPS 開發功能編寫負荷突變檢測的Python 程序；最后，將有負荷突變的用戶信息存儲到ODPS分析層。

4 檢測結果

以某市某天負荷數據為例，分別對專變用戶和公變用戶負荷曲線進行異常值檢測。從數據中臺ODPS 中取出數據并進行數據處理形成寬表，使用PyODPS 進行算法開發，分別從專變和公變用戶負荷曲線中提取6 個統計和波形特征?；赑CA 降維后形成二維新特征，最終貢獻率達98%，可極大程度地代表所有特征信息，并挖掘特征之間隱形特征，將二維特征以散點圖形式進行可視化（如圖6所示）。

圖6 降維后二維特征散點分布Fig.6 Scatter distribution of 2-dimensional features after dimensionality reduction

由圖6可知，特征1數值在20以上的特征分布非常分散，負荷曲線特征有明顯區別，檢查數據后發現基本為有突變負荷數據；而特征1 數值在20 以下的基本為非突變負荷數據，只有少量數據為突變負荷數據。二維新特征可將突變和非突變負荷數據進行較為明顯的區分，并作為異常值檢測算法的輸入。后續模型訓練過程中也可根據降維后的特征規律對LOF離群閾值進行設置。

分別采用3σ算法、OneClassSvm 算法、Kmeans 算法、DBSCAN 算法對用戶負荷數據進行異常值分析和檢測，對檢測出的用戶負荷曲線可視化后進行人工判斷發現：3σ算法和One-ClassSvm 算法會將某些光伏用戶和較為平穩但偶爾有細微變化的負荷曲線誤判為突變負荷；Kmeans 算法和DBSCAN 算法可能漏判某些連續突變的負荷曲線；其余方法均有誤判或者漏判的情況，實踐再次證明LOF算法為最優方法。

采用LOF 算法進行異常值檢測后，得到的專變和公變負荷異常檢測結果如表1 所示。可以看到，專變突變率為0.011，公變突變率為0.004。檢測均能在2 min內完成，較快完成了取數據、負荷突變異常檢測-存數據工作，從而每天都能對T-1的數據進行突變率檢測。

表1 專變和公變用戶負荷異常檢測結果Table 1 Results of load anomaly detection for dedicated and public transformer users

從檢測出的突變負荷曲線來看，均有類似脈沖的突變點，或是存在連續跳變的點，能較為準確地檢測到突變信號。為了尋找負荷突變的原因和規律，按發生頻率進行分類，無論是毛刺型突變還是連續型突變，都可以分為偶爾型和長期型。

結合各類產業特點發現，偶爾型負荷突變的原因包括采集傳輸過程中遇到干擾、設備故障、天氣變化、緊急使用高功率設備和偷電漏電等導致突發性用電變化；長期型負荷突變主要涉及養殖場、海港捕魚、機械制造和建筑工地等產業，在工作時經常會發生短時間內負荷的劇烈變化。

典型的偶爾型突變負荷運行模式如圖7 所示。此用戶為某房地產開發有限公司某酒店分公司，圖7 中展示了該專變從2022-01-01—04-21 的負荷曲線，這期間負荷基本都在50 kW 左右，最多未超過100 kW；但在21日出現了突變，負荷功率一度達到277 kW。研究發現，發生突變的原因為采集傳輸過程中遇到干擾導致，屬于偶發的情況。此類突變異常檢測可以應用于兩方面：一是在用戶畫像或者負荷預測時需要對突變負荷異常數據進行剔除處理，為后續研究提供可靠的數據；二是對突變負荷具體干擾原因進行排查，在用電安全檢查過程中對類似干擾進行提早準備或告警，避免再發生影響電網穩定運行的情況。

圖7 案例1負荷曲線Fig.7 Load curves of case 1

典型的長期型突變負荷運行模式如圖8 所示。此用戶為某市某農防專變，圖8中僅展示了該專變從2022-04-15—04-21 的負荷曲線?？梢钥吹?，除4月19日僅下午發生1次突變外，其余幾乎每天均有2 次突變，時間點在02：00 和14：00 左右，具有一定的規律性。研究發現該用戶在開展一體化灌溉排澇工作，屬于長期且相對穩定發生的情況。此類突變負荷異常檢測可以應用于三方面：一是為用戶畫像和負荷預測等研究提供規律性特征；二是在用電安全檢查過程中重點關注這些長期負荷突變的臺區，排除負荷突變可能引起的用電問題；三是依據這種長時間穩定的突變負荷規律，優化配電臺區的調度管理，在存在負荷突變的情況下維持配電網的穩定運行。

圖8 案例2負荷曲線Fig.8 Load curves of case 2

5 結語

本文提出了基于多維特征和LOF 算法的用戶負荷突變異常檢測方法，能針對所有用戶較準確地完成對突變異常負荷的檢測，具有普適性，可在數據中臺中定時調用，實現了工程化應用。完成負荷突變異常檢測后，可在中臺中高效迅速地從不同地區、不同日期、不同行業等維度多層面統計、分析、處理和展示突變的負荷數據，為后續負荷預測、用戶畫像、用電安全檢查、配電臺區的優化調度管理等方面奠定了數據基礎。