基于CNN 與Bi-LSTM 的異常用電行為甄別算法研究

余向前，張磊，胡曉祥

（國網甘肅省電力公司張掖供電公司，甘肅張掖 734000）

隨著我國電網規模的不斷擴大，電能成為了重要的二次能源。由于電力的使用與生產生活密切相關，因此電網的安全、平穩運行對促進社會穩定及經濟發展均具有重要意義。近年來用戶竊電、欺詐用電等行為時有發生，不僅增加了電力的非技術性損耗及系統負荷，也給電網運維部門造成了一定的經濟損失，還引發了諸多的社會性安全問題[1-4]。

深度學習(Deep Learning，DL)技術的發展提升了對電力用戶數據隱含特征的挖掘效率，并為分析其用電行為提供了理論基礎[5-7]。該文基于電力系統的數字化轉型開展了對用電行為甄別技術的研究?；谟脩舻挠秒姅祿Y合深度學習技術建立了行為甄別模型。該模型可以有效提高竊電稽查的效率，準確判斷用戶的非正常用電行為，進而降低非技術性損耗給電網帶來的經濟損失。

1 理論設計

1.1 網絡單元設計

該文采用的卷積神經網絡(Convolutional Neural Networks，CNN)[8-12]是一種基于卷積運算的深度學習算法，其可提取訓練數據中的原始特征。在卷積神經網絡中，主要包括卷積單元與池化單元。其中卷積單元的運算如圖1 所示。

圖1 卷積運算過程

圖1 中，M是卷積矩陣，C為卷積核。卷積核的引入能夠增強網絡對于局部特征的提取能力，而卷積核的尺寸可以定義“局部”的大小。設每層卷積后獲得的特征矩陣為Hi，則卷積層的輸出可表示為：

式中，?為叉乘運算；Wi為卷積層中的卷積核權重；bi為偏置矩陣；f(·)為卷積層使用的偏置函數。該文卷積網絡選擇了ReLU 函數作為偏置，該函數的計算方式為：

在實際應用中，卷積層后通常緊跟一層池化層，其可對特征進行二次提取，同時減少因卷積運算而產生的參數，進而降低網絡的訓練代價。

最大值池化的運算過程如圖2 所示。該運算在池化區域內選擇最大值作為該區域的特征值。通過最大值池化，能有效降低特征維度。CNN 網絡在經過多次卷積、池化計算后，通常使用全連接層來處理分離結果。

圖2 池化運算過程

1.2 改進循環網絡

CNN 網絡雖具有較強的非線性擬合能力，但由于本次在進行電力行為甄別時主要處理的是時間序列，其無法提取該序列的時間關聯特征。因此，文中引入了一種基于長短時記憶(Long Short-Term Memory，LSTM) 單元的改進循環神經網絡(Recurrent Neural Network，RNN)算法。

LSTM 單元中信號的傳遞示意圖如圖3 所示。傳統的RNN 網絡[13-14]在提取長時間序列時，會產生梯度消失的現象。在LSTM[15-16]中，通過使用輸入門it、輸出門ot及遺忘門ft對信號傳遞進行智能控制，可以有效提升網絡的訓練效率。

圖3 LSTM單元信號傳遞示意圖

記w(·)、b(·)分別為每個門的傳遞權重與偏置量，ht為隱藏層的輸出，σ為核函數，⊙為邏輯同或運算，則可得到LSTM 中各個門的信號更新方式如下：

由于用戶的用電數據是與時間強相關的序列信息，因此，文中采用了雙向LSTM (Bi-LSTM) 模型。該模型的結構示意圖如圖4 所示。

圖4 雙向LSTM結構示意圖

對于t個時刻的用電數據，其序列化后可表征為：

Bi-LSTM 能夠同時提取前后兩個方向的數據特征，對于當前時刻，該模型的輸出向量為：

1.3 網絡過擬合方法

由于文中使用了CNN 與Bi-LSTM 相結合的網絡架構，使得所提模型的整體結構相對復雜。因此為了防止網絡在識別用電行為的過程中出現過擬合現象，還引入了一種基于Dropout 和自適應矩估計(Adaptive Moment Estimate，Adam)的網絡防過擬合方法。

而在網絡訓練過程中，并非每個神經元均對網絡分類起正向作用，所以對于網絡中的所有計算單元，還需引入p來表示該單元被棄置的概率：

其中，pa為樣本a分類結果為1 的概率；Ba為樣本a所屬類別樣本中對于網絡起負向作用的樣本。使用交叉熵作為定義方式，則有：

式中，θ為訓練樣本經網絡預測后的概率分布；θ′為訓練樣本的實際概率分布。

此外，在進行模型訓練時，該文使用了Adam優化器。相較于傳統梯度下降算法(Gradient Descent，GD)，該優化器采用損失函數梯度的一階矩、二階矩對參數學習率進行動態估計。在每次矯正后，學習率均處于一個確定范圍內，從而保證了參數的穩定性。

在優化時，Adam 首先要計算損失函數J在t時刻的梯度：

式中，ξ為網絡中的訓練參數。記mt為梯度的一階動量，vt為梯度的二階動量，將t=0 時刻的m0置為0。此時，可以得到一階、二階動量的更新方式為：

式中，β1與β2分別為一階、二階動量的衰減系數。

在動量的更新過程中，需要及時糾正偏差對于優化初期的動量影響。將、記為糾正后的一階、二階動量，并引入偏差糾正方法如式（11）所示：

最終，獲得網絡中參數ξ的更新方法如下：

式中，α為Adam 算法的學習率，文中將其初始值設為0.001；ε為分母的外置因子，通常取ε=10-8，從而避免訓練過程中分母為0 的情況。

2 測試與數值分析

2.1 實驗設計

基于上述理論基礎，該文使用CNN 網絡提取數據中的深層特征，同時利用Bi-LSTM 網絡評估用電數據的時間序列特性，進而構建了CNN-Bi-LSTM復合模型。基于該模型的用電行為甄別流程如圖5所示。

圖5 該文模型的用電行為甄別流程

為了驗證所提算法的有效性，首先確定甄別用電行為的用戶范圍，并對其用電數據進行采集和標注。文中采集了某市供電公司4 237 個電力用戶兩個月內智能電表的三相電流數據，并基于電力大數據分析、現場稽查及專家研判的綜合結果，對用戶是否存在竊電的行為進行了人工標注，以獲得實驗所需的數據集參數。具體參數如表1 所示。

表1 算法仿真使用的數據集參數

然后根據上文所述的理論基礎與數據集參數，確定CNN 網絡的結構參數，具體如表2 所示。CNN在提取數據特征后，再將該特征輸入至雙向LSTM 網絡中。此外，Bi-LSTM 網絡的隱藏層單元個數為100個，CNN 和Bi-LSTM 的復合網絡的輸出層則為Softmax 層。

表2 CNN結構參數

根據網絡結構，可得到CNN 及Bi-LSTM 網絡的訓練參數分別如表3-4 所示。

表3 CNN訓練參數

表4 Bi-LSTM訓練參數

為了合理評估該文算法的性能，文中對其進行了訓練和測試實驗。實驗所采用的硬件平臺如表5所示。

表5 算法仿真硬件平臺

2.2 實驗結果

算法的測試可抽象為二分類問題，即行為甄別的結果只有兩類：存在竊電行為與不存在竊電行為。因此文中使用二分類問題常用的評價指標體系，即精確率(Precision)、召回率(Recall)和F1 值來對算法性能進行評估。三個指標的定義方式如下：

該文在評估所提算法(CNN-Bi-LSTM)的性能時，選擇了CNN、Bi-LSTM 以及CNN-LSTM 網絡作為對比算法。四種算法的訓練魯棒性以及相關測試指標對比結果如表6-7 所示。

表6 不同算法的訓練魯棒性對比結果

表6 顯示了不同算法的訓練穩定性，由表6 可知，CNN 網絡的F1 值方差為0.213 2%，該文算法則為0.100 8%，與前者相比降低了52.72%。由此說明，該文算法的魯棒性明顯提升。而從表7 中可以看出，所提算法的準確率、召回率及F1 值均有顯著提升。且相較于CNN、Bi-LSTM 網絡，該文算法的F1 值分別提升了10.04%和8.32%。對比表6-7 的結果可看出，該文算法在訓練與測試時的F1 值較為接近，僅相差0.03%，而三種對比算法分別相差了2.48%、3.39%和0.96%。由此說明，改進后算法的泛化性能與訓練結果更為接近，因此不易出現過擬合現象。

表7 不同算法的評價指標對比結果

3 結束語

該文結合CNN 及LSTM 這兩個主流深度學習框架中的優勢，建立了基于CNN-Bi-LSTM 的異常用電行為的甄別模型。仿真結果表明，所提算法的識別精度、魯棒性等指標較現有算法有了顯著改善。未來，隨著電力系統數字化進程的加速，可將該文算法應用于各類反竊電場景中，以期為電力系統的安全、平穩運行保駕護航。