基于多層多核卷積神經網絡的非侵入式負荷監測方法研究*

汪 濤，梁瑞宇，黃 虎，丁 超

(1.南京工程學院電力工程學院，江蘇 南京 211100；2.南京工程學院信息與通信工程學院，江蘇 南京 211100)

非侵入式負荷監測(Non-Intrusive Load Monitoring，NILM)是一種利用大數據分析對電力系統負荷進行檢測與分解的技術[1]，對電力需求側管理的決策制度以及電網和電力用戶互動體系的構建有著重要的意義。相比于侵入式負荷監測，NILM 需要安裝的傳感設備數量較少，是一種快捷、經濟的負荷監測方法[2-3]。近年來，隨著大數據分析、智能電網、智能電表[4]和智能家居等技術的不斷成熟與推廣，越來越多的學者開始專注于NILM 研究。

20 世紀80 年代，英國學者Hart[5]提出了非侵入式負荷監測的概念，同時構建了實現NILM 的框架結構。目前，非侵入式負荷監測可分為以高頻采樣和以低頻采樣數據為基礎的兩種研究方法。以高頻采樣數據為基礎的NILM，通過獲取負荷開斷時刻的暫態特征進行負荷識別與分解。文獻[6]提出了一種粒子群聚類算法，將電壓有效值、電流有效值和3 次諧波作為負荷特征，實驗證明了粒子群優化能夠提高算法收斂到全局最優的速度。文獻[7]通過提取電流圖片特征辨別負荷類型。文獻[8]提出一種強化諧波幅值差異的算法，對負荷諧波信息進行加權處理，模型對相似負荷電器的區別能力得到提升。以低頻采樣數據為基礎的NILM，通過獲取負荷的穩態特征，如穩態時的電壓、電流、有功功率進行負荷識別與分解。文獻[9-10]采用深度字典學習實現負荷分解。文獻[9]提出深度稀疏編碼法為各項設備學習多層字典，模型在學習深層字典后分解性能提升，但隨著字典的深入，模型參數過擬合現象也越發嚴重。文獻[10]提出基于多標簽分類的分解方法，將不同設備視為不同的類，最終把負荷分解問題轉化為多元回歸問題。文獻[11]不同于傳統的因子隱馬爾可夫模型(Factorial Hidden Markov Model，FHMM 模型)，提出一種結合加法因子隱馬爾可夫模型和減法因子隱馬爾可夫模型兩者優點的可加性概率模型，并實驗證明了該想法的有效性。

近年，鑒于深度學習的方法在語音識別、計算機視覺等多項領域獲得突破進展，已經有一些學者使用深度學習[1]的方法實現非侵入式負荷分解。2015 年，英國學者Kelly[12]第一次實現基于深度學習的非侵入式負荷分解，并采用三種模型進行驗證，對比于傳統隱馬爾可夫模型和組合優化模型，算法的負荷分解準確度得到了顯著提升。文獻[13]提出了一種通用的深度學習分解模型，并提供相應的固定模型架構及超參數，模型能夠適應各種類型的負荷，但分解性能相對較低。文獻[14]提出了一種變分自編碼的卷積神經網絡模型，卷積神經網絡對特征的提取能力強，將卷積網絡與自編碼相結合，能夠有效地實現負荷分解。文獻[15]和文獻[16]對常規的長短時記憶網絡模型進行了優化，所提的貝葉斯優化雙向長短時記憶(long short term memory，LSTM)模型和正則化LSTM 模型可以解決由設備數量增加而引起的維數過大和參數過擬合問題。文獻[17]針對序列到序列(sequence-to-sequence，seq2seq)模型中輸入序列過長導致的模型運算能力下降問題，提出一種注意機制，使模型在解碼過程中擁有了側重點，優化了序列到序列模型的信息利用能力。文獻[18]提出一種可變步長的去噪自編碼器模型，在數據有噪聲情形下分解性能較好。文獻[19]提出一種序列到點(sequence-to-point，seq2point)模型，相比于序列到序列模型，負荷分解的絕對誤差和與平均絕對誤差都有所減小。文獻[20]論述并證明了基于V-I 軌跡特征進行負荷分解時所提模型具備的可遷移性。文獻[21]提出設備遷移學習模型和跨域遷移學習模型，證明了seq2point 模型是可以遷移的。文獻[22]通過對比實驗，證明了長短時記憶算法在NILM 領域的優越性。文獻[23]提出一種基于時間卷積網絡的半監督多標簽深度學習框架，結合有標簽數據和無標簽數據實現了特定電器的開關狀態監測。雖然上述模型都成功運用了深度學習的方法，但仍然未能提出關于深層次特征信息提取的優化方法，模型特征提取層次僅有一至兩層，所以這些模型對于負荷監測的識別準確率還有待提高。

為此，本文提出一種基于多層多核卷積神經網絡的負荷監測模型，利用REDD 公開數據集完成了模型的訓練與測試，并與多層單核網絡模型及目前認可度較高的CNN-LSTM 模型[12]對比，以驗證本文模型對負荷識別準確度的提升效果。

1 模型構成

1.1 模型流程

本文提出的NILM 模型流程如圖1 所示。

模型首先對低頻采樣數據進行分段，并將輸入的功率序列通過高維映射對應至高維向量序列，最后通過本文所提神經網絡進行訓練和分解。

1.2 數據預處理

1.2.1 數據切割

由于用于NILM 訓練的樣本數據數量級可以達到104甚至106，因此本文首先對采樣數據進行數據切割，使輸入序列的長度為一固定值。

由于不同種類的電器能夠代表其電氣特征的數據長度不同，故對不同電器需要設定不同的序列長度。假設功率數據中含有M種不同的電器{A1，A2，…，AM}，對應網絡模型輸入序列長度分別設置為{N1，N2，…，NM}，再由設定的序列長度對功率數據進行數據切割，使其分為若干數據段。

1.2.2 高維映射

高維映射包含兩個步驟，第一步是輸入總負荷有功功率序列{P1，P2，…，}，進行整數化處理得到{P1，P2，…，}。第2 步為將整數化處理后的有功功率序列中每個值Pi，通過高維映射矩陣E＝[v_s*e_s]映射到高維向量E[Pi]，得到映射后的序列{E[P1]，E[P2]，…，E[]}，將E[Pi]作為A[1:Ni]生成輸入矩陣A。高維映射矩陣E中的第一維度v_s為功率大小，第二維度e_s為設備序列長度。將整數有功功率映射到高維向量，實現了輸入序列的抽象，同時也確定了高維向量與功率的對應關系，其作為本文深度神經網絡的輸入，有利于后續編碼器對時序信息的提取和負荷的分解。

1.3 網絡構成

1.3.1 卷積神經網絡

卷積神經網絡中包含卷積層、池化層、全連接層等基本功能層[24]。各個層具有獨立的神經元，不同層神經元間相互連接，同層神經元間無連接。卷積層計算公式為

式中:表示第l層的第j個濾波器特征表示第l-1 層第j個濾波器特征和第l層卷積核的卷積核函數；為第l層的第j個偏置參數。f函數為激活函數；一般來說卷積層還有2-D 卷積層、3-D卷積層、轉置卷積層和分組卷積層等。池化層計算公式為:

式中:和分別表示網絡層之間的權重和偏置參數；down(·)為池化函數；f(·)是激活函數。池化層用來降低分辨率，常用的池化層有平均池化層、最大池化層以及全局平均池化層。本文選用Relu 函數作為激活函數，Relu 函數對輸入的每個元素執行閾值運算，任何小于零的值都設置為零。經過卷積層和池化層的計算后原始數據特征便映射到了隱含特征空間，通過全連接層標記這些特征空間便能提取原數據特征，然后利用softmax 層概率分類。后繼的網絡層還有批量歸一化層、dropout 層(脫落層)等。批量歸一化層對網絡中的激活值和梯度傳播進行歸一化，使網絡訓練成為更簡單的優化問題，dropout層則可以防止過度擬合。模型得到結果后會通過反向傳播方式調整模型網絡參數。

1.3.2 LSTM 神經網絡

卷積神經網絡LSTM 是一種特殊的循環神經網絡(RNN)，解決了長依賴性問題，在處理時間序列方面具有良好的性能。LSTM 神經網絡由序列輸入層、LSTM 層、全連接層、dropout 層(值為0.1)、softmax 層以及分類層組成。使用具有動量的梯度隨機下降優化器訓練網絡，網絡訓練參數設置如下:動量大小為0.97，L2 正則化(L2 Regularization)因子為0.000 5，梯度閾值為1，最大迭代數300，小批量訓練大小為500，初始學習率0.01，每過50 代學習率在原有基礎上乘0.2。實驗測試發現，增加LSTM層層數會導致辨識效果變差，為此不再增加LSTM神經網絡的層數。

1.3.3 多層多核卷積神經網絡

由多個卷積核同時卷積進行特征提取的方法稱為多核卷積特征提取法。通常情況下，神經網絡使用一個卷積核對負荷特征進行提取，但一個卷積核只能夠提取一種特征，特征提取并不充分，因此本文添加多個卷積核，同時學習功率負荷的多種特征，目的是提高網絡對功率負荷的分辨能力，進一步達到提高負荷分解準確率的目標。經過之前的高維映射得到輸入矩陣A，由于每一行的映射向量E[Pi]表示一個與其對應的功率，為了提取有利于功率序列分類的特征，應當從映射向量的級別進行特征提取，才能保證功率特征的完整性，也就是說卷積核的寬度w需要完全覆蓋映射向量。當卷積核寬度等于映射向量維度時，卷積核只在豎直方向做卷積，卷積核的高度表示同時提取幾個功率序列的特征。假定輸入矩陣A的寬度為w，高度為Ni；卷積核的寬度也為w，高度為h，則卷積過程可表示為:

一個卷積核提取的特征數量為Ni-h+1，而不同高度的卷積核提取到的特征大小也不同，因此本文選擇Max pooling 進行池化操作，對卷積后的特征映射進行降維，使其維度統一。通過Max pooling 提取特征中的最大值得到特征中最重要的部分，再將負荷特征最大值拼接輸入到softmax 層。

同時，本文在利用多核卷積網絡實現負荷分解的基礎上，加深了網絡層數，使其具有更強特征提取能力，識別結果更加精確。一維深層神經網絡的輸入是總有功功率序列轉化的4-D 矩陣。總有功功率序列為1×n行向量，將其重構成1×1×1×n的矩陣，其中前兩維表示1×1 像素，第3 維1 表示灰度顏色通道，第4 維n表示序列長度。深層卷積網絡由輸入層、A 類層、B 類層、全連接層、softmax 層和分類層組成，共47 層。A 類層一共10 組40 層，每組由2-D卷積層、批量歸一化、Relu 函數層以及最大池化層構成，每層2-D 卷積層濾器數量分別為8、16、32、64、128、256、512、1 024、2 048、4 096，大小均為1×1。B 類層由2-D 卷積層(過濾器數量為8 192，大小為1×1)、批量歸一化層和Relu 函數層組成。為了使該模型辨識效果更好，在訓練模型時加入了更多的網絡參數，為防止模型過度擬合，加入了L2 正則化因子，其值為0.000 5，使用具有動量的梯度隨機下降優化器訓練網絡，動量大小為0.97，梯度閾值為0.5，最大迭代數為300，在每一代訓練時增加數據混淆，初始學習率為0.01。為了效果更佳設定學習率梯度下降，每過50 代學習率在原有基礎上乘0.2。

1.3.4 模型結構

本文模型采用卷積神經網絡(convolutional neural networks，CNN)作為網絡基礎層，設計并實現了多層多核網絡結構，對照文獻(CNN-LSTM)模型構成如表1 所示，多層單核(CNN-1d-2)模型構成如表2 所示，多層多核(CNN-multi-kernel)模型構成如表3 所示。

表1 CNN-LSTM 模型構成

表2 CNN-1d-2 模型構成

表3 CNN-multi-kernel 模型構成

三種網絡結構中對照文獻(CNN-LSTM)采用兩層卷積層兩層LSTM 進行編碼解碼，多層單核(CNN-1d-2)和多層多核(CNN-multi-kernel)模型均采用CNN 和最大池化作為基礎層，多層單核模型會在每層卷積層之后接池化層，而多層多核模型采用三個卷積核同時進行卷積，之后再接Max Pooling 進行池化操作。

2 實驗分析

2.1 實驗軟件平臺

本文實驗軟件平臺為Windows10(64 位)操作系統，Python3.6.8、TensorFlow2.0.0 機器學習平臺。編譯IDE 為PyCharm，數據處理使用NILMTK 開源工具包。

2.2 數據集

為驗證本文所提模型的有效性和準確性，選取REDD[25]數據集進行實驗。REDD 數據集包含6 個美國家庭的用電數據。

數據集包含兩種家庭用電數據。一種是低頻功率數據，包括兩處總線路和各個子設備的有功功率數據；另一種是總線路的高頻電流和電壓的波形數據。本文所提模型使用低頻功率數據對網絡進行學習。模型將每個家庭用電數據的前70%用于深度網絡的訓練，后30%作為測試數據對模型性能進行測試，數據集訓練過程如圖2 所示。

圖2 數據集訓練過程框圖

2.3 序列長度及激活閾值設定

為了得到用于負荷分解的功率序列，首先要對數據集內各電器序列進行激活提取。本文為實驗用到的5 種電器設定了具體的序列長度及激活閾值，如表4 所示。

表4 序列長度及激活閾值

2.4 評價指標

為全面評價模型性能，本文選用準確率(precision，PRE)、平均絕對值誤差(mean absolute error，MAE)、絕對誤差和(signal aggregate error，SAE)和R2決定系數四項指標作為評價標準，具體公式如下:

(1)準確率PRE:

式中:TP 為模型判定結果與實際負荷都為運行狀態的序列數量；FP 為模型判定結果為非運行狀態但實際負荷為運行狀態的序列數量。

(2)平均絕對值誤差MAE:

(3)絕對誤差和SAE:

(4)決定系數R2(擬合優度):

R2決定系數越接近1 表示擬合效果越好。上述公式中yi為i時刻用電電器真實功率，為模型分解功率，nsample為總樣本輸入數量。

最后，為了表示模型預測值與實際值間的差距，定義損失函數(Loss)表達式如下:

式中:p表示概率；T為序列總長度；Xt為各設備的功率；Y為總負荷功率；θs為網絡參數；Ni為第i項設備的序列長度。

2.5 實驗結果

2.5.1 可視化分解結果

本文選取REDD 數據集家庭1 一段時間內的負荷功率進行分解。通過實驗結果可視化操作，能夠直觀地判斷模型對各項電器功率的預測效果。由圖3 可以看出，在該段時間內，冰箱電器在訓練集和測試集上負荷分解的預測值與真實值基本擬合，初步判斷本模型的可行性。

圖3 實驗結果可視化展示

2.5.2 負荷識別準確率

通過多次實驗比較獲得模型的系數。實驗中，各模型識別準確度(PRE)結果如表5 所示。

表5 各模型識別準確率

識別準確率能夠反映模型對負荷的識別能力。可以看到三種模型準確率都超過了98%，多層單核(CNN-1d-2)和多層多核模型(CNN-multi-kernel)更是超過了99%，其中對照文獻(CNN-LSTM)深度淺、特征提取能力較弱，準確率相對較低。而CNNmulti-kernel 相較于其他模型采用了多層多核網絡結構，特征提取更加充分，從而獲得最高的準確率。

與對照文獻相同，本文也選用了REDD 數據集中的冰箱、洗碗機、水壺、微波爐、洗衣機5 種常用電器數據，統計了各種電器的相應識別率。具體結果如表6 所示。

表6 各模型下不同電器的識別準確率 單位:%

相比于對照文獻，多層單核模型對各項電器的分解準確率的提升程度為2%～18%，多層多核模型分解準確率的提升程度為3%～19%。其中，對于洗衣機和水壺等多檔運行的電器設備識別準確度提升效果較為明顯，說明多層多核模型對運行方式復雜的電器識別能力更強。

2.5.3 損失函數及誤差

本文模型在訓練中的損失函數(Loss)、平均絕對值誤差(MAE)、絕對誤差和(SAE)和擬合優度R2曲線如圖4 所示，實線代表整體平均曲線，虛線代表冰箱數據的曲線。上述指標可以反映模型的負荷功率分解能力。從圖4 可以看出，隨著網絡迭代次數的增加，本文模型在各個電器上訓練的損失函數呈現收斂的趨勢。以冰箱數據為例，損失函數收斂十分平穩，說明損失函數對神經網絡的超參數優化作用明顯，實現了模型超參數的自動尋優。隨著迭代次數的增加，平均絕對值誤差(MAE)，絕對誤差和(SAE)不斷下降，擬合優度R2曲線不斷上升并逐漸收斂至穩定常數，該三項指標的全面提升表明模型分解得到的功率值與實際功率的真實值間的差距隨網絡迭代次數逐漸減小。由此可見，本模型負荷特征提取性能的提升使得負荷識別率得到提高，與之相應的，功率分解性能也得到了提升。

圖4 loss、MAE、SAE、R2 曲線

3 結束語

本文提出一種基于多層多核卷積神經網絡的非侵入式負荷監測深度學習模型，該模型在提取負荷特征時，采用多核卷積特征提取法提取負荷功率的多項特征，并結合多層卷積法增強網絡結構。實驗結果中各模型識別準確率之間的差異說明，多核卷積法與多層卷積法都能夠增強網絡對負荷特征的提取能力，將兩種方法相結合后，特征提取會更加充分。通過本模型在數據集上的實驗結果可以看出模型對負荷識別準確率提升很大，尤其顯著提升了運行狀態較復雜的電器識別準確率。同時，相對于目前認可度較高的CNN-LSTM 模型，本模型對負荷分解功率值的平均絕對值誤差和絕對誤差和也有大幅度的減小，且擬合優度更高。實驗驗證了模型不僅僅對負荷識別性能有提升，對負荷分解性能也有一定程度的提高。