基于注意力時序網(wǎng)絡(luò)的非侵入式負(fù)荷分解

摘要非侵入式負(fù)荷分解的本質(zhì)是根據(jù)已知的總功率信號分解出單一的負(fù)荷設(shè)備的功率信號．目前基于深度學(xué)習(xí)模型大多存在網(wǎng)絡(luò)模型負(fù)荷特征提取不充分、分解精度低、對使用頻率較低的負(fù)荷設(shè)備分解誤差大等問題．本文提出一種注意力時序網(wǎng)絡(luò)模型（Attention Recurrent Neural Network，ARNN）實現(xiàn)非侵入式負(fù)荷分解，它將回歸網(wǎng)絡(luò)與分類網(wǎng)絡(luò)相結(jié)合來解決非侵入式負(fù)荷分解問題．該模型通過RNN網(wǎng)絡(luò)實現(xiàn)對序列信號特征的提取，同時利用注意力機(jī)制定位輸入序列中重要信息的位置，提高神經(jīng)網(wǎng)絡(luò)的表征能力．在公開數(shù)據(jù)集Wiki-Energy以及UK-DALE上進(jìn)行的對比實驗結(jié)果表明，本文提出的深度神經(jīng)網(wǎng)絡(luò)在所有考慮的實驗條件下都是最優(yōu)的．另外，通過注意力機(jī)制和輔助分類網(wǎng)絡(luò)能夠正確檢測設(shè)備的開啟或關(guān)閉，并定位高功耗的信號部分，提高了負(fù)荷分解的準(zhǔn)確性．

關(guān)鍵詞負(fù)荷分解;時序網(wǎng)絡(luò);注意力機(jī)制;輔助分類

中圖分類號TP714 文獻(xiàn)標(biāo)志碼A

0 引言

負(fù)荷監(jiān)測方法有助于用戶了解用電現(xiàn)狀，減少能源消耗，也有助于電網(wǎng)公司實現(xiàn)科學(xué)的電力調(diào)度，從而達(dá)到節(jié)能減耗的目的．目前負(fù)荷監(jiān)測有兩種方法，即侵入式負(fù)荷監(jiān)控（Intrusive Load Monitoring，ILM）和非侵入式負(fù)荷監(jiān)控（Non-Intrusive Load Monitoring，NILM）．ILM需要在每個設(shè)備上安裝至少一個傳感器來分別監(jiān)控負(fù)荷，而NILM只需要在每個家庭的總線上安裝一個傳感器．NILM在物理上很簡單，但方法更為復(fù)雜，因此基于NILM的方法得到了更廣泛的研究．為了提高能源效率和加快智能電網(wǎng)的發(fā)展［1-3］，特別是在可再生能源日益普及［4］的情況下，非侵入式負(fù)荷分解的問題受到廣泛關(guān)注．

NILM的分解方法可分為基于事件和非基于事件（無事件）兩種類型．基于事件的方法捕獲切換事件期間設(shè)備狀態(tài)的變化［5］，這種方法通常需要高頻采樣以便提取豐富的特征以獲得辨識高精度．一些相關(guān)工作在kHz的采樣頻率下提取了這些瞬態(tài)特征［6-8］．非基于事件的方法不會特別檢測任何設(shè)備的狀態(tài)變化，相反會考慮所有設(shè)備電源狀態(tài)．非基于事件的方法已經(jīng)研究了隱馬爾可夫模型［9-12］，用于一般建模設(shè)備或優(yōu)化框架［13-14］．此外，一些研究人員還關(guān)注外部信息的能量分解，包括外界溫度、時間或一周中的某一天也被視為重要特征［15］，此類信息和個人消費習(xí)慣相關(guān)．傳統(tǒng)方法分解精度較差：一方面，傳統(tǒng)方法是基于人工特征的，而人工設(shè)計的特征很難有效地反映負(fù)荷的真實情況;另一方面，傳統(tǒng)方法往往是基于優(yōu)化模型的，負(fù)荷分解問題的優(yōu)化問題只能轉(zhuǎn)化為有殘差的組合優(yōu)化，很難實現(xiàn)最優(yōu)的求解．因此，傳統(tǒng)方法獲得的結(jié)果一般不理想．

在過去幾年中，深度學(xué)習(xí)已成為NILM的一種流行方法［16-17］．已有的結(jié)果表明，深度學(xué)習(xí)方法可以提高負(fù)荷特征的提取效率，從而提高NILM性能．然而，已有的工作并沒有明確利用電力消耗數(shù)據(jù)的固有特性，對使用頻率較低的負(fù)荷特征提取不充分，對負(fù)荷突變處的關(guān)注度不夠，這些都影響了負(fù)荷分解的精度．傳統(tǒng)的深度學(xué)習(xí)主要采用卷積神經(jīng)網(wǎng)絡(luò)或RNN（Recurrent Neural Networks，循環(huán)神經(jīng)網(wǎng)絡(luò)）兩種方式，這兩種網(wǎng)絡(luò)對于時間序列的每個部分的特征提取的權(quán)重幾乎是一樣的，而使用頻率較低的電器由于其數(shù)據(jù)相對較少，導(dǎo)致網(wǎng)絡(luò)獲得的信息相對較少．因此，傳統(tǒng)的深度網(wǎng)絡(luò)很難實現(xiàn)對使用頻率較小的電器的準(zhǔn)確分解．另外，負(fù)荷的突變表明某一電器發(fā)生狀態(tài)變化，這種變化是需要關(guān)注的，但是目前的網(wǎng)絡(luò)對時間序列上的特征并沒有區(qū)別對待，因此對突變部分的關(guān)注不夠，從而不能對負(fù)荷突變這種重要信息進(jìn)行有效提取．

本文提出一種基于RNN的編碼器-解碼器模型，從聚合信號中提取特定于設(shè)備的功耗，并使用注意力機(jī)制對其進(jìn)行增強(qiáng)．注意力機(jī)制具有增強(qiáng)神經(jīng)網(wǎng)絡(luò)表征能力的功能，可以定位輸入序列中存在相關(guān)信息的位置．基于注意力的模型可以通過為聚合信號的每個位置分配重要性來幫助能量分解任務(wù)，聚合信號對應(yīng)于目標(biāo)設(shè)備狀態(tài)變化的位置．此外，本文利用這些屬性中的一個，即設(shè)備的開關(guān)狀態(tài)概念．本文提出一種分類網(wǎng)絡(luò)和回歸網(wǎng)絡(luò)，它采用一個子網(wǎng)絡(luò)進(jìn)行回歸，另一個子網(wǎng)絡(luò)進(jìn)行開／關(guān)分類．通過將回歸輸出與分類概率相乘，形成最終估計，該模型輸出帶有開／關(guān)分類的功率估計．通過明確反映分類錯誤的損失函數(shù)，分類網(wǎng)絡(luò)輔助回歸網(wǎng)絡(luò)計算功耗估計．本文提出的注意力時序網(wǎng)絡(luò)模型（Attention Recurrent Neural Networks，ARNN）在公開數(shù)據(jù)集Wiki-Energy和UK-DALE上進(jìn)行了測試，并使用不同的指標(biāo)對性能進(jìn)行了評估．結(jié)果表明，本文算法是最優(yōu)的．

1 問題描述

1.1 負(fù)荷分解的定義

非侵入式負(fù)荷分解的本質(zhì)是將家庭住宅已知的總功率信號分解出單一的負(fù)荷設(shè)備的功率信號．對于一個家庭住宅來說，總功率信號是指家中主電路上智能電表所測得的功率數(shù)據(jù)，因此進(jìn)行負(fù)荷分解的目的是為了獲悉某時間段內(nèi)家庭中負(fù)荷設(shè)備的功率變化情況．假設(shè)家庭中共有M個電器設(shè)備，那么在某時刻t的負(fù)荷分解結(jié)果，由式（1）表示：

其中，P（t）表示t時刻智能電表獲取的總功率數(shù)值，pi表示該家中各個負(fù)荷設(shè)備的功率值，ps（t）表示的則是電力線路中的噪聲功率數(shù)值．目前基于模型的負(fù)荷分解方法，大多是在給定總功率數(shù)值P（t）的情況下，來預(yù)測單一負(fù)荷設(shè)備的功率數(shù)值pi．

1.2 數(shù)據(jù)預(yù)處理

1.2.1 滑動輸入提取數(shù)據(jù)

神經(jīng)網(wǎng)絡(luò)需要大量的訓(xùn)練樣本進(jìn)行微調(diào)，才能有良好的性能．除此之外，數(shù)據(jù)在輸入神經(jīng)網(wǎng)絡(luò)之前，都要被轉(zhuǎn)換成一致的輸入維度，每個數(shù)據(jù)都被分段成恒等長度的向量，這就叫窗口．因此對訓(xùn)練序列和測試序列進(jìn)行滑動處理．如圖1所示，對訓(xùn)練序列的滑動窗口采用重疊滑動的方式增加數(shù)據(jù)，假設(shè)序列長度為M，在原始數(shù)據(jù)上切一個長度為N的窗口，滑動步長為1，再進(jìn)行滑動操作，得到M-N+1個訓(xùn)練樣本．同理，如圖1b所示，在測試序列上采用非滑動窗口的方式，假設(shè)序列長度為H，就可以得到H／N個測試樣本．

1.2.2 數(shù)據(jù)組合和標(biāo)準(zhǔn)化

本文在合成所有數(shù)據(jù)之后，把它們分為訓(xùn)練集、測試集，以便更好地訓(xùn)練和更準(zhǔn)確地評價．將80％數(shù)據(jù)作為訓(xùn)練序列，剩余的20％作為測試序列．在訓(xùn)練神經(jīng)網(wǎng)絡(luò)之前一般要對輸入和輸出數(shù)據(jù)進(jìn)行預(yù)處理，歸一化處理是常用的一種處理方法，其本質(zhì)上是一種線性變換，經(jīng)此變換后能使數(shù)據(jù)的每一個分量都落在［0，1］或者［-1，1］之間，本文采用［0，1］區(qū)間，具體實現(xiàn)方式為

式中，xi代表樣本的輸入或輸出數(shù)據(jù)，xmin代表樣本輸入或輸出數(shù)據(jù)的最小值，xmax則代表輸入或輸出數(shù)據(jù)的最大值，x′i代表經(jīng)歸一化后的數(shù)據(jù)．

2 模型介紹

本文提出了一種注意力時序網(wǎng)絡(luò)模型（ARNN）來實現(xiàn)非侵入式負(fù)荷分解，它將回歸網(wǎng)絡(luò)與分類網(wǎng)絡(luò)相結(jié)合來解決非侵入式負(fù)荷分解問題，可實現(xiàn)負(fù)荷特征的有效提取，提高負(fù)荷分解的準(zhǔn)確率．

2.1 注意力機(jī)制

神經(jīng)網(wǎng)絡(luò)模型由編碼器和解碼器組成．編碼器是一種RNN模型，它將輸入序列（x1，x2…，xT）作為輸入，其中T是輸入序列的長度，并將信息編碼為固定長度的向量（h1，h2，…，hT），這有利于完整的概括整個輸入序列．解碼器也是一個RNN模型，它使用單個上下文向量c=hT作為輸入進(jìn)行初始化，并逐向量生成輸出序列（y1，y2，…，yN），其中N是輸出序列的長度．在每個時間步中，ht和σt分別表示運(yùn)行過程中編碼器和解碼器的隱藏狀態(tài)．這種傳統(tǒng)的編碼器-解碼器框架存在兩個問題.1）單一上下文向量設(shè)計的一個關(guān)鍵缺點是系統(tǒng)無法記住長序列：編碼器的所有中間狀態(tài)都被消除，只有最終的隱藏狀態(tài)向量用于初始化解碼器．這種技術(shù)僅適用于小序列，隨著序列長度的增加，向量成為瓶頸，可能導(dǎo)致信息丟失［18］．2）它無法捕獲輸入和輸出序列之間的對齊需求，這是結(jié)構(gòu)化輸出任務(wù)的重要方面［19］．如圖2所示，注意力機(jī)制最初由Bahdanau等［20］為機(jī)器翻譯引入，他們的方法的新穎之處在于引入了一個對齊函數(shù)，這樣，神經(jīng)網(wǎng)絡(luò)可以同時學(xué)習(xí)輸入輸出的對齊和平移．注意力機(jī)制的中心思想不是丟棄隱藏編碼器狀態(tài)，而是組合并利用所有狀態(tài)，以便構(gòu)造解碼器，生成輸出序列所需的上下文向量．該機(jī)制通過學(xué)習(xí)輸入序列上的注意力權(quán)重，對存在相關(guān)信息的位置集進(jìn)行優(yōu)先級排序．

本文所提出的ARNN模型中所使用的注意力機(jī)制便是為了解決上述問題，通過注意力機(jī)制在輸入序列上訓(xùn)練得到相關(guān)權(quán)重，并進(jìn)行優(yōu)先級排序．基于注意力的模型可以通過將重要性分配給聚合信號的每個位置（對應(yīng)于目標(biāo)設(shè)備的狀態(tài)變化），從而幫助能量分解任務(wù)，這使得神經(jīng)網(wǎng)絡(luò)能夠?qū)⑵浔碚髂芰性诰酆闲盘栔心繕?biāo)設(shè)備的選定時間步上，而不是集中在非目標(biāo)設(shè)備的激活上，使得預(yù)測結(jié)果更為準(zhǔn)確．

對于NILM問題，聚合功耗與相應(yīng)設(shè)備的負(fù)載完全一致，并且這種一致性是提前知道的．因此，為了關(guān)注激活設(shè)備在聚合信號中的作用，本文使用了文獻(xiàn)［20］提出的簡化注意力模型，該模型利用編碼器的相對重要性將編碼器的所有隱藏狀態(tài)結(jié)合起來．注意機(jī)制可以表述為

其中，α是可學(xué)習(xí)函數(shù)，僅取決于編碼器ht的隱藏狀態(tài)向量．函數(shù)α可以通過前饋網(wǎng)絡(luò)實現(xiàn)，該網(wǎng)絡(luò)學(xué)習(xí)特定的注意權(quán)重αt，該權(quán)重確定hj的重要性得分，并使得網(wǎng)絡(luò)識別輸出更高權(quán)重的時間步．

2.2 模型設(shè)計

設(shè)備激活的持續(xù)時間用于確定為NILM建模選擇輸入和輸出序列的窗口大小．準(zhǔn)確地來說，設(shè)Xt，L=（xt，…，xt+L-1）和Yit，L=（yit，…，yit+L-1）分別是從時間t開始的長度為L的部分聚合序列和應(yīng)用序列．此外，構(gòu)建了輔助狀態(tài)序列（（si1，…，sit），其中sit ∈｛0，1｝表示設(shè)備i在時間t的開／關(guān)狀態(tài)．當(dāng)消耗量大于某個閾值時，設(shè)備的狀態(tài)被視為“開”，當(dāng)消耗量小于或等于同一閾值時，設(shè)備的狀態(tài)被視為“關(guān)”．筆者的想法是利用分類網(wǎng)絡(luò)作為輔助網(wǎng)絡(luò)來提高負(fù)荷分解的準(zhǔn)確率，即將分類網(wǎng)絡(luò)與回歸網(wǎng)絡(luò)聯(lián)合訓(xùn)練．這里的區(qū)別在于，通過使用基于RNN的神經(jīng)網(wǎng)絡(luò)和注意機(jī)制來執(zhí)行回歸任務(wù)，從而生成更準(zhǔn)確的功耗估計．通過設(shè)計的注意機(jī)制加強(qiáng)回歸網(wǎng)絡(luò)檢測某些事件（打開或關(guān)閉設(shè)備）和特定信號部分（高功耗電器），并賦予其更大的權(quán)重，而分類網(wǎng)絡(luò)通過區(qū)分電器開關(guān)狀態(tài)來幫助分解過程．

如圖3所示，編碼器網(wǎng)絡(luò)由一個具有4個一維卷積層（Conv1D）的CNN（Convolutional Neural Network，卷積神經(jīng)網(wǎng)絡(luò)）組成，該CNN具有ReLU激活功能，該功能處理輸入聚合信號并提取設(shè)備特定的簽名作為一組特征映射．最后，RNN將特征

映射集作為輸入，并生成隱藏狀態(tài)序列，匯總聚合信號的所有信息．本文使用雙向LSTM（長短時記憶網(wǎng)絡(luò)）來獲得隱藏狀態(tài)ht，它融合了來自兩個方向的信息．雙向LSTM由正向LSTM（從左到右讀取序列）和反向LSTM（從右向左讀取序列）組成．編碼器隱藏狀態(tài)的最終序列是通過從兩個方向串聯(lián)隱藏狀態(tài)向量獲得的．編碼器和解碼器之間的注意單元由單層前饋神經(jīng)網(wǎng)絡(luò)組成，該神經(jīng)網(wǎng)絡(luò)計算注意權(quán)重，并返回上下文向量作為編碼器輸出隨時間的加權(quán)平均值．并非所有由CNN生成的特征圖在識別目標(biāo)設(shè)備的激活方面都有相同的貢獻(xiàn)．因此，注意機(jī)制捕獲設(shè)備的顯著激活，提取出比其他機(jī)制更有價值的特征圖進(jìn)行分解．實現(xiàn)的注意單元如圖4所示．

其中，Va，Wa和ba是與架構(gòu)的其他組件共同學(xué)習(xí)的注意參數(shù)．注意單元的輸出是用作以下解碼器的輸入向量的上下文向量c．通過將回歸輸出與概率分類輸出相乘，獲得功耗的最終估計值：

通過回歸輸出與概率分類預(yù)測結(jié)果相乘的方式所獲得預(yù)測結(jié)果準(zhǔn)確結(jié)果更為精確．

3 實驗

3.1 評價指標(biāo)

負(fù)荷分解方法涉及到多個環(huán)節(jié)和步驟，每個環(huán)節(jié)都會在不同程度上影響到整體方法的分解性能，因此需要一個全面、細(xì)致的算法性能評估，以獲得全方位的評估信息，便于比較各種算法的優(yōu)劣．根據(jù)先前的研究工作，在評估NILM方法上，本文使用平均絕對誤差（Mean Absolute Error，MAE）和信號聚合誤差（Signal Aggregate Error，SAE）來進(jìn)行NILM各方法性能的評估．MAE主要是用來衡量每個時刻分解得到的單個負(fù)荷設(shè)備的功率和真實功率的平均誤差，反映了分解模型在瞬時的負(fù)荷分解能力．具體公式為

其中，gt是在該時刻t上某個負(fù)荷設(shè)備的真實消耗功率，而pt是在該時刻t上由總功率分解得到的功率，T表示的是時刻點的數(shù)量．但對于某些負(fù)荷設(shè)備來說，每個時間點的誤差并不十分明顯和重要，因此只對較長時間內(nèi)總功率的誤差感興趣．SAE用來衡量每個家庭在整個時間段內(nèi)總能耗的誤差，具體公式為

除此之外，當(dāng)負(fù)荷分解時，通過閾值化區(qū)分負(fù)荷設(shè)備的啟停狀態(tài)（ON／OFF），將負(fù)荷分解任務(wù)轉(zhuǎn)化為負(fù)荷識別任務(wù)，對此任務(wù)進(jìn)行評估，以獲得更多的評估信息，全方面地評價算法性能．為了判斷負(fù)荷的開關(guān)狀態(tài)，先要設(shè)定功率閾值：水壺2 000 W、空調(diào)100 W、冰箱50 W、微波爐200 W、洗衣機(jī)20 W、洗碗機(jī)10 W．使用召回率（Recall，R）、精確率（Precision，P）、準(zhǔn)確率（Accuracy，A）、F1值（F1）來評估負(fù)荷分解模型是否有對負(fù)荷的開關(guān)狀態(tài)進(jìn)行正確分類，以此判斷分解性能的好壞．

式中：TP表示負(fù)荷在真實數(shù)據(jù)中開啟而在預(yù)測中也打開的樣本總數(shù);FN表示負(fù)荷在真實數(shù)據(jù)中開啟而在預(yù)測中關(guān)閉的樣本總數(shù);FP表示負(fù)荷在真實數(shù)據(jù)中關(guān)閉而在預(yù)測中開啟的樣本總數(shù);TN表示負(fù)荷在真實數(shù)據(jù)中關(guān)閉而在預(yù)測中也是關(guān)閉的樣本總數(shù);M表示真實數(shù)據(jù)中負(fù)荷開啟的樣本總數(shù);N表示真實數(shù)據(jù)中負(fù)荷關(guān)閉的樣本總數(shù)．

3.2 數(shù)據(jù)集簡介

Wiki-Energy數(shù)據(jù)集是Pecan Street公司發(fā)布的具有研究性質(zhì)的電力數(shù)據(jù)集，是當(dāng)前世界上研究電力負(fù)荷分解最豐富的住宅電力能源數(shù)據(jù)庫．它總共包含了將近600多個家庭用戶在一段時間內(nèi)采集到的電力數(shù)據(jù)，包括單個負(fù)荷以及家庭總電力消耗功率，所有負(fù)荷和住宅的有功功率均以1／60 Hz的采樣頻率獲取．電力數(shù)據(jù)的采集工作開始于2011年，但是仍未停止，數(shù)據(jù)庫依舊在擴(kuò)充，為非侵入式負(fù)荷分解的研究提供了很好的數(shù)據(jù)支撐．

使用NILMTK工具包從Wiki-Energy元數(shù)據(jù)中提取5種負(fù)荷電器作為研究對象：空調(diào)、冰箱、微波爐、洗衣機(jī)、洗碗機(jī)．選擇這幾種負(fù)荷的主要原因在于：1）這幾種負(fù)荷在多個家庭中存在，意味著負(fù)荷數(shù)據(jù)能夠包含一些同類負(fù)荷變化，對于網(wǎng)絡(luò)模型的訓(xùn)練來說具有更好的泛化性；2）一個家庭中負(fù)荷種類繁多，而這幾種負(fù)荷已經(jīng)具有不同負(fù)荷特性和不同工作周期，沒有必要對每一個負(fù)荷進(jìn)行實驗，任務(wù)量大，時間成本高；3）家庭中有一些功率較低的負(fù)荷，如手機(jī)充電器，容易受到其他信號的干擾，分解難度大，而且對于整體用電數(shù)據(jù)功率可以忽略不計，因此也不做這類電器的研究；4）這幾種負(fù)荷已經(jīng)占了家庭中絕大部分能量，就意味著負(fù)荷分解的結(jié)果對家庭的節(jié)能減耗是有一定意義的.因此選擇這些負(fù)荷能夠滿足本文的研究目的．

3.3 實驗結(jié)果與分析

在數(shù)據(jù)集Wiki-Energy中的22號家庭上進(jìn)行仿真實驗，使用以上選擇的幾個負(fù)荷分解評估指標(biāo)來對比各模型的分解性能．圖5是KNN（K-Nearest Neighbor，K近鄰）算法、DAE（Deep Auto Encoder，深度自編碼器）算法、RF（Random Forest，隨機(jī)森林）、XGBoost、SVR（Support Vector Regression，支持向量回歸機(jī)）、LSTM（Long Short-Term Memory，長短時記憶網(wǎng)絡(luò)）、CNNs-s（CNN sequence-to-sequence）、CNNs-p（CNN sequence-to-point）、ARNN算法在空調(diào)、冰箱、微波爐、洗衣機(jī)、洗碗機(jī)上的負(fù)荷分解效果對比，其中，KNN、DAE、RF、XGBoost、SVR是機(jī)器學(xué)習(xí)方法，LSTM、CNNs-s、CNNs-p、ARNN是深度學(xué)習(xí)算法．可以發(fā)現(xiàn)對于空調(diào)這種具有明顯周期性規(guī)律的負(fù)荷設(shè)備而言，幾種分解模型都能夠非常有效地從總用電功率數(shù)據(jù)中分解出空調(diào)的消耗功率，分解效果非常相似，因此上述算法在面對這類負(fù)荷設(shè)備時是有一定的分解能力的．

對于冰箱而言，機(jī)器學(xué)習(xí)負(fù)荷分解模型與其他幾種分解模型相比，分解出的消耗功率曲線與真實數(shù)據(jù)有著很大的數(shù)據(jù)波動，主要表現(xiàn)在峰值突變點上的識別能力很差．而在洗衣機(jī)和洗碗機(jī)這兩種低使用率的負(fù)荷設(shè)備上，機(jī)器學(xué)習(xí)算法的分解能力在負(fù)荷功率接近于0部分的時刻點略差，較難準(zhǔn)確地識別功率中的突變點．而ARNN這種基于卷積神經(jīng)網(wǎng)絡(luò)的分解模型能實現(xiàn)較準(zhǔn)確的非侵入式負(fù)荷分解．總體來說，基于深度學(xué)習(xí)的非侵入式負(fù)荷分解模型的分解效果相比于傳統(tǒng)機(jī)器學(xué)習(xí)的分解模型更好，分解性更為優(yōu)越，具體數(shù)據(jù)由表1所示．

除此之外，表1描述了Wiki-Energy 22號家庭在以上負(fù)荷分解模型的評估指標(biāo)，可以看出，在空調(diào)、冰箱、微波爐這3類負(fù)荷的MAE指標(biāo)上，傳統(tǒng)KNN算法和DAE算法兩種負(fù)荷分解模型依舊有著不錯的優(yōu)勢，這兩種方法基本能夠?qū)崿F(xiàn)非侵入式負(fù)荷分解．DAE算法在洗衣機(jī)上取得了較好的分解性能．在SAE評估指標(biāo)上，ARNN負(fù)荷分解模型在冰箱上實現(xiàn)了一段時間內(nèi)總能量的最優(yōu)分解．隨機(jī)森林算法依靠模型特點在微波爐上也取得了一定的分解效果，但是總體指標(biāo)上表現(xiàn)較差．

總體來說，對于冰箱和空調(diào)這兩種常用的電器而言，它們的特征比較明顯，相對比較容易進(jìn)行識別，傳統(tǒng)的方法都可以得到較好的效果．傳統(tǒng)KNN負(fù)荷分解模型在洗衣機(jī)、洗碗機(jī)這兩種低使用率的負(fù)荷上較難實現(xiàn)準(zhǔn)確且有效的分解，是因為該算法提取特征不充分，無法有效利用負(fù)荷特征．而且從分解效果對比和評估指標(biāo)對比上可以看出，基于深度學(xué)習(xí)的負(fù)荷分解模型能夠取得更優(yōu)秀的分解效果．

表2描述了Wiki-Energy 22號家庭的負(fù)荷運(yùn)行狀態(tài)在各傳統(tǒng)算法上的評估指標(biāo)對比結(jié)果.由表2可以看出，在Recall這個分類評估指標(biāo)上，基于深度學(xué)習(xí)的負(fù)荷分解模型CNNs-s、CNNs-p和ARNN模型在空調(diào)、微波爐、洗碗機(jī)這3個負(fù)荷上是明顯優(yōu)于基于傳統(tǒng)機(jī)器學(xué)習(xí)的負(fù)荷分解模型的，表明深度學(xué)習(xí)

模型能更好地表征負(fù)荷特征，準(zhǔn)確識別出負(fù)荷設(shè)備啟停的運(yùn)行狀態(tài)．整體而言，在Accuracy和F1值兩個分類評估指標(biāo)上看，深度學(xué)習(xí)算法在多個負(fù)荷設(shè)備上依舊表現(xiàn)良好．

為能夠具體細(xì)致地觀察分解效果，利用負(fù)荷局部分解效果進(jìn)行分析．圖6是部分代表算法在每個負(fù)荷設(shè)備上的局部效果對比．圖6表明ARNN模型有著更優(yōu)秀的算法性能，相比于其他模型而言，能更好地擬合實際功率曲線．而針對特征較為稀疏的負(fù)荷設(shè)備而言，機(jī)器學(xué)習(xí)算法的擬合能力比較差，而ARNN模型在一定程度上仍然能很好地擬合洗衣機(jī)和洗碗機(jī)的功率曲線．

3.4 泛化實驗

為驗證ARNN模型的泛化性能，在UK-DALE 5號家庭進(jìn)行相關(guān)對比實驗．在該家庭電力數(shù)據(jù)中選擇水壺、冰箱、微波爐、洗衣機(jī)和洗碗機(jī)這5種典型負(fù)荷進(jìn)行實驗并分析．分解結(jié)果如圖7所示．

DAE算法在水壺、洗衣機(jī)和洗碗機(jī)的分解表現(xiàn)較好，在冰箱和微波爐上的表現(xiàn)很差．對于微波爐、洗衣機(jī)和洗碗機(jī)這三種不常用的負(fù)荷而言，與兩種淺層神經(jīng)網(wǎng)絡(luò)的CNN算法相比，ARNN有更出色的分解效果，主要是由于網(wǎng)絡(luò)自身的結(jié)構(gòu)優(yōu)勢可以更好地檢測到功耗的峰值狀況和負(fù)荷開關(guān)的運(yùn)行狀態(tài)變化．

表3是UK-DALE 5號家庭上幾種算法的負(fù)荷分解評估指標(biāo)對比．在MAE指標(biāo)上，ARNN網(wǎng)絡(luò)模型在水壺、冰箱、洗衣機(jī)和洗碗機(jī)上誤差最小，表現(xiàn)最好．在SAE指標(biāo)上，ARNN網(wǎng)絡(luò)模型在水壺、冰箱和洗衣機(jī)上誤差最小．因此綜合這兩個負(fù)荷分解評估指標(biāo)來看，ARNN在UK-DALE上也取得了更加優(yōu)越的分解表現(xiàn)，證明ARNN的網(wǎng)絡(luò)結(jié)構(gòu)在非侵入式負(fù)荷分解的應(yīng)用上具有優(yōu)越性和泛化性．

利用召回率、準(zhǔn)確度等負(fù)荷啟停運(yùn)行狀態(tài)的評估指標(biāo)進(jìn)一步評價算法的分解性能．表4是包含本文所提出的ARNN模型在內(nèi)的9種算法在UK-DALE 5號家庭的負(fù)荷開關(guān)運(yùn)行狀態(tài)指標(biāo)對比．在Accuracy和F1指標(biāo)上看，ARNN網(wǎng)絡(luò)模型在這幾類負(fù)荷上取得了最好的數(shù)值表現(xiàn)，能夠非常準(zhǔn)確地識別出負(fù)荷啟停的運(yùn)行狀態(tài)．經(jīng)典的KNN算法在微波爐和洗衣機(jī)上表現(xiàn)不錯，也能判斷出電器的啟停狀態(tài)，但在其他電器上表現(xiàn)并不理想．綜合4個指標(biāo)來看，ARNN網(wǎng)絡(luò)模型相比于兩個卷積神經(jīng)網(wǎng)絡(luò)模型表現(xiàn)良好，主要是本文提出的網(wǎng)絡(luò)結(jié)構(gòu)提升了對時序負(fù)荷特征的提取能力．綜合圖7、表3和表4，基于ARNN的非侵入式負(fù)荷分解精度要明顯優(yōu)于兩種淺層的卷積神經(jīng)網(wǎng)絡(luò)模型．

對于UK-DALE數(shù)據(jù)集，KNN算法亦對于冰箱有較好的MAE指標(biāo)，但是分解表現(xiàn)較差，因此選擇4個負(fù)荷的局部分解結(jié)果來觀察．圖8是UK-DALE數(shù)據(jù)樣本的局部負(fù)荷分解表現(xiàn)，觀察KNN在冰箱和洗碗機(jī)上的分解曲線，它在負(fù)荷功耗的峰值區(qū)域表示不好，曲線略有毛刺．但是在功率為0的范圍表現(xiàn)較好，因此降低了平均絕對誤差．綜上4個局部分解效果圖，ARNN網(wǎng)絡(luò)模型的負(fù)荷分解結(jié)果相比于其他算法與真實功耗最為接近，說明ARNN分解性能優(yōu)于其他算法．在WikiEnergy數(shù)據(jù)集和UK-DALE數(shù)據(jù)集的兩個實驗結(jié)果上，ARNN模型依據(jù)自身的結(jié)構(gòu)優(yōu)勢，提出的注意力機(jī)制提升了網(wǎng)絡(luò)對低頻負(fù)荷特征的提取能力，利用輔助分類網(wǎng)絡(luò)融合有用的設(shè)備開關(guān)狀態(tài)，比其他模型具有更好的分解效果和泛化性能．

4 結(jié)語

本文提出了一種新的針對NILM問題的深度神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)，其特點是具有編碼器-解碼器框架的注意力機(jī)制，以從聚合信號中提取特定于設(shè)備的功耗．回歸網(wǎng)絡(luò)中卷積層和LSTM層的集成有助于特征提取，并允許建立更好的設(shè)備模型，對回歸任務(wù)使用本文所建議的模型大大提高了網(wǎng)絡(luò)提取和利用信息的能力．實驗結(jié)果表明，與深度學(xué)習(xí)技術(shù)相比，該模型顯著提高了數(shù)據(jù)集所有設(shè)備的負(fù)載識別精度和泛化能力．基于深度學(xué)習(xí)算法需要一定的數(shù)據(jù)集進(jìn)行訓(xùn)練才能提高模型的分解性能，針對不同特征類型的數(shù)據(jù)樣本需要重新訓(xùn)練和網(wǎng)絡(luò)調(diào)優(yōu)，這種建立方式較為復(fù)雜耗時，因此未來的工作應(yīng)該集中在基于深度學(xué)習(xí)和聯(lián)合優(yōu)化的非侵入式負(fù)荷分解應(yīng)用中．

參考文獻(xiàn)

References

［1］ Cominola A，Giuliani M，Piga D，et al.A hybrid signature-based iterative disaggregation algorithm for non-intrusive load monitoring［J］.Applied Energy，2017，185：331-344

［2］ Xia M，Wang Z W，Lu M，et al.MFAGCN：a new framework for identifying power grid branch parameters［J］.Electric Power Systems Research，2022，207：107855

［3］ Bassamzadeh N，Ghanem R.Multiscale stochastic prediction of electricity demand in smart grids using Bayesian networks［J］.Applied Energy，2017，193：369-380

［4］ Garshasbi S，Kurnitski J，Mohammadi Y.A hybrid genetic algorithm and Monte Carlo simulation approach to predict hourly energy consumption and generation by a cluster of net zero energy buildings［J］.Applied Energy，2016，179：626-637

［5］ 王赟，葛泉波，姚剛，等.基于多注意力機(jī)制集成的非侵入式負(fù)荷分解算法［J／OL］.南京信息工程大學(xué)學(xué)報（自然科學(xué)版）：1-13［2022-08-04］.http：／／kns.cnki.net／kcms／detail／32.1801.N.20220616.1958.016.html

WANG Yun，GE Quanbo，YAO Gang，et al.Non-intrusive load decomposition model based on multi-attention mechanism integration［J／OL］.Journal of Nanjing University of Information Science ＆ Technology （Natural Science Edition）：1-13［2022-08-04］.http：／／kns.cnki.net／kcms／detail／32.1801.N.20220616.1958.016.html

［6］ Chang H H，Chen K L，Tsai Y P，et al.A new measurement method for power signatures of nonintrusive demand monitoring and load identification［J］.IEEE Transactions on Industry Applications，2012，48（2）：764-771

［7］ 徐曉會，趙書濤，崔克彬.基于卷積塊注意力模型的非侵入式負(fù)荷分解算法［J］.電網(wǎng)技術(shù)，2021，45（9）：3700-3706

XU Xiaohui，ZHAO Shutao，CUI Kebin.Non-intrusive load disaggregate algorithm based on convolutional block attention module［J］.Power System Technology，2021，45（9）：3700-3706

［8］ Lin Y H，Tsai M S.Development of an improved time-frequency analysis-based nonintrusive load monitor for load demand identification［J］.IEEE Transactions on Instrumentation and Measurement，2014，63（6）：1470-1483

［9］ Kim H，Marwah M，Arlitt M，et al.Unsupervised disaggregation of low frequency power measurements［C］／／Proceedings of the 2011 SIAM International Conference on Data Mining.April 28-30，2011，Mesa，Arizona，USA.Society for Industrial and Applied Mathematics，2011：747-758

［10］ 于超，覃智君，陽育德.基于啟停狀態(tài)識別改進(jìn)因子隱馬爾可夫模型的非侵入式負(fù)荷分解［J］.電網(wǎng)技術(shù)，2021，45（11）：4540-4550

YU Chao，QIN Zhijun，YANG Yude.Non-intrusive load disaggregation with improved factorial hidden Markov model considering on-off status recognition［J］.Power System Technology，2021，45（11）：4540-4550

［11］ Makonin S，Popowich F，Bajic＇ I V，et al.Exploiting HMM sparsity to perform online real-time nonintrusive load monitoring［J］.IEEE Transactions on Smart Grid，2016，7（6）：2575-2585

［12］ Agyeman K，Han S，Han S.Real-time recognition non-intrusive electrical appliance monitoring algorithm for a residential building energy management system［J］.Energies，2015，8（9）：9029-9048

［13］ Suzuki K，Inagaki S，Suzuki T，et al.Nonintrusive appliance load monitoring based on integer programming［C］／／2008 SICE Annual Conference.August 20-22，2008，Tokyo，Japan.IEEE，2008：2742-2747

［14］ Bhotto M Z A，Makonin S，Bajic＇ I V.Load disaggregation based on aided linear integer programming［J］.IEEE Transactions on Circuits and Systems Ⅱ：Express Briefs，2017，64（7）：792-796

［15］ 成貴學(xué)，陳博野，趙晉斌，等.基于條件生成對抗網(wǎng)絡(luò)的非侵入式負(fù)荷分解［J］.電力系統(tǒng)及其自動化學(xué)報，2021，33（8）：109-115

CHENG Guixue，CHEN Boye，ZHAO Jinbin，et al.Non-intrusive load disaggregation based on conditional generative adversarial network［J］.Proceedings of the CSU-EPSA，2021，33（8）：109-115

［16］ 陳春玲，夏旻，王珂，等.基于分組空洞殘差網(wǎng)絡(luò)的非侵入式負(fù)荷分解［J］.計算機(jī)應(yīng)用與軟件，2021，38（9）：53-59

CHEN Chunling，XIA Min，WANG Ke，et al.Non-intrusive load disaggregation based on group dilated residual network［J］.Computer Applications and Software，2021，38（9）：53-59

［17］ Lin J，Ma J，Zhu J G，et al.Deep domain adaptation for non-intrusive load monitoring based on a knowledge transfer learning network［J］.IEEE Transactions on Smart Grid，2022，13（1）：280-292

［18］ Cho K，van Merrienboer B，Bahdanau D，et al.On the properties of neural machine translation：encoder-decoder approaches［J］.arXiv e-print，2014，arXiv：1409.1259

［19］ Young T，Hazarika D，Poria S，et al.Recent trends in deep learning based natural language processing［J］.IEEE Computational Intelligence Magazine，2018，13（3）：55-75

［20］ Raffel C，Ellis D P W.Feed-forward networks with attention can solve some long-term memory problems［J］.arXiv e-print，2015，arXiv：1512.08756

Non-intrusive load decomposition based on attention recurrent network model

SHA Jianfeng1 XI Le1 FENG Yajie1 ZHUANG Wei2

1State Grid Henan Electric Vehicle Service Company，Zhengzhou 450052

2School of Computer Science，Nanjing University of Information Science ＆ Technology，Nanjing 210044

Abstract The non-intrusive load decomposition is to decompose the power signal of a single load device according to the known total power signal.However，deep learning based models are perplexed by problems such as insufficient load feature extraction，low decomposition accuracy，large decomposition error for infrequently used load equipment.Here，we propose an Attention Recurrent Neural Network （ARNN） model，which combines regression network and classification network to realize the non-invasive load decomposition.The model extracts the features of sequence signals through RNN network，and uses the attention mechanism to locate the position of important information in the input sequence，so as to improve the representation ability of network.Experiments on public datasets of Wiki-Energy and UK-DALE show that the proposed deep neural network is superior to the most advanced neural network under all experimental conditions.Furthermore，the attention mechanism and auxiliary classification network can correctly detect the on or off of devices，and locate the high-power signal，which improves the accuracy of load decomposition.

Key words load decomposition;sequential network;attention mechanism;auxiliary classification

收稿日期2022-07-03

資助項目國家自然科學(xué)基金（61773219）

作者簡介沙建峰，男，高級工程師，研究方向為電力通信網(wǎng)分析、電力大數(shù)據(jù)分析.18103913399@163.com

莊偉（通信作者），男，博士，副教授，主要研究方向為大數(shù)據(jù)分析理論及應(yīng)用． zw@nuist.edu.cn