基于改進(jìn)子任務(wù)門(mén)控網(wǎng)絡(luò)的非侵入居民負(fù)荷分解

郭艷霞，徐正一，琚 赟

（華北電力大學(xué)，北京 102200）

0 引言

非侵入式負(fù)荷監(jiān)測(cè)技術(shù)（non-intrusive load monitoring，NILM）指通過(guò)在用戶進(jìn)戶總線處設(shè)置傳感器，獲取家用電器的聚合信息，然后計(jì)算得到目標(biāo)電器的負(fù)荷電量以及負(fù)荷模式，有利于用戶合理規(guī)劃資源，節(jié)約用電，同時(shí)幫助電力公司規(guī)劃電源建設(shè)，優(yōu)化能源結(jié)構(gòu)［1—3］。

NILM最早的方法是基于組合優(yōu)化的解聚技術(shù)，采用諸如進(jìn)化算法、線性和非線性整數(shù)規(guī)劃等方法進(jìn)行非侵入負(fù)荷分解［4—6］。但是，組合優(yōu)化方法在任一時(shí)刻均獨(dú)立執(zhí)行功率分解，不考慮負(fù)荷隨時(shí)間的變化。這些算法對(duì)噪音非常敏感，只對(duì)安裝少量電器的用戶分解準(zhǔn)確。因此，此類方法不適合應(yīng)用于現(xiàn)實(shí)生活場(chǎng)景。

隨著研究的深入，機(jī)器學(xué)習(xí)被證明是解決NILM問(wèn)題的關(guān)鍵技術(shù)，例如K-近鄰、支持向量機(jī)、決策樹(shù)等分類器［7—8］。文獻(xiàn)［9］為了減少模型計(jì)算學(xué)習(xí)的時(shí)間，提高分類性能，提出了一種改進(jìn)的K-最近鄰算法，提高了對(duì)于不同類別電器之間的辨別能力。但是，機(jī)器學(xué)習(xí)方法適用于淺層網(wǎng)絡(luò)和小批量數(shù)據(jù)，隨著電器設(shè)備數(shù)量和類別的增加，這些方法會(huì)遇到可擴(kuò)展性問(wèn)題，阻礙模型的性能。

2015 年開(kāi)始，深度學(xué)習(xí)模型被應(yīng)用到NILM 領(lǐng)域中。文獻(xiàn)［10］首次基于序列到序列和神經(jīng)網(wǎng)絡(luò)來(lái)建模，利用滑動(dòng)窗口解決功率序列數(shù)據(jù)訓(xùn)練問(wèn)題，嘗試使用遞歸神經(jīng)網(wǎng)絡(luò)［11］和去噪自動(dòng)編碼器［12］在輸入序列和輸出序列之間進(jìn)行映射，取得了先進(jìn)的成果。此后，很多學(xué)者基于序列到序列進(jìn)行改進(jìn)［13—14］。文獻(xiàn)［15］提出了一種基于互感器雙向編碼器表示和改進(jìn)目標(biāo)函數(shù)的結(jié)構(gòu)，性能優(yōu)于其他序列到序列模型。然而，當(dāng)輸入和輸出序列的長(zhǎng)度變長(zhǎng)時(shí)，應(yīng)用序列到序列學(xué)習(xí)使訓(xùn)練過(guò)程難以收斂。針對(duì)此難題，文獻(xiàn)［16］提出了序列到點(diǎn)模型，在輸入序列和輸出序列中點(diǎn)之間進(jìn)行映射，解決了輸出信號(hào)的每個(gè)元素被預(yù)測(cè)多次，從而平滑邊緣的問(wèn)題。在此基礎(chǔ)上，眾多研究進(jìn)行了網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)化［17—19］。文獻(xiàn)［20］利用時(shí)域卷積網(wǎng)絡(luò)訓(xùn)練負(fù)荷分解模型，并用激活函數(shù)Gelu 代替?zhèn)鹘y(tǒng)的激活函數(shù)Relu，有效提高了分解精度。但是，序列到點(diǎn)方法的每個(gè)正向過(guò)程只產(chǎn)生一個(gè)輸出信號(hào)，因此在推斷期間引入了太多的計(jì)算量。文獻(xiàn)［21］權(quán)衡了序列到序列和序列到點(diǎn)兩種方法的利弊，提出序列到子序列的方法。此外，目前非侵入負(fù)荷分解模型均只利用負(fù)荷數(shù)據(jù)的時(shí)間序列信息，將NILM問(wèn)題定義為回歸任務(wù)。文獻(xiàn)［22］為了將時(shí)間序列功率信息和開(kāi)∕關(guān)狀態(tài)信息進(jìn)行結(jié)合，基于多任務(wù)學(xué)習(xí)的思想，提出了子任務(wù)門(mén)控網(wǎng)絡(luò)（subtask gated networks，SGN），同時(shí)進(jìn)行回歸任務(wù)和分類任務(wù)，有效提高分解效率。但是這項(xiàng)研究中的回歸和分類網(wǎng)絡(luò)均基于序列到序列方法，處理長(zhǎng)時(shí)間序列數(shù)據(jù)時(shí)模型收斂困難。

針對(duì)以上問(wèn)題，文中提出了基于序列到子序列和SGN的非侵入負(fù)荷分解模型，并嘗試在SGN的兩個(gè)分支網(wǎng)絡(luò)中添加空間注意力和通道注意力模塊。本文主要研究?jī)?nèi)容如下:

（1）采用序列到子序列方法構(gòu)建網(wǎng)絡(luò)模型，實(shí)現(xiàn)電源主序列到目標(biāo)電器子序列中間較短部分的映射，減小模型收斂的困難度和推理周期的計(jì)算量。

（2）基于多任務(wù)學(xué)習(xí)的思想，構(gòu)建回歸子網(wǎng)絡(luò)和分類子網(wǎng)絡(luò)，利用目標(biāo)電器開(kāi)∕關(guān)狀態(tài)分類任務(wù)降低功率分解回歸任務(wù)的誤差，提高功率分解精度。

（3）在回歸子網(wǎng)絡(luò)和分類子網(wǎng)絡(luò)中添加通道注意力機(jī)制和空間注意力機(jī)制，混合注意力機(jī)制考慮到卷積層輸出對(duì)各通道的依賴性，選擇性地增強(qiáng)信息量最大的特征，減少特征學(xué)習(xí)過(guò)程中其他電器的噪聲干擾。

1 非侵入負(fù)荷分解模型

1.1 非侵入負(fù)荷分解概念

非侵入負(fù)荷分解指在家庭電力入口處安裝傳感裝置采集總負(fù)荷數(shù)據(jù)，然后進(jìn)行分析，得到各用電設(shè)備的用電量以及用電模式。

文中的分解信號(hào)為采集到的功率數(shù)據(jù)。假設(shè)Y(t)為t時(shí)刻某一家庭的主電源讀數(shù)，Xi(t)為t時(shí)刻設(shè)備i的電源讀數(shù)，則可表示如下

式中:T為采集功率數(shù)據(jù)的時(shí)間段；m為家庭中被觀測(cè)電器的總個(gè)數(shù)；ε為當(dāng)平均值為0、方差為σ2時(shí)的高斯噪聲因子，即為家庭中未被觀測(cè)到的電器設(shè)備的干擾讀數(shù)。非侵入負(fù)荷分解的任務(wù)則是根據(jù)Y(t)得到Xi(t)。

1.2 序列到子序列方法

1.3 通道注意力與空間注意力

將文獻(xiàn)［23］提出的卷積塊注意模塊應(yīng)用到NILM任務(wù)中，可提高模型的特征表達(dá)能力。若給定的輸入特征圖為F，卷積塊注意模塊首先通過(guò)式（3）得到維度為1的通道注意圖Mc，然后通過(guò)式（4）得到二維空間注意圖Ms，兩者表示如下

式中:?為兩個(gè)特征映射逐元素相乘；F′為通道注意特征圖與輸入特征圖相乘得到的特征映射；F″為經(jīng)過(guò)空間注意模塊調(diào)整得到的最終特征映射。

1.3.1 通道注意力

普通的卷積層沒(méi)有考慮每個(gè)通道之間的依賴程度，每一個(gè)卷積層的卷積核可以視為一個(gè)特征通道。通道注意力模塊首先同時(shí)進(jìn)行最大池化和均值池化，得到平均池特征和最大池特征，然后分別由多層感知器（multi-layer perceptron，MLP）和一個(gè)隱藏層組成的共享網(wǎng)絡(luò)計(jì)算兩個(gè)特征，輸出結(jié)果直接求和，最終使用sigmoid函數(shù)獲得通道注意特征圖Mc∈RC×1×1。結(jié)構(gòu)圖如圖1所示，其過(guò)程表達(dá)如下

圖1 通道注意力模塊Fig.1 Channel attention module

式中:σ為sigmoid 函數(shù)；W0、W1為權(quán)重參數(shù)，W0∈RC r×C，W1∈RC×C r；WLP為多層感知器模型函數(shù)；MaxPool為最大池化函數(shù)。

1.3.2 空間注意力

空間注意力關(guān)注“哪里”是重要信息，與通道注意力互補(bǔ)。如公式（6）所示，通道注意模塊和初始特征圖計(jì)算得到的F′在通道軸上進(jìn)行平均池和最大池操作，分別得到∈R1×H×W和∈R1×H×W，然后將其連接成一個(gè)二維特征圖，輸入到卷積核為7×7 的隱藏層進(jìn)行卷積得到與輸入特征圖維度一致的二維特征映射，最終使用sigmoid函數(shù)獲得空間注意特征圖Ms∈R1×H×W。空間注意力模塊結(jié)構(gòu)圖如圖2所示，其過(guò)程表達(dá)如下

圖2 空間注意力模塊Fig.2 Spatial attention module

式中:AvgPool為平均池化函數(shù)。

2 基于改進(jìn)SGN的非侵入負(fù)荷分解模型

2.1 模型整體架構(gòu)

文中將電器開(kāi)∕關(guān)狀態(tài)作為門(mén)控機(jī)制，為其添加門(mén)控?fù)p失，使得模型可以直接從門(mén)控分類子網(wǎng)進(jìn)行學(xué)習(xí)，并且與主回歸任務(wù)結(jié)合共同形成模型的最終輸出，分解模型如圖3所示。

圖3 基于序列到子序列和SGN的整體結(jié)構(gòu)圖Fig.3 Schematic based on sequnce-to-subsequnce and SGN

式中:?為兩個(gè)輸出結(jié)果逐元素相乘，不同于文獻(xiàn)［22］的計(jì)算方式，文中不再是將回歸網(wǎng)絡(luò)輸出的功率值直接乘以電器開(kāi)∕關(guān)的概率值，而是乘以0或者1，函數(shù)H直接將小于0.5的概率值轉(zhuǎn)換為0，反之，轉(zhuǎn)換為1。

在整個(gè)模型架構(gòu)中，我們分別利用以下?lián)p失函數(shù)進(jìn)行優(yōu)化

2.2 子網(wǎng)絡(luò)架構(gòu)

結(jié)合通道注意力機(jī)制和空間注意力機(jī)制的子網(wǎng)絡(luò)架構(gòu)如圖4 所示。首先通過(guò)5 層基本卷積學(xué)習(xí)特征；然后經(jīng)過(guò)通道注意力和空間注意力模塊細(xì)化特征；最后全連接層實(shí)現(xiàn)線性映射，得到輸出結(jié)果。

圖4 分支網(wǎng)絡(luò)模型Fig.4 Branch network model

3 實(shí)驗(yàn)分析與結(jié)果

3.1 性能指標(biāo)

兩個(gè)性能指標(biāo)用于評(píng)估提出的模型，分別為平均絕對(duì)誤差（mean absolute error，MAE）和均方根誤差（root-mean-square error，RMSE）。根據(jù)1.1 節(jié)的定義，Xt為t時(shí)刻設(shè)備的真實(shí)讀數(shù)，為t時(shí)刻本文模型的預(yù)測(cè)輸出讀數(shù)，MAE顯示每個(gè)時(shí)刻真實(shí)值和預(yù)測(cè)值的平均差，表示為，RMSE 顯 示每個(gè)時(shí)刻預(yù)測(cè)值與真實(shí)值偏差的平方與總觀測(cè)時(shí)間T比值的平方根，表示為。

3.2 數(shù)據(jù)分析與處理

3.2.1 數(shù)據(jù)集及電器分析

本文使用文獻(xiàn)［24］公布的UK-dale 數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)。數(shù)據(jù)采樣時(shí)間周期為2012年11月到2015年1 月，每個(gè)家庭的數(shù)據(jù)包括一個(gè)主電源功率讀數(shù)和其對(duì)應(yīng)的每個(gè)電器的單獨(dú)功率讀數(shù)。

文獻(xiàn)［25］根據(jù)工作模式將電器分為4類，分別為開(kāi)∕關(guān)兩狀態(tài)電器、多狀態(tài)電器、連續(xù)變化型電器和持續(xù)工作型電器。開(kāi)∕關(guān)兩狀態(tài)電器工作模式單一，運(yùn)行期間功率恒定；多狀態(tài)電器的多種工作模式是相對(duì)固定的，每個(gè)工作模式每次運(yùn)行時(shí)功率值較穩(wěn)定，而且一種模式切換到另一種模式時(shí)，功率的變化過(guò)程也較穩(wěn)定。文中主要以這兩種電器類型為研究對(duì)象，通過(guò)對(duì)5個(gè)家庭的電器種類進(jìn)行統(tǒng)計(jì)，發(fā)現(xiàn)家庭1、2、5均包含5種電器，文中采用家庭1、2進(jìn)行實(shí)驗(yàn)。

3.2.2 數(shù)據(jù)處理

在數(shù)據(jù)采集過(guò)程中，由于設(shè)備原因，很多采樣點(diǎn)缺失數(shù)據(jù)，本文利用NILMTK［26—27］工具包中的預(yù)處理方式進(jìn)行了數(shù)據(jù)分割，當(dāng)任意兩個(gè)連續(xù)數(shù)據(jù)樣本間的時(shí)間間隔大于3 min，則將其刪除。另外，我們對(duì)數(shù)據(jù)進(jìn)行了歸一化和標(biāo)準(zhǔn)化處理。

3.3 結(jié)果分析與可視化

文中選取家庭1 中2013 年5—12 月的數(shù)據(jù)和2014年1—8月的數(shù)據(jù)作為訓(xùn)練集，其中20%劃分為驗(yàn)證集，家庭1 中2014 年8—12 月的數(shù)據(jù)作為測(cè)試集，故測(cè)試集與訓(xùn)練集相互獨(dú)立，無(wú)重疊部分。在實(shí)驗(yàn)過(guò)程中，聚合功率窗口長(zhǎng)度為200，對(duì)應(yīng)1 200 s的連續(xù)樣本；目標(biāo)電器窗口長(zhǎng)度為32，對(duì)應(yīng)192 s的連續(xù)樣本；聚合功率窗口兩側(cè)增加的額外時(shí)間序列長(zhǎng)度為32，對(duì)應(yīng)192 s的連續(xù)樣本。

為了驗(yàn)證文中序列到子序列模式相較于序列到序列和序列到點(diǎn)收斂速度快、模型推理計(jì)算量小的優(yōu)勢(shì)，我們首先將SGN 網(wǎng)絡(luò)分別構(gòu)建為以上3 種模式，以洗碗機(jī)的訓(xùn)練結(jié)果為例，迭代次數(shù)對(duì)比如圖5所示，模型訓(xùn)練結(jié)果如表1所示。

由表1可知，在序列到子序列模式下，參數(shù)量和訓(xùn)練時(shí)間兩個(gè)指標(biāo)優(yōu)于序列到序列，計(jì)算量?jī)?yōu)于序列到點(diǎn)。由圖5可知，序列到點(diǎn)和序列到子序列的第1次和第2次訓(xùn)練大幅度降低了loss值，在第13次訓(xùn)練時(shí)達(dá)到了基本穩(wěn)定；但是序列到序列模式在第8次訓(xùn)練才達(dá)到前兩種方法第2次的訓(xùn)練效果，并且最終達(dá)到模型性能穩(wěn)定時(shí)，訓(xùn)練次數(shù)為21，由此看出序列到子序列模式改進(jìn)了序列到序列方式模型收斂速度慢的問(wèn)題，并且大幅減小了序列到點(diǎn)的計(jì)算量。

表1 洗碗機(jī)3種構(gòu)建模式性能對(duì)比Table 1 Comparison of metrics of three construction modes of dishwasher

圖5 不同訓(xùn)練次數(shù)的損失值Fig.5 Loss values of different epochs

為了驗(yàn)證文中添加的通道注意力和空間注意力的有效性，以冰箱為例，圖6 顯示了訓(xùn)練過(guò)程中，模型有∕無(wú)注意力模塊的迭代過(guò)程中損失值的變化。結(jié)果顯示，兩個(gè)注意力模塊對(duì)于回歸子網(wǎng)和分類子網(wǎng)的性能提升均有幫助，尤其是很大程度上降低了分類網(wǎng)絡(luò)的損失值，更大程度上發(fā)揮了分類門(mén)控子網(wǎng)對(duì)于非侵入負(fù)荷分解任務(wù)的修正作用。

圖6 有無(wú)注意力模塊的損失值的對(duì)比Fig.6 Comparison of loss value with and without attention module

為了驗(yàn)證模型的分解性能，我們?cè)谙嗤膶?shí)驗(yàn)環(huán)境下，將提出的模型與其他模型進(jìn)行對(duì)比，結(jié)果如表2 所示。結(jié)果顯示，文獻(xiàn)［22］提出的SGN 模型相較于DAE和序列到點(diǎn)模型，在運(yùn)行時(shí)間長(zhǎng)的電器上表現(xiàn)出優(yōu)勢(shì)，但是在水壺和微波爐這種運(yùn)行時(shí)間短的電器上性能反而降低，這是因?yàn)檫@兩種電器運(yùn)行時(shí)功率變化快，SGN 模型難以學(xué)習(xí)到特征。相較于SGN模型，文中的模型在大部分電器上的性能表現(xiàn)優(yōu)異，水壺和微波爐的效果最為明顯，水壺的平均絕對(duì)誤差降低了87%，均方根誤差降低了67%，微波爐的平均絕對(duì)誤差降低了62%，均方根誤差基本持平，說(shuō)明文中添加的混合注意力機(jī)制改進(jìn)了短時(shí)間運(yùn)行電器信息難以提取的問(wèn)題并且增強(qiáng)了長(zhǎng)時(shí)間運(yùn)行電器的特征提取能力，減少了噪聲的影響。相較于文獻(xiàn)［28］提出的模型，本文模型在開(kāi)∕關(guān)狀態(tài)電器上分解效果具有優(yōu)勢(shì)，在多狀態(tài)長(zhǎng)時(shí)間運(yùn)行的電器上分解精度略差，說(shuō)明本文模型在提取多狀態(tài)變化特征時(shí)具有困難，但是文獻(xiàn)［28］提出的多頭概率稀疏自注意機(jī)制擴(kuò)展了模型集中于不同位置的能力，能夠更好地?cái)M合多種特征。

表2 模型分解結(jié)果對(duì)比Table 2 Comparison of model disaggregation results

圖7 給出了5 種電器局部分解效果對(duì)比實(shí)驗(yàn)結(jié)果，由圖7可知文中的模型有效提高了5種電器的分解精度。對(duì)于小功率電器冰箱而言，文中模型幾乎擬合了真實(shí)分解值，但是對(duì)比模型存在較大波動(dòng)；對(duì)于水壺和微波爐這兩種運(yùn)行時(shí)間短、功率變化為瞬時(shí)狀態(tài)的電器，文中模型可以精準(zhǔn)地捕獲到特征變化，但是SGN模型很難學(xué)習(xí)到突變的特征，分解值幾乎為一條平滑的直線，文獻(xiàn)［28］提出的模型分解精度基本與本文持平，但是在功率突變時(shí)，分解值與真實(shí)值差距較大；對(duì)于運(yùn)行時(shí)間長(zhǎng)的大功率電器，文中提出的模型在電器開(kāi)啟時(shí)功率分解精度略勝于SGN模型，分解值更加接近于真實(shí)值，功率變化情況捕獲更加準(zhǔn)確，但是與文獻(xiàn)［28］相比，本文模型在多狀態(tài)功率峰值分解精度不佳，與真實(shí)值有一定差距。

圖7 電器分解效果對(duì)比Fig.7 Comparison of decomposition effects of electrical appliances

4 結(jié)束語(yǔ)

本文提出了基于序列到子序列和SGN 的非侵入負(fù)荷分解模型，以序列到子序列的模式構(gòu)建網(wǎng)絡(luò)，解決了序列到序列中模型收斂困難以及序列到點(diǎn)計(jì)算量大的問(wèn)題，在兩者之間進(jìn)行了平衡；且將負(fù)荷分解任務(wù)同時(shí)定義為回歸任務(wù)和分類任務(wù)，構(gòu)建了多任務(wù)框架，在每個(gè)子任務(wù)網(wǎng)絡(luò)中添加了通道注意力機(jī)制和空間注意力機(jī)制，有效提高了模型提取特征的能力。實(shí)驗(yàn)結(jié)果表明，本文提出的模型不僅減小了模型收斂的困難度和推理周期的計(jì)算量，而且減小了平均絕對(duì)誤差和均方根誤差，提高了分解精度，未來(lái)可以進(jìn)一步調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)，增強(qiáng)網(wǎng)絡(luò)的泛化性，并將網(wǎng)絡(luò)部署到實(shí)際場(chǎng)景中，提高其實(shí)用性。D