基于多注意力機(jī)制集成的非侵入式負(fù)荷分解算法

王赟　葛泉波　姚剛　王夢(mèng)夢(mèng)　姜淏予

摘要 針對(duì)輸入負(fù)荷特征對(duì)分解結(jié)果的重要程度不同，以及長短時(shí)記憶網(wǎng)絡(luò)（LSTM）在捕捉長時(shí)間用電信息的時(shí)間依賴性方面受限導(dǎo)致分解誤差高等問題，提出一種基于多注意力機(jī)制集成的非侵入式負(fù)荷分解算法．首先，利用概率自注意力機(jī)制對(duì)一維空洞卷積提取到的負(fù)荷特征進(jìn)行優(yōu)化處理，實(shí)現(xiàn)重要負(fù)荷特征的遴選;其次，采用時(shí)間模式注意力機(jī)制對(duì)LSTM的隱狀態(tài)賦予權(quán)重，從而增強(qiáng)網(wǎng)絡(luò)對(duì)長時(shí)間用電信息之間的時(shí)間依賴性的學(xué)習(xí)能力;最后，利用公開數(shù)據(jù)集UKDALE和REDD對(duì)所提分解模型的有效性和創(chuàng)新性進(jìn)行驗(yàn)證．實(shí)驗(yàn)結(jié)果表明，與其他多種現(xiàn)有分解算法相比，基于多注意力機(jī)制集成的分解算法不僅具備更好的負(fù)荷特征遴選能力，而且能更加精確地建立特征之間的時(shí)間依賴關(guān)系，有效降低了分解誤差．關(guān)鍵詞 負(fù)荷分解;注意力機(jī)制;卷積神經(jīng)網(wǎng)絡(luò);長短時(shí)記憶網(wǎng)絡(luò)

中圖分類號(hào)TP18

文獻(xiàn)標(biāo)志碼A

0 引言

非侵入式負(fù)荷分解又稱為非侵入式負(fù)荷監(jiān)測(cè)（Non-Intrusive appliance Load Monitoring，NILM），它具有經(jīng)濟(jì)性、實(shí)用性與安全性，更符合當(dāng)下智能電網(wǎng)的發(fā)展，具有前瞻性［1-2］．NILM可向電力用戶反饋電器精細(xì)化用電信息，使用戶更清晰、更準(zhǔn)確地了解用電設(shè)備的使用情況，從而引導(dǎo)用戶改善自身的用電行為，實(shí)現(xiàn)用能的高效化和經(jīng)濟(jì)化［3］;同時(shí)，電力公司可對(duì)分解結(jié)果加以分析與利用，加強(qiáng)電力需求側(cè)的能源管理和負(fù)荷優(yōu)化;從用戶側(cè)入手，還可以挖掘更大的節(jié)能潛力，實(shí)現(xiàn)電網(wǎng)和電力用戶之間的雙向互動(dòng)［4-5］．非侵入式負(fù)荷分解技術(shù)已然成為需求側(cè)能源管理的有效技術(shù)手段［6-8］，因此研究非侵入式負(fù)荷分解具有重要的實(shí)際意義．

目前，非侵入式負(fù)荷分解算法可以分為三大類：基于數(shù)學(xué)優(yōu)化的、基于模式識(shí)別的和基于深度學(xué)習(xí)的［9-10］．Hart等［11-12］首先提出非侵入式負(fù)荷監(jiān)測(cè)的基本概念和處理框架，將非侵入式負(fù)荷分解問題轉(zhuǎn)化為數(shù)學(xué)優(yōu)化問題．其主要思想是找到目標(biāo)用電設(shè)備及其相應(yīng)運(yùn)行狀態(tài)的一個(gè)最佳組合，使該組合的用電信息與總用電信息之間的差距最小［12-14］．但是這種分解算法只適用于有限運(yùn)行狀態(tài)的用電設(shè)備，對(duì)于具有連續(xù)運(yùn)行狀態(tài)或負(fù)荷特征相似的用電設(shè)備，卻無法正確分解出單個(gè)電器的用電信息．為解決這一問題，研究人員開始探索將機(jī)器學(xué)習(xí)應(yīng)用到分解問題中，并提出一類新的分解算法，即基于模式識(shí)別的分解算法．其主要思想是利用機(jī)器學(xué)習(xí)算法學(xué)習(xí)總用電信息的負(fù)荷特征與單個(gè)用電信息之間的關(guān)聯(lián)模式，實(shí)現(xiàn)負(fù)荷分解．這類算法解決了數(shù)學(xué)優(yōu)化方法所存在的問題，但是基于數(shù)學(xué)優(yōu)化和基于模式識(shí)別的分解算法均需要手動(dòng)提取負(fù)荷特征，存在較大的主觀性［9］．

深度學(xué)習(xí)在處理大數(shù)據(jù)問題［15-16］時(shí)具有強(qiáng)大的學(xué)習(xí)能力、非線性映射能力以及適應(yīng)能力，因此研究人員開始將深度學(xué)習(xí)引入到非侵入式負(fù)荷分解領(lǐng)域，實(shí)現(xiàn)了負(fù)荷特征的自動(dòng)提取，增加了分解算法的實(shí)用性．2015年，Kelly等［17］提出使用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行負(fù)荷特征的自動(dòng)提取并實(shí)現(xiàn)負(fù)荷分解，建立3個(gè)基于深度神經(jīng)網(wǎng)絡(luò)架構(gòu)的負(fù)荷分解算法，并在公開數(shù)據(jù)集上選用7個(gè)評(píng)估指標(biāo)對(duì)模型進(jìn)行評(píng)估，結(jié)果表明深度神經(jīng)網(wǎng)絡(luò)的分解結(jié)果在大多數(shù)情況下要優(yōu)于組合優(yōu)化和FHMM算法．文獻(xiàn)［18］提出一種帶有滑動(dòng)窗口的網(wǎng)絡(luò)架構(gòu)，實(shí)現(xiàn)了總用電信息的實(shí)時(shí)分解．文獻(xiàn)［19］提出一種基于全卷積去噪自編碼器結(jié)構(gòu)的負(fù)荷分解模型，與文獻(xiàn)［17］中所提出的自動(dòng)編碼器相比，該方法具有更好的分解性能和更穩(wěn)定的分解能力．雖然深度學(xué)習(xí)能自動(dòng)提取負(fù)荷特征，但是實(shí)際情況下負(fù)荷特征的重要程度存在一定的差異性．為解決這一問題，文獻(xiàn)［20］通過采用自注意力機(jī)制增強(qiáng)了模型對(duì)重要負(fù)荷特征的自動(dòng)提取能力;文獻(xiàn)［21］將傳統(tǒng)注意力機(jī)制與GRNN相結(jié)合，實(shí)現(xiàn)了關(guān)鍵負(fù)荷特征的提取;文獻(xiàn)［22］將Bahdabau注意力與自注意力同時(shí)引入分解模型中，有效降低了分解誤差．然而自注意力機(jī)制在實(shí)際場(chǎng)景下的計(jì)算復(fù)雜度與數(shù)據(jù)長度的二次方成正比［23］，傳統(tǒng)注意力機(jī)制也只能評(píng)估時(shí)間步的重要性，表明這兩種注意力機(jī)制并不適用于評(píng)估負(fù)荷特征重要性．同時(shí)，用電信息時(shí)間關(guān)聯(lián)性強(qiáng)、時(shí)間跨度大的特點(diǎn)，導(dǎo)致負(fù)荷分解算法在學(xué)習(xí)用電信息之間的時(shí)間依賴性時(shí)具有一定的局限性．

本文使用概率自注意力機(jī)制（ProbSparse Self-Attention Mechanism）在降低計(jì)算復(fù)雜度的同時(shí)保證算法具備選擇重要負(fù)荷特征的能力，采用時(shí)間模式注意力機(jī)制（Temporal Pattern Attention，TPA）增強(qiáng)算法對(duì)時(shí)間依賴性的學(xué)習(xí)能力，并將兩種注意力機(jī)制進(jìn)行集成融合，提出了一種基于多注意力機(jī)制集成的非侵入式負(fù)荷分解算法．該算法的主要改進(jìn)性工作包括：

1）利用空洞卷積來改善特征提取效果.

針對(duì)模型無法提取遠(yuǎn)距離負(fù)荷特征的問題，采用空洞卷積代替普通卷積來改善模型的初步特征提取部分，在不過多增加模型超參數(shù)的前提下提取到時(shí)間跨度更長、更豐富的負(fù)荷特征［24］．

2）應(yīng)用概率自注意力機(jī)制遴選重要特征.

現(xiàn)有的大多數(shù)負(fù)荷分解算法并未進(jìn)一步對(duì)初步提取到的負(fù)荷特征的重要性進(jìn)行評(píng)估，導(dǎo)致冗余特征過多．因此，在空洞卷積后引入概率自注意力機(jī)制［23］來衡量負(fù)荷特征對(duì)分解結(jié)果的重要性，實(shí)現(xiàn)對(duì)重要特征的篩選［25］．

3）引入時(shí)間模式注意力機(jī)制增強(qiáng)算法對(duì)時(shí)間特征的處理能力．

針對(duì)部分負(fù)荷分解算法對(duì)負(fù)荷特征之間的時(shí)間依賴性建模能力較弱的問題，采用時(shí)間模式注意力機(jī)制［26］提升整個(gè)負(fù)荷分解算法處理時(shí)間特征的能力，增強(qiáng)對(duì)時(shí)間依賴性的建模水平．

4）采用殘差結(jié)構(gòu)改善局部信息丟失問題.

考慮到空洞卷積在提取負(fù)荷特征時(shí)，因卷積核的不連續(xù)性常造成局部信息丟失問題，通過引入殘差結(jié)構(gòu)并將淺層特征與深層特征相結(jié)合，以此來保證了負(fù)荷特征的完整性［27］，同時(shí)采用批歸一化加速模型訓(xùn)練過程［28］．

1 基于多注意力機(jī)制集成的非侵入式負(fù)荷分解算法

1.1 概率自注意力機(jī)制

基于深度學(xué)習(xí)的負(fù)荷模型雖然能實(shí)現(xiàn)負(fù)荷特征的自動(dòng)提取，但負(fù)荷特征對(duì)分解結(jié)果的重要程度存在一定的差異性［28］，文獻(xiàn)［20］使用標(biāo)準(zhǔn)自注意力機(jī)制來解決這一問題．然而標(biāo)準(zhǔn)自注意力機(jī)制的計(jì)算復(fù)雜度使其在處理非常長的時(shí)間序列問題時(shí)（如電器用電信息）受到限制［29］．

為解決該問題，本文采用概率自注意力機(jī)制代替標(biāo)準(zhǔn)自注意力機(jī)制降低計(jì)算復(fù)雜度．通過概率自注意力機(jī)制實(shí)現(xiàn)負(fù)荷特征的自主選擇優(yōu)化輸入特征，提高模型處理負(fù)荷特征的能力．概率自注意力機(jī)制的工作原理[29-30]如圖1所示．

1.2 時(shí)間模式注意力機(jī)制

1.3 兩種機(jī)制集成的可行性分析

負(fù)荷特征作為負(fù)荷分解的輸入，是決定算法性能好壞的重要因素．不同時(shí)間點(diǎn)的負(fù)荷特征對(duì)分解結(jié)果的重要程度也具有差異性．基于深度學(xué)習(xí)的非侵入式負(fù)荷分解算法雖然可以實(shí)現(xiàn)負(fù)荷特征的自動(dòng)提取，但是特征冗余度較高，訓(xùn)練出的分解模型性能也會(huì)受到影響［29］．因此，本文引入概率自注意力機(jī)制對(duì)負(fù)荷特征重要性進(jìn)行評(píng)估．依據(jù)每個(gè)負(fù)荷特征對(duì)分解結(jié)果的重要程度，對(duì)重要負(fù)荷特征賦予較高的權(quán)值，實(shí)現(xiàn)負(fù)荷特征的篩選，加強(qiáng)一維空洞卷積特征提取能力的同時(shí)優(yōu)化了LSTM的輸入．

用電信息屬于一種時(shí)間跨度長的序列數(shù)據(jù)，因此對(duì)負(fù)荷特征之間的時(shí)間依賴關(guān)系進(jìn)行有效建模能夠提升算法的分解性能，而深度學(xué)習(xí)中的LSTM網(wǎng)絡(luò)雖然能有效學(xué)習(xí)負(fù)荷特征之間的依賴關(guān)系，但隨著輸入數(shù)據(jù)的長度增加，其對(duì)歷史信息的記憶能力和對(duì)時(shí)間依賴性建模的能力會(huì)受到限制［30-32］．因此引入時(shí)間模式注意力機(jī)制來學(xué)習(xí)相關(guān)時(shí)間點(diǎn)特征之間的關(guān)聯(lián)性，從而加強(qiáng)分解模型捕捉用電信息時(shí)間依賴性的能力，改善LSTM對(duì)長時(shí)序數(shù)據(jù)中歷史信息的記憶時(shí)長．

兩種注意力機(jī)制在分解模型的構(gòu)建中具有先后關(guān)系，具體集成架構(gòu)［29］如圖3所示．首先，將一維空洞卷積層提取到的初步負(fù)荷特征輸入到概率注意力機(jī)制中，對(duì)負(fù)荷特征賦予相應(yīng)權(quán)值，實(shí)現(xiàn)負(fù)荷特征的二次提取，降低冗余負(fù)荷特征對(duì)分解模型的影響．其次，將篩選過的負(fù)荷特征直接輸入LSTM中進(jìn)行時(shí)序性的學(xué)習(xí)，同時(shí)引入時(shí)間模式注意力機(jī)制加強(qiáng)模型對(duì)時(shí)間依賴性的建模能力．將兩種注意力機(jī)制分別與卷積神經(jīng)網(wǎng)絡(luò)（CNN）和LSTM集成后便可得到一種新的分解算法．

1.4 基于多注意機(jī)制集成的非侵入式負(fù)荷分解算法

為有效解決負(fù)荷特征對(duì)分解結(jié)果的重要程度存在差異性，以及模型對(duì)長時(shí)間序列的時(shí)間依賴性學(xué)習(xí)能力不足導(dǎo)致分解誤差高的問題，本文提出一種基于多注意力機(jī)制集成的非侵入式負(fù)荷分解算法，具體算法架構(gòu)如圖4所示．

1.5 簡要小結(jié)

2 實(shí)驗(yàn)與分析

2.1 數(shù)據(jù)集與目標(biāo)設(shè)備的選取

2.2 數(shù)據(jù)預(yù)處理

2.3 評(píng)價(jià)指標(biāo)

2.4 實(shí)驗(yàn)結(jié)果分析

3 結(jié)論

本文提出一種基于多注意力機(jī)制集成的非侵入式負(fù)荷分解模型，并采用公開數(shù)據(jù)集UKDALE和REDD驗(yàn)證算法的有效性．首先采用空洞卷積層對(duì)低頻有功功率數(shù)據(jù)進(jìn)行初步特征提取，擴(kuò)大網(wǎng)絡(luò)對(duì)負(fù)荷特征的提取范圍，豐富負(fù)荷特征;其次，使用概率注意力機(jī)制實(shí)現(xiàn)重要負(fù)荷特征的權(quán)重賦值;最后，在LSTM層后引入時(shí)間模式注意力機(jī)制，進(jìn)一步增強(qiáng)模型對(duì)負(fù)荷特征中時(shí)間依賴性的學(xué)習(xí)能力;同時(shí)在模型中引入殘差連接，將淺層特征和深層特征相結(jié)合，豐富負(fù)荷特征，并引入批歸一化加速模型訓(xùn)練．相較于其他模型，本文所提模型在所選電器的評(píng)價(jià)指標(biāo)上都表現(xiàn)良好，這表明多注意力機(jī)制的引入使得分解模型具有更好的分解性能．本文所提模型的分解性能雖然具備一定優(yōu)勢(shì)，但目前工作只選取了2種數(shù)據(jù)集中常見的4種電器進(jìn)行分解實(shí)現(xiàn)，后續(xù)將探究本文模型在其他數(shù)據(jù)集、其他用電設(shè)備上的分解性能．同時(shí)在未來的工作中，將以減少訓(xùn)練時(shí)間、提高模型泛化能力為目標(biāo)，對(duì)模型進(jìn)一步改進(jìn)與優(yōu)化．

參考文獻(xiàn) References

［1］余貽鑫，劉博，欒文鵬.非侵入式居民電力負(fù)荷監(jiān)測(cè)與分解技術(shù)［J］.南方電網(wǎng)技術(shù)，2013，7（4）：1-5YU Yixin，LIU Bo，LUAN Wenpeng.Nonintrusive residential load monitoring and decomposition technology［J］.Southern Power System Technology，2013，7（4）：1-5

［2］ Nalmpantis C，Vrakas D.Machine learning approaches for non-intrusive load monitoring：from qualitative to quantitative comparation［J］.Artificial Intelligence Review，2019，52（1）：217-243

［3］ 鄧曉平，張桂青，魏慶來，等.非侵入式負(fù)荷監(jiān)測(cè)綜述［J］.自動(dòng)化學(xué)報(bào)，2022，48（3）：644-663

DENG Xiaoping，ZHANG Guiqing，WEI Qinglai，et al.A survey on the non-intrusive load monitoring［J］.Acta Automatica Sinica，2022，48（3）：644-663

［4］ Gopinath R，Kumar M，Joshua C，et al.Energy management using non-intrusive load monitoring techniques state-of-the-art and future research directions［J］.Sustainable Cities and Society，2018，52（2）：1-7

［5］ 張曉東.基于深度學(xué)習(xí)算法的非侵入式負(fù)荷分解研究［D］.南京：南京信息工程大學(xué)，2021ZHANG Xiaodong.Research on non-intrusive load decomposition based on deep learning algorithm［D］.Nanjing：Nanjing University of Information Science ＆ Technology，2021

［6］ 代業(yè)明，高紅偉，高巖，等.具有電力需求預(yù)測(cè)更新的智能電網(wǎng)實(shí)時(shí)定價(jià)機(jī)制［J］.電力系統(tǒng)自動(dòng)化，2018，42（12）：58-63DAI Yeming，GAO Hongwei，GAO Yan，et al.Advances and perspectives on applications of deep learning in visual object detection［J］.Acta Automatica Sinica，2018，42（12）：58-63

［7］ Donato P G，Hernndez ，F(xiàn)unes M A，et al.Review of NILM applications in smart grids：power quality assessment and assisted independent living［C］／／2020 Argentine Conference on Automatic Control （AADECA）.October 28-30，2020，Buenos Aires，Argentina.IEEE，2020：1-6

［8］ Armel K C，Gupta A，Shrimali G，et al.Is disaggregation the holy grail of energy efficiency？ The case of electricity［J］.Energy Policy，2013，52：213-234

［9］ 程祥，李林芝，吳浩，等.非侵入式負(fù)荷監(jiān)測(cè)與分解研究綜述［J］.電網(wǎng)技術(shù)，2016，40（10）：3108-3117CHENG Xiang，LI Linzhi，WU Hao，et al.A survey of the research on non-intrusive load monitoring and disaggregation［J］.Power System Technology，2016，40（10）：3108-3117

［10］ Liang J，Ng S K K，Kendall G，et al.Load signature study.part I：basic concept，structure，and methodology［J］.IEEE Transactions on Power Delivery，2010，25（2）：551-560

［11］ Hart G W.Nonintrusive appliance load monitoring［J］.Proceedings of the IEEE，1992，80（12）：1870-1891

［12］ Hart G W，Kern E C，Schweppe F C.Non-intrusive appliance monitor apparatus：US4858141［P］.1989-08-15

［13］ 孫毅，崔燦，陸俊，等.基于遺傳優(yōu)化的非侵入式家居負(fù)荷分解方法［J］.電網(wǎng)技術(shù)，2016，40（12）：3912-3917SUN Yi，CUI Can，LU Jun，et al.A non-intrusive household load monitoring method based on genetic optimization［J］.Power System Technology，2016，40（12）：3912-3917

［14］ Ding G F，Wu C H，Wang Y，et al.A novel non-intrusive load monitoring method based on quantum particle swarm optimization algorithm［C］／／2019 11th International Conference on Measuring Technology and Mechatronics Automation （ICMTMA）.April 28-29，2019，Qiqihar，China.IEEE，2019：230-234

［15］ 吳香華，華亞婕，官元紅，等.基于CNN-Attention-BP的降水發(fā)生預(yù)測(cè)研究［J］.南京信息工程大學(xué)學(xué)報(bào)（自然科學(xué)版），2022，14（2）：148-155WU Xianghua，HUA Yajie，GUAN Yuanhong，et al.Application of CNN-Attention-BP to precipitation forecast［J］.Journal of Nanjing University of Information Science ＆ Technology （Natural Science Edition），2022，14（2）：148-155

［16］ 郭佳麗，邢雙云，欒昊，等.基于改進(jìn)的LSTM算法的時(shí)間序列流量預(yù)測(cè)［J］.南京信息工程大學(xué)學(xué)報(bào)（自然科學(xué)版），2021，13（5）：571-575GUO Jiali，XING Shuangyun，LUAN Hao，et al.Prediction of time series traffic based on improved LSTM algorithm［J］.Journal of Nanjing University of Information Science ＆ Technology （Natural Science Edition），2021，13（5）：571-575

［17］ Kelly J，Knottenbelt W.Neural NILM：deep neural networks applied to energy disaggregation［C］／／Proceedings of the 2nd ACM International Conference on Embedded Systems for Energy-Efficient Built Environments.November 4-5，Seoul，South Korea.New York，NY，USA：ACM，2015.DOI：10.1145／2821650.2821672

［18］ Krystalakos O，Nalmpantis C，Vrakas D.Sliding window approach for online energy disaggregation using artificial neural networks［C］／／Proceedings of the 10th Hellenic Conference on Artificial Intelligence，2018：1-6

［19］ García-Pérez D，Pérez-López D，Díaz-Blanco I，et al.Fully-convolutional denoising auto-encoders for NILM in large non-residential buildings［J］.IEEE Transactions on Smart Grid，2021，12（3）：2722-2731

［20］ 蒙亮，于超，張希翔，等.基于一維卷積神經(jīng)網(wǎng)絡(luò)和自注意力機(jī)制的非侵入式負(fù)荷分解［J］.電力大數(shù)據(jù)，2020，23（10）：1-8MENG Liang，YU Chao，ZHANG Xixiang，et al.Non-intrusive load disaggregation based on 1D convolutional neural network and self-attention mechanism［J］.Power Systems and Big Data，2020，23（10）：1-8

［21］ 余登武，劉敏，汪元芹.基于GRNN與注意力機(jī)制模型的非侵入式家用負(fù)荷分解［J］.智慧電力，2021，49（3）：74-79YU Dengwu，LIU Min，WANG Yuanqin.Non-invasive household load decomposition based on GRNN and attention mechanism model［J］.Smart Power，2021，49（3）：74-79

［22］ Yang M Z，Li X C，Liu Y.Sequence to point learning based on an attention neural network for nonintrusive load decomposition［J］.Electronics，2021，10（14）：1657

［23］ Zhou H Y，Zhang S H，Peng J Q，et al.Informer：beyond efficient transformer for long sequence time-series forecasting［J］.arXiv e-print，2020，arXiv：2012.07436

［24］ Zhu R J，Liao W L，Wang Y S.Short-term prediction for wind power based on temporal convolutional network［J］.Energy Reports，2020，6：424-429

［25］ 李梅，寧德軍，郭佳程.基于注意力機(jī)制的CNN-LSTM模型及其應(yīng)用［J］.計(jì)算機(jī)工程與應(yīng)用，2019，55（13）：20-27LI Mei，NING Dejun，GUO Jiacheng.Attention mechanism-based CNN-LSTM model and its application［J］.Computer Engineering and Applications，2019，55（13）：20-27

［26］ Shih S Y，Sun F K，Lee H Y.Temporal pattern attention for multivariate time series forecasting［J］.Machine Learning，2019，108（8／9）：1421-1441

［27］ 趙敬嬌，趙志宏，楊紹普.基于殘差連接和1D-CNN的滾動(dòng)軸承故障診斷研究［J］.振動(dòng)與沖擊，2021，40（10）：1-6ZHAO Jingjiao，ZHAO Zhihong，YANG Shaopu.Rolling bearing fault diagnosis based on residual connection and 1D-CNN［J］.Journal of Vibration and Shock，2021，40（10）：1-6

［28］ 劉建偉，趙會(huì)丹，羅雄麟，等.深度學(xué)習(xí)批歸一化及其相關(guān)算法研究進(jìn)展［J］.自動(dòng)化學(xué)報(bào)，2020，46（6）：1090-1120LIU Jianwei，ZHAO Huidan，LUO Xionglin，et al.Research progress on batch normalization of deep learning and its related algorithms［J］.Acta Automatica Sinica，2020，46（6）：1090-1120

［29］ 李曉，盧先領(lǐng).基于雙重注意力機(jī)制和GRU網(wǎng)絡(luò)的短期負(fù)荷預(yù)測(cè)模型［J］.計(jì)算機(jī)工程，2022，48（2）：291-296，305LI Xiao，LU Xianling.Method for forecasting short-term power load based on dual-stage attention mechanism and gated recurrent unit network［J］.Computer Engineering，2022，48（2）：291-296，305

［30］ 劉建偉，劉俊文，羅雄麟.深度學(xué)習(xí)中注意力機(jī)制研究進(jìn)展［J］.工程科學(xué)學(xué)報(bào)，2021，43（11）：1499-1511LIU Jianwei，LIU Junwen，LUO Xionglin.Research progress in attention mechanism in deep learning［J］.Chinese Journal of Engineering，2021，43（11）：1499-1511

［31］ Niu Z Y，Zhong G Q，Yu H.A review on the attention mechanism of deep learning［J］.Neurocomputing，2021，452：48-62

［32］ Vaswani A，Shazeer N，Parmar N，et al.Attention is all you need［J］.arXiv e-print，2017，arXiv：1706.03762

［33］ Yu F，Koltun V，F(xiàn)unkhouser T.Dilated residual networks［C］／／2017 IEEE Conference on Computer Vision and Pattern Recognition.July 21-26，2017，Honolulu，HI，USA.IEEE，2017：636-644

［34］ He K M，Zhang X Y，Ren S Q，et al.Deep residual learning for image recognition［C］／／2016 IEEE Conference on Computer Vision and Pattern Recognition.June 27-30，2016，Las Vegas，NV，USA.IEEE，2016：770-778

［35］ Ioffe S，Szegedy C.Batch normalization：accelerating deep network training by reducing internal covariate shift［C］//Proceedings of the 32nd International Conference on Machine Learning，2015，37：448-456

［36］ Zhang C Y，Zhong M J，Wang Z Z，et al.Sequence-to-point learning with neural networks for non-intrusive load monitoring［C］／／Proceedings of the 32nd AAAI Conference on Artificial Intelligence，2018：2604-2611

［37］ Tongta A，Chooruang K.Long short-term memory （LSTM） neural networks applied to energy disaggregation［C］／／2020 8th International Electrical Engineering Congress （iEECON）.March 4-6，2020，Chiang Mai，Thailand.IEEE，2020：1-4

［38］ Wang K，Zhong H W，Yu N O.Nonintrusive load monitoring based on sequence-to-sequence model with attention mechanism［J］.Proceeding of the CSEE，2019，39（1）：75-83

［39］ Babaei T，Abdi H，Lim C P，et al.A study and a directory of energy consumption data sets of buildings［J］.Energy and Buildings，2015，94：91-99

［40］ Kelly J，Knottenbelt W.The UK-DALE dataset，domestic appliance-level electricity demand and whole-house demand from five UK homes［J］.Scientific Data，2015，2：150007

［41］ Kolter J Z，Johnson M J.REDD：a public data set for energy disaggregation research［C］／／Workshop on Data Mining Applications in Sustainability （SIGKDD），2011，25：59-62

［42］ 劉仲民，侯坤福，高敬更，等.基于時(shí)間卷積神經(jīng)網(wǎng)絡(luò)的非侵入式居民用電負(fù)荷分解方法［J］.電力建設(shè)，2021，42（3）：97-106LIU Zhongmin，HOU Kunfu，GAO Jinggeng，et al.Non-intrusive residential electricity load disaggregation based on temporal convolutional neural network［J］.Electric Power Construction，2021，42（3）：97-106

［43］ Kaselimi M，Doulamis N，Voulodimos A，et al.Context aware energy disaggregation using adaptive bidirectional LSTM models［J］.IEEE Transactions on Smart Grid，2020，11（4）：3054-3067

Non-intrusive load decomposition model based onmulti-attention mechanism integration

WANG Yun GE Quanbo YAO Gang WANG Mengmeng JIANG Haoyu

1Logistics Engineering College，Shanghai Maritime University，Shanghai 201306

2School of Automation，Nanjing University of Information Science ＆ Technology，Nanjing 210044

3College of Electronic and Information Engineering，Tongji University，Shanghai 201804

4College of Electronic and Information Engineering，Guangdong Ocean University，Zhanjiang 524088

AbstractIn view of the different importance of input load characteristics to the decomposition results and the high decomposition error caused by the limited time dependence of LSTM in capturing long-term power consumption information，a non-intrusive load decomposition model based on multi-attention mechanism integration is proposed.First，the probsparse self-attention mechanism is used to optimize the load characteristics extracted by one-dimensional dilated convolution.Then，the temporal pattern attention mechanism is used to give weight to the hidden state of LSTM，so as to enhance the learning ability of the network on the time dependence of long-term power consumption information.Finally，the validity of the proposed decomposition model is verified using the publicly available dataset UKDALE and REDD.Experimental results show that，compared with other decomposition algorithms，the proposed decomposition model based on multi-attention mechanism integration not only has the ability to select important load features，but also can correctly establish the time-dependent relationship between features and effectively reduce the decomposition error.

Key words load decomposition;attention mechanism;convolutional neural network （CNN）;long short-term memory （LSTM） network