基于時序生成對抗網絡和注意力機制的電器數據生成方法

摘" 要： 在智能電網中，非侵入式負荷檢測等技術的實現都需要使用大量標記過的電器功率數據，而這類數據的收集和標注十分昂貴、耗時并且容易侵犯用戶的安全隱私。為了應對數據收集的挑戰，文中提出一種將時序生成對抗網絡和通道空間雙注意力機制相結合的數據生成方法，用來合成與實際電器功率數據相似的合成數據。時序生成對抗網絡結合無監督的靈活性和有監督的可控性，能夠進行家用電器數據生成，注意力機制又能夠使時序生成對抗網絡注重電器啟動時的波形，忽略電器未啟動時的干擾，構建一個符合真實工況且隨機的數據生成模型。文中使用五種性能度量指標對該模型生成的數據進行評估，并且使用主成分分析（PCA）降維進行可視化分析。實驗結果表明，使用該方法生成的合成數據具有與真實數據非常相似的特征，并有較高的精度。

關鍵詞： 數據生成； 時序生成對抗網絡； 注意力機制； 深度神經網絡； 數據收集； 電器波形

中圖分類號： TN919?34" " " " " " " " " " " " "文獻標識碼： A" " " " " " " " " " " " " 文章編號： 1004?373X（2024）11?0161?07

Appliance data generation method based on TimeGAN and attention mechanism

SHI Qingyi， WANG Wei， AN Siguang， ZOU Guoping

（College of Mechanical and Electrical Engineering， China Jiliang University， Hangzhou 310018， China）

Abstract： In smart grids， the implementation of technologies such as non?intrusive load detection requires the use of a large amount of labeled appliance power data， and the collection and labeling of such data is expensive， time?consuming， and prone to violating users′ security and privacy. In order to address the challenge of data collection， a data generation method that combines TimeGAN and channel space dual attention mechanism is proposed to generate the synthesized data that is similar to the actual appliance power data. TimeGAN combines the unsupervised flexibility and the supervised controllability， which is able to perform data generation for household appliances， while the attention mechanism enables TimeGAN to focus on waveforms when appliances are activated and ignore disturbances when appliances are unactivated， so as to construct a stochastic data generation model that conforms to the real working conditions. The data generated by this model is evaluated by five performance indexes and visualized with principal component analysis （PCA） dimensionality reduction. Experimental results show that the synthetic data generated by this method has very similar characteristics to the real data and has high accuracy.

Keywords： data generation; TimeGAN; attention mechanism; deep neural network; data collection; appliance waveform

0" 引" 言

21世紀，智能電網成為人們生活中不可或缺的一部分，它能夠利用先進的信息和通信技術實時監測、控制和優化電力系統的運行，這有助于提高電網的運行效率、減少能源浪費、降低電網損耗。智能電網不僅直接關聯著人們的用電需求，還對經濟發展和國家安全具有重要影響。

智能電網中有許多技術需要使用大量的數據進行訓練才能得到，比如非侵入式負荷檢測[1]、用電負荷預測[2]、防竊電監測[3]等。這些數據的收集需要在用戶用電入口處安裝智能電表，不僅收集和標注費時費力，而且在處理敏感數據時可能會面臨數據安全的挑戰。然而通過算法在短時間內生成大量的合成數據可以減少此類問題，對于家庭中使用頻率較低導致采集量較小的電器，如烤箱、吸塵器、烘干機等，合成數據尤為重要。在合成數據的基礎上還可以設置算法，數據創建時自動進行電器標注，從而減少標注過程的耗時，提高效率。

為了合成數據以解決收集信息所面臨的一系列挑戰，文獻[4]提出了一種生成對抗網絡模型（GAN），它是一類功能強大的神經網絡，由兩個相互競爭的神經網絡模型組成，兩部分相互競爭、相互制衡，分析、捕獲和復制數據集中的變化，以合成數據。文獻[5]中使用CycleGAN框架將LSTM?RNN模型作為生成器和鑒別器框架，在韓國熱電廠提供的真實發電廠數據集上進行實驗，該數據集共包含691 200個數據點，收集時間超過18天。文獻[6]提出了一種合成電器簽名的生成器TraceGAN，它是基于有條件的、逐步增長的一維Wasserstein GAN改進得來的，能夠很好地合成家用電器數據。文獻[7]創建的TimeGAN框架除了真實序列和合成序列上的無監督對抗損失之外，還使用原始數據作為監督引入了逐步監督損失，減少對抗性學習空間的高維性，通過聯合訓練嵌入網絡和生成器網絡，可以將監督損失最小化。

為了更好地捕捉圖像的視覺結構，文獻[8]提出了一種注意力機制，可以使模型選擇性地聚焦于圖像擁有較為明顯的特征上。文獻[9]提出了一種可以使用編碼器解碼器的注意力模塊，通過改進特征映射使模型不僅表現良好，而且對于噪聲輸入的抗干擾能力也較強。在文獻[10]中提出了一個利用通道間關系的模塊，他們使用全局平均池化特征來計算通道注意力。文獻[11]提出卷積注意力模塊（Convolutional Block Attention Module），是一種前饋卷積神經網絡，此模塊沿兩個獨立的維度（通道和空間）將注意力乘以輸入特征來細化特征，是一種適配性極高的注意力機制。

起初生成對抗網絡用于圖像識別領域，此類數據不隨時間動態變化，與其他變量呈簡單或線性關系。然而，智能電網中常用的家用電器序列為時間序列，在分解時需要處理大量的時間序列數據。對于此類數據，時序生成對抗網絡能夠捕獲家用電器序列隨時間的動態變化，同時在生成合成數據時保留變量之間的復雜關系。空間通道注意力機制是一種輕量的注意力模塊，可以在空間和通道上同時使用注意力機制，相較于其他注意力模塊，更適合于識別家用電器序列。

本文的創新點如下：

1） 使用時序生成對抗網絡來合成智能電網中所使用的電器數據，其設計目的是捕捉真實數據的特征以及這些特征隨時間的復雜動態變化。新引入的嵌入網絡提供了特征和潛在表示之間的可逆映射，嵌入網絡和恢復網絡保持了潛在空間中潛在向量和特征之間的關系，而生成器和鑒別器網絡的工作保持不變。

2） 在1）的基礎上加入注意力機制以提升生成數據的質量，空間通道注意力機制是一種輕量的注意力模塊，可以在空間和通道上同時使用注意力機制，通過將TimeGAN和注意力機制相結合來增加網絡的表征力，分別在嵌入網絡和生成網絡后加入注意力機制，能夠幫助網絡更好地捕捉到時間序列中全局與局部特征間的依賴關系，讓模型能夠關注到重要特征，抑制不必要特征，從而生成與原有數據集相近的高質量數據。

1" 研究設計與方法論

1.1" 融合TimeGAN和CBAM的模型

時序生成對抗網絡不是在特征空間中生成數據，而是在嵌入空間中生成數據，并且作為生成器輸入的隨機矢量是由高斯分布采樣得到的，所生成的數據經過通道空間注意力機制進行進一步的處理，使模型關注主要數據，忽視次要數據，并將生成器通過生成損失函數形成反饋，進一步調整生成數據的合理性，生成函數采用靜態潛伏向量和時間潛伏向量的元組來生成嵌入空間中的合成潛伏向量。在這一步中進行特征與潛在表示之間的可逆映射，并計算監督損失。在接下來的步驟中，鑒別從嵌入空間接收靜態代碼和時間代碼并進行分類，從而獲得無監督損失的值。

此外，鑒別器網絡還與鑒別器損失函數相關聯，該損失函數通過更新層權值到最優解，從而幫助鑒別器網絡對假數據和原始數據進行無偏分類。發生器和鑒別器采用循環網絡（GRU），它是循環神經網絡（Recurrent Neural Network， RNN）的一種，和LSTM（Long Short?term Memory）一樣，也是為了解決長期記憶和反向傳播中的梯度等問題而提出來的。在生成器網絡中，使用梯度上升技術來尋找全局極大值，在鑒別器函數中使用梯度下降技術來尋找全局極小值。生成器網絡試圖最小化對抗損失，而判別函數試圖在最小?最大博弈中使其最大化。這個過程在循環中進行多次迭代，直到該模型學習動態能耗模式，生成與真實數據特征相似的合成數據。

在生成器網絡中，使用梯度上升技術來尋找全局極大值，在鑒別器函數中使用梯度下降技術來尋找全局極小值。生成器網絡試圖最小化對抗損失，而判別函數試圖在最小?最大博弈中使其最大化。這個過程在循環中進行多次迭代，生成與真實數據特征相似的合成數據，其訓練流程如圖1所示。

1.2" GAN與TimeGAN

1.2.1" 生成對抗網絡

生成對抗網絡是深度學習領域中最新提出的網絡結構，生成器和鑒別器的原理是在零和博弈理論基礎上提出的，其工作原理如圖2所示。生成器的輸入為隨機向量，并負責生成合成數據，鑒別器的任務是將生成器生成的數據和實際數據區分開。在模型訓練過程中，兩者相互對抗、共同進步，使生成器生成的數據更接近真實數據，從而獲得所需的數據。

假設某個先驗分布[Z～Pzz]，想要學習一個生成器函數[G]，使得[G（Z）～Pdata（x）]。為了達到這個目標，引入一個鑒別函數[D]，讓[G]和[D]使用函數[V（G，D）]按照式（1）進行極小極大博弈。

[minGmaxDV（G，D）=Ex～Pdata （x）[logD（x）]+EZ～Pz（z）[log（1-D（G（z）））]] （1）

式中：[E]表示真實數據[x]和隨機向量[Z]的數學期望；生成器函數[G]可以是全連接神經網絡、卷積神經網絡等模型。通過噪點分布[P（z）]（一般是高斯分布），得到一個生成數據的分布[Pg（x）]，希望[Pg（x）]非常靠近[Pdata（x）]，其目的是擬合逼近真實分布。判別函數[D]需要解決傳統的二分類問題，其目的是有效地區分真實分布和生成分布，即衡量[Pg（x）]和[Pdata（x）]之間的差距，并通過反復的迭代訓練得到結果。

1.2.2" 時序生成對抗網絡

生成對抗網絡由兩個神經網絡組成，而時序生成對抗網絡除了生成網絡和鑒別網絡之外，還引入了兩個新的模塊，即嵌入網絡和恢復網絡，這兩個新網絡統稱為自動編碼器。時序生成對抗網絡能夠捕捉真實時間序列的特征規律和未知局限性，新引入的嵌入網絡提供了特征和潛在表示之間的可逆映射，嵌入網絡和恢復網絡保持了潛在空間中潛在向量和特征之間的關系，而生成器和鑒別器網絡的工作保持不變。與傳統的對抗網絡類似，生成器和鑒別器都與各自的損耗函數相關聯，也稱為無監督損失。除了無監督損失，TimeGAN還有另外兩個損失函數，稱為監督損失和重建損失，這兩個函數與自動編碼器相關聯。模型的總體架構概述如圖3所示。

1.3" 空間通道雙注意力機制

空間通道雙注意力機制是一種結構精煉且效率高的前饋卷積神經網絡，起初使用在圖像處理領域，但現在可以延伸到其他領域，如處理時間序列數據。CBAM是由通道注意力模塊（Channel Attention Module， CAM）和空間注意力模塊（Spartial Attention Module， SAM）兩個獨立模塊組成，預先通過通道注意力機制加權后，再經過空間注意力模塊，最終進行加權得到結果。這樣能夠節約參數和計算力，并且保證了能夠作為即插即用的模塊集成到現有的網絡架構中去，整體流程如圖4所示。

1.3.1" 通道注意力模塊

通道注意力模塊將輸入的三維特征[F（H×W×C）]分別經過最大池化層和平均池化層，得到[FCavg]和[FCmax]兩個維度為[1×1×C]的特征，再將兩個特征分別送入一個共享網絡MLP之后，對輸出的特征進行加和運算，再通過Sigmoid激活函數，最終生成的通道注意力特征[MC∈R1×1×C]為空間注意力模塊提供需要的輸入特征，其計算公式見式（2），具體結構如圖5所示。

[MC（F）=σ（MLP（AvgPool（F））+MLP（MaxPool（F）））]

[=σW1W0FCavg +W1W0FCmax]" " " （2）

式中：[σ]表示Sigmoid函數；[W0∈RC/r×C]，[W1∈RC×C/r]，并且共享網絡MLP的權重[W0]和[W1]是共享的。

通道注意力模塊是將特征在空間維度上進行壓縮，得到一個一維矢量后再進行操作。在壓縮時，平均池化層和最大池化層可用來聚合特征映射的信息，送到共享網絡MLP后，壓縮輸入特征的空間維數，逐元素求和合并以產生通道注意力特征。對于輸入的特征，通道注意力模塊關注的是輸入特征上哪些內容是有重要作用的，平均池化層對特征上的每一個像素點都有反饋，而最大值池化在進行梯度反向傳播計算時，只有特征圖中響應最大的地方有梯度的反饋。

1.3.2" 空間注意力模塊

空間注意力模塊將通道注意力模塊輸出的特征[MC]作為本模塊的輸入，首先經過最大池化層和平均池化層，得到兩個二維映射特征：[FSavg∈R1×H×W]和[FSmax∈R1×H×W]，將這兩個特征進行通道拼接操作之后，再經過一個7×7的標準卷積層，降維為1后，經過Sigmoid激活函數生成空間注意力特征[MS]，其公式如式（3）所示，具體結構如圖6所示。最后將該特征和該模塊的輸入做乘法，最終生成整個注意力機制的特征。

[MS（F）=σf7×7（[AvgPool（F）;MaxPool（F）]）=σf7×7FSavg;FSmax]" （3）

式中：[σ]表示Sigmoid函數；[f7×7]表示濾波大小為7×7的卷積運算。

空間注意力機制是對通道進行壓縮，在通道維度中分別進行了平均值池化和最大值池化，最大池化的操作就是在通道上提取最大值，平均池化的操作就是在通道上提取平均值，接著將前面提取到的特征（通道數都為1）合并得到一個雙通道的特征。

2" 實驗和評估

2.1" 數據集信息及選用電器

本文使用的數據集來自于常用數據集REDD，此數據集為幾個月內的眾多真實房屋內的特定電器的用電量，每個房屋都記錄了低頻功率數據和高頻電壓電流數據，低頻功率數據總共有6個家庭的數據，本文選用低頻功率第一個家庭中的冰箱、洗碗機、微波爐、水壺4種電器進行數據生成實驗。

2.2" 評估指標

本文使用了五種常用性能指標對生成的數據進行評估，分別是準確率（Accuracy）、精確率（Precision）、召回率（Recall）、[F1]分數（[F1]?score）、AUC值。其中，AUC值指的是ROC曲線下的面積，它常常被用來作為判別生成數據好壞的指標，AUC可以看作是隨機從正負樣本中選取一對樣本后，其中正樣本的得分大于負樣本的概率。其他合成數據的評估指標采用準確率、精確率、召回率、[F1]分數，表達式分別如下：

[Accuracy=1-n=1∞et2×n=1∞ true ×100%] （4）

[Precision=True?PositivesTrue?Positives+False?Positives] （5）

[Recall=True?PositivesTrue?Positives+False?Negatives] （6）

[F1?score=2×Precision×RecallPrecision+Recall] （7）

式中：[n]是樣本數；[et=predicted load-actual load]；[true=actual load]。將評估生成數據的好壞看作二分類問題，生成的數據被分為兩類（設他們分別是正、反類或0、1類），而在經過分類器分類之后，每一個數據樣本都會被分類器認定為某一類（正（Positive）或反（Negative）），這也就是分類結果，最終判斷其分類結果正確與否（True和False）。

在使用傳統數據評估指標的基礎上，本文還使用了主成分分析算法（PCA）進行數據評估，主成分分析算法是最常用的線性降維方法，它的目標是通過某種線性投影，將高維的數據映射到低維的空間中，并期望在所投影的維度上數據的信息量最大（方差最大），以此使用較少的數據維度，同時保留住較多的原數據點的特性。PCA降維的目的就是在盡量保證信息量不丟失的情況下，對原始特征進行降維，也就是盡可能將原始特征往具有最大投影信息量的維度上進行投影，將原特征投影到這些維度上，使降維后信息量損失最小。

2.3" 模型對照以及實驗超參數設置

存儲電器數據的數據集以CSV的格式進行儲存，電器數據經過預處理，使用“Min?Max標量”對數據進行歸一化處理，將數據處理到0～1之間的值，再使用滑動窗口算法將數據切割成更小的數據載荷，再進行隨機排列，之后作為輸入傳遞給帶注意力的TimeGAN進行模型訓練。使用Python語言實現帶注意力的TimeGAN框架，搭建的環境中各種數據包的版本如表1所示。

3" 結果與討論

3.1" 實驗結果對比

在對數據進行歸一化處理后，使用滑動窗口算法對真實的電器序列數據進行數據預處理，取一個大小為24的窗口，并沿著數據集的行運行，每次移動一個位置，獲得一定數量的2D矩陣，每個矩陣的長度為24，并具有所有列特征。之后將處理好的數據輸入到TimeGAN和CBAM混合模型中進行訓練得到合成數據，訓練中的損失函數如圖7所示，真實數據與其合成電器的對比如圖8所示。

為驗證模型的準確性，本文選取兩種其他模型作為對比模型，其中，一個為不帶注意力機制的時序生成對抗網絡，另一個為同樣可以進行數據生成的TraceGAN。使用這兩種模型在相同的環境下對所選的4種電器進行數據生成，并選用Accuracy、Precision、Recall、[F1]?score、AUC五種評估指標進行對比，對比結果如表2所示。

從表2中可以看出，改進后的TimeGAN在數據相似性、數據時序一致性、數據質量等方面，均比原始的TimeGAN有了明顯的提升，改進后的TimeGAN可以生成更加真實和高質量的數據，相比于原始的TimeGAN在數據重構方面和泛化能力方面都有所提高。相較于同樣能夠進行數據生成的TraceGAN來說，在Accuracy、Recall、[F1]?score、AUC指標上有更好的表現，這表明改進后的TimeGAN可以更好地模擬原始數據的分布和時序特征，進而生成更加真實、高質量和多樣性的數據。

3.2" 可視化結果對比

為了更加準確地對三種模型進行對比，本文還使用了主成分分析算法（PCA）對生成的數據進行比對，圖9～圖11為三種模型的PCA對比圖。其中灰色為真實數據，黑色為合成數據。

由圖9～圖11可知，與使用PCA進行可視化的其他模型相比，改進后的TimeGAN生成的合成數據集與原始數據的重疊程度明顯更好，其本質為改進后的TimeGAN能夠生成更加貼近真實數據的樣本，證明當深度學習的數據量不夠時，可以通過此模型來合成新的數據以供使用。

4" 結" 論

在本文中，使用時序生成對抗網絡進行電器運行數據生成，并加入了通道空間雙注意力機制，將無監督GAN的多功能性與監督自回歸模型的時間動態控制相結合，使用監督損失和聯合訓練的嵌入網絡，使構建模型在生成時間序列數據方面有顯著改進。利用REDD數據集中4種電器來訓練所提出的模型，使用Accuracy、Precision、Recall、[F1]?score、AUC五種評估指標進行對比，并使用主成分分析法具象化生成數據與真實數據之間的相似程度，證明提出的TimeGAN和注意力機制的數據生成方法在原有框架上有很大提升。

注：本文通訊作者為汪偉。

參考文獻

[1] HART G W. Non intrusive appliance load monitoring [J]. Proceedings of the IEEE， 1992， 80（2）： 1870?1891.

[2] 穆晨宇，薛文斌，穆羨瑛，等.基于VMD?LSTM?Attention模型的短期負荷預測研究[J].現代電子技術，2023，46（17）：174?178.

[3] 梁鍵，何江海，楊海濤.基于聚類算法的感應式機械電能表防竊電監測方法[J].自動化與儀表，2023，38（10）：81?85.

[4] GOODFELLOW I， POUGET?ABADIE J. Generative adversarial nets [C]// Advances in Neural Information Processing Systems. [S.l.： s.n.]， 2014： 2672?2680.

[5] GIOVANNI B， FABRIZIO C. Load identification system for residential applications based on the NILM technique [C]// 2020 IEEE International Instrumentation and Measurement Technology Conference. New York： IEEE， 2020： 1?6.

[6] ALON H， RICHARD J， STEPHEN M， et al. TraceGAN： Synthesizing appliance power signatures using generative adversarial networks [J]. IEEE transactions on smart grid， 2021， 12（5）： 4553?4563.

[7] JINSUNG Y， DANIEL J. Time?series generative adversarial networks [C]// Proceedings of the 33rd International Conference on Neural Information Processing. [S.l.： s.n.]， 2019： 5485?5495.

[8] HU J， SHEN L， SUN G. Squeeze?and?excitation networks [C]// 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2018： 7132?7141.

[9] WANG F， JIANG M T， QIAN C， et al. Residual attention network for image classification [C]// IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2017： 6450?6458.

[10] LONG C， HANWANG Z， JUN X， et al. SCA?CNN： Spatial and channel?wise attention in convolutional networks for image captioning [C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2017： 6298?6306.

[11] SANGHYUN W， JONGCHAN P， JOON?YOUNG L. CBAM： Convolutional block attention module [C]// 15th European Conference on Computer Vision. Heidelberg， Germany： Springer， 2018： 3?19.

[12] 燕續峰，翟少鵬，王治華，等.深度神經網絡在非侵入式負荷分解中的應用[J].電力系統自動化，2019，43（1）：126?132．

[13] 周明，宋旭帆，涂京，等.基于非侵入式負荷監測的居民用電行為分析[J].電網技術，2018，42（10）：3268?3276．

[14] 徐曉會，趙書濤，崔克彬.基于卷積塊注意力模型的非侵入式負荷分解算法[J].電網技術，2021，45（9）：3700?3706.

[15] HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition [C]// IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2016： 770?778.

[16] ZHOU G， LI Z， FU M， et al. Sequence?to?sequence load disaggregation using multiscale residual neural network [J]. IEEE transactions on instrumentation and measurement， 2021， 70： 1?10.

[17] RAFIQ H， ZHANG H X， LI H M， et al. Regularized LSTM based deep learning model： First step towards real?time non?intrusive load monitoring [C]// IEEE International Conference on Smart Energy Grid Engineering. New York： IEEE， 2018： 234?239.

[18] 王瑩，項雯，張群，等.泛在電力物聯網下基于DPSO?Kmeans的客戶用電行為分析[J].哈爾濱理工大學學報，2022，27（2）：106?113.

[19] DEVLIN J， CHANG M W， LEE K， et al. BERT： Pre?training of deep bidirectional transformers for language understanding [C]// Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. [S.l.： s.n.]， 2019： 4171?4186.

[20] 孫林，張一曼，張辰珂，等.基于改進粒子群和K?means聚類的優化算法[J].江蘇科技大學學報（自然科學版），2023，37（3）：81?90.

[21] KELLY J， KNOTTENBELT W. The UK?DALE dataset， domestic appliance?level electricity demand and whole?house demand from five UK homes [J]. Scientific data， 2015， 2（1）： 1?14.

[22] 林順富，詹銀楓，李毅，等.基于CNN?BiLSTM與DTW的非侵入式住宅負荷監測方法[J].電網技術，2022，46（5）：1973?1981．

作者簡介：施清譯（1998—），男，山東煙臺人，碩士，研究方向為非侵入式負荷監測。

汪" 偉（1964—），男，浙江杭州人，教授，研究方向為非侵入式負荷監測、鋰電池狀態估計及容量預測。

安斯光（1981—），女，吉林吉林人，教授，研究方向為電磁場數值計算。

鄒國平（1982—），男，浙江杭州人，博士，高級工程師，研究方向為多物理耦合場、電氣檢測技術。