基于自學習邊權重圖卷積網絡的用戶用能分類①

李文峰, 鄧曉平, 彭 偉, 孟宋萍

(山東建筑大學 信息與電氣工程學院, 濟南 250101)

智能電表作為一種末端設備, 在智能電網中早已得到了廣泛的應用. 智能電表記錄的高分辨率數據涵蓋了消費者用電行為的海量信息, 為分析用戶能耗行為提供了重要參考. 同時, 電力服務部門和公司開始以用戶為導向, 通過深入挖掘用電數據和客戶潛在需求,提供穩定, 安全, 便捷, 高效, 環保的個性化綜合用能服務. 用戶分類是智能電表數據分析的重要領域, 旨在通過智能電表數據對不同的負荷或用戶進行分類. 通過對智能電表數據進行分類, 電力部門不僅可以了解區域內不同用戶的特征及構成, 改善用戶用電質量, 還可根據用戶分布協調區域用能總量, 提高資源利用率. 因此, 用戶分類在電網智能化發展和智能電表數據應用上具有重要意義, 并在能耗預測[1], 竊電檢測[2]和個性化電價設計[3]等其他領域發揮著重要作用.

用戶分類的方法可分為無監督分類方法和監督分類方法. 其中, 無監督分類方法以聚類[4]作為主要的分類手段, 常用的方法包括模糊C均值算法[5], 層次聚類[6]和自組織映射[7]等. 但上述方法的分類性能受算法參數, 先驗知識和異常數據的影響. 因此, 無監督方法不適合大規模數據集和復雜場景下的分類任務.

監督分類方法旨在建立用能數據與用戶標簽之間的映射關系, 從而實現用戶分類. 隨著深度學習的興起,許多深度學習方法開始被應用于有監督的用戶分類領域, 如極限學習機[8], 深度置信網絡[9]和卷積神經網絡[10]等. 在文獻[11]中, 研究人員使用遞歸算法去除冗余特征, 并提出了一種基于極限學習機和支持向量機的混合網絡以實現用戶分類和預測. 文獻[12]構建了一種基于卷積網絡的分類架構, 并在該分類網絡上實現了多種優化算法的性能比較. 除此之外, 文獻[13]通過基于樣本的過采樣方法解決分類數據不平衡問題,并在此基礎上構建長短期網絡提取用戶特征, 輸出用戶類別. 該方法有效提高了在不平衡數據集上的分類精度. 但深度學習方法的提取特征多為抽象特征, 難以直觀表示數據之間的相互關系. 此外, 各種分類方法在用戶分類的精度仍需進一步提高.

近年來, 圖神經網絡[14]作為一種新興的深度學習技術, 已成功地應用于多領域分類任務中, 如圖像識別[15], 文本分類[16]和交通預測[17]等. 與現有方法相比,圖神經網絡不僅可以直觀地表示數據之間的關系, 而且特征學習也更加多樣化. 因此, 圖神經網絡在用戶用能分類領域提供了一條有效的思路, 但需要解決由離散數據到圖數據的轉化問題.

在相關工作的啟發下, 本文提出了一種基于自學習邊權重的圖卷積網絡分類方法(AEW-GCN), 實現了不同社會信息下的用戶分類. 本文的主要貢獻為: (1) 構建了一種自學習邊權重的圖卷積分類網絡, 通過構建圖卷積分類器, 提高了用戶分類的準確率; (2) 給出了一種基于注意力機制的圖轉化方法, 實現了由智能電表數據到圖數據的自動轉換, 并自動學習圖數據特征,從而減少了對人工特征的依賴; (3) 在實際數據集中與現有分類方法進行了對比, 在不同社會信息下的分類實驗驗證了本文方法的有效性和優越性.

1 相關介紹

1.1 用戶用能分類問題

用戶用能分類旨在尋找用戶能耗數據與用戶標簽之間的最優映射函數. 用戶用能分類過程如圖1所示,其主要包括用戶特征的表示和用戶分類兩個過程. 特征表示是將實例從輸入空間映射到特征空間的過程.假設用戶能耗數據為 X, 用戶標簽為Y , 特征表示的過程可表示為:

其中, C f 是用戶特征, E 是特征提取函數, θe為特征函數的參數.

對于已知的用戶特征C f 和用戶標簽Y , 用戶分類的過程是通過構建分類器篩選用戶特征并根據相應特征輸出用戶類別, 此過程可表示為:

由上述特征表示和分類過程可以得出, 分類問題的實質在于尋找一組最優參數, 該組參數使得網絡的分類正確率最高或誤差最小.

1.2 圖神經網絡

圖是一種特殊的數據結構, 它對實例(節點)進行建模, 并表示實例之間(邊)的關系. 在一個圖中, 節點的數據及其鄰居節點的邊包含了大量的潛在信息. 圖神經網絡旨在從節點數據及其邊中提取所需的特征,并根據提取的特征輸出相應的結果. 圖神經網絡的學習過程可以表示為:

其中, hv為特征向量, fG為圖神經網絡內置函數, xv,te[v]和 xne[v]分別為節點數據、節點的邊權重和鄰居節點數據. A ct 和ov為激活函數與網絡輸出. 圖神經網絡的學習過程可由圖2表示.

圖2 圖神經網絡學習過程

2 自學習邊權重的圖卷積分類網絡

本文提出了一種自動學習邊權重的圖卷積分類網絡(AEW-GCN), 其利用圖卷積網絡構建分類器, 并引入帶有注意力機制圖轉化方法 能夠有效提升用戶分類的精度, 自動學習特征并減少對人工特征的依賴. 該網絡由3部分組成, 分別為圖初始化層、特征提取與變換層和圖卷積分類層. 其中, 圖初始化層完成圖數據轉換, 特征提取與變換層實現圖上特征的提取和篩選, 圖卷積分類層輸出最終分類結果, 整個分類網絡的架構如圖3所示. 下面將對網絡的每個部分展開介紹.

圖3 自學習邊權重圖卷積分類網絡圖

2.1 圖初始化層

由于原始用能數據不能直接被圖神經網絡處理,為此, 本文建立了一個帶有注意力機制的圖初始化層以實現由原始數據到圖數據的轉化. 圖初始化層主要有兩個功能, 一方面, 圖初始化層將原始時間序列數據轉化為無向完全圖; 另一方面, 注意力機制的應用使得網絡能夠自動學習圖的邊的權重參數, 并隨網絡更新參數. 將原始數據轉化為圖的過程分為以下幾個步驟.

首先, 能耗數據由GRU-CNN混合層處理, 該混合層由一層GRU和CNN堆棧而成. 混合層的目的是提取原始數據的時序特征, 并輸出狀態參數R. 狀態參數R的計算過程可表示為:

其中, X 為輸入數據, fgru是 GRU網絡內置函數, d是卷積核, k為卷積通道數.

其次, 圖初始化層以狀態參數R 作為初始值, 根據注意機制計算節點權重矩陣W . 權重矩陣的計算過程可表示為:

其中, Q和 K 為查詢值和鍵值, WQ和WK分別為 Q 和 K 的參數, S為輸入的維度, Softmax表示Softmax函數.

最后, 圖初始化層以權重矩陣W 作為鄰接矩陣, 生成圖數據. 生成的圖數據可表示為:

其中, Xv是 節點數據, N 為圖上節點數目.

2.2 特征提取與變換層

特征提取與變換層旨在提取圖中的特征并輸出新的特征重構圖. 為了更全面地提取圖數據特征, 本文引入圖傅里葉變換(GFT)和離散傅里葉變換(DFT)作為特征提取方法. 其中, 圖傅里葉變換可以充分考慮圖結構特點, 離散傅里葉變換則提取節點數據特征. 特征提取過程可表示為:

其中, G和F 分別為圖傅里葉變換與離散傅里葉變換,Gf為特征數據.

特征提取完成后, 本文使用多層門控線性單元(GLU)對特征進行篩選, 為提高原始特征的利用率, 本文在特征篩選中引入跳躍連接機制, 這使得每一層GLU網絡輸出由當前層和它之前層的輸出共同決定.第 p層的特征篩選過程可表示為:

其中, Xp是第p 層輸入, fGLU表 示GLU內置函數,ReLU為ReLU函數, Hi為 p 層 之前的特征輸出, Hp為 第 p層輸出, σ為Sigmoid函數. 特征篩選網絡架構可如圖4所示.

圖4 特征篩選網絡架構

根據篩選特征, 特征重構圖可被表示為:

其中, G-1和F-1分別表示圖傅里葉與離散傅里葉的逆變換過程, Gr代表輸出特征重構圖, Hr為重構特征.

2.3 圖卷積分類層

圖卷積分類層實現特征重構圖上的卷積運算, 并輸出分類結果. 圖上的卷積過程可表示為:

其中, Gr是特征重構圖, Xgr為重構節點數據, gc是圖卷積算子, Ugr是重構特征圖的特征向量矩陣, ⊙表示哈達瑪積.

為了減少卷積運算中的參數和計算量, 本文使用切比雪夫卷積核代替傳統的圖卷積核, 則圖卷積過程可被重新表示為:

其中, yc為卷積輸出, θG和TG為切比雪夫卷積核參數,可由特征重構圖的特征值矩陣Λgr計 算得出, λmax是中最大的特征值, IN為單位矩陣, σ是Sigmoid函數.

最后, 網絡通過全連接層輸出最后的分類結果︿y ,該過程可表示為:

其中, Wu和 bu是 全連接層的參數與偏置值, σ為Sigmoid函數.

3 實驗

3.1 實驗數據

本文所采用的實驗數據是由愛爾蘭能源管制委員會(CER)[18]提供, 該委員會提供了包含了超過4 300個用戶530天的電力和天然氣消費信息. 數據采樣間隔為30 min. 為了充分證明該方法的有效性, 本文選取70%的數據進行訓練, 10%的數據作為驗證集, 剩余20%的數據作為測試集. 此外, CER數據集中還包含兩份問卷, 問卷中包含了用戶的人口統計學信息、生活方式和家庭規模等多種社會信息. 本文從問卷中選取了4種典型的社會信息, 并將每種社會信息下的不同類別作為智能電表數據的標簽, 以此實現不同社會信息下智能電表數據的用戶分類, 并驗證所提出方法的有效性. 本文所選的4種社會信息及其類別如表1所示.

表1 智能電表數據的社會信息及分類表

3.2 對比方法

為了充分驗證本文提出的方法的性能, 本文將提出的方法與3種典型的分類方法進行了比較, 下面對對比方法進行簡要介紹.

(1) 支持向量機(SVM): 支持向量機是一種分類領域的典型方法, 因此, 本文將SVM方法作為對比方法之一. 在SVM方法中, 原始數據將不做任何處理直接輸入至SVM網絡中.

(2) 主成分分析支持向量機(PCA+SVM): PCA是一種常用的數據處理手段, 本文應用PCA方法對原始用能數據進行降維處理, 并選取一定數量的相關特征作為SVM網絡的輸入. 由于特征數目影響分類精度,我們選擇實驗中精度最高的特征作為該方法的精度.

(3) 卷積神經網絡(CNN): 與支持向量機相比, 卷積神經網絡可以自動學習數據特征并輸出用戶類別.本文也將其作為一種典型的分類方法進行比較.

3.3 性能指標

考慮到多個用戶信息分類的不平衡性, 本文使用準確率(Acc)和F1值對模型進行用戶分類性能評估.Acc代表了分類正確的樣本數占樣本總數的比例, 它能夠客觀評價模型在多類別中的分類能力. F1值是精確率(Pre)和召回率(Rec)的調和均值, 可作為模型在不平衡數據集上性能的重要參考. 在實際分類任務當中,模型的Acc與F1越高, 表示模型的分類性能越好. 相關公式表達如下:

3.4 實驗配置

本文使用交叉熵損失函數[19]作為目標函數以評估模型的優劣, 具體表達為:

其中, J 為樣本總數, M 為類別數, m是樣本實際類別,sgn 為符號函數, pj,m代表樣本 j 被分入m 類的概率.

在模型訓練過程中, 采用Adam優化算法[20]以尋找最優參數. 與傳統的梯度下降法相比, Adam優化器計算當前梯度的一階動量和二階動量以實現自適應參數優化, 這種優化方式使得梯度更新過程更加平滑, 具有更好的尋找最優解的能力. 決定Adam優化器的參數主要有學習率α, β1, β2和 ε, 通常分別設為0.001, 0.9,0.999和1 0-8.

3.5 實驗結果

本文方法在不同社會信息上的分類準確率和F1值如表2所示. 在4種不同社會信息中, 準確率和F1值得均值分別為74.9%和71.9%, 分類模型在#2社會信息(主要收入者是否退休)和#4社會信息(是否有孩子)的正確率均超過80%, 在#1社會信息(主要收入者年齡)的準確率超過75%, 在#3社會信息(主要收入者的社會等級)的分類準確率保持在60%左右. 其中,在#3社會信息上的分類結果說明用戶社會等級并不能顯著影響用戶用能行為. 從以上結果來看, 本文提出的AEW-GCN方法能夠實現基于用戶信息的分類任務.

表2 AEW-GCN分類結果

表3和表4分別顯示了對比方法對4種社會信息分類的準確率和F1值. 可以看出, 所有方法在4種社會信息上的分類性能分布相似, 它們均在#2社會信息和#4社會信息上表現出較好的分類性能. 這證明了這兩類社會信息可以用于區分不同的用戶. 在3種對比方法中, 與原始SVM方法相比, 使用主成分分析(PCA)進行特征處理的分類性能略有提高(其分類性能在Acc上提升為1.2%). 與兩種SVM方法相比,CNN的分類效果得到了更好的結果, 其分類性能在兩種評價指標上提高了約3.2%和3.8%. 與上述方法相比, 本文提出的方法則實現了進一步的性能提升, AEWGCN方法的分類準確率分別提高了10.9%, 9.7%和6.5%, F1值提高了12%, 16.4%和9.2%, 這充分證明了本文所提出的方法在基于社會信息的用戶分類上的有效性和優越性.

表3 不同方法在4種社會信息分類的準確率

表4 不同方法在4種社會信息分類的F1值

4 結語

本文提出了一種自學習邊權重的圖卷積網絡, 實現了不同社會信息下智能電表數據的用戶分類. 該方法引入注意力機制實現圖的初始化, 利用包括傅里葉變換在內的多種手段進行特征提取和特征選擇, 最后應用圖卷積層輸出分類結果. 為了證明本文方法的有效性, 我們在智能電表數據集上與其他分類方法進行了比較. 實驗結果表明, 本文提出的方法取得了較好的分類性能. 在今后的工作中, 我們將進一步探討所提方法在更多社會信息中的分類性能, 并在智能電表數據的用戶分類過程中考慮環境和天氣因素對用戶用能行為的影響.