基于智能電表數據的家庭特征聯合預測算法

馬紅明 申洪濤 孫勇強 韓永祿 羅茜文 潘 陽

(國網河北省電力有限公司電力科學研究院 河北 石家莊 050000)

0 引 言

能源供應商對單個家庭經濟特征(如性別、年齡和婚姻狀況等)的解析有助于其根據具體家庭情況自動調整用能建議，并提供更優質的服務，從而吸引更多新客戶，保留原有客戶。但是一般而言，住戶特征信息不易獲取，往往需要通過傳輸器進行人工采集。因此如何從智能電表數據中推斷出家庭特征是至關重要的。

通過智能電表數據預測家庭特征的研究主要可以分為無監督學習方法和監督學習方法。對于無監督學習方法[1-2]，應用模糊聚類[3-4]和自組織方法[5]來識別具有可重復負荷軌跡的家庭。具體而言，采用模糊建模方法，目的是獲得比經典回歸模型精度更高的透明可解釋模型，自組織映射[5]可以使用具體的建筑信息創建對比客戶群。然而，這些方法需要合理化獲取模式，并且不易推導出家庭特征。因此，到目前為止，還沒有在實際環境中應用這些方法。對于監督學習方法，文獻[6]基于預先定義的特征從30 min智能電表數據中推斷出家庭特征，對所有家庭中的分類精度能達到70%以上。然而，這些方法只為每個特征建立獨立的分類器，忽略了特征之間的關系。由此本文著重研究如何將多任務學習進行應用，旨在通過對不同特征進行聯合分析提高泛化性能。

大多數最新的多任務學習模型都試圖探索不同任務之間的關系或選擇共享的特征。根據如何同時從訓練數據中學習模型參數，多任務學習模型可以大致分為任務學習和共享特征選擇。對于任務學習[7-8]，多層前饋神經網絡[9]是多任務學習的最早嘗試。在多層前向神經網絡中，從訓練任務中學習到的共同特征被表示在隱藏層中，輸出層中的每個單元通常可以看作是一個任務的輸出。然而，在許多實際應用中，這種強迫預測值在不相關的任務之間共享的假設可能會被違背，并顯著降低性能。為了避免危及上述假設的風險，文獻[10-12]提出了基于聚類的假設方法。其主要思想是將所有觀測到的任務分為若干個簇，然后簇內任務的參數要么在某些距離度量中彼此接近，要么共享一個概率先驗。該方法的優點是它對離群/不相關任務的魯棒性高。然而，這些方法可能無法利用負相關任務。

對于共享特征選擇，研究者們探索了通過正則化項，用于利用任務之間共享的公共特性，但在上述處理后，依舊具有局限性：① 在不考慮任務相關性的情況下為所有任務選擇特征子集；② 無法揭示相關任務解的相似程度。為了緩解現有方法中存在的問題，將特征結構信息融入到任務關系中，本文采用兩個協方差矩陣分別對不同任務和判別特征之間的關系進行建模，建立更具魯棒性的模型。

綜上所述，本文設計了一個MTLClass系統來同時預測各種特征，并提出了一種多任務學習模式—區分性多任務關系學習(Discriminative multi-task relationship learning，DISMTRL)，在學習區分性特征的同時，通過捕捉不同特征之間的關系來預測家庭特征。具體而言，對于特征關系，本文假設在這個預測問題中存在三種類型的任務關系(即正相關、負相關和不相關)，并且以任務協方差矩陣的形式捕獲任務關系，而不是基于先驗信息或啟發式的經驗預先確定。同時，學習了一組既可利用預測器又互不獨立的判別特征，并用特征協方差矩陣對任務間的共享特征進行建模。此外，為了對這些模型進行建模，本文通過分別在行和列上假設不同的高斯分布，自適應地從訓練數據集中學習權重矩陣。在將所提出的DISMTRL轉換為等價的凸優化問題后，采用交替優化方法求解該凸問題，并對每個子問題進行近似算子。最終通過將模型應用到愛爾蘭采集的智能電表數據集中，證明了所提算法的有效性和魯棒性。

1 基于多任務學習的特征預測

假設對于m個分類任務，本文采用常用的最小二乘損失函數，研究以下線性模型：

(1)

式中：fl是第l個學習任務的預測因子；wl是第l個任務的相應權重向量。所有m個任務的權重向量構成權重矩陣W=[w1,w2,…,wm]。此外，多任務學習的目標公式可以概括為：

(2)

式中：第一項是訓練數據的經驗誤差；第二項R(W)是正則化項，可以用來縮小模型的復雜度。

(3)

(4)

假設數據{X，Y}獨立于式(4)中的分布，似然函數可以寫成：

(5)

這里首先對W的不同列(特征)之間的關系進行建模。為了建立這種內在幾何結構的模型，可以自然地期望如果內在兩個特征i和j是緊密的，那么它們相應的表示系數wi和wj也應該是緊密的，并且誘導正的任務相關性。另一方面，兩個不同的特征更可能是負相關。因此，我們在下面的W的列上加上一個先驗。由于W是一個矩陣變量，所以用矩陣變量分布來建模。利用加權矩陣W1的結構，矩陣正態分布假設dm×dm可以分解為kronecker積：

vec(W1)～N(vec(M1),Id?Ω)

(6)

式中：M1是包含W1的每個元素的期望矩陣；Id是恒等式矩陣。列協方差矩陣Ω構建了不同任務之間的關系，而Id建模的特征是獨立的。同時，我們為特征設計了一個正則化項，假設兩個特征相互關聯時，它們相應的權重系數(wi和wj)應具有相同或相似的模式，反之亦然。類似地，我們通過在W2上擴展以下高斯分布來分析W2中的行之間的關系：

vec(W2)～N(vec(M2),Σ?Im)

(7)

式中：行協方差矩陣Σ學習W2的不同行之間的關系(即判別特征)；Im是恒等式矩陣。因此，本文中W的積分先驗表示過程如下。

推論1假設W1和W2的對應先驗為式(6)和式(7)，則本文中W的先驗可被投射為W1和W2的高斯密度的乘積：

vec(W)～N(vec(M1),Id?Ω)·N(vec(M2),Σ?Im)=

Con·N(vec(M),Σ*)

其中：

Con=Nvec(M1)(vec(M2),(Id?Ω+Σ?Im))=

(vec(M1)-vec(M2)))

vec(M)=((Id?Ω)++(Σ?Im)+)+·

((Id?Ω)+vec(M1)+(Σ?Im)+vec(M2))

Σ*=((Id?Ω)++(Σ?Im)+)+

W的最大后驗估計如下:

p(W|X,Y,ε2,M,Σ*)∝p(Y|W,X,ε2)p(W|M,Σ*)

(8)

結合式(5)和推論1，可以通過最小化得到W的解:

tr((W-M)T((Id?Ω)++(Σ?Im)+)(W-M))+

(9)

式中：tr(·)為矩陣的跟蹤函數。為了推導出一個簡單的模型，令M=M1=M2=0d×m，(ε)2=(εl)2，l=1,2,…,m。在忽略式(9)中的常數項后，可以進一步得到下式：

tr(WΩ+WT)+dm(log|Ω|+log|Σ|)

(10)

最后一項是Σ和Ω的復雜度懲罰。但是最后一項是凹函數。本文做了一個簡單的假設，即Ω和Σ的跡線邊界。這種假設在本質上與低階約束(例如跟蹤范數懲罰)的假設相似，其將使我們能夠在實現過程中運用凸優化學習方法。

此外，在式(10)中用約束tr(Ω)≤k1和tr(Σ)≤k2來代替其最后一個項，以限制其復雜性，由此式(10)可以被重新表述如下：

s.t.Ω≥0,tr(Ω)≤k1,Σ≥0,tr(Σ)≤k2

(11)

盡管在式(11)中對權重矩陣W行和列之間的關系進行了建模，但分類問題可能會受到許多參數的影響。因此將目標矩陣W進行分解：

W=UA

(12)

式中：U∈Od，每列表示W的相應特征。可以進一步替換最小化問題：

(13)

由此可以得到以下定理：

s.t.U∈Od,Ω≥0,tr(Ω)≤k1

(14)

式(14)中的模型保持了W和Ω的凸性，可以采用交替策略來進行求解。

2 模型優化

由于式(14)中存在約束UTU=I，Ω≥0，DisMTRL的目標函數和約束對于所有變量都是凸的。因此，在不同時刻優化三個變量的情況下，可以保證得到全局最優解。在此采用一種有效的方法迭代求解式(14)的W和Ω。

2.1 W和U固定，優化w.r.t.Ω

對于固定的W和U，Ω是此子問題中的變量。優化函數可以寫為：

(15)

然后，使用柯西-施瓦茲不等式得到Ω的解如下：

(16)

式中：θ是一個相對較小的正參數，本文將其定義為10-6。

2.2 Ω固定，優化w.r.t.W和U

該種情況下，優化函數可以簡化為：

s.t.U∈Od

(17)

最小化問題可以表述為：

(18)

二元極小化問題可以轉化為一元極小化問題：

(19)

(20)

(21)

3 算例分析

本節針對具有代表性的單任務學習模型和多任務學習模型進行了實證比較。然后基于CER(Commission for Energy Regulation)3數據集進行實驗。

3.1 算法比較與分析

實驗中在兩個單任務學習模型上評估了所提出的DisMTRL模型。算法中，當連續兩次迭代中損失函數值的變化小于10-5或迭代次數大于105時，模型計算將終止。此外，對于分類問題，采用四個不同層次的標準進行評價：Aver_AUC、Micro_F1、Macro_F1以及ACC(accuracy)。上述參數的值越大，對應模型的分類性能越好。

3.2 智能電表數據

算例采用CER數據集以及客戶調查數據訓練和測試所提出的DISMTRL模型，同時向用戶發放問卷進行調查。具體而言，電表數據集包括從4 232戶家庭收集的，自2009年7月至2010年12月以30分鐘為時間步長的用電量測量數據(總共75周)。問卷中的問題主要關于住戶的特征(例如經濟狀況、家電概況、消費行為和財產)。應用目的是考察本文算法用于預測消費回饋對家庭用電量的影響的有效性。

本文分析了75周內第2周至第5周的平均用電量，因為調查數據早于CER數據集，而且更早的CER數據集通常更有說服力，足以準確反映家庭特征。此外，如果從調查數據中無法發現一個家庭的一個特征值，則該家庭不參與該特征分類問題的培訓和測試。

(1) MTLCLASS系統的設計：本系統以多任務監督學習模型DISMTRL為基礎，從家庭用電量數據中預測家庭特征。圖1演示了所提出的特征估計過程的主要組成。

圖1 模型應用圖

(2) 特征定義：從4周的CER數據集中，我們定義了81個特征如表1所示。其中25個特征定義與文獻[6]一致。本文還添加了56個功能，考慮到工作日和周末的用電量數據之間的關系。本文使用功能的主要類別包括每日消費(例如，一天中不同時間和不同日期的平均或最大消費)、比率(例如，白天或夜間比率，以及不同日期之間的比率)、統計類(例如，工作日和周末的差異，自相關和其他統計數字)和不同時間類(如用電量水平、重要時刻、峰值和時間序列分析值)。在提取之后，通過三種常見的數據變換(平方根變換、對數變換和逆變換)對每個均值和單位方差為零的特征進行歸一化。由于式(4)中每個基于高斯分布的分類器都需要數據歸一化。更具體地說，圖2分別給出了特征con_week和r_min/mean的平方根變換的標準分位數圖。分位數圖的線性意味著變換后的特征得到了很好的歸一化。

表1 已定義特征列表

圖2 特征con_week和r_min/mean分位數圖

(3) 家庭特征：本文提取了16個特征，主要分為三類：社會經濟地位(如兒童、就業、社會階層等)、住房狀況(如老年人住房、建筑面積等)和用電情況(如電視、電燈情況等)。

本文研究主要考慮二值分類問題。因為學習多個標簽一致的任務是MTL設置中常見的場景。此外，在一些特征(如烹飪、就業和家庭等)中采用了與文獻[6]相同的二價定義。對于其他特征，通過調整類標簽的數量來重新定義房屋面積的標簽，從而使每個類包含相似數量的住戶。進一步，選擇年齡、設備的類標簽，測試不同閾值對分類結果的影響，并與參考文獻結果進行比較。表2給出了原始測量數據的有偏隨機猜測和KNN、具有文獻[6]特征的KNN、含重新定義特征的KNN的性能。注意，重新定義后，這三個特征的分類準確率更高。可見本文驗選擇了正確的閾值。

表2 四種分類策略的性能比較

在實驗中，隨機抽取10%、20%和30%的樣本(每個特征)組成訓練集，其余樣本作為測試集。表3中給出了10個隨機性能的平均實驗結果。在訓練集為10%的情況下，圖3給出每個特征的準確度。

表3 算法性能對比

續表3

圖3 六種監督學習算法的性能對比(訓練率10%)

由表3可見，所提出的DISMTRL模型在本實驗的競爭算法中(如MTFL和MTRL)取得了最好的性能。這為我們從多特征中同時學習任務關系和判別特征來提高泛化性能提供了有力的支撐。除了圖3中的MTFL外，本實驗中的多任務學習模型優于KNN和INDSVM，這也驗證了通過聯合預測多個特征提高泛化性能的效果。多個特征之間的關系(即模型中的Ω)如圖4所示。

圖4 智能電表數據的學習關系矩陣

可以看出：

(1) 有些特征是正相關的，例如第2個特征(老年人)和第14個特征(單身)，這意味著老年人在失去伴侶后通常是單身的。此外，正相關系數占據了Ω的很大一部分，即大多數特征具有相似的模型參數，這也進一步驗證了本研究中的MTL模型比單任務學習具有更好的性能。

(2) 有些特征是負相關的，例如第5個特征(烹飪風格)和第14個特征(單身)，即大多數單身人士傾向于直接購買熟食而不是自行烹飪。此外，負相關也會減少模型參數的搜索空間。

(3) 只有少數特征是不相關的，例如第11個特征(燈泡)和第14個特征(單身)，這意味著老年人不關心燈泡的數量)。可以看出許多觀察到的特征可以通過日常用電量數據相互作用。

3.3 定義特征的影響

本節通過調整參數λ2來研究定義的特征對相應任務的影響，即λ2的值越大，對應模型的特征數就越少，反之亦然。實現過程中，隨機選取10%～90%的智能電表數據集作為訓練測試集。通過固定參數λ1=k2=1，約束參數λ2在[0.001，0.01，0.1，1，10，100，200，500，1 000]范圍內。圖5給出了Aver_ACC(所有測試任務之間的平均精度)和Aver_AUC的分類性能。

(a) (b)圖5 Aver_ACC與Aver_AUC的分類性能

由此可以得出結論：

(1) 當λ2=100時，Aver_ACC和Aver_AUC的值都是最大的，即DISMTRL的性能是最好的。可以注意到，一些特征受所有特征的影響，例如第6個特征(就業)和第12個特征(居民))，這意味著這些定義特征的貢獻幾乎相等。而一些特征受較少特征的影響，例如第10個特征(收入)，這意味著低/高收入可以通過不同時間段之間的比率來確認。

(2) 當λ2>100時，Aver_ACC和Aver_AUC值隨λ2的增大而減小。這是因為λ2的值越大，可以在權重矩陣W中使用的特征數就越少。

3.4 模型參數k1的影響

本節研究了模型參數k1對Aver_ACC和Aver_AUC的影響，其中k1是所提方法與MTRL的主要區別之一。

隨機選取10%的智能電表數據集作為訓練集，其余的作為測試集。通過固定參數λ1=λ2=1，并在[0.001，0.01，0.1，1，10，100，200，500，1 000]的范圍內調整參數k1，結果如圖6所示。當k1值增大時，Aver_ACC和Aver_AUC都會發生波動，這說明適當的參數k1可以使泛化性能更好。這就是所提方法比MTRL更有效的原因之一。

(a) (b)圖6 通過改變k1值比較Aver_AUC和Aver_ACC

4 結 語

本文研究了從家庭用電量數據中學習家庭特征的問題。具體而言，本文將特征預測作為一個多任務分類問題，將每個特征的預測作為一個任務來考慮。為了將判別特征信息與任務關系推理結合起來，提出了基于兩個協方差矩陣，即DISMTRL的任務關系與判別特征，同時耦合。將特征學習項轉化為等價凸問題，利用交替極小化方法學習最優模型。基于CER提供的智能電表數據集，對該模型在預測家庭特征方面的有效性進行了評估。實驗結果表明，多任務學習在預測家庭特征方面具有較好的前景。