基于知識流和遷移學習的負荷預測

祝文軍，王思寧，高曉欣，鄭倩

（北京中電普華信息技術有限公司，北京 100192）

0 引言

隨著信息化時代的建設，物聯網技術與人們的生活息息相關。物聯網的發展遍及各地區各行業戰略性產業鏈，這些重要行業領域有能源電力行業、運輸交通行業與智能醫療行業和服務行業等[1]。物聯網系統可分為感知層、應用層、網絡層3 個層次，本文主要面向感知層，由各種具備感知性能的設備組合而成[2]，如傳感器設備等，主要負責物理數據接入感知，是實現物聯網技術的基本層。感知技術是指利用現有的傳感器實現物聯網的物物交互與連接[3]。信息感知交互過程中，海量數據信息的采集、大規模信號的處理易出現不準確性，數據冗余、計算量大、成本高、計算實時性差和無特征性的特點，物聯信息感知、信息傳遞、信息存儲、信息處理等面臨巨大挑戰，物聯智能化水平亟須提高[4]。目前多種方式正在改善各種形式物聯感知系統，能源電力正著手于智能感知平臺的開發，協助行業的發展，多家企業正致力于物聯感知技術的革新[5]。基于知識流的物聯感知為感知技術提供了新的研究思路，將知識流的思想遷移到物聯感知的整個過程，實現物聯狀態全面感知。知識流的過程可實現知識交互、知識挖掘、知識融合以及知識處理分析[6]。目前對于知識流的概念描述大致可以劃分為如下3 個類型[7]。

· 知識流類似于信息的傳遞。

· 知識流過程是信息傳遞和信息處理的融合。

· 知識流是信息傳遞和應用的結合體。

本文將基于知識流的物聯感知概括為物聯感知過程中知識流動過程或知識處理及應用機制，即數據交互傳遞以及數據分析處理和應用。

對于用電領域的物聯感知，如智能電表作為數據采集的基本設備之一，協助物聯系統完成負荷數據采集、信息集成、分析優化和信息展現[8]。此外，對用電負荷數據進行分析處理，輔助完成智能電網能源調度、用電耗能預判、用電負荷預測、分析用戶用電行為特征和判斷影響因子等是能源電力物聯感知系統中的重要環節[9]。利用遷移學習方法在計算智能、感知智能和認知智能方面具有的強處理能力[10-11]，改變能源傳統利用模式，促進系統進一步智能化[12]。文獻[13]提出了一種基于參數遷移的節假日負荷預測方法。將平常日負荷預測模型已學習到的負荷曲線的重要基礎特征遷移至節假日預測模型中微調參后完成節假日負荷預測模型的訓練，但該方法并不具有適用性，訓練量仍然較大，需要反復確定調參的層數。文獻[14]提出一種基于特征遷移學習的小樣本日前電力負荷預測方法，提取源域用戶在各不同用電時段的特征，并將該模型應用于目標域小樣本中，此方法僅驗證了在小樣本電力負荷預測中的有效性。文獻[15]提出了遷移學習引導的變源域長短期記憶（long short-term memory，LSTM）網絡建筑負荷預測方法，采用新的方法結合相對傳統的定源域遷移學習方法，所提變源域LSTM 負荷預測方法可以保持不錯的效果，但有待將數據特征有效融合。文獻[16]提出了一種基于LSTM、面向光伏發電功率預測的數字孿生模型，通過遷移學習將此模型應用到其他發電功率預測場景，有效彌補了光伏系統發電功率預測中投入運行時間較短、數據不足的缺點。文獻[17]面向樓宇用戶提出一種基于深度學習和遷移學習的負荷分解模型。該模型將多種神經網絡模塊化并聯連接，并融合網絡特征，運用到樓宇負荷分解，進一步為基于遷移學習的發電功率負荷預測提供思路，有利于提高預測精度。文獻[18]采用了可以順利集成深度神經網絡中的遷移學習和元學習用于短期電力負荷預測，并展示了如何使用幾天內收集的數據形成高性能的個性化模型，但此方法對模型提出了更高的要求，局限性較大。

本文應用知識流體系的概念，實現知識的傳遞、交互、處理，將遷移學習與信息融合應用到基于知識流的物聯感知過程，將感知源領域中學習到的知識應用到新的目標領域，同時融合多種特征信息，結合新的感知方法以提升物聯感知的可靠性、準確性、高效性和智能化水平。根據遷移學習從少量學習到的知識可以在新的領域被吸收、擴散、再創造的特點，在從源域提取特征遷移到目標域下用經驗模態分解（empirical mode decomposition，EMD）提取特征影響因子，以及根據因子影響程度進行權重的數據融合，以固定地區用電功率部分數據做短期負荷預測的仿真計算，分析用戶用電行為影響因子，訓練得到影響因子最佳權重分配，做好用電耗率預判，與真實數據相比較和計算評估，分析得到此方法的可行性。

1 遷移學習

大數據信息化時代，對數據分析能力要求越來越高，并且眾多機器學習算法都需要對大量數據進行標注保證算法的準確度。在負荷預測應用場景中，監測和標注數據需要耗費大量的時間成本，訓練結果常常達不到預期效果。因此，引入遷移學習，從相關領域尋找標注過的數據進行訓練，將相關領域的預測知識很快地遷移到負荷預測場景中。相比于傳統的機器學習，遷移學習的優勢在于允許源域和目標域的樣本、任務或者分布可以有較大的差異，從而解決了小數據、個性化等問題，節省了時間成本。

1.1 遷移學習分類

根據源領域和目標領域的相似度，將遷移學習做如下分類[19]。

表1 遷移學習的分類

其中，用DS表示已經學習過的領域——“源域”，用DT表示需要應用的新的領域——“目標域”，TS表示源任務，TT表示目標任務。

在此基礎上，根據源領域中是否有標簽樣本把歸納遷移學習劃分成多任務學習、自學習。當DS包含大量標簽數據時，歸納式遷移學習相當于多任務學習；當DS沒有可用的標簽數據時，歸納式遷移學習就相當于自我學習[20]。

遷移學習中的首要步驟是根據源領域和目標領域間的概率分布差異確定域之間是否構成正遷移關系，本文中，遷移學習的目標領域與源領域為包含關系，即目標領域包含于源領域。因此，本文的學習過程構成正遷移學習。

1.2 遷移學習方法

遷移學習是一種學習的思想和模式，想要實現遷移學習還需要一定的方法，以下是遷移學習的常用方法。

（1）基于特征選擇方法

基于特征選擇的遷移學習方法是識別源領域與目標領域中共有的特征表示，根據這些特征進行知識遷移[21]。

（2）基于特征映射方法

基于特征映射的遷移學習方法是把源領域的數據從原始的高維特征空間映射到低維特征空間，使得在低維空間下，源領域數據與目標領域數據擁有相同的概率分布，從而實現高維數據到低維數據的遷移學習。

（3）基于權重方法

基于權重的方法是判斷源域中樣本的采樣權重[22]。在遷移學習中，有標簽的源領域數據的分布與無標簽的目標領域數據的分布是不一樣的，有標簽的樣本數據并不一定是全部有用的。因此需要度量有標簽的訓練樣本與無標簽的測試樣本之間的相似度，重新分配源領域中樣本的采樣權重。相似度大的樣本（即對訓練目標模型有利的訓練樣本）權重被加大，否則權重被削弱。

通過對比負荷預測數據與源域數據的相似程度，本文利用特征選擇和權重相結合的方法，首先分析源域特征對其源域數據的影響，然后結合影響程度賦值權重進行信息融合，為能源電力感知系統中數據分析和負荷預測奠定良好的數據基礎。

1.3 經驗模態分解遷移學習

EMD 是一種信號分析的方法，將非平穩信號按照不同尺度的波動或者趨勢依次分解成若干個本征模式函數（intrinsic mode function，IMF），對源信號做平穩化處理，減少了信號間特征信息的干擾。對負荷數據及影響因子數據分別采用EMD 進行分解，可以充分地分解數據，并獲得更具物理意義的分量[23]。但是，EMD 方法存在邊界效應，信號兩端的邊界效應影響會向內傳播，從而使整個數量序列被“污染”，最后的分解分量失去意義，尤其是低頻部分的電力負荷分量比重比較大，這種邊界效應所引起的誤差更嚴重，最終直接影響預測結果[24]。

為了減少邊界效應帶來的影響，本文采用遷移學習補充數據。遷移學習問題中，源任務和目標任務的輸入和輸出能夠通過某些隱含關系關聯，所以通過源任務的數據完善目標任務的信息，從而提高預測精度。本文提出的基于遷移學習的EMD 方法，通過遷移源任務中多模型未來預測值，增加未來趨勢和未來變化信息，從而使得EMD 方法盡可能減少邊界效應。

2 數據信息融合

隨著大數據技術的發展，數據特征不再呈現單一形式，數據信息融合受到了廣泛的關注，在理論和實際應用中都得到了發展[25]。數據信息融合技術將不同類型的數據進行整合，提高數據輸出質量，從合并后的數據中獲取更多的信息，而不是單獨考慮每個數據集[26]。針對多種來源的信息、多種結構相關的特征以及多種任務相關的決策，首先利用多源異構數據具有信息冗余以及信息互補的特點進行綜合分析，然后濾除掉冗余或者錯誤的信息，提高信息質量，以此進行更加精準的模型訓練，提高模型容錯性和泛化性[27]。

數據信息融合主要包括數據層面融合、特征層面融合、決策層面融合[28]。數據層面融合是直接在各種傳感器采集到的未經預處理的原始數據上進行融合，不一定總是產生最佳推理，而且傳感器具有有限的計算能力[29]；特征層面融合對傳感器采集到的原始數據進行特征提取，然后對預處理后的數據進行綜合分析，得到關鍵信息，是一種更有效的融合形式[30]；決策層面融合先建立對目標的初步結論，然后通過關聯處理進行決策級融合判決，最終獲得聯合推斷結果，是一種全局評估的形式[31]。

常見的數據信息融合方法主要有加權平均法、貝葉斯估計法、產生式規則法、卡爾曼濾波法以及最新的人工神經網絡方法[32]。董真杰等[33]利用加權平均法對各種傳感器采集到的不同數據分配一定的權重并計算其平均值得到融合處理后的信息。文獻[34]基于概率估計的思想提出貝葉斯估計法處理得到融合數據。拉爾曼濾波法主要針對冗余數據進行處理，通過遞歸迭代得到最優解[35]。近年來，隨著人工智能技術的發展，神經網絡技術能夠以更加自主便捷的方式融合更加復雜的多源異構數據，而且具有更好的融合效果，在各類數據信息融合技術中具有突出優勢。

本文采納的信息融合為中間層級即特征層的數據融合，即先對提取的源域數據進行主成分分析，達到降維效果，然后根據各個影響因子影響程度大小設定影響權重，從而融合各個因子的影響關系。在能源用電感知系統下，分析源域下的影響因子（如月份、季節等）因子設定權重大小。

3 實驗與分析

本文采用的用電負荷預測基本流程如圖1 所示，首先對相關負荷數據及影響因子進行采集管理，如用電負荷的日期特點、溫度的變化、一天內的時間特點；做好嘗試數據處理和因素聯系的分析，處理包括找尋奇異/特殊數據并舍棄處理、數據標準化處理，并可視化相關數據，估計分析包括影響負荷波動的多元化成分，分析其與負荷相關性。通過量化后的相關性和影響因子的共同作用訓練得到預測模型；經由輸入特征和預測模型得到目標時間段的短期負荷值；最后用評估參數評估此方法的可行性。

圖1 用電負荷預測流程

3.1 數據展示與數據處理

采用某地區2012 年1 月1 日至2013 年12 月31 日的整點負荷及相關影響因子數據，如季節、工作日或節假日、氣溫作為試驗數據，源域樣本數據17 544 個。

因為各個影響因子有不同的量測方式和量測單位，需要對數據進行預處理。用電負荷數據以時間為序列數據，一般來說出現短暫負荷突變的情況是不太可能的。設定某天的變化量ΔM_i是指該時刻和前后天的差值的平均值，i=0，1，2，3,…,n為天數，則有：

根據數據處理經驗設定閾值，判斷ε值是否超過閾值，確定該i點是否為奇異值。

取每一天的最大需求負荷、最小需求負荷、平均需求負荷，用圖表示，發現是否有突變值，有則考慮受信號噪聲等因素的影響，為了整體數據分析處理而去除。

某地區兩年間負荷變動趨勢如圖2 所示，負荷與日期呈現相關性，且存在信號噪聲無規律波動振蕩，但仍能看出負荷波動具有規律性，受外在因素影響。分別對負荷、氣溫等無規律數據進行上述數據歸一化處理。負荷數據及氣溫數據、季節數據如圖3～圖5 所示，可看出負荷數據具有明顯的非平穩性和非線性，同時局部具有一定的周期性，且與氣溫變化、季節更替、日期性質有較高的相關性。

圖2 某地區兩年間負荷變動趨勢

圖5 該地區負荷與氣溫變化曲線情況

該地區負荷與季節相關性曲線如圖3 所示，可以發現，春秋季用電相對平穩，夏季和冬季用電有大幅度波動，除此之外，是否工作日、是否節假日、氣溫變化等影響因子存在規律性影響，存在相關性，并非僅受日期變動影響，受多方面規律性因素的共同制約。

圖3 該地區負荷與季節相關性曲線

圖4 一段時間用戶負荷與日期性質曲線情況

3.2 實驗結果

采用EMD 方法分解一段用電時間負荷影響如圖6 所示，圖6 中包括了8 個IMF 分量和1 個趨勢分量。圖6 中，IMF1-3 波形較亂，不規律。IMF4-8可見其規律性，表示信息受規律性影響因子，如時間、天數周期制約較大。IMF 分量影響因子見表2。

表2 IMF 分量影響因子

EMD 處理分解該非線性的用電負荷，通過圖6可以看出用電負荷受不同影響因子制約，并且體現其與跟隨影響因子的相關性。可分析其處理過程中分解信號的制約因子。通過遷移學習補全信號的前后數據，使數據在之后的處理中更加準確，不會出現邊緣效應。

圖6 采用EMD 方法分解一段用電時間負荷影響

本文采納皮爾遜相關系數表述用電負荷影響因素與IMF 分量之間的相關性分析，表示其密切程度和制約關系，該數值與影響程度呈現正相關關系。計算IMF0-10 中時間和幅度，將皮爾遜相關系數歸一化處理后再按比例給予賦值權重。

3.3 預測結果

通過特征數據采掘，將多元化制約因子與IMF 分量匹配后，將2012—2013 年的負荷數據遷移學習，以上述方式預測2014 年的負荷數據，用傳統回歸模型預測方法預測一年后的模型，發現預測準確性較高。2014 年負荷數據引入權重方法后真實值與實際值對比如圖7 所示。

圖7 2014 年負荷數據引入權重方法后真實值與實際值對比

用平均絕對百分誤差（MAPE）和均方根誤差（RMSE）指標評估模型性能，評價用電負荷預測效果。

Di為第i天實際負荷數據，iD˙為第i天預測數據，n取采樣數8 760 個。引入特征權重前后評估參數對比見表3。

表3 引入特征權重前后評估參數對比

直觀發現加上權重的特征融合有改進效果，代表預測比未加權重更準確，性能更好。

4 結束語

對于用電領域的物聯感知，本文在從源域提取特征遷移到目標域用EMD 方法分解提取特征影響因子，以及根據因子影響程度進行權重的數據融合，以固定地區用電功率部分數據進行短期負荷預測的仿真計算，分析用戶用電行為影響因子，訓練得到相關因素的最佳權重分配，做好用電耗率預判。在用電感知層面上，提出一種遷移學習EMD 加上基于權重數值融合的知識流體系方法，并與未加權重前的實驗結果進行對比，所提方法預測的準確性和性能都有所提高。

本文所使用的方法在用電感知層面負荷預測的準確率上取得了良好的效果，目前僅僅將訓練得到的模型遷移到了短時間相同區域問題，尚未對其他區域做出準確判斷。因此，后續的工作是將該方法應用到其他感知領域中，更深入了解知識流在物聯感知其他方面的深層次應用。