ICA特征提取與BP神經網絡在負荷預測中的應用

何川，舒勤，賀含峰

（1.四川大學電氣信息學院，成都610065；2.四川省電力公司，成都610041）

（4）選取得到前面n個特征值及其對應的特征向量，得到的n個主分量y1，y2，…，yn，他們滿足：

（3）最大絕對誤差（max error）為

ICA特征提取與BP神經網絡在負荷預測中的應用

何川1，舒勤1，賀含峰2

（1.四川大學電氣信息學院，成都610065；2.四川省電力公司，成都610041）

BP神經網絡在短期電力負荷預測時，經濟、天氣、社會等很多因素及大量的歷史數據會被考慮進去，造成輸入空間維數較高且相關，從而降低神經網絡效率。利用主分量分析法PCA（principle component analysis）和獨立分量分析法ICA（independent component analysis）在不損失負荷原始數據主要信息的前提下，根據各分量貢獻率大小對輸入空間進行重構，降低神經網絡的輸入量。文中提出的ICA特征提取法在對負荷數據進行重構處理時，有效去除了噪聲以及保留了原始數據中的潛在信息和特征，最后仿真也證明了該方法預測的有效性。

短期負荷預測；獨立分量分析；主分量分析；特征提取；BP神經網絡

電力系統短期負荷預測在電力系統的安全運行和經濟運行中起著重要的作用，是電力系統優化調度（如經濟調度，機組最優組合，最優潮流調度）的基礎。準確地預測電力系統負荷有助于增強電力系統的安全性和可靠性，有效制定發電計劃、維修計劃和能源銷售計劃，是做好電網供需平衡的關鍵。

經典的短期負荷預測方法包括時間序列法、線性回歸法、指數平滑法、卡爾曼濾波法、人工神經網絡法、專家系統法、支持向量機等。根據預測使用的方法不同，上述方法可以分為兩類：第一類方法是把負荷看成是一組時間序列信號，然后使用不同的時間序列分析方法對負荷進行預測；第二類則更多地考慮影響負荷的溫度、濕度等因素，預測的實現是找到這些天氣因素及負荷之間線性或者非線性的關系。人工神經網絡由于能夠考慮到負荷需求與以往負荷及天氣、經濟等因素之間的聯系，并把這個聯系通過一個非線性的映射表達出來，所以人工神經網絡是短期電力負荷預測中有效的工具。但負荷與天氣、經濟及社會等因素之間存在一定的相關性，這就造成了輸入變量的冗余，從而使得BP神經網絡訓練速度減慢[1-2]。

文獻[1-3]在BP神經網絡的基礎上提出了利用主分量法來對原始數據進行預處理來解決輸入變量冗余的問題。主分量子空間提供了從高維數據向低維數據在均方誤差意義下的數據壓縮，用為數較少的新變量來反映原變量所提供的絕大部分信息，通過對新變量的分析達到解決問題的目的[4]。如果用這些少數的新變量來代替原來的變量去訓練神經網絡，理論上說，需要的神經元數量減少了，需要建立的神經連接減少了，訓練的步數以及時間也會相應地減少，這樣就能提高神經網絡負荷預測的效率。

本文在主分量分析的基礎上提出了采用獨立分量分析法，對原始數據進行處理，提取出數據中的潛在信息，并且經過特征提取后的數據能夠保留原始數據中的信息及規律[5-6]，能有效提高神經網絡訓練的效率。

1 BP神經網絡

人工神經網絡應用于電力系統負荷預測時通常采用的是BP神經網絡。BP（back propagation）反向傳播神經網絡是一種多層前饋神經網絡，主要特點是信號前向傳播，誤差后向傳播。

在前向傳遞中，輸入信號從輸入層經隱含層逐層處理，直至輸出層，每一層的神經元狀態只影響下一個神經元狀態，如果輸出層得不到期望輸出，則轉入反向傳播，根據預測誤差調整網絡權值和閾值，從而使BP神經網絡預測輸出不斷逼近期望輸出。BP神經網絡拓撲結構如圖1所示。

圖1BP神經網絡拓撲結構Fig.1Topological structure of BP neural network

圖1中，X1，X2，…，Xn是BP神經網絡的輸入，Y1，Y2，…，Ym是BP神經網絡的預測值，ωij和ωjk為BP神經網絡權值。BP神經網絡可以看成一個非線性函數，網絡的輸入值和輸出值分別為該函數的自變量和因變量[7]。上面的BP神經網絡就表達為n個自變量到m個因變量的函數映射關系。

2 主分量分析法

主分量分析方法（PCA）是研究多個數值變量間相關性的一種多元統計方法，觀測變量相關性越強，充分描述他們的獨立變量越少。這種降維的方法也可表示為子空間分解法，可計算輸入數據向量的協方差矩陣Rxx的特征值和特征向量，然后將原始向量投影到m個最大特征值對應的特征向量空間。

主分量滿足線性、不相關、方差最大3個條件，其線性條件反映了特征信號之間的關系簡單，便于計算；不相關條件使每個特征信號都有著獨立的作用；方差最大條件在一定意義上反映了它所包含的信息量大。主分量分析的計算步驟[8]如下。

（1）計算輸入數據的協方差矩陣Rxx，零均值信號x的協方差矩陣為

式中，E為統計期望。

（2）計算求出Rxx的全部特征值λ1，λ2，…，λm和對應的特征向量v1，v2，…，vm，并將特征值按從小到大排列，即λ1，λ2，…，λm。

前n個主分量y1，y2，…，yn的累計方差貢獻率為如果前n個主分量的貢獻率足夠大（達到95%或以上），就可選擇前面n個主分量作為特征信號，舍棄其余的（m-n）個信號。

（4）選取得到前面n個特征值及其對應的特征向量，得到的n個主分量y1，y2，…，yn，他們滿足：

式中，V=[v1，v2，…，vn]。

所以，前面的n個主分量包含了數據中幾乎全部的信息，因此，其余的（m-n）個信號yn+1，yn+2，…，ym就可看成是隨機擾動或者是噪聲。這樣數據的維數就由m維降低到了n維。

3 獨立分量分析法

獨立分量分析法特征提取是根據原始數據的內在結構以及特征對數據進行處理，這樣處理后的數據能很好地反映原始數據中的信息，并且一些特征以及數據規律得以保存[9]。

3.1 獨立分量分析的數學模型

設有N個未知的源信號構成一個列向量

式中，i=1，2，3，…，T表示的是離散時刻。在未知的環境下，這些信號通過線性的混合得到了M維的一個列向量，也就是ti時刻的觀測信號。

式中：X∈RM×T；S∈RN×T。

利用源信號的某些統計特性，可以采用不同的方法從觀測信號中分離出這些獨立的源信號。假設下面的假設成立。

（1）源信號

是統計獨立的。

（2）在N個源信號中，最多只能有一個信號是高斯分布的，其他的信號全部是非高斯分布的。

（3）M≥N且A的秩為N。

有了上述的3個假設，就有可能從觀測的混合信號中提取出源信號。在M=N情況下，ICA的目標就是要找到一個反混合矩陣W，使得

式中：Y表示的是對源信號S的一個近似，只是源信號的排列順序和幅值大小會發生改變；W是A-1的一個估計。ICA線性模型如圖2所示。

3.2 最大負熵獨立分量分析

解決ICA問題最基本的方法是利用信息最大化法，信息熵是一個標量，它表示的是信號中所包含的平均信息量。則一個離散信源的熵可以表示為

式中：Pi為x=xi的先驗概率；E為統計期望；K表示此離散信號的輸出共有K個不同取值；a=2。

在具有相同協方差矩陣的概率密度函數中，高斯分布的信號具有最大的熵。負熵可以表示為

式中：yG代表的是與y具有相同協方差矩陣的高斯分布向量。如果一個變量是高斯分布的，那么它的負熵就為零，其他任意分布變量的負熵都為正。

但是由于實際中源信號的概率分布是不知道的，經典的對負熵的估計是利用高階矩，使用一個對照函數G來近似，即

式中：E表示統計期望；wi表示為分離矩陣W的第i行向量。本文函數G選擇為

3.3 FastICA算法

FastICA算法，也稱為固定點（fixed-point）算法，是一種快速尋優的迭代算法。并不是整個估計ICA的模型，而是利用通縮算法和FastICA算法相結合，然后一行一行地提取分離矩陣及其與之對應的獨立分量[10]。FastICA算法的基本步驟如下[11-12]。

（1）對觀測數據進行中心化和白化處理，得到x。

（2）選擇需要估計的獨立分量的個數N，并設計數器p為1。

（3）隨機的生成一個初始的權向量wp。

（4）令

（5）正交化wp

（6）標準化wp，

（7）如果wp不收斂的話，就返回步驟（4）。

（8）令p←p+1。

（9）如果p≤N，返回步驟（3）。

步驟中的中心化和白化是為了去除均值及使混合信號的協方差矩陣為單位陣，即達到去除混合信號相關性及將他們能量歸一化的作用。白化和正交化能增強算法的穩健性和可靠性。

4 應用獨立分量分析算法進行負荷預測

4.1 ICA特征提取

應用獨立分量分析法對電力負荷進行建模和預測的步驟如下。

（1）求訓練樣本P的協方差矩陣的特征值及其對應的特征向量。

（2）根據特征值的方差貢獻率選擇前n個特征值及其對應的特征向量的矩陣D，n個特征值組成的對角矩陣E。

（3）求取白化矩陣

（4）得到白化后的數據

（5）使用ICA算法處理數據，即從第3.3節中步驟（2）開始ICA算法。

（6）利用ICA處理后得到的數據來訓練BP神經網絡，然后當需要預測時，也需要把預測時的輸入數據乘以分離矩陣W，然后輸入BP神經網絡，就可得到當天的預測值。

4.2 數據的選取

本文采用的數據為美國新英格蘭地區的負荷數據[13]。根據BP神經網絡的輸入輸出要求，選擇訓練數據以及期望輸出，比如現在需要預測當日早晨08∶00點鐘的負荷（2004年4月15日），即神經網絡的輸出是08∶00的負荷，第1組輸入訓練數據選擇如下：

X1：預測日前兩周（14天前）的當日08∶00的負荷。

X2：預測日前一周（7天前）的當日08∶00的負荷。

X3：預測日前兩天的當日08∶00的負荷。

X4：預測日前一天的當日08∶00的負荷。

X5：預測日當天06∶00的負荷。

X6：預測日當天07∶00的負荷。

X7：預測日前一天08∶00的干球溫度。

X8：預測日前一天08∶00的露點溫度。

X9：預測日當天08∶00的干球溫度。

X10：預測日當天08∶00的露點溫度。

上述數據沒有包含關系，第2組期望輸出和訓練數據的取法是在原來取值日期的基礎上往后推一天，以此類推選擇得到91組期望輸出，訓練數據也是91組，前90組數據用來訓練神經網絡，最后一組數據用來進行預測驗證。神經網絡的輸入層為10個節點，隱含層根據公式和經驗選擇13個節點，輸出層為1個節點。

4.3 仿真分析

求數據的協方差矩陣，然后得協方差矩陣的特征值以及方差貢獻率如表1所示。

表1 數據協方差矩陣的特征值及其方差貢獻率和累計方差貢獻率Tab.1Eigenvalue，variance contribution and cumulative variance contribution of data covariance matrix

從表1可以看出，前面6個特征值的累計方差貢獻率已經相當高了，所以特征提取之后的數據應該降到了六維，即神經網絡輸入層節點數變為6個節點。然后利用ICA算法進行特征提取，特征提取后的數據如圖3所示。

圖3ICA特征提取后的6組訓練數據Fig.3Six set of training data after ICA feature extraction

類似的，可以得到一天24 h的負荷預測結果。為了說明ICA特征提取的預測效果，將應用ICA方法、PCA方法以及直接利用神經網絡法[13]預測的結果做了比較，如表2所示。平均訓練時間以及平均相對誤差如表3所示。表4中給出了3種方法的均方誤差、最大相對誤差和最大絕對誤差。圖4和圖5分別是3種方法預測的比較以及3種方法預測相對誤差的比較。下面為一些誤差的計算公式。

（1）平均相對誤差（mean relative error）為

（2）均方誤差（mean square error）為

（3）最大絕對誤差（max error）為

式中：Yi為第i個負荷實際值；為第i個負荷預測值；n為需要預測的負荷的個數，本文中是預測一天24 h的負荷，所以n為24。

表2 不同方法預測的對比Tab.2Comparison of three different forecasting methods

表3 訓練時間以及平均相對誤差的對比Tab.3Comparison of training time and mean relative error

圖43 種方法預測的比較Fig.4Comparison of three forecasting methods

5 仿真結果及算法分析

表3的實驗結果表明，利用PCA對神經網絡訓練數據進行處理后，保存了數據中的主分量，即有用的負荷信息。去掉原始數據中方差貢獻率最小的成分，也就是次分量，是噪聲或與噪聲有關的。提取主成份之后減少了原始數據中的冗余，消除了樣本中的自相關性[14]，降低了神經網絡訓練數據的維數。舍棄掉的較小特征值的信息含有隨機擾動和噪聲，所以預測的精度有所提高，從神經網絡直接預測的3.6%的平均相對誤差減少到了1.61%的平均相對誤差。但是維數的降低并沒有使得訓練時間減少，表2中甚至有時訓練時間還在增加。原因是利用PCA處理數據后，有部分重要信息丟失。

表43 種方法的均方誤差，最大相對誤差和最大絕對誤差的對比Tab.4Comparison of mean square error，maximum relative error and maximum absolute error

圖5 3種預測方法的平均相對誤差Fig.5Mean relative errors of three forecasting methods

利用ICA對神經網絡訓練數據進行特征提取之后，訓練數據不僅維數降低了，而且使得神經網絡的訓練時間接近減少了一半，有效提高了神經網絡的效率。在保存了原始數據特征的同時也去掉了隨機干擾和噪聲，所以預測的平均相對誤差也降到了1.1442%，ICA算法的改進效果還是很明顯的。

在數據提取方面，PCA和ICA都是把數據轉換為分量，都可以有效地進行數據的壓縮，且ICA可以看成是PCA的一個延伸，PCA的目標是得到不相關的主分量，而ICA則是尋求統計意義上獨立的分量。

分別使用PCA和ICA對二元數據集進行處理得到的不同結果如圖6所示。PCA根據主分量方差最大來求取主分量且主分量之間是正交關系[15-16]。相反，ICA算法根據原始數據的結構利用不同的方法去處理數據，能夠揭示數據中更深層的結構以及分布規律[15，17]，能準確地反映原始數據的特征。

圖6 PCA和ICA的對比Fig.6Comparison of PCA and ICA

此外，PCA求取主分量的時候只是用到了數據的二階統計特性[18-19]，ICA則用到了原始數據中的高階統計量，即一些沒有包含在數據協方差矩陣中的信息，如四階統計量峰度，并且一些數據的重要信息就包含在數據的高階統計特性中[10，19]。因為只有零均值的高斯信號的全部信息才包含在其協方差矩陣中，而現實中的隨機信號很難滿足真正意義上的高斯分布。

6 結語

應用主分量分析法和獨立分量分析法對神經網絡的訓練數據進行處理是一種系統優化的方法，由于電力負荷預測實際中需要考慮很多的因素，利用神經網絡的非線性函數映射這個特點可以很好地建模。但是輸入數據維數高，相關性大降低了神經網絡訓練的效率，因此采用主分量法和獨立分量法對數據進行降維處理。

仿真結果表明，主分量分析法能在保留原始數據主要信息的前提下，降低原始數據的維數，提高了預測的精度，但是神經網絡訓練的時間沒有明顯減少。獨立分量分析法不僅實現了主分量分析法的降維和去噪功能，并且保留下了原始數據的特征和規律。將獨立分量分析特征提取后的數據作為神經網絡的輸入，不僅減小了神經網絡的輸入量，提高了神經網絡的效率，還能很好地提高預測精度。

[1]Guo Xinchen，Chen Zhouyi，Ge Hongwei，et al.Short-term load forecasting using neural network with principle component analysis[C]//International Conference on Machine Learning and Cybernetics.Shanghai，China：2004.

[2]Zhang Shi，Wang Dingwei.Medium and long-term load forecasting based on PCA and BP neural network method [C]//International Conference on Energy and Environment Technology.Guilin，China：2009.

[3]李永斌（Li Yongbin）.短期電力負荷預測模型的建立與應用（Establishment and application of short-term power load forecasting）[J].計算機仿真（Computer Simulation），2011，28（10）：316-319.

[4]Liang Shengjie，Zhang Zhihua，Cui Lilin.Feature extraction method based PCA and KICA[C]//Second International Conference on Computational Intelligence and Natural Computing.Wuhan，China：2010.

[5]Zhang Jinhui，Lin Yufang，Lu Pan.Short-term electricity load forecasting based on ICA and LSSVM[C]//Interna－tional Conference on Computational Intelligence and Software Engineering.Wuhan，China：2009.

[6]Wang Yi，Yu Songqing.Price forecasting by ICA-SVM in the competitive electricity market[C]//3rd IEEE Conference on Industrial Electronics and Applications.Singapore：2008.

[7]馬軼東，何怡剛，王桓（Ma Yidong，He Yigang，Wang Huan）.運用BP神經網絡的電力負荷混沌多步預測（Chaotic multi-step forecasting of power load applying BP neural network）[J].電力系統及其自動化學報（Proceedings of the CSU-EPSA），2010，22（4）：81-84.

[8]馬建倉，牛奕龍，陳海洋.盲信號處理[M].北京：國防工業出版社，2006.

[9]楊福生，洪波.獨立分量分析的原理與應用[M].北京：清華大學出版社，2006.

[10]Hyvarinen A.Fast and robust fixed-point algorithms for independent component analysis[J].IEEE Trans on Neural Networks，1999，10（3）：626-634.

[11]Liao Huaiwei，Niebur D.Exploring independent component analysis for electric load profiling[C]//International Joint Conference on Neural Networks.Honolulu，USA：2002.

[12]Hyvarinen A.Survey on independent component analysis [J].Neural Computing Surveys，1999，2：94-128.

[13]周中明，李建平，張鑫，等（Zhou Zhongming，Li Jianping，Zhang Xin，et al）.ANN在電力系統中期負荷預測中的應用（The application of ANN in middle term load forecasting of power system）[J].電力系統及其自動化學報（Proceedings of the CSU-EPSA），2003，15（2）：36-39.

[14]李云飛，黃彥全，蔣功連（Li Yunfei，Huang Yanquan，Jiang Gonglian）.基于PCA-SVM的電力系統短期負荷預測（Short-term load forecasting based on PCA-SVM）

[J].電力系統及其自動化學報（Proceedings of the CSUEPSA），2007，19（5）：66-70.

[15]Cao L J，Chong W K.Feature extraction in support vector machine：a comparison of PCA，XPCA and ICA[C]//9th International Conference on Neural Information Processing.Singapore：2002.

[16]梁勝杰，張志華，崔立林，等（Liang Shengjie，Zhang Zhihua，Cui Lilin，et al）.基于主成分分析與核獨立成分分析的降維方法（Dimensionality reduction method based on PCA and KICA）[J].系統工程與電子技術（Systems Engineering and Electronic），2011，33（9）：2144-2148.

[17]Huang Ling，Zhong Jinhong.ICA-based potential significant feature extraction for market forecast[C]//International Conference on Computational Intelligence for Modeling Control and Automation，and International Conference on Intelligent Agents，Web Technologies and Internet Commerce.Sydney，Australia：2006.

[18]Liao Huaiwei，Niebur D.Load profile estimation in electric transmission networks using independent component analysis[J].IEEE Trans on Power Systems，2003，18（2）：707-715.

[19]Back A D，Weigend A S.A first application of independent component analysis to extracting structure from stock returns[J].International Journal of Neural Systems，1997，8（4）：473-484.

Application of BP Neural Network and ICA Feature Extraction in Power Load Forecasting

HE Chuan1，SHU Qin1，HE Han-feng2
（1.School of Electrical Engineering and Information，Sichuan University，Chengdu 610065，China；2.Electric Power Company of Sichuan Province，Chengdu 610041，China）

When BP neural network is utilized to forecast short-term power load，the factors such as economy，weather，societal situation and large amount of historical load data，will be taken into consideration.Hence，it generates the high-dimention of input space and the data are relevant，and this leads to the inefficiency of the network training.Under the condition of preserving the main information within the data，principle component analysis（PCA）and independent component analysis（ICA）are applied to reconstruct the input space according to the contribution of each component and to reduce the input of neural network.The ICA feature extraction proposed in this paper reconstructs the input space，in the meanwhile，it effectively reduces noises and preserves some potential information and features in the original data.Finally，this method is proved in the simulation of the paper.

short-term load forecast；independent component analysis（ICA）；principle component analysis（PCA）；feature extraction；BP neural network

TM715

A

1003-8930（2014）08-0040-07

何川（1988—），男，碩士研究生，研究方向為信號處理在電力系統中的應用。Email：jokerscu@gmail.com

2012-11-01；

2013-06-08

四川省科技支撐計劃項目（2012GZ0009）；四川省電力公司科技項目（12H1201）

舒勤（1958—），男，博士，教授，研究方向為現代信號處理。Email：shuchin@163.com

賀含峰（1973—），男，碩士，高級工程師，研究方向為智能電網。Email：hh_he@tom.com