基于主成分分析和貝葉斯正則化BP神經網絡的GDP預測*

喻勝華，鄧 娟

（1．湖南大學 經濟與貿易學院，湖南 長沙 410079； 2．中南大學 數學科學與計算技術學院，湖南 長沙 410075）

基于主成分分析和貝葉斯正則化BP神經網絡的GDP預測*

喻勝華1，鄧 娟2

（1．湖南大學 經濟與貿易學院，湖南 長沙 410079； 2．中南大學 數學科學與計算技術學院，湖南 長沙 410075）

選用財政收入、財政支出、消費品零售總額、實際利用外資、進出口總額以及全社會固定資產投資等對GDP有顯著影響的6個因子，用1985～2008年中國的宏觀經濟數據建立了一個基于主成分分析和貝葉斯正則化BP神經網絡的預測模型，并把它應用于我國GDP的預測。實證結果表明：通過主成分分析法和貝葉斯正則化方法對BP神經網絡進行改進，可簡化網絡結構，增強泛化能力。與其它常用的預測方法相比，該方法數據輸入簡便，收斂速度快，擬合曲線光滑，且在預測精度上有明顯的優勢。

主成分分析；貝葉斯正則化；BP神經網絡；預測

一 引 言

GDP（國內生產總值）是衡量國民經濟發展情況最重要的一個指標，也是經濟運行狀況的綜合反映。自1985年以來，GDP的核算已經成為我國經濟管理部門了解經濟運行狀況的主要手段和制定經濟發展戰略、規劃、年度計劃以及各種宏觀經濟政策的主要依據。因此，如何采用科學的方法來預測GDP，已成為經濟學界研究的主要課題。目前，預測GDP的方法很多，主要有回歸預測法［1］、時間序列預測法［2－4］、灰色預測 法［5］［6］、馬 爾 可 夫 預 測 法［7］以 及 人 工 神 經 網 絡 預 測法［8－12］等。前面四種方法屬于傳統的預測方法，它們大都是對變量之間的因果關系進行分析，實際應用中存在多重共線性和序列相關等問題，而且不可避免的丟失了信息，模擬效果不佳，預測精度難以令人滿意。而人工神經網絡是用來模擬人腦結構及智能特點的一個前沿研究領域，它可以通過網絡學習達到其輸出與期望輸出相符的結果，具有很強的自適應、自學習和糾錯能力。人工神經網絡有多種模型，其中BP神經網絡模型最成熟，其應用也最為廣泛。但BP算法在本質上是屬于一種非線性的優化方法，存在學習時收斂時間較長，易陷入局部極小點等缺點［10］。近年來，有學者把幾種預測方法綜合起來使用，得到了比單一預測更好的預測結果［13－15］。本文用主成分分析方法簡化BP神經網絡的輸入單元數，用貝葉斯正則化算法提高網絡的泛化能力，建立了主成分 貝葉斯正則化BP神經網絡預測模型，并在此基礎上對我國的GDP進行了為期三年的預測和分析。與此同時，還與幾種常用的預測方法進行了比較研究，實證結果表明：本文建立的模型有較強的仿真與預測能力。

二 主成分—— 貝葉斯正則化BP神經網絡

（一）主成分分析法

主成分分析法是從所研究的多個指標中，求出幾個新指標，這些指標可以綜合原有指標的信息，且彼此間不相關的統計分析方法。其原理為：設有p個指標X1，X2，…，Xp，作指標的線性組合

Z2，…，Zm的累計貢獻率。累計貢獻率越大，損失的數據信息就越少，通常取m使累計貢獻率達到70%～80%以上。

（二）貝葉斯正則化BP神經網絡

BP網絡是一種采用誤差反向傳播算法的前饋網絡，通常由輸入層、隱含層和輸出層構成，層與層之間的神經元采用全互連的連接方法，通過相應的網絡權系數相連，每層內的神經元沒有連接。權值不斷調整的過程，就是網絡的學習過程，此過程一直進行到網絡的輸出誤差減少到可以接受的程度，或進行到預先設定的學習次數為止。

盡管BP網絡具有很強的非線性映射能力，網絡中間層各層的處理單元數及網絡學習系數可根據具體情況任意設定并獲得不同的性能，但BP算法是一種梯度下降法，算法性能依賴于初始條件，學習過程易陷于局部極小，且它的學習速度、精度和網絡推廣能力等都較差，不能滿足應用的需要。所以，我們采用貝葉斯正則化的BP網絡算法，一般算法以均方誤差函數為目標函數，權值問題不能得到優化，而貝葉斯正則化在目標函數中增加權值這一項，并用貝葉斯方法自動調節參數，優化網絡結構，從而提高網絡的泛化能力。

貝葉斯正則化的BP網絡算法的基本思想是［16］［17］：

給定 一 組 訓 練 樣 本S＝ ｛（p1，t1），（p2，t2），…，（pm，tm）｝，神經網絡學習的目的是尋找能有效逼近該組樣本的函數f，使誤差函數最小化，一般情況下，神經網絡的訓練誤差函數采用均方誤差函數：

為了提高泛化能力，可以在目標函數里加上網絡權值平方的算術平均值，即目標函數變為：

三 實證研究

在參考已有文獻的基礎上選取對GDP有顯著影響的6個因子：財政收入（FR），財政支出（FE），消費品零售總額（TRG），實際利用外資（AUC），進出口總額（TIE），全社會固定資產投資（FA）（數據來源于1985—2008年《中國統計年鑒》）。不難看出：上述指標之間的相關性較大，信息重疊較多，不宜直接用BP網絡建模，先采用主成分分析法消除指標間的重疊信息，獲得主要的綜合指標。

（一）主成分的提取

由原始數據可得到主成分的特征值及方差貢獻率（如表1），主成分的貢獻率表示該主成分反映原指標的信息量，累積貢獻率表示相應幾個主成分累積反映原指標的信息量。由表1可知，前兩個主成分的貢獻率分別為94．483%、5．199%，累積貢獻率達到了99．683%，表明前兩個主成分涵蓋著所有指標99．683%的信息量，于是選取前兩個主成分來進行分析。

表1 各主成分的特征值及方差貢獻率

（二）BP神經網絡模型的確定

BP神經網絡模型主要由輸入層、隱含層、輸出層以及各層之間的傳輸函數等組成。在設計網絡結構時，一般先考慮一個隱層，當一個隱層的節點數很多仍不能改善網絡性能時，才考慮再增加一個隱層。由于本文的樣本容量少，所以只選取一個隱含層；輸入層為2，即為主成分的個數；輸出層為1，即為歷年的GDP；隱含層和輸出層的轉移函數分別采用S型正切函數tansig和線性函數purelin。

隱含層的神經元數目選擇是個十分復雜的問題，往往需要根據設計者的經驗和多次實驗來確定，因而不存在一個理想的解析式來表示。隱含層單元的數目與問題的要求、輸入輸出單元的數目都有著直接關系。若數目太少，則網絡所能獲取的用以解決問題的信息太少；若數目太多，不僅增加訓練時間，而且誤差不一定最小，也會導致容錯性差、不能識別以前沒有訓練過的樣本以及出現過度擬合等問題，因此，合理選擇隱含層單元數非常重要。利用邊界層確定隱含層單元數的方法可以得到本文數據網絡隱含層單元數的范圍是（6，11），采用1985年到2005年共21組數據進行BP網絡訓練，2006年到2008年共3組數據進行測試。發現當隱含層節點數為8時，各項預測誤差最小，說明對這組數據而言，當輸入節點為2，輸出節點為1，隱含層節點為8時，網絡具有較好的預測能力。

（三）貝葉斯正則化BP神經網絡的訓練、仿真與預測

選定BP神經網絡的結構后，利用神經網絡工具箱可得到如下的訓練過程圖：

圖1 神經網絡訓練過程圖

從訓練結果可以看出，網絡經過69次就達到擬合精度9．78429e－005，有效參數個數為15．5，達到理想狀態，從網絡的誤差圖也可以看出，網絡的收斂速度快，學習效率高。

下表是經過訓練后的網絡對于樣本的仿真值，由表2可以看出：21組訓練樣本的最大相對誤差為－1．88%，說明訓練后的網絡對于訓練樣本而言性能是優良的，這是BP網絡共有的優點。通過適當調整參數，訓練后的網絡能對訓練樣本無限地接近。

用訓練后的網絡對測試數據進行預測（見表3）：

表2 模型訓練后的仿真值與相對誤差

表3 模型預測值

由表2和表3可以看出：對前21組樣本擬合的最大相對誤差為－1．88%，對后3組樣本預測的最大相對誤差為4．02%，而最小相對誤差僅為0．52%。一般來說，若誤差在5%左右，則表明擬合效果與預測效果良好。

四 與其它預測方法的對比分析

為了進一步說明本文所用方法的預測效果，現將它與如下幾種預測方法作對比分析。為簡便起見，我們把本文所用的預測方法稱為方法一。

方法二：不先提取主成分，而是直接使用原始數據作為網絡輸入。網絡參數的設置同方法一，即精度為1e－4，最大迭代次數為10000，隱含層節點數選為8；

方法三：不用貝葉斯正則化算法，而改用一般的梯度下降法；

方法四：不用貝葉斯正則化算法，而改用LM算法；

方法五：ARIMA法；

方法六：多元回歸法；

方法七：指數平滑法。

上述七種預測方法的預測結果及相對誤差如下表：

表4 與其它預測方法的比較分析

從表4可以看出，方法二的最大相對誤差為4．99%，而最小相對誤差也有1．54%，大于方法一的相對誤差，可見預測效果要差一些，表明精簡輸入后的網絡對樣本信息有更好的概括，對測試數據有更好的預測能力。

通過訓練樣本發現：一般的梯度下降法，收斂緩慢，經過10000次訓練，樣本誤差仍然不能達到期望的1e－4，在同等訓練條件下，一般的梯度下降法訓練精度不夠，擬合曲線不光滑，對2007年我國GDP的預測，相對誤差為16．38%，三年平均相對誤差為11．2%，預測效果較差。

改進后的LM算法，收斂速度快，經過8次訓練，就使網絡誤差達到了4．86824e－005，但LM算法的擬合曲線極不光滑，雖然對2006年的預測，相對誤差僅為0．06%，但對于2007年，相對誤差便上升到16．32%，三年平均相對誤差也達到了10．25%，出現了過度擬合。存在過度擬合的網絡雖然訓練殘差較小，但結構臃腫，并未得到足夠的信息，這會導致對于許多未知數據的預測不起作用，泛化能力差，實際應用性差。

而使用貝葉斯正則化的BP網絡，收斂速度快，僅經過69次訓練就使網絡誤差達到了期望值，預測值中最大相對誤差僅為4．02%，且擬合曲線光滑，貝葉斯正則化算法的預測效果明顯優于一般的梯度下降法和LM算法。

標準BP算法收斂速度慢是限制其廣泛應用的主要原因，LM算法收斂速度快，但容易導致過度擬合，預測效果不佳。

從表4也可以看出，ARIMA法、多元回歸法以及指數平滑法的預測效果不及方法一。實際上，ARIMA預測方法應用的前提是假定事物的過去會同樣延續到未來，但影響經濟增長的因素非常復雜，它不僅受國家宏觀經濟政策的影響，而且也會受眾多偶然的外部沖擊和自然因素的影響。因此，依靠其歷史數據建立起來的時間序列預測模型的預測精度必然受到影響。多元回歸模型則對以往的數據要求比較高，模型的建立需要大樣本且要求樣本有較好的分布規律，預測的結果是由每一個影響因素決定的。因此，一旦影響經濟增長的某一個因素發生了結構性的變化，依靠歷史數據建立起來的回歸預測模型的精度也必然受到影響。指數平滑模型是一種特殊的 ARIMA的模型，即IMA（1，1），因為ARIMA模型的擬合綜合考慮了序列的趨勢變化、周期變化及隨機干擾，并借助模型參數的調整最終使擬合殘差不再包含可供提取的非隨機信息成分，成為白噪聲或近似白噪聲，所以，多數情況下，ARIMA方法的預測效果要優于傳統的指數平滑法。

五、結 論

本文利用主成分分析和貝葉斯正則化BP神經網絡方法對我國宏觀經濟數據進行了研究，BP網絡的“黑箱”特性使得人們難以理解網絡的學習和決策過程，不能明確獲得內部權值所反映的學習信息，這對我們準確地把握經濟現象的本質是個阻礙，本文使用了6個對經濟增長影響較大的變量，通過主成分分析后簡化為兩個主成分，這兩個主成分解釋了所有變量99．683%的信息，再通過BP網絡建立映射關系，得到相應年份的仿真與預測值，但無法知道是哪個或哪些變量對經濟增長起怎樣的作用，我們主要是利用這一模型對歷史數據進行模擬，將目前并不清晰的信息體現在模型中，積累這些未知的知識，從而做出更為準確的預測。通過與幾種常用的預測方法的對比分析發現：本文所用的方法數據輸入簡便，收斂速度快，擬合曲線光滑，泛化能力強，且在預測精度上有明顯的優勢。

［1］ 胡艷國，武友新，江恭和．支持向量機在GDP回歸預測中的應用研究［J］．微計算機信息，2007，23（11）：17－19．

［2］ 華鵬，趙學民．ARIMA模型在廣東省GDP預測中的應用［J］．統計與決策，2010，（12）：166－167．

［3］ 許陽干．廣西GDP的時間序列分析與預測模型［J］．沿海企業與科技，2010，（7）：54－57．

［4］ 王春峰，宋袆．混沌時間序列分析法在生產總值預測中的應用分析［J］．天津大學學報（社會科學版），2007，9（2）：137－139．

［5］ 穆昭光．灰色預測模型在江蘇省GDP預測中的應用分析［J］．現代商貿工業，2009，22：32－33．

［6］ 戶孝俊，馬德山，賈田田．灰色GM（1，1）預測模型及其在甘肅省GDP預測中的應用［J］．甘肅農業，2010，（5）：25－26．

［7］ 吳雋，陳長彬．東南亞各國人均GDP的馬爾可夫法預測［J］．番禺職業技術學院學報，2007，6（4）：26－31．

［8］ 張興會，杜升之，陳增強，袁著祉，莫榮．主成分分析法在神經網絡經濟預測中的應用［J］．數量經濟技術經濟研究，2002，（4）：122－125．

［9］ 歐邦才．基于BP神經網絡的經濟預測方法［J］．南京工程學院學報（自然科學版），2004，2（2）：11－14．

［10］陳志高．遺傳算法和BP神經網絡在GDP預測中的應用［J］．計算機與數字工程，2009，37（9）：172－175．

［11］趙秀恒，李明，李昆山．BP神經網絡在GDP預測中的應用研究［J］．河北經貿大學學報（綜合版），2006，6（3）：90－93．

［12］柯年前，張吉剛．基于主成分分析和BP網絡的我國GDP預測。科技創業月刊，2008，（8）：107－108．

［13］雍紅月，包桂蘭．組合時間序列ARMA模型在經濟預測中的應用——內蒙古十一五期間GDP預測［J］．數學的實踐與認識，2008，38（21）：19－23．

［14］王莎莎，陳安，蘇靜，李碩．組合預測模型在中國GDP預測中的應用［J］．山東大學學報（理學版），2009，44（2）：56－59．

［15］梁文光．廣東省GDP時間序列預測——基于神經網絡與ARIMA模型［J］．技術和市場，2010，17（6）：7－9．

［16］武妍，張立明．神經網絡泛化能力與結構優化算法研究［J］．計算機應用研究，2002，（6）：21－25．

［17］王飛．基于貝葉斯向量自回歸的區域經濟預測模型：以青海為例［J］．經濟數學，2011，28（2）：95－100．

GDP Prediction Based on Principal Component Analysis and Bayesian Regularization BP Neural Network

YU Sheng-hua1，DENG Juan2

（1．School of Economics and Trade，Hunan University，Changsha 410079，China；2．School of Mathematical Sciences and Computing Technology，Central South University，Changsha 410075，China）

We choose financial income，financial expenditure，total retail sales of consumer goods，actually used foreign investment，total import and export volume and social fixed assets investment，such as six factors，which have a significant effect on GDP．A forecasting model based on principal component analysis and Bayesian regularization BP neural network was established by using the Chinese macro-economic data in 1985～2008，and was applied to predict the GDP of China．The empirical results show that the principal component analysis and Bayesian regularization are utilized modify BP neural network，which can simplify network structure and strengthen generalization．Compared with other commonly used methods of forecasting，this method has simple data input，fast convergence rate，smooth fitting curve，and there is significant advantage in the prediction accuracy．

principal component analysis；Bayesian regularization；BP neural network；prediction．

P338．9

A

1008—1763（2011）06—0042—04

2010－11－16

喻勝華（1966—），男，湖南寧鄉人，湖南大學經濟與貿易學院教授，博士．研究方向：數量經濟學．