基于構(gòu)造性神經(jīng)網(wǎng)絡(luò)的時(shí)間序列混合預(yù)測(cè)模型

收稿日期：2007-09-20；修回日期：2007-12-26

基金項(xiàng)目：國(guó)家自然科學(xué)基金資助項(xiàng)目(60475107，60675031);國(guó)家“973”計(jì)劃資助項(xiàng)目(2004CB318108); 安徽省教育廳自然科學(xué)基金重點(diǎn)資助項(xiàng)目(2006KJ015A); 安徽省教育廳自然科學(xué)基金資助項(xiàng)目(2005KJ053); 安徽大學(xué)“211”工程學(xué)術(shù)創(chuàng)新團(tuán)隊(duì)資助項(xiàng)目

作者簡(jiǎn)介：楊雪潔（1982-），安徽巢湖人，碩士研究生，主要研究方向?yàn)橹悄苡?jì)算、人工神經(jīng)網(wǎng)絡(luò)（yxj1982_colour@163.com）;趙姝，副教授，主要研究方向?yàn)槿斯ぶ悄堋⒅悄苡?jì)算;張燕平，教授，主要研究方向?yàn)槿斯ぶ悄堋C(jī)器學(xué)習(xí)、人工神經(jīng)網(wǎng)絡(luò)的理論與應(yīng)用.*

（安徽大學(xué)計(jì)算智能與信號(hào)處理教育部重點(diǎn)實(shí)驗(yàn)室，合肥 230039）

摘 要：針對(duì)傳統(tǒng)時(shí)間序列預(yù)測(cè)模型不適應(yīng)非線性預(yù)測(cè)而適應(yīng)非線性預(yù)測(cè)的BP算法存在收斂速度慢，且容易陷入局部極小等問題，提出一種基于構(gòu)造性神經(jīng)網(wǎng)絡(luò)的時(shí)間序列混合預(yù)測(cè)模型。采用構(gòu)造性神經(jīng)網(wǎng)絡(luò)模型（覆蓋算法）得出的類別值對(duì)統(tǒng)計(jì)時(shí)間序列模型的預(yù)測(cè)值進(jìn)行修正，建立一種同時(shí)考慮時(shí)間序列自身周期變化和外生變量因子對(duì)時(shí)間序列未來變化趨勢(shì)影響的混合預(yù)測(cè)模型，涵蓋了實(shí)際問題的線性和非線性兩方面，提高了預(yù)測(cè)精度。將該模型應(yīng)用到糧食產(chǎn)量的預(yù)測(cè)中，取得了較好的預(yù)測(cè)效果。

關(guān)鍵詞：時(shí)間序列預(yù)測(cè);構(gòu)造性神經(jīng)網(wǎng)絡(luò);統(tǒng)計(jì)時(shí)間序列模型;產(chǎn)量預(yù)測(cè)

中圖分類號(hào)：TP30

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-3695(2008)10-2920-02

Time-series mixed prediction model based on constructive neural networks

YANG Xue-jie，ZHAO Shu，ZHANG Yan-ping

(Key Laboratory of Intelligent Computing Signal Processing of Ministry of Education，Hefei University， Hefei 230039， China)

Abstract:Traditional times-series prediction models are not adapted to nonlinear time-series prediction， and BP algorithm which fits nonlinear time-series prediction has some trouble with slow convergence rate and easy getting into local minimum. This paper put forward a time-series mixed prediction model based on constructive neural networks. The predictions of statistical times-series models were corrected based on the different types which were calculated by constructive neural networks mo-dels(covering algorithm). This mixed model considered both periodic changes of times-series and the influence of external variable factors on the times-series in the future. The prediction accuracies could be improved because the model were constructed from the nonlinear and linear aspects. The experimental results show that using this model to forecast and analysis wheat yield is effective.

Key words：time-series prediction; constructive neural networks; statistical times-series models; yield forecast

時(shí)間序列建模及預(yù)測(cè)是近年來學(xué)術(shù)研究和實(shí)際應(yīng)用領(lǐng)域的研究熱點(diǎn)，人們收集了許多關(guān)于時(shí)間序列預(yù)測(cè)方面的資料加以分析和研究，已經(jīng)掌握了一些建模及預(yù)測(cè)的基本規(guī)律[1]。根據(jù)理論或者假設(shè)數(shù)據(jù)間潛在關(guān)系的不同，傳統(tǒng)的時(shí)間序列預(yù)測(cè)模型主要是以自回歸移動(dòng)平均模型(ARMA)、指數(shù)平滑及灰色模型[2]等為基礎(chǔ)的常見統(tǒng)計(jì)模型， 利用統(tǒng)計(jì)學(xué)等理論對(duì)原始時(shí)間序列進(jìn)行擬合，尋求規(guī)律，建立統(tǒng)計(jì)時(shí)間序列預(yù)測(cè)模型，具有簡(jiǎn)單直觀、解釋性強(qiáng)等特點(diǎn)，但其對(duì)非線性時(shí)間序列很難取得良好的預(yù)測(cè)效果[3]。而實(shí)際應(yīng)用中的時(shí)間序列往往是非平穩(wěn)、非線性的，如氣象數(shù)據(jù)、股票價(jià)格數(shù)據(jù)、網(wǎng)絡(luò)流量數(shù)據(jù)等。

近年來， 由于人工神經(jīng)網(wǎng)絡(luò)良好的函數(shù)逼近能力，它已經(jīng)成為新的非線性時(shí)間序列預(yù)測(cè)分析法[4]。目前普遍采用的是BP算法，如在氣象科學(xué)中將BP算法應(yīng)用于降水量[5]預(yù)測(cè)并取得了一定的成果；但BP算法學(xué)習(xí)速度較慢，容易陷入局部極小點(diǎn)[6]，在設(shè)計(jì)過程中往往都要經(jīng)過反復(fù)的試湊和訓(xùn)練，很難保證每次訓(xùn)練時(shí)BP算法的收斂性和全局最優(yōu)性。張鈴等人[7，8]提出的構(gòu)造性神經(jīng)網(wǎng)絡(luò)（覆蓋算法）可以有效避免這方面的缺點(diǎn)，它根據(jù)M-P神經(jīng)元[9]的幾何意義，針對(duì)學(xué)習(xí)樣本的特征構(gòu)造神經(jīng)網(wǎng)絡(luò)，解決了多年來一直未解決的作為分類器的多層前向網(wǎng)絡(luò)設(shè)計(jì)問題。該模型具有可理解性強(qiáng)、識(shí)別率高、計(jì)算速度快、可以保證訓(xùn)練樣本集上100%的識(shí)別率等優(yōu)點(diǎn)。 本文結(jié)合統(tǒng)計(jì)時(shí)間序列模型和構(gòu)造性神經(jīng)網(wǎng)絡(luò)各自的優(yōu)點(diǎn)，提出基于構(gòu)造性神經(jīng)網(wǎng)絡(luò)的時(shí)間序列混合預(yù)測(cè)模型。首先利用原始時(shí)間序列建立統(tǒng)計(jì)時(shí)間序列模型，再利用構(gòu)造性神經(jīng)網(wǎng)絡(luò)（覆蓋算法）挖掘外生變量因子（特征屬性）與預(yù)測(cè)對(duì)象（決策屬性）變動(dòng)之間的內(nèi)在關(guān)系，得到預(yù)測(cè)類別值，最終利用該類別值對(duì)統(tǒng)計(jì)時(shí)間序列模型的預(yù)測(cè)值進(jìn)行還原修正。該混合模型綜合考慮了預(yù)測(cè)對(duì)象的多種影響因素，將其應(yīng)用于實(shí)際糧食產(chǎn)量預(yù)測(cè)，顯示了其良好的預(yù)測(cè)性能。

1 構(gòu)造性神經(jīng)網(wǎng)絡(luò)

張鈴等人提出的覆蓋算法是一種構(gòu)造性的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，它根據(jù)樣本數(shù)據(jù)自身的結(jié)構(gòu)，構(gòu)造性地建立了神經(jīng)網(wǎng)絡(luò)模型。其實(shí)質(zhì)就是用求出的覆蓋領(lǐng)域作為三層神經(jīng)網(wǎng)絡(luò)的隱含層，輸入層為測(cè)試集，輸出層為測(cè)試集的分類結(jié)果。以問題的方式解釋。這種構(gòu)造性方法改變了傳統(tǒng)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法的整體密不可分、輸入/輸出很難劃分等缺點(diǎn)，把神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)問題轉(zhuǎn)變成求覆蓋的問題。它可以迅速地、構(gòu)造性地得到對(duì)于訓(xùn)練數(shù)據(jù)完全正確分類的神經(jīng)網(wǎng)絡(luò)。在應(yīng)用上，它使得基于該原理處理海量樣本集成為可能，被認(rèn)為是對(duì)SVM傳統(tǒng)機(jī)器學(xué)習(xí)理論的重要貢獻(xiàn)[10]。

覆蓋算法主要用于解決分類學(xué)習(xí)問題， 需要對(duì)大量的樣本進(jìn)行學(xué)習(xí)。這些樣本由特征屬性和決策屬性兩大部分組成。根據(jù)對(duì)學(xué)習(xí)樣本特征屬性的學(xué)習(xí)及決策屬性的判斷，得出分類規(guī)則，進(jìn)而對(duì)給出的只有特征屬性的測(cè)試樣本，可以根據(jù)此分類規(guī)則，得出測(cè)試樣本的決策屬性。覆蓋算法及其改進(jìn)算法[11，12]已在諸多方面得到成功應(yīng)用，但其不足之處就是算法最終給出的結(jié)果是類別值，而不是具體預(yù)測(cè)值。

2 基于構(gòu)造性神經(jīng)網(wǎng)絡(luò)的時(shí)間序列混合預(yù)測(cè)模型

在時(shí)間序列預(yù)測(cè)方法中，統(tǒng)計(jì)時(shí)間序列模型對(duì)于一些特定數(shù)據(jù)集有很好的預(yù)報(bào)能力，但是由于模型自身缺點(diǎn)，在實(shí)際應(yīng)用中存在一定的局限性，如灰色預(yù)測(cè)方法比較適合于較為平滑的時(shí)間序列；對(duì)于隨機(jī)波動(dòng)大的序列，則擬合灰度較大，導(dǎo)致精度難以提高。簡(jiǎn)而言之，統(tǒng)計(jì)時(shí)間序列模型對(duì)非線性問題的預(yù)測(cè)存在一定缺陷。由于覆蓋算法可迅速地、構(gòu)造性地得到對(duì)于訓(xùn)練數(shù)據(jù)完全正確分類的神經(jīng)網(wǎng)絡(luò)，本文考慮將統(tǒng)計(jì)時(shí)間序列模型與構(gòu)造性神經(jīng)網(wǎng)絡(luò)（覆蓋算法）結(jié)合，并對(duì)預(yù)報(bào)對(duì)象未來變化有影響的外生變量因子和時(shí)間序列自身可能的周期性變化因素綜合考慮，建立時(shí)間序列混合預(yù)測(cè)模型，以改變傳統(tǒng)方法的不足。

具體算法如下：

a)利用原始時(shí)間序列X={X1，X2，…，Xn}建立統(tǒng)計(jì)時(shí)間序列模型Yn+k=f統(tǒng)(X1，X2，…，Xn)， k∈N，并得到擬合數(shù)據(jù)Y={Y1，Y2，…，Yn}及預(yù)測(cè)值Yn+k，k∈N，依據(jù)擬合數(shù)據(jù)的相對(duì)誤差Yw=（X-Y）/X將原始時(shí)間序列劃分為不同的類別值I={I1，I2，…，Ii，…，In，Ii∈Z}。

b)將影響原始時(shí)間序列變化的外生因子序列歸一化后的W={W1，W2，…，Wn，…，Wn+k}作為樣本的特征屬性，并分出學(xué)習(xí)樣本的特征屬性W學(xué)={W1，W2，…，Wn}和預(yù)測(cè)樣本的特征屬性Wn+k，k∈N。

c)類別值I作為學(xué)習(xí)樣本的決策屬性，利用覆蓋算法對(duì)學(xué)習(xí)樣本的特征屬性和決策屬性進(jìn)行學(xué)習(xí)，得出分類規(guī)則，建立構(gòu)造性神經(jīng)網(wǎng)絡(luò)分類器。

d)輸入預(yù)測(cè)樣本的特征屬性Wn+k，k∈N，根據(jù)上述分類器得到預(yù)測(cè)樣本的決策屬性In+k，k∈N，并依據(jù)a)中的分類標(biāo)準(zhǔn)將In+k還原成最終預(yù)測(cè)對(duì)象值Zn+k。

說明：a)步驟a)中依據(jù)相對(duì)誤差劃分類別值，具體劃分標(biāo)準(zhǔn)可以依據(jù)實(shí)際問題采用不同的標(biāo)準(zhǔn)，如糧食產(chǎn)量數(shù)據(jù)可劃分為大歉、歉、平、豐和大豐五個(gè)類別。b)由于對(duì)象的影響因素不同，外生因子序列維數(shù)可能會(huì)很高。為了提高預(yù)測(cè)精確度，可考慮主要影響因子，對(duì)外生因子序列進(jìn)行主成分分析后再作為樣本的特征屬性。

傳統(tǒng)時(shí)間序列模型是通過研究預(yù)報(bào)對(duì)象過去的變化規(guī)律來推斷或預(yù)測(cè)其未來值，只考慮數(shù)據(jù)自身變化沒有考慮其他的影響因素。但是實(shí)際預(yù)報(bào)對(duì)象不僅與其自身變化規(guī)律有關(guān)，也必然受到一些外生變量因子的影響，如氣象條件就對(duì)糧食產(chǎn)量有很大的影響。該算法考慮了這些不足之處：步驟a)中利用原始時(shí)間序列數(shù)據(jù)建立統(tǒng)計(jì)時(shí)間序列模型考慮了時(shí)間序列自身可能的周期性變化規(guī)律；步驟b)中將原始外生因子序列作為樣本的特征屬性考慮了外部的影響因子，因此該模型考慮了實(shí)際問題的兩個(gè)方面，比傳統(tǒng)的時(shí)間序列模型更加完善，將統(tǒng)計(jì)時(shí)間序列模型與構(gòu)造性神經(jīng)網(wǎng)絡(luò)（覆蓋算法）結(jié)合，避免了統(tǒng)計(jì)時(shí)間序列模型不適應(yīng)非線性時(shí)間序列預(yù)測(cè)的缺點(diǎn)，同時(shí)最終類別值也依據(jù)相對(duì)誤差分類標(biāo)準(zhǔn)還原成了具體預(yù)測(cè)值，在一定程度上彌補(bǔ)了覆蓋算法結(jié)果只有類別值的缺陷。模型具體結(jié)構(gòu)如圖1所示。

3 實(shí)驗(yàn)分析及討論

本章將基于構(gòu)造性神經(jīng)網(wǎng)絡(luò)的時(shí)間序列混合預(yù)測(cè)模型運(yùn)用于實(shí)際糧食產(chǎn)量的預(yù)測(cè)。由于該混合模型中需要利用統(tǒng)計(jì)時(shí)間序列模型得出學(xué)習(xí)樣本的決策屬性，在實(shí)際的產(chǎn)量預(yù)測(cè)中選擇何種統(tǒng)計(jì)模型也是關(guān)注的問題之一，為此將常用的指數(shù)平滑法和灰色模型均運(yùn)用于產(chǎn)量預(yù)測(cè)中，選擇其中預(yù)測(cè)效果較好的模型作為混合預(yù)測(cè)模型中的統(tǒng)計(jì)時(shí)間序列模型。

經(jīng)實(shí)驗(yàn)研究，指數(shù)平滑法一般控制在8~10年且數(shù)據(jù)較平滑時(shí)預(yù)測(cè)效果較佳，但其處理的時(shí)間序列不能過長(zhǎng)，如果擬合年數(shù)較大效果就不盡如人意。選取合肥市1972—1991年二十年的糧食產(chǎn)量數(shù)據(jù)使用指數(shù)平滑法進(jìn)行處理。其中有很多年份出現(xiàn)30％以上的擬合誤差，預(yù)測(cè)效果不理想；對(duì)1992年產(chǎn)量進(jìn)行預(yù)測(cè)，誤差達(dá)到43.88％。灰色模型處理的時(shí)間序列可以有一定的長(zhǎng)度，對(duì)合肥市1972—1991年二十年的糧食產(chǎn)量采用灰色模型，最大誤差為-22.5%，最小誤差達(dá)到了-0.96%。相比之下預(yù)測(cè)效果比較理想。從上述數(shù)據(jù)分析，指數(shù)平滑法適用于短期的時(shí)間序列預(yù)測(cè)，而灰色模型是一種中長(zhǎng)期預(yù)測(cè)方法，由于糧食產(chǎn)量一般至少有四十年的數(shù)據(jù)量，最終混合預(yù)測(cè)模型中的統(tǒng)計(jì)時(shí)間序列模型采用灰色模型。

為便于對(duì)比分析，將基于構(gòu)造性神經(jīng)網(wǎng)絡(luò)的時(shí)間序列混合預(yù)測(cè)模型、灰色模型和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)（BP算法）運(yùn)用于實(shí)際合肥市糧食產(chǎn)量的預(yù)測(cè)，并對(duì)三者預(yù)測(cè)結(jié)果作出比較分析。

混合預(yù)測(cè)模型的原始時(shí)間序列是1953—1995年的糧食產(chǎn)量數(shù)據(jù)，對(duì)原始時(shí)間序列建立灰色模型確定出的類別作為樣本的決策屬性。外生影響因子序列選擇的是氣象因子中的降水量、日照和溫度。將上述三種因子作為樣本的特征屬性，選擇1953—1995年數(shù)據(jù)作為學(xué)習(xí)樣本，1996—2000年數(shù)據(jù)作為預(yù)測(cè)樣本。最后采用平均值的方法將覆蓋算法劃分出預(yù)測(cè)樣本的類別值還原為預(yù)測(cè)值。

傳統(tǒng)神經(jīng)網(wǎng)絡(luò)模型采用的是BP網(wǎng)絡(luò)。為加強(qiáng)對(duì)比性，在BP網(wǎng)絡(luò)中也考慮了預(yù)報(bào)對(duì)象影響的因子，將降水量、日照和溫度與產(chǎn)量數(shù)據(jù)一起學(xué)習(xí)，隱含層節(jié)點(diǎn)經(jīng)比較后選擇為5。基于構(gòu)造性神經(jīng)網(wǎng)絡(luò)的時(shí)間序列混合預(yù)測(cè)模型、灰色模型和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)（BP網(wǎng)絡(luò)）對(duì)合肥市1996—2000年產(chǎn)量預(yù)測(cè)結(jié)果如表1所示。

表1 合肥市1996—2000年產(chǎn)量預(yù)測(cè)結(jié)果

kg/公頃

年份灰色預(yù)

測(cè)產(chǎn)量BP模型混合預(yù)

測(cè)產(chǎn)量實(shí)際

總產(chǎn)量灰色

誤差/%BP誤差

/%混合模型

誤差/%19962 89142 06383 238353 25591341366105419973 38022 06383 43093 5721537422239519983 12582 97983 17273 0791-152322-30419992 93342 95712 610752 7669 -602-68756420003 37482 06383 003552 8399-18842733-576

從表1可以看出，在1996—2000年的糧食產(chǎn)量預(yù)測(cè)中，灰色模型和BP模型雖然在某些年中達(dá)到不錯(cuò)的效果（如1998年和1999年），但是在其余幾年中的預(yù)測(cè)效果不盡如人意，均在10％以上；混合模型的預(yù)測(cè)效果明顯高于其他兩種模型，都控制在6％以下。由此可見，由于混合模型綜合考慮了時(shí)間序列自身變化及影響序列的外生因子，建立灰色模型后采用構(gòu)造性神經(jīng)網(wǎng)絡(luò)將預(yù)報(bào)對(duì)象劃分到一定的類別中，再對(duì)灰度預(yù)測(cè)值進(jìn)行細(xì)化修正，從粗到細(xì)，可以使得預(yù)測(cè)結(jié)果更加精確。這樣的混合模型比單純用灰度模型或者單純的神經(jīng)網(wǎng)絡(luò)方法可以更全面地反映與預(yù)報(bào)量未來變化的關(guān)系，致使該種混合預(yù)報(bào)模型具有更好的預(yù)報(bào)能力。

4 結(jié)束語

本文提出基于構(gòu)造性神經(jīng)網(wǎng)絡(luò)（覆蓋算法）的時(shí)間序列混合預(yù)測(cè)模型，從預(yù)報(bào)量時(shí)間序列的自身變化和外生因子影響兩方面考慮，利用人工神經(jīng)網(wǎng)絡(luò)的非線性映射能力將預(yù)報(bào)對(duì)象劃分到一定的類別中，并根據(jù)預(yù)測(cè)類別對(duì)統(tǒng)計(jì)時(shí)間序列模型的預(yù)測(cè)值進(jìn)行還原修正，涵蓋了實(shí)際問題的線性和非線性兩方面。實(shí)例證明了這種混合模型確實(shí)比單純使用統(tǒng)計(jì)時(shí)間序列模型或單純使用人工神經(jīng)網(wǎng)絡(luò)的時(shí)間預(yù)測(cè)方法具有更好的預(yù)報(bào)效果，為時(shí)間預(yù)測(cè)方法提出了一種新的思路。由于實(shí)際問題的需要，本文實(shí)例中采用的統(tǒng)計(jì)時(shí)間序列模型是灰度模型，也可以考慮將其他的統(tǒng)計(jì)時(shí)間序列模型與覆蓋算法相結(jié)合進(jìn)行預(yù)測(cè)，以彌補(bǔ)傳統(tǒng)時(shí)間序列模型和人工神經(jīng)網(wǎng)絡(luò)模型的不足之處。

參考文獻(xiàn)：

[1]王振龍.時(shí)間序列分析[M].北京：中國(guó)統(tǒng)計(jì)出版社，2000.

[2]鄧聚龍.灰預(yù)測(cè)與灰決策 [M].修訂版.武漢: 華中科技大學(xué)出版社，2002.

[3]GRANGER C W J， ANDERSON A. Modeling nonlinear economic relationships [M].Oxford: Oxford University Press， 1993.

[4]GATELY E. Neural networks for financial forecasting[M]. New York: Wiley， 1996.

[5]李永華，劉德，金龍.基于BP神經(jīng)網(wǎng)絡(luò)的汛期降水預(yù)測(cè)模型研究[J].氣象科學(xué)，2002，22（4）：461-467.

[6]HAGAN M T， DEMUTH H B， BEALE M. Neural network design[M]. [S.l.]: Citic Publishing House，2002.

[7]張鈴，張鈸，殷海風(fēng). 多層前向網(wǎng)絡(luò)的交叉覆蓋設(shè)計(jì)算法[J].軟件學(xué)報(bào)，1999，10(7):737-742.

[8]ZHANG Ling， ZHANG Bo. A geometrical representation of McCulloch-Pitts neural model and its applications [J]. IEEE Trans on Neural Networks， 1999， 10(4):925-929.

[9]張鈴，張鈸.M-P神經(jīng)元模型的幾何意義及其應(yīng)用[J].軟件學(xué)報(bào)，1998，9(5): 334-338.

[10]史忠植. 知識(shí)發(fā)現(xiàn)[M].北京：清華大學(xué)出版社，2002:213-214.

[11]張燕平，張鈴，段震.構(gòu)造性核覆蓋算法在圖像識(shí)別中的應(yīng)用[J].中國(guó)圖象圖形學(xué)報(bào)，2004，9(11):1304-1308.

[12]吳鳴銳.大規(guī)模模式識(shí)別分類器的設(shè)計(jì)[D].