基于BP神經網絡、ARIMA和LS-SVM模型的集成預測研究

李鵬飛 王青青 毋建宏 陳華雪

摘要：利用單一預測模型進行產量預測時，由于各模型的數學原理不同，對同一數據的處理只能基于數據的部分特征，在預測時無法深度挖掘數據的潛在規律，易出現較大的預測偏差。基于以上問題，筆者以1978—2017年陜西省蘋果產量數據為研究對象，將1978—2012年產量作為預測模型的訓練數據，2013—2017年產量作為測試數據，選取BP神經網絡、ARIMA、LS-SVM 3種在數學原理上具有明顯差異的預測模型，采用集成預測策略，依據3種預測模型對訓練數據的平均相對預測誤差確定各模型的預測權重，最終對各模型預測的2013—2017年數據進行加權獲取集成預測值。實證分析表明，集成預測值的平均相對誤差在2.5%以內，其預測結果比單一預測模型更加準確和穩健，可有效實現蘋果產量高精度預測。

關鍵詞：BP神經網絡;ARIMA;LS-SVM;陜西蘋果產量;集成預測

中圖分類號： S11+9文獻標志碼： A

文章編號：1002-1302（2020）04-0294-07

收稿日期：2019-07-30

基金項目：國家社會科學基金（編號：18FGL022）;教育部哲學社會科學研究后期資助項目（編號：18JHQ082）;陜西省科技廳重大項目（編號：2018ZDXM-GY-188）;陜西省社會科學界2019年重大理論與現實問題研究項目（編號：2019TJ038）;陜西高校青年創新團隊;西安市科技計劃[編號：201806117YF05NC13（5）]。

作者簡介：李鵬飛（1975—），男，陜西戶縣人，教授，碩士生導師，主要從事電商大數據分析研究。E-mail：lpf@xupt.edu.cn。

通信作者：毋建宏，副教授，主要從事大數據處理研究。E-mail：wujh@xupt.edu.cn。

陜西省因獨特的地理優勢，已成為中國蘋果產區中唯一符合7項氣象指標的蘋果生產最適宜區。蘋果產業是陜西省農業特色的優勢產業，不僅是陜西省農業經濟的重要支柱之一，也是農民收入的重要來源[1]。2017年，陜西省蘋果產量達到1 153.94萬t，約占中國蘋果總產量的1/4，世界蘋果總產量的1/7。蘋果產業已成為全國農業結構調整的典范，因而構建符合產量變化趨勢的預測模型，合理準確預測蘋果產量，對指導陜西省乃至全國蘋果產業具有重要的理論價值和實際意義。

隨著現代預測理論的發展，傳統的BP神經網絡[2]、ARIMA模型[3]和支持向量機回歸模型[4]已難以滿足當今研究需求。眾多學者將單一預測方法的組合預測模型作為研究重點，如ARIMA和BP神經網絡組合[5];經驗模態分解、主成分分析和人工神經網絡組合[6];季節調整法和BP神經網絡組合[7];EGA算法和灰色Verhulst計量組合[8]等。也有部分學者基于模型預測性能的優劣，將具有優勢互補的單一模型進行集成，如將定量與定性預測相結合的集成預測模型（SIF）[9];經驗模態分解和支持向量機集成[10];灰色GM（1，1）、ARIMA和VAR集成[11]等，集成預測模型克服了單一模型預測的缺陷，提高了預測精度。

為深度挖掘陜西省蘋果產量潛在的變化規律，同時多原理、多角度地預測蘋果產量，本研究選取BP神經網絡、ARIMA和LS-SVM模型3種在數學原理上差異較大的模型作為預測模型，由于3種模型對中短期預測效果較好，將1978—2012年數據作為訓練數據，而2013—2017年5年數據作為測試數據，采用MATLAB軟件，對其進行擬合和測試，然后根據3種預測模型訓練值的相對誤差，計算出各模型的平均相對誤差，并按照權重計算公式確定單一預測模型的權重，最后將加權的結果作為最終的集成預測值。

1?BP神經網絡、ARIMA、LS-SVM和集成預測模型理論

1.1?BP神經網絡

反向傳播（back propagation，簡稱BP）神經網絡是由輸入層、隱含層、輸出層構成的一種前饋型人工神經網絡，通過約束網絡神經元之間的聯系，實現模擬大腦神經網絡智能處理信息的功能[12]，其網絡的架構見圖1。

輸入層和輸出層與外界相連，隱含層承擔計算功能。BP神經網絡每組輸入數據有對應的目標輸出，能夠實現信息由輸入層至輸出層的前向傳播，并根據誤差平方和最小原則實現誤差的反向傳播，在此過程中，沿著梯度最速下降的方向[13]，調整不同層神經元之間權值和閾值，使神經網絡能夠根據輸入特征實現對輸出的逼近。

BP神經網絡訓練流程：

1.1.1?正向傳播

設輸入數據為xi，輸入層到隱含層的權值為vij，隱含層個數為m，閾值為αk，激勵函數為f1，每個節點的輸出值γi，隱含層到輸出層的權值為vij，輸出層個數為n，閾值為αk，激勵函數為f2，輸出層每個節點的輸出值為yi，則隱含層中第i個神經元的輸出：

γi=f1（∑mj=1xivij+αk）。（1）

輸出層第j個神經元的輸出：

yi=f2（∑nj=1γivij+αk）。（2）

BP神經網絡模型的隱含層和輸出層中神經元之間采用的激活函數為sigmoid函數：

f（x）=11+e-x。（3）

1.1.2?反向傳播?根據梯度最速下降法調整連接系數：

ΔGij（k+1）=-ηBΔGij;（4）

ΔHij（k+1）=-ηBΔHij（k）。（5）

式中：G代表輸出層的權值和閾值，k表示第k步的學習過程，H代表隱含層的權值和閾值，學習速率為η，B表示網絡輸出值與目標值z0的誤差，其誤差可以表示為B=∑m0，j=1（z0-yi）2/2。

在前向傳播過程中，訓練信息從輸入層經隱含層變換最終至輸出層，若輸出沒有達到期望目標，則轉入誤差反向傳播，調整各神經元間的聯系，循環重復上述過程直到誤差收斂。

1.2?ARIMA模型

自回歸積分滑動平均模型（autoregressive integrated moving average model，簡稱ARIMA），是對差分平穩序列擬合的一種時間序列預測方法。ARIMA將時間序列表述為一個數學模型，該模型考察了時間序列的動態和持續特征，揭示了時間序列內在關系，適用于短期的時間序列預測[14]。

ARIMA（p，d，q）模型的一般形式：

ut=a+1ut-1+…+put-p+εt+θ1εt-1+…+θqεt-q。（6）

式中：p為自回歸模型的階數，d為差分次數，q為移動平均階數;ut為差分后的平穩序列;a為常數，為自回歸模型系數，θ為移動平均模型系數，εt為零均值白噪聲序列。

該方法建模步驟主要包括[15]：（1）時間序列平穩性檢驗。通過時序圖檢驗時間序列的平穩性，未通過平穩性檢驗即為非平穩序列，采用差分運算轉換為平穩序列，并進行平穩性檢驗。（2）模型初步識別。根據自相關系數圖和偏自相關系數圖，估計p、q的值，并利用AIC準則確定模型的最佳階數。（3）參數估計和模型檢驗。采用極大似然函數估計模型的參數，同時將估計的參數在模型中進行檢驗。（4）模型預測。根據已確定的最合適參數，進行模型預測。

1.3?最小二乘支持向量機

20世紀90年代，俄羅斯數學家Vapnik提出了支持向量機（support vector machines，簡稱SVM）的概念[16]。20世紀90年代末，Suykens等提出了最小二乘支持向量機（least squares support vector machine，簡稱LSSVM）[17]，LSSVM是SVM的一種改進算法，具有較強的泛化性，以結構風險最小化為原則建立數據模型。該算法在很大程度上降低了樣本點在訓練過程中的復雜度，優于傳統支持向量機的運算速度，是機器學習中應用較為廣泛的一種建模方法。

LS-SVM模型將最小二乘線性系統作為損失函數，將凸二次規劃問題轉化成線性方程組求解問題，簡化了計算的復雜性，其回歸過程可以表示為[18]

對給定的數據集S={（x1，y1），（x2，y2），…，（xN，yN），其線性回歸函數g（x）=wTφ（x）+k，其中xi表示第i個輸入向量，yi為與xi相對應的輸出值，i=1，2，…，N，N為樣本容量，且w∈Rn，k∈R，φ（·）為解決非線性問題的核函數。

回歸問題對應的優化問題目標函數為公式（7），與之對應的約束條件為公式（8）：

minw，k，eQ（w，k，e）=‖w‖2+γ∑Ni=1e2i2;（7）

yi=wTφ（xi）+k+ei。（8）

公式（7）中：w表示向量，k表示標量，e表示誤差，γ表示正則化參數，ei是誤差變量。

引入一個拉格朗日乘子αi則LS-SVM優化問題對應的拉格朗日函數為

L（w，k，e，α）=Q（w，k，e）-∑Ni=1αi[wTφ（xi）+k+ei-yi]。（9）

對公式（9）中每個參數求偏導并令其值為0，得到：

Lw=0w=∑Ni=1αiφ（xi）

Lk=0∑Ni=1αi=0

Lei=0αi=γei

Lαi=0wTφ（xi）+k+ei-yi=0。（10）

將公式（10）消去w和ei可以得到：

0ETED+I/γkα=0Y。（11）

式中：E=[1，1，…，1]，D為核函數矩陣，I為單位矩陣，α=[α1，α2，…，αN]，Y=[y1，y2，…，yN]。

令B=D+I/γ，可得到：

k=ETB-1yETB-1E

α=B-1（Y-kE）。（12）

因此，LS-SVM的預測函數為

y^（x）=∑Ni=1αiK（x，xi）+k。（13）

式中：K（x，xi）=exp-（x-xi）22σ2為徑向基核函數，其中σ為核參數。

LS-SVM模型常采用的核函數有高斯徑向基核函數（radial basis function，簡稱RBF）、線性核函數和多項式核函數，本研究選用包含正則化參數γ、核參數σ的RBF核函數，這2個優化參數對模型的泛化能力和預測精度影響極大[19]。

1.4?集成預測原理

集成預測模型可以克服單一模型的缺陷，優化由于模型設定不合理而導致的預測偏誤，常用的有簡單平均法和加權平均法[11]。筆者采用加權平均法對單一模型進行集成，即根據3個模型訓練數據的平均相對預測誤差確定各單一預測模型的權重，將預測值的加權結果作為最終的集成預測值。其單模型權重計算公式如下：

wj=S-1j/∑mj=1S-1j。（14）

式中：wj表示第j個模型的權重，Sj表示第j個模型的平均相對誤差的絕對值，m表示模型的數量。

2?結果與分析

2.1?數據描述

本研究數據來源于《中華人民共和國國家統計局》《陜西統計年鑒2018》，其詳細數據見表1（單位：萬t），通過分析40年的數據，可看出陜西省蘋果產量1978—2017年整體保持增長趨勢。40年產量數據的序列走勢見圖2。

2.2?1978—2017年蘋果產量數據的擬合與預測

2.2.1?基于BP神經網絡模型的擬合與預測

采用BP神經網絡對陜西省蘋果產量預測時，為提高預測結果的準確性，將1978—2012年共35年蘋果產量數據作為輸入樣本和測試樣本數量?通過多次訓練，最終將BP神經網絡的隱含層設置為3層，輸入和輸出層各為1層。在運算過程中對輸入層與隱含層和輸出層與隱含層之間的權值和閾值進行多次修正，訓練得到了預測精度高而且符合產量變化趨勢的網絡。

采用已訓練好的網絡對1978—2013年蘋果產量進行擬合（圖3-a），通過擬合效果可以看出訓練的BP神經網絡的輸出值和蘋果產量真實值基本吻合，可以用已訓練好的網絡對2013—2017陜西蘋果產量進行預測（圖3-b）。

2.2.2?基于ARIMA模型的擬合與預測

1978—2017年陜西省蘋果產量序列呈上升趨勢，可推斷該序列為非平穩序列，并且根據該序列的自相關系數圖和偏自相關系數圖進一步檢驗了序列的平穩性，因此判斷陜西省蘋果產量為非平穩序列。對該序列進行一階差分處理，一階差分處理后的自相關和偏自相關系數見圖4，可以看出一階差分后序列平穩，且ADF檢驗結果表明，一階差分后序列平穩，因此可對陜西省蘋果產量序列構建ARIMA（p，d，q）模型。

根據一階差分后的自相關系數和偏自相關系數的分布狀態以及AIC準則對模型定階，通過反復檢驗，最終將模型確定為ARIMA（1，1，0）。運用MATLAB軟件對ARIMA（1，1，0）進行建模預測，圖5-a為ARIMA模型對1978—2012蘋果產量擬合結果，圖5-b為該模型對2013—2017蘋果產量預測結果。

2.2.3?基于LS-SVM模型的擬合與預測

本研究利用最小二乘支持向量機對2013—2017年陜西省蘋果產量進行預測，借助MATLAB軟件的LS-SVM工具箱進行輔助建模（工具箱下載地址為：https：//www.esat.kuleuven.be/sista/lssvmlab/）。選用徑向基核函數 RBF代替高維空間向量的內積計算，回歸函數設為function estimation，用十倍交叉驗證方法來不斷調整參數γ（正則參數，取決于對訓練誤差最小化和估計函數平滑的權衡）和σ（內核函數的參數），根據擬合值和預測效果，將參數γ確定為10，σ確定為5，使用函數simlssvm評估模型中新的點，最后得到基于蘋果產量數據的預測模型和預測值。圖6-a顯示了LS-SVM模型對1978—2012年陜西省蘋果產量的擬合效果，從圖中可以看出，LS-SVM對產量的擬合趨勢和真實值的變化趨勢基本吻合，即該模型可以用來預測蘋果產量，圖6-b為采用該模型預測的2013—2017年蘋果產量數值。

2.2.4?模型預測結果

BP神經網絡、ARIMA、LS-SVM 模型對1978—2012年陜西省蘋果產量數據擬合值的平均相對誤差見表2，可以看出，BP神經網絡對蘋果產量的擬合效果優于ARIMA模型和LS-SVM模型。

3種模型對2013—2017年蘋果產量的預測值以及相對預測誤差見表3，可以看出，BP神經網絡的相對誤差最大值為5.26，最小值為1.64，且通過計算該模型相對誤差的平均值為3.84;ARIMA模型的相對誤差最大值為6.25，最小值為1.31，其相對誤差的平均值為3.51;LS-SVM模型相對誤差最大值為9.05，最小值為1.73，相對誤差的平均值為5.02。

綜上所述，3種單一預測模型存在預測誤差波動范圍比較大的問題，無法更準確地預測蘋果產量，因此將各模型訓練數據擬合值的平均相對誤差值作為計算權重的基礎，根據權重計算公式，確定各單一模型的權重，再利用2013—2017年各模型預測的蘋果產量數值進行加權?其加權結果作為最終的集成預測值。

2.3?集成預測結果

由于單一的BP神經網絡、ARIMA和LS-SVM預測模型對陜西省蘋果產量2013—2017年的預測效果不佳，為提高預測精度，現將各單一預測模型的預測值進行集成。首先根據模型訓練數據擬合值的相對誤差計算出平均相對誤差;然后根據公式（14），計算出單一模型的權重（表4）;最后根據2013—2017年各模型的預測值以及相對應的權重進行加權，將所求得的結果作為最終的集成預測值。

利用表4預測模型的權重進行加權計算，2013—2017年陜西省蘋果產量的集成預測值以及集成預測值相對誤差和平均相對誤差見表5。從表5可看出，集成預測的平均相對誤差為2.21%，小于各單一模型。

通過集成預測模型的預測值可以看出，集成后的效果更穩定，預測誤差相比于單一各模型波動較小，平均相對誤差在2.5%以內，預測效果較好，該集成預測方法避免了單一預測模型預測的局限性，提高了預測精度，可用于今后蘋果產量的預測。

3?結論

本研究基于1978—2017年陜西省蘋果產量數據，分別利用BP神經網絡、ARIMA、LS-SVM預測模型對蘋果產量進行預測。結果表明，BP神經網絡預測值的平均相對誤差較ARIMA和LS-SVM模型更小，但3種預測模型仍存在預測誤差波動比較大的問題，無法更準確地預測蘋果產量。為規避單一預測模型的缺陷，使得預測結果更加準確，本研究基于加權平均的思想，將3種模型的預測值依據權重的不同進行集成，實證分析表明，集成預測的結果更準確，預測性能更穩健，相對誤差的波動性更小，且平均相對誤差在2.5%以內，可有效地實現蘋果產量的高精度預測。

參考文獻：

[1]李艷花，薛江偉. 基于SWOT分析的陜西蘋果國際競爭力提升策略[J]. 干旱區資源與環境，2008，22（9）：30-36.

[2]王衛東，李?凈，張福存，等. 基于BP神經網絡的太陽輻射預測——以蘭州市為例[J]. 干旱區資源與環境，2014，28（2）：185-189.

[3]吳玉霞，溫?欣. 基于ARIMA模型的短期股票價格預測[J]. 統計與決策，2016（23）：83-86.

[4]隗海林，包翠竹，李洪雪，等. 基于最小二乘支持向量機的怠速時間預測[J]. 吉林大學學報（工學版），2018，48（5）：1360-1365.

[5]翟?靜，曹?俊. 基于時間序列ARIMA與BP神經網絡的組合預測模型[J]. 統計與決策，2016（4）：29-32.

[6]潘和平，張承釗. FEPA-金融時間序列自適應組合預測模型[J]. 中國管理科學，2018，26（6）：26-38.

[7]龍?勇，蘇振宇，汪?於. 基于季節調整和BP神經網絡的月度負荷預測[J]. 系統工程理論與實踐，2018，38（4）：1052-1060.

[8]張?侃，劉寶平，黃?棟. 基于EGA算法的小樣本非線性殘差灰色Verhulst計量組合預測模型[J]. 系統工程理論與實踐，2017，37（10）：2630-2639.

[9]金?淳，曹?迪，王?聰，等. 汽車零部件第三方物流倉儲需求量集成預測模型[J]. 系統管理學報，2018，27（6）：1157-1165.

[10]蔡超敏，凌立文，牛?超，等. 國內豬肉市場價格的EMD-SVM集成預測模型[J]. 中國管理科學，2016，24（增刊1）：845-851.

[11]李?蕾，李?超，丁雪辰，等. 我國執業（助理）醫師需求集成預測——基于GM、ARIMA和VAR模型的實證研究[J]. 管理評論，2018，30（3）：171-178.

[12]張莉曼，張向先，李中梅，等. 基于BP神經網絡的智庫微信公眾平臺信息傳播力評價研究[J]. 情報理論與實踐，2018，41（10）：93-99.

[13]周開利，康耀紅. 神經網絡模型及其MATLAB仿真程序設計[M]. 北京：清華大學出版社，2005.

[14]潘?靜，張?穎，劉?璐. 基于ARIMA模型與GM（1，1）模型的居民消費價格指數預測對比分析[J]. 統計與決策，2017（20）：110-112.

[15]陳?榮，梁昌勇，陸文星，等. 面向旅游突發事件的客流量混合預測方法研究[J]. 中國管理科學，2017，25（5）：167-174.

[16]Vapnik V N. The nature of statistical learning theory[M]. New York：Springer，2000：133-155.

[17]Suykens J，Vandewalle J. Least squares support vector machine classifiers[J]. Neural Processing Letters，1999，9（3）：293-300.

[18]張?慧，盧文冰，趙雄文，等. 基于最小二乘支持向量機和小波神經網絡的電力線通信信道噪聲建模研究[J]. 電工技術學報，2018，33（16）：3879-3888.

[19]Suykens J K，Brabanter J D，Lukas L，et al. Weighted least squares support vector machines：robustness and sparse approximation[J]. Neurocomputing，2002，48（1/2/3/4）：85-105.