組合預測模型構建方法及其應用研究綜述

凌立文，張大斌,2

（1.華南農業大學 數學與信息學院，廣州 510642；2.廣東白云學院 大數據與計算機學院，廣州 510450）

0 引言

組合預測是預測領域的重要研究分支，自1969年Bates和Granger首次提出組合預測理論體系后，該方法隨即得到國內外學者廣泛關注。單項預測模型通常僅包含預測對象的部分信息，通過一定規則組合各單項模型，可通過包含更全面的預測信息從而提高預測精度[1]。特別地，時間序列分析中真實數據生成過程通常具有區制轉換或參數漂移等特性，組合預測方法的引入，可減少由參數或模型錯誤識別帶來的預測誤差[2]；甚至在單項預測結果存在有偏性的情況下，通過組合能產生具有無偏性的預測結果[3]。因此，將不同預測模型進行有效組合，可視為對無限逼近真實數據生成過程的有效補充[4]。

盡管組合預測的實證研究文獻數量繁多，但絕大多數是對已有方法的簡單套用，缺乏針對組合預測模型構建方法的系統研究。這涉及是否應該進行組合、應該選取多少模型進行組合以及選取哪種方法進行組合等影響組合預測性能的關鍵問題。為此，本文對組合預測領域相關文獻進行梳理，圍繞以上三個關鍵問題展開述評，簡介組合預測模型的主要應用領域，在此基礎上提出今后的研究方向，以期為該領域學者提供參考與借鑒。

1 組合預測模型性能檢驗

面對當今數量繁多的單項預測模型，是否應該進行組合預測成為學者決策的首要問題。盡管大量文獻均報道組合模型預測性能優于單項模型[5-8]，但也存在個別例外情況[9，10]。為證明組合預測模型的普遍性優勢，Hibon和Evgeniou[11]選擇M3競賽數據庫中3003個時間序列和14種預測方法展開實驗研究，運用全體樣本計算各預測方法的平均預測誤差(sMAPE)，針對每一樣本窮盡所有可能的組合方式，基于海量實驗數據得到以下結論。

（1）隨著組合模型個數的增加，最大預測誤差也隨之下降，這表明組合模型確實有助于改進預測性能。但是，組合模型個數增加所引起預測誤差減小的邊際效應會逐漸減弱，最優組合數目通常為7個。

（2）從數據上看，組合模型的最小預測誤差略小于單項模型的最小預測誤差。但基于DM檢驗框架發現不同方法最小預測誤差之間并不存在顯著性差異，表明組合模型中最佳策略的效果與最佳單項預測模型相當。

（3）若以預測誤差的方差表征預測風險，實驗中隨著組合模型個數增加，預測誤差的方差隨之減少。這說明，雖然組合模型未必是最優模型，但總體而言，選擇組合模型的預測風險要小于選擇單項模型。

該研究基于大樣本實驗，論證了組合預測模型的普遍性優勢，由此解決組合預測中的首要問題。但最佳單項預測模型未必遜色于組合模型，這表明當前絕大多數組合模型都是非劣性模型而非最優模型。并特意指出，“是否應該進行組合預測”這一表述應被替換為“如何選擇最佳的組合策略”，即如何進一步提高組合預測精度。

2 組合預測模型構建方法

如何提高組合預測精度，使其從非劣性模型轉為最優模型，是預測領域專家學者長久以來的努力方向。從現有研究看，進一步優化單項模型選擇策略和組合權重確定方法，為改進組合預測性能提供了可能性。

2.1 組合模型選擇

選擇哪些單項模型進行組合是組合預測領域的一大難題[12]。實踐中大多將本領域應用較為成熟的單項模型全部納入組合模型，這看似大而全，但缺少模型選擇依據、導致計算工作量巨大，且對預測性能提升效果不明顯。此外，學者還發現若引入不恰當的單項模型，甚至可能降低組合模型預測精度[13]，由此可見正確選擇單項模型的必要性與重要性。

2.1.1 基于模型裁剪的視角

模型裁剪（model trimming）本質上是一種收縮策略，即按照一定準則（通常以預測精度為標準）縮小備選模型數量。Aiolfi和Timmermann（2006）[14]依據單項模型在訓練集的預測表現，依次在備選模型中選取表現最好的前75%、50%和25%進行組合，發現這種外生性固定裁剪方法可顯著提升組合預測性能，即以更少模型產生更好效果。然而，該方法并未考慮不同備選模型預測結果的統計性差異，Samuels和Sekkel（2017）[15]在此基礎上提出基于模型置信集（Model Confidence Set，MCS）的裁剪方法，篩選出統計意義上的最佳模型進行組合，并對美國GDP、新建住房量和工業產出等宏觀經濟指標展開預測。通過對比簡單平均組合法、外生性固定裁剪法和基于MCS的模型裁剪法，發現經模型裁剪的組合預測性能普遍優于簡單平均法；同時，基于MCS的模型裁剪方法比外生性固定裁剪方法具有更好的魯棒性以及更大的預測性能提升空間。此外，有學者認為基于模型裁剪的組合預測法僅在原始數據包含極值時才顯現出優越性，因為通過裁剪可以對極端數據/信息賦予零權重，減少組合模型的噪聲，從而提高預測準確度。然而，需要進行多大程度的裁剪值得探討，Granger等[16]建議裁剪5%或10%的最差模型，Aiolfi等[17]則認為裁剪R2排序后80%的模型能取得最佳效果，總體而言，當前研究并未給出通用的判斷標準[18]。

2.1.2 基于信息論的視角

Colino等[19]就如何提高生豬價格預測精度展開研究，其中的關鍵問題即為是否要組合不同預測模型。文中設定1個基準模型和15個備選模型，其認為，是否進行組合取決于新模型能否提供額外信息。就信息的完備性而言，若新模型與基準模型相比能夠提供額外信息，將其進行組合則可降低預測誤差，新模型能否提供額外信息通過公式（1）判斷實現。

其中，e1t表示基準模型預測誤差，e2t表示備選模型預測誤差。原假設β=0，意味著e1t與( )e1t-e2t的協方差為0，即基準模型已包含備選模型的信息，無需進行組合。若拒絕原假設，則需要進行模型組合。并通過驗證不同預測模型所包含信息量的差異，為判斷是否進行組合預測提供通用的決策方法。

此外，Cang和Yu（2014）[20]同樣基于信息論視角，提出以互信息（mutual information,MI）為判斷準則的組合預測最佳子集選擇算法。其中，互信息可度量隨機變量間的統計相關性[21]，而最佳子集是指該集合中的組合模型能提供充分有效的預測信息，其預測性能優于包含所有備選模型的集合。實驗證明，由MI算法確定的最佳子集具有更高的預測精度和更好的魯棒性，且最佳組合模型數量為2～5個，再次印證數量更少的組合策略具有與包含所有備選模型的組合策略相當、甚至是更優的預測表現。但是只考慮了3種線性組合預測方法，并未涉及非線性組合。

2.2 組合方法選擇

篩選出待組合的單項模型后，進一步需明確使用哪種組合方法。組合方法選擇是否恰當、有效，直接影響組合預測效果。以下從線性組合及非線性組合視角出發，介紹各種常用的組合方法。

2.2.1 線性組合方法

（1）等權重法

等權重法是一種最簡單的權重確定方法，也稱簡單/算術平均法，即賦予每個預測模型相同權重。假設一共有n個預測模型，則每個預測結果的權重為1/n。等權重法看似沒有過多的數理依據，但在實踐中，等權重的預測精度往往高于通過復雜數學估計過程所確定的權重，這一現象也因此被稱為“組合預測之謎”[22，23]。

（2）最小方差法

該方法從組合預測結果方差最小化的角度給出權重確定的準則與方法。假設有兩種具有無偏預測結果的單項模型，其方差分別為，協方差為σ12，則方法1的權重方法2的權重ω2=1-ω1。

（3）誤差倒數法

誤差倒數法是一種直觀且便于理解的權重確定方法，若模型在訓練中具有較小誤差，則在組合模型中賦予其更大權重，均方根誤差(RMSE)、均方誤差（MSE）是常用的誤差衡量指標。假設兩個單項模型在訓練集內的均方根誤差總和分別為RMSE1和RMSE2，則模型1的權重ω1=

（4）優勢矩陣法

假設兩個單項模型，令Z1表示研究期限內模型1預測效果優于模型2的次數，同理，Z2表示模型2預測效果優于模型1的次數，則模型1的權重，模型2的權重該方法可推廣到包含多個單項預測模型的情形中，最終得到一個確定權重的優勢矩陣。Aiolfi和Timmermann（2006）[14]的研究證明該方法與誤差倒數法相比具有更好的魯棒性。

（5）最小二乘估計法

通過實施最小二乘得到的β1和β2即為模型1和模型2的組合權重，若設定β1和β2之和為1，則回歸方程中只有1個待估參數，從而可得到更小的估計誤差εt。在此基礎上式（2）可拓展為多元回歸形式，但是，各待估參數之間的高度共線性有可能導致參數估計不穩定，即樣本數據的細微變動引起參數估計量的顯著變化。為解決該問題，學者提出使用最小一乘法（Least Absolute Deviation,LAD），即以誤差絕對值之和取代誤差平方和作為回歸方程的損失函數。此外，回歸得到的參數有可能為負，為使參數更具解釋性，可限定所有參數為正。

（6）權重收縮法

鑒于等權重法具有良好的樣本外預測性能，有時甚至接近于最優模型，因此通過施加一個隨機約束，將組合權重趨近于等權重，可減少組合權重抽樣中的波動性[13]。假設某組合模型共包括m個單項模型，其中模型i的最小二乘權重為ωi，通過引入收縮參數γ，得到模型i的組合權重收縮參數γ∈(0,1)，取值越大，說明組合權重越趨向于等權重。收縮至等權重的組合權重確定方法應用較廣，此外，近年來隨著貝葉斯方法的普及，也有學者嘗試使用基于貝葉斯的收縮權重確定方法。

2.2.2 非線性組合方法

盡管非線性組合方法提出時間晚于線性方法，且實際應用較少，但在有限的研究中仍被證明是一種有效的組合方法，有時甚至能取得比算術平均更好的預測結果[2,24]。

（1）加權幾何/調和平均

假設存在m個單項預測模型，其對應預測值為fi，每個模型在組合模型中權重為li，且具有非負和歸一化特性。若組合預測值，則稱其為加權幾何平均組合預測模型。若滿足則為加權調和平均組合預測模型。陳華友（2008）[25]將權重求解過程轉化為線性規劃問題，以誤差平方和為決策目標給出幾何平均和調和平均的權重求解算法。

（2）人工神經網絡

人工神經網絡模擬人腦對信息的加工處理過程，能夠反映輸入數據和輸出數據之間高度的非線性映射關系。將m種預測方法得到的預測結果yit(i=1,2…m)作為網絡輸入層，實際值yt作為網絡輸出層，神經網絡通過正向與反向傳播過程進行權重學習，最終各層神經元確定的權值相當于各種方法在組合模型中的權重[26]。相關學者的研究均證實基于神經網絡的非線性組合預測方法具有優良的特性和更高的預測精度[27-29]。

盡管線性組合方法應用廣泛，但學者提出，如果僅考慮線性組合，則會削減組合預測的意義，甚至只能稱其為合成模型（composite model）。因此有必要納入非線性組合方法，以增強組合方法的全面性。Andrawis（2011）[2]的研究中構建了6種線性組合和4種非線性組合策略，分別選取2個最佳線性方法和2個最佳非線性方法，對這4種組合方法所取得預測結果進行簡單平均后得到最終的預測結果，從而實現具有層級性的組合預測。

2.2.3 組合方法遴選標準

盡管存在多種組合方法，但如何依據模型自身特點選擇恰當的方法，相關研究還較為空白。蔣傳進（2015）[30]基于預測誤差的分布形態（即偏度）提出組合方法遴選準則，并以M3競賽中N115季度宏觀數據序列為樣本進行實驗。實驗的控制變量包括單項模型的偏度、預測誤差的序列相關性ρ和誤差方差比?，考慮包括線性與非線性方法在內共6種組合方法，得到表1。

表1 組合方法遴選準則

實驗證明，簡單平均法在中長期（提前3～8步）預測中表現優異，原因是當數據序列發生結構突變時，簡單平均法具有比其他方法更高的外推預測精度。鑒于大多數單項模型預測結果都具有有偏性，短期預測中選擇線性回歸或人工神經網絡的組合方法可消除單項模型的有偏影響。此外，文章還就簡單平均法的適用條件展開理論分析，結論是當?≥2，即較差模型預測標準差為較好模型預測標準差的2倍及以上時，簡單平均組合預測法并不能提高預測精度，此時更應選擇單項最佳模型，這在一定程度上回應了“組合預測之謎”。

3 組合預測模型的主要應用領域

組合預測理念一經提出隨即引起學者高度重視，現已廣泛應用于各類預測問題研究中。從形式上看，可分為同質組合模型和異質組合模型，以下簡要介紹組合預測在能源、宏觀經濟等領域的應用情況。

3.1 能源預測

電力與原油價格預測是能源領域傳統研究熱點，Nan（2009）[31]在19個單項模型基礎上構建組合模型預測英國地區提前一天的電力價格，發現組合模型僅在電力需求較為平穩的春季取得較好效果。Weron（2014）[32]認為其預測效果不佳的根本原因在于19個單項模型中有大量相似模型，它們都源于ARIMA、線性回歸、馬爾科夫區制轉移模型的變型。該結論似乎否定了同質組合模型的作用，但Nowotarski等（2016）[33]以回歸模型為基準建立8個同質模型對國際能源競賽和ISO兩個公開數據集進行實驗，不同模型具有相似結構，但包含變量個數以及變量滯后期有所區別。結果表明盡管只采用簡單的組合策略，但組合模型預測準確度明顯高于基準模型。由此看來，組合模型的同質性或異質性并不是影響模型性能的絕對因素。

原油價格時間序列具有非線性、非平穩性和多尺度特征，普通的組合模型難以取得理想結果[34]。學者研究發現，基于一種先分解后集成的組合預測方法論可有效提高原油價格預測精度[35，36]。該方法論首先對原始價格數據進行多尺度分解，得到相對簡單但具有不同波動頻率和含義的分量；然后基于一定規則重構各分量，并根據各分量數據特征選擇適合的預測方法；最后將各分量預測結果進行組合。實證研究均證實該方法論在原油價格預測中的適用性以及與其他預測方法相比的優越性[37-39]。此外，隨著人們對清潔能源關注度不斷提升，近年來組合模型也開始應用于風速、風電功率預測等相關問題的研究中[40-43]。

3.2 宏觀經濟預測

Hubrich和Skudelny（2010）[44]對歐元區居民消費價格指數展開研究，以AR模型為基準模型，VAR模型和非線性模型為對比模型。通過多對象和多周期對比實驗證明，幾乎所有組合模型預測精度都高于備選單項模型，且對時間序列轉折點識別準確度較高。Melo等[45]對哥倫比亞通貨膨脹率的研究證實，通過引入貝葉斯收縮方法，單項模型預測精度得以提高；并且基于滾動貝葉斯組合策略，可減少預測所需數據量并提高預測精度，該結論與Kapetanios等[46]對英國通貨膨脹率的研究相符。國內方面，于志軍等[47]在指數平滑法、偏最小二乘法和灰色預測法基礎上構建稅收收入組合預測模型，通過算例證明組合模型具有較優預測性能。薛倩等[48]基于方差倒數法、殘差倒數法和最小二乘法確定組合預測模型權重以預測重慶市GDP。皮進修等[49]基于自組織數據挖掘理論構建SARIMA-GMDH組合模型，通過擬合優度檢驗和預測性能檢驗，證實組合模型具有更好的魯棒性和抗隨機干擾能力。

3.3 其他領域應用

組合預測模型還應用于金融資產、交通工程、農產品市場等領域研究。Pai和Lin[50]基于ARIMA和SVM構建組合模型預測10家公司的股票價格，結果顯示，就單項模型預測性能而言，SVM與ARIMA相比并無明顯差異；但組合模型能顯著降低預測誤差。周榮喜等[51]構造靜態利率期限結構組合優化模型，以解決單個靜態利率期限結構模型在擬合收益率曲線時的不足。耿睿等[52]將SVM與多項式和魯棒自回歸預測模型相結合對北京空中交通流量進行預測。沈國江等[53]構建包含卡爾曼濾波、人工神經網絡和模糊綜合模型在內的智能組合模型預測短時交通流量，實驗證明組合模型在眾多評價指標中都具有領先優勢。平平[54]、王川[55]等將組合預測方法應用于豬肉、蘋果等農產品的價格預測中，進一步拓寬組合預測的應用領域。

4 研究展望

近年來，學者們在完善單項模型篩選方法和單項模型組合形式等方面展開了許多有益嘗試，豐富了組合預測的理論內涵。同時，還就預測模型結構設定、參數估計和模型檢驗方法進行修正和擴展，推動組合預測方法快速發展。在此基礎上，本文認為今后該領域還有以下值得進一步研究的問題。

（1）基于模型裁剪的單項模型篩選方法簡單易操作，但裁剪比例具有較大主觀性。此外，個別預測精度較差的單項模型可能包含獨特信息，若依據預測誤差將其排除在外，有違組合預測本質。相比之下，基于信息論的單項模型篩選準則更為科學，然而，當前文獻對基準模型的選擇大多較為隨意且缺乏依據，如何科學地確定基準模型值得進一步探討。

（2）當前社會經濟系統結構日趨復雜，傳統線性預測模型難以捕捉復雜系統的變化特征，預測效果不甚理想。自引入對復雜系統具有更好自適應性和學習能力的人工神經網絡方法后，模型預測性能顯著提升。然而，當前組合權重的確定仍以線性方法為主，為更好適應數據的非線性特征，采用非線性權重確定方法并將其與線性方法進行層級性組合，是今后值得嘗試的一個方向。

（3）先分解后集成的組合預測方法論基于對原始復雜時序數據的多尺度分解，在不同尺度上剖析復雜系統的波動特征及趨勢規律，在掌握系統內在運行規律的基礎上展開預測研究，顯著提升預測性能。該方法論的核心是選擇有效的數據分解工具，除傳統的季節分解、小波分解、經驗模態分解法外，如何將現代信號處理領域的新技術，如壓縮感知等，應用到復雜時序數據預測，是今后研究中具有挑戰性的一個問題。

（4）實驗數據的樣本量與規范性是國內外研究的主要差異之一。國外研究多基于公開的競賽數據集（如M3、NN3、國際能源預測競賽等）進行某種方法或模型的性能檢驗，首先通過大樣本數據實驗篩選出優性模型，再將模型用于特定數據集的預測研究，遵循從一般到特殊的研究過程，結論可信度高。反觀國內，實驗數據選取的主觀性及差異性較大，樣本量小且不具有普遍性，局限了研究方法的推廣與應用。此外，國外研究通常包括多步長（提前1月、3月、6月、12月）實驗方案，可驗證模型對不同預測周期的適用性；國內研究相對簡單，通常只有一種步長設計。由此可見，完善實驗方案設計并選用公開數據集進行模型驗證，是進一步提高模型普適性的有效途徑。