基于變權(quán)組合模型的時間序列預(yù)測

摘要：針對時間序列預(yù)測中單一模型存在預(yù)測精度不高和預(yù)測穩(wěn)定性較差的問題，采用殘差賦權(quán)方法對單一模型進行組合，并以此為基礎(chǔ)，提出基于殘差賦權(quán)改進的自適應(yīng)變權(quán)組合方法。該方法的基本思想是基于當(dāng)前時刻的預(yù)測結(jié)果自適應(yīng)調(diào)整其組成模型的權(quán)重值，利用不同的單一模型進行優(yōu)勢互補。將其應(yīng)用到組合模型中，以實現(xiàn)提高模型的預(yù)測精度以及穩(wěn)定性。實驗結(jié)果表明該組合方法能有效改善預(yù)測穩(wěn)定性不足的問題以及進一步提高模型的預(yù)測精度。

關(guān)鍵詞：時間序列預(yù)測" 殘差賦權(quán)" 變權(quán)組合" 組合模型

中圖分類號：TD926.4" 文獻標(biāo)識碼：A Time Series Prediction Based on the Variable Weight Combination Model

ZHANG Yongqi1" "YANG Jianchang2

（1.Shenyang Ligong University， Shenyang， Liaoning Province， 110159 China; 2.Unit 32683， Shenyang， Liaoning Province， 110043 China）

Abstract： For the problems of the low prediction accuracy and poor prediction stability of single models in time series prediction， the residual weighting method is used to combine single models， and on this basis， an adaptive variable-weight combination method based on residual weighting improvement is proposed. The basic idea of this method is to adaptively adjust the weight value of its constituent models based on the prediction results at the current time， and use different single models to complement each other. It is applied to the combination model to improve the prediction accuracy and stability of the model. Experimental results show that the combination method can effectively improve the problem of the insufficient prediction stability and further improve the prediction accuracy of the model.

Key Words： Time series prediction; Residual empowerment; Variable-weight combination; Combination model

隨著時代的發(fā)展，時間序列預(yù)測技術(shù)在氣象、交通、金融和電力等多個領(lǐng)域中有廣泛應(yīng)用[1]。實際問題中的時間序列往往同時包含線性和非線性特征，因此建立具有較高精度的時間序列預(yù)測模型仍然存在不小的挑戰(zhàn)[2]。傳統(tǒng)的預(yù)測方法往往采用單一模型或固定權(quán)重組合模型的方式。單一模型雖然簡單易用，但是在實際預(yù)測任務(wù)中其預(yù)測穩(wěn)定性不足，并且由于單一模型在自身結(jié)構(gòu)上存在的限制，導(dǎo)致其適用性較差，在不同預(yù)測問題中往往不能都具有較高的預(yù)測精度[3]。針對上述單一模型存在的問題，研究人員提出了利用固定權(quán)重方式進行組合的模型。盡管采用該方式的組合模型能夠提高預(yù)測精度，但是由于固定權(quán)重相對“機械”的方式，不能將其組成模型的優(yōu)勢進行充分發(fā)揮，仍存在預(yù)測穩(wěn)定性不足的問題[4]。

基于以上分析，該文提出基于殘差賦權(quán)改進的自適應(yīng)變權(quán)組合方法，以北京多點空氣質(zhì)量數(shù)據(jù)集作為實例對PM2.5濃度變化建立組合預(yù)測模型，驗證所提方法的實用性。首先，經(jīng)過數(shù)據(jù)預(yù)處理后，分別構(gòu)建不同的單一預(yù)測模型并得到模型對應(yīng)的預(yù)測結(jié)果；其次，利用本文所提的變權(quán)組合方法對模型權(quán)重進行自適應(yīng)優(yōu)化；最后，分別得到不同的單一模型以及組合預(yù)測模型的實驗結(jié)果并進行對比分析。

1 單一模型原理

1.1 自回歸模型

自回歸模型（Autoregressive Model，AR）認為當(dāng)前時間序列值與此前時間序列值相關(guān)，根據(jù)歷史時間序列值的信息能夠?qū)r間序列值在未來的變化趨勢進行預(yù)測[5]。AR模型的數(shù)學(xué)表達式為

式（1）中，表示時刻的時間序列值，為常數(shù)項，表示滯后的時間序列，為回歸模型的系數(shù)，表示白噪聲序列。表示當(dāng)前時間序列值與此前個時刻的時間序列值相關(guān)，因此將該模型記作AR（p）。

1.2 長短期記憶網(wǎng)絡(luò)

在處理時間序列問題上，循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）相比于其他神經(jīng)網(wǎng)絡(luò)模型更具優(yōu)勢，但RNN模型在長時間跨度預(yù)測任務(wù)中表現(xiàn)不夠理想[6]。長短期記憶網(wǎng)絡(luò)（Long Short-Term Memory，LSTM）通過引入遺忘門、輸入門和輸出門來實現(xiàn)信息篩選與有效記憶，解決了RNN在長時間跨度中模型預(yù)測效果不佳的問題[7]。LSTM網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

式中，、、分別代表遺忘門、輸入門和輸出門的狀態(tài)；、、、與、、、分別對應(yīng)遺忘門、輸入門、單元狀態(tài)和輸出門的權(quán)重矩陣與偏置項，與tanh分別表示sigmoid激活函數(shù)與雙曲正切函數(shù)，表示時刻輸入，表示時刻輸入的單元狀態(tài)，表示當(dāng)前單元狀態(tài)，表示時刻單元輸出。

2 變權(quán)組合模型

組合模型的構(gòu)建理念是在針對某一實際預(yù)測任務(wù)中，通過結(jié)合其不同的組成模型各自具有的特性，從而實現(xiàn)提高相關(guān)任務(wù)的總體預(yù)測精度。賦權(quán)方法與組合模型實現(xiàn)提高預(yù)測精度具有密切關(guān)系，常用的賦權(quán)方法有等值賦權(quán)和殘差賦權(quán)[8]。該文基于殘差賦權(quán)提出改進的自適應(yīng)變權(quán)方法，殘差賦權(quán)是指當(dāng)前組成模型各自權(quán)重由前一時刻組成模型各自的預(yù)測殘差的大小決定，具體公式為

式（9）中，表示時刻第個模型在組合模型中所占的權(quán)重，并且滿足；表示時刻第個模型的預(yù)測誤差平方和。

自適應(yīng)變權(quán)法的主要內(nèi)容包括以下兩部分。

（1）模型初始賦權(quán)。選用前（該文中）次權(quán)重平均值作為時刻的模型權(quán)重，權(quán)重為，通過線性插值求出時刻的模型權(quán)重并作為本次模型的初始權(quán)重，線性插值公式為

（2）模型重新賦權(quán)。根據(jù)式（9）和式（11）分別計算當(dāng)前時刻單一模型所占權(quán)重，并計算不同組合方式下模型的預(yù)測誤差絕對值分別為、，計算公式為

式中，表示采用殘差賦權(quán)構(gòu)建的組合模型所計算的預(yù)測誤差絕對值，表示采用自適應(yīng)變權(quán)法構(gòu)建的組合模型所計算的預(yù)測誤差絕對值，通過比較預(yù)測誤差絕對值與的大小，確定當(dāng)前時刻模型權(quán)重，若，則組合模型選用代替，反之保持不變。

基于殘差賦權(quán)改進的自適應(yīng)變權(quán)方法實際上是以當(dāng)前時刻模型的預(yù)測誤差絕對值大小為根據(jù)，將模型組合權(quán)重向有利于提高組合模型預(yù)測精度的方向進行自適應(yīng)調(diào)整，使得組成模型的權(quán)重值隨著后續(xù)預(yù)測時刻不斷地向后推移，也向著能夠提高模型預(yù)測精度的方向進行改變，在一定程度上有利于提高組合模型的預(yù)測性能。

3 基于變權(quán)組合模型的時間序列預(yù)測

3.1 實驗數(shù)據(jù)

該文選取UCI開放數(shù)據(jù)集中所提供的北京多點空氣質(zhì)量數(shù)據(jù)集（Beijing Multi-Site Air-Quality Data Set）作為時間序列預(yù)測的實例數(shù)據(jù)，該數(shù)據(jù)集包含了2013年3月1日0時至2017年2月28日23時中以1 h為間隔所采集的空氣污染數(shù)據(jù)，總共為35 064條記錄。該文選用Aotizhongxin監(jiān)測點自2013年3月1日—2016年2月28日間的空氣污染數(shù)據(jù)為訓(xùn)練集，用于訓(xùn)練模型參數(shù)，2016年3月以后的數(shù)據(jù)為測試集，用于衡量模型訓(xùn)練后的擬合效果，預(yù)測采用單點預(yù)測。

3.2 實驗評價指標(biāo)

為了準(zhǔn)確評價基于變權(quán)組合方法構(gòu)建的組合模型的預(yù)測能力，選取根均方誤差RMSE和平均絕對誤差MAE作為評價指標(biāo)，其中RMSE和MAE的數(shù)值越小，表示模型預(yù)測精度越高，計算公式如下。

式中，和分別表示在時刻的真實值和預(yù)測值。

3.3 基于Python的仿真方法設(shè)計

該文分別構(gòu)建AR模型和LSTM模型對實例數(shù)據(jù)進行仿真預(yù)測，然后利用本文所提的變權(quán)方法對兩個單一模型進行組合，組成AR-LSTM變權(quán)組合模型并進行實驗驗證，構(gòu)建AR-LSTM變權(quán)組合模型進行預(yù)測的過程如圖2所示。

（1）數(shù)據(jù)預(yù)處理：主要包含缺失數(shù)據(jù)處理和數(shù)據(jù)標(biāo)準(zhǔn)化處理。

（2）單一模型預(yù)測：分別建立AR模型與LSTM模型并得到對應(yīng)模型的預(yù)測結(jié)果。

（3）構(gòu)建組合模型：運用該文所提的變權(quán)組合方法，對AR模型和LSTM模型進行組合，得到AR-LSTM變權(quán)組合模型的預(yù)測結(jié)果。

（4）模型性能評估：根據(jù)RMSE、MAE模型評價指標(biāo)對AR模型、LSTM模型以及AR-LSTM變權(quán)組合模型的預(yù)測性能進行評估。

3 仿真結(jié)果與分析

分別建立AR模型、LSTM模型和AR-LSTM變權(quán)組合模型并對所選實例數(shù)據(jù)進行預(yù)測，得到不同模型的實驗對比結(jié)果見表1，AR-LSTM變權(quán)組合模型的預(yù)測值與實際值曲線見圖3，其中紅色曲線表示序列真實值的變化趨勢，綠色曲線表示模型預(yù)測值的變化趨勢。

由實驗結(jié)果能夠看出，AR-LSTM變權(quán)組合模型的RMSE值和MAE值相比于AR模型分別降低了3.44%和4.73%，AR-LSTM變權(quán)組合模型的RMSE值和MAE值相比于LSTM模型分別降低了4.95%和9.76%，同時AR-LSTM組合模型的預(yù)測值曲線也十分逼近真實值曲線，表明AR-LSTM變權(quán)組合模型具有較高的預(yù)測精度，可見變權(quán)方法能夠有效提高總體的預(yù)測精度，因此當(dāng)單一模型在預(yù)測任務(wù)中表現(xiàn)不理想的情形中，可以考慮使用變權(quán)方法。

4 結(jié)語

隨著時間序列預(yù)測技術(shù)的高速發(fā)展，研究人員在處理相關(guān)問題時更加簡便可靠。該文驗證分析了組合模型相比于單一模型的優(yōu)勢，對于在時間序列預(yù)測任務(wù)中存在單一模型預(yù)測精度不高的問題進行優(yōu)化處理，具有一定的應(yīng)用價值。

參考文獻

[1] 龐敏.基于LSTM混合模型的時間序列預(yù)測[D].武漢：華中科技大學(xué)，2019.

[2] 趙薇.基于LSTM神經(jīng)網(wǎng)絡(luò)的金融數(shù)據(jù)預(yù)測分析[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2020.

[3] 王英偉，馬樹才.基于ARIMA和LSTM混合模型的時間序列預(yù)測[J].計算機應(yīng)用與軟件，2021，38（2）：291-298.

[4] 劉明，王紅蕾，索良澤.基于變權(quán)組合模型的中長期負荷概率密度預(yù)測[J].電力系統(tǒng)及其自動化學(xué)報，2019，31（7）：88-94.

[5] 薛艷茹.基于時間序列分析的散雜貨港口吞吐量短期預(yù)測研究[D].北京：北京交通大學(xué)，2019.

[6] 劉可真，茍家萁，駱釗，等.基于粒子群優(yōu)化–長短期記憶網(wǎng)絡(luò)模型的變壓器油中溶解氣體濃度預(yù)測方法[J].電網(wǎng)技術(shù)，2020，44（7）：2778-2785.

[7] 李潔，彭其淵，文超.基于LSTM深度神經(jīng)網(wǎng)絡(luò)的高速鐵路短期客流預(yù)測研究[J].系統(tǒng)工程理論與實踐，2021，41（10）：2669-2682.

[8] 康俊鋒，譚建林，方雷，等.XGBoost-LSTM變權(quán)組合模型支持下短期PM2.5濃度預(yù)測：以上海為例[J].中國環(huán)境科學(xué)，2021，41（9）：4016-4025.