基于ARIMA-LSTM組合模型的應用系統響應時間預測?

高文俊 李 志 閔 星 章玉龍

（安徽繼遠軟件有限公司 合肥 230088）

1 引言

隨著計算機技術飛速發展，數據規模和復雜度指數級增加，人們越來越依賴于各種應用系統。響應時間是用戶最能直觀感受到的評價應用系統性能的主要指標之一。例如，在搜索網站查詢的響應時間過長，用戶便會失去耐心而離開；響應時間的一般定義是用戶從發出服務請求至接受到反饋信息之間的時間間隔［1］。在實際應用中，保證應用系統的響應時間始終處于用戶可接受的范圍內是至關重要的，而保證的前提則是對響應時間進行準確的預測評估，實現提前感知并解決問題。

對應用系統響應時間的預測，即根據響應時間的歷史序列數據預測未來時間段的序列值，可借鑒常用的時間序列預測方法和模型。傳統的時間序列預測方法大多基于統計學方法，如鄭曉霞等［2］運用指數平滑法對Web服務的響應時間進行了動態預測；李明等［3］運用ARMA模型對深滬股市未來5天的短期指數進行了有效預報。近年來，神經網絡模型因其可無限逼近任何復雜函數的特性也逐漸被應用到時序數據預測模型中。2001年，吳微等［4］運用BP神經網絡對滬市股票市場的漲跌進行了有效預測；王鑫等［5］基于飛機故障數據，引入LSTM神經網絡對故障時間序列進行預測。還有其他一些研究者使用增強學習和遺傳算法研究了包括響應時間、CPU、網絡帶寬等的預測評估［6～8］。

應用系統的響應時間往往受多種因素影響，其中既包含常規的線性趨勢又包含復雜多變的非線性規律，使用單一模型進行擬合難以兩者兼顧。針對這一問題，本文提出一種組合模型ARI?MA-LSTM對應用系統的響應時間進行預測評估，其中ARIMA模型用以提取響應時間序列數據的線性趨勢，再通過LSTM模型擬合ARIMA模型殘差中的非線性規律。實驗結果表明，所提方法相比于單一模型的擬合性能更好，預測精度更高。

2 相關理論基礎

2.1 ARIMA模型

ARIMA模型（Autoregressive Integrated Moving Average model）由博克思（Box）和詹金斯（Jenkins）于70年代初提出，它的基本思想是時間序列的當前時刻值與過去時刻值、隨機干擾量呈線性關系，通過找到擬合這種線性關系的線性函數即可根據歷史序列數據對未來時刻序列值進行預測。ARI?MA模型本質是ARMA模型的轉化，其數學表達式為

其中，Xt為序列當前時刻值，Xt-j(j=1，2，…，p)是過去p個時刻的序列值，φi(i=1，2，…，p)表示各階自回歸項系數，μt為殘差，θi(i=1，2，…q)表示回歸系數，Θ(L)為q階移動平均系數多項式，記作ARMA（p，q）。ARMA模型只能處理平穩序列，對于非平穩序列需通過差分處理轉換成平穩序列，在ARMA模型的基礎上經差分處理過的模型被稱為ARIMA模型，記作ARIMA（p，d，q），其中d為差分階次。

ARIMA模型的建模過程一般分四個步驟：

1）序列平穩化處理：一般可通過觀察法觀測或單位根法來檢測時間序列樣本的平穩性，若為非平穩序列，則需經過差分處理以使序列平穩化。

2）模型定階：ARIMA（p，d，q）模型有三個參數需要確定，步驟1）中已確定參數d，可通過觀察樣本的ACF圖和PACF圖來選取參數p和q。一般以ACF圖和PACF圖中各自截尾的位置作為p和q的最大值，得到多種參數組合，再利用BIC信息量準則從中選擇一組最優的模型參數。

3）模型檢驗：可通過檢驗模型殘差是否為白噪聲序列來驗證該模型是否充分有效。

4）預測：根據歷史時間序列數據對序列未來時刻值進行預測。

2.2 LSTM模型

循環神經網絡（RNN）因其擬合非線性時間序列的良好性能而被廣泛研究和應用，但其在實際應用中會呈現“記憶遺失”特性，即著名的梯度消失問題［9］。為解決這一問題，Hochreiter和Schmidhuber于1997年提出了RNN的改進版——LSTM神經網絡模型［10］（Long Short-Term Memory）。RNN保存記憶的核心結構“隱藏層”被重新設計，在原本只有一個狀態的隱藏層中又添加一個單元狀態（cell state）來保存長期記憶，并通過一個稱作“門”的結構讓信息選擇式通過。LSTM隱藏層網絡結構如圖1所示。

圖1 LSTM隱藏層網絡結構圖

圖1中的加粗部分即是添加的單元狀態C，通過三個控制開關（三個門）來對C中保存的長期信息進行控制。首先，通過“遺忘門”來控制上一時刻的單元狀態Ct-1有多少信息保留到當前時刻Ct，遺忘門的控制計算如式（2）所示。

其中，通過“輸入門”來控制當前時刻網絡的輸入xt有多少保存到單元狀態Ct，輸入門的控制計算如式（3）所示。

再根據上一次的輸出和本次輸入來計算當前輸入的單元狀態，計算如式（4）所示。

經遺忘門操作已過濾掉Ct-1中該被丟棄的信息，經輸入門操作獲取了當前時刻輸入信息中該被加入進來的新信息。至此可以更新當前時刻的單元狀態Ct，計算如式（5）所示。

最后，通過“輸出門”來控制單元狀態Ct有多少輸出到LSTM的當前輸出值ht，輸出門的控制計算和輸出信息計算如式（6）和式（7）所示。

在式（2）～式（7）中，Wf、Wi、Wc、Wo為各控制門的權重矩陣，bf、bi、bc、bo為各控制門的偏置項；σ和tanh分別是激活函數sigmoid和tanh函數，描述各控制門允許多少信息量通過。

LSTM模型的建模過程分為以下幾個步驟：

1）輸入數據預處理

首先，將輸入數據按時間窗的大小轉換成二維矩陣形式；其次，對輸入數據做歸一化處理，本文采用z-score標準化指標對輸入數據歸一化。

2）初始化LSTM模型

LSTM模型的初始化包含很多事項，其中激活函數的選取和采用何種措施來避免過擬合現象直接影響了模型的最終結果。本文選取具有梯度穩定性的ReLU函數作為LSTM網絡的激活函數；選擇均方誤差MSE函數作為模型訓練的損失函數，并對損失函數進行L2正則化處理，通過L2正則化限制模型權重的大小來有效防止過擬合現象的發生。

3）梯度訓練確定權值

梯度訓練的優化算法有很多，如隨機梯度下降［11］、AdaGrad［12］、RMSProp［13］等。本文采用對學習率具有動態約束功能的Adam（Adaptive Moment Es?timation）算法［14］對學習率進行優化。Adam算法融合了AdaGrad和RMSProp算法的優勢，能夠動態計算并調整不同參數的學習率。

4）訓練輸出并反歸一化

訓練模型得到的輸出值并不是最終結果，需將其反歸一化處理以得到模型的實際預測結果值。

3 ARIMA-LSTM組合模型構建

應用系統響應時間的變化規律復雜多變，其中既含有線性趨勢，又包含非線性規律，僅使用單一模型進行預測難以完全擬合。本文基于這樣的思想構建組合模型，響應時間的歷史數據首先經過ARIMA模型過濾掉序列數據中的線性趨勢，那么非線性規律則包含在ARIMA模型的殘差中；再將殘差輸入LSTM模型以提取其中的非線性規律；最后，將ARIMA模型的預測結果與LSTM模型的預測結果相疊加得到最終的預測結果。組合模型的流程框架如圖2所示。

圖2 ARIMA-LSTM組合模型流程圖

上圖所示組合模型流程的數學描述如下。假設序列數據yt可由式（8）表示：

其中，Lt描述序列數據中的線性成分，Nt代表序列數據中的非線性成分。則組合模型建模的流程為

1）先利用ARIMA模型對序列數據建模，獲取其線性成分的預測值。非線性成分則包含在殘差中。其數學表達如下：

其中，et表示包含非線性成分的殘差，為ARI?MA模型的預測值。

2）得到殘差et后，利用LSTM模型對其建模，獲取非線性成分的預測值，其數學表達如下：

其中，f(·)為LSTM模型建立的關系函數，εt是隨機誤差。

3）最后，將和相加得到最終預測結果，即：

值得注意的是，為了保證LSTM模型對ARIMA模型殘差的預測精度，本文采取迭代預測方法，即對每下一時刻序列值的預測都在經上一時刻預測值變更后的新模型上進行預測，而不是使用測試數據預測未來每個時刻的序列值。

4 仿真研究

4.1 數據來源

為了驗證所提組合模型的有效性，本節結合一個應用系統的響應時間預測實例進行實驗論證。實驗數據來源于對國家電網網絡大學平臺的響應時間監測數據，數據集的時間覆蓋范圍為2018-06-01～2018-06-10，采集頻率為5min，每天有288個數據，10天共有2880個。由于受偶然因素影響（包括斷網或服務器故障），原始數據可能存在異常值，這會對時間序列的預測產生誤導。為了降低這些異常值對預測過程的影響，本文采用經典的箱線圖法來識別異常值，并將超過1.5倍四分位數差之和與第3四分位數的序列值作為異常點去除。對于被剔除異常值的個別時刻上的數據缺失，采取將該時刻前后鄰接的兩個時刻序列值的平均值作為填充值。觀察數據集會發現，數據在每天下午的6點到12點的波動性很大，這與人們一般在下班后上網絡大學平臺進行學習的習性相符。因此將最后一天下午6點到12點的共72個數據作為測試集，其余共2808個數據作為訓練集。

4.2 評價指標

本文采用三種具有代表性的評測誤差標準來評估預測的精確度，分別是均方根誤差（RMSE）、平均絕對百分比誤差（MAPE）和平均絕對偏差（MAE），它們的數學表達如下：

其中，Fi表示第i個預測值，Ri是第i個真實值，n是序列長度（樣本點個數）。RMSE、MAPE以及MAE的值越小表明模型的預測誤差越小，精度越高，則模型的擬合能力越好。

4.3 結果分析

4.3.1 響應時間預測的ARIMA模型建立

圖3為監測數據的時間序列圖，其中圖3（a）為經預處理后的原始數據圖，從中可看出，數據具有一定的周期性，且為非平穩序列。圖3（b）為經一階差分處理后的序列圖，從中可看出序列數據已基本平穩化，經ADF校驗表明數據確已達到平穩條件，因此設定模型參數d=1。

圖3 監測數據的時間序列圖

然后根據ACF圖和PACF圖對模型參數p和q進行初判斷，圖4（a）和圖4（b）分別展示了序列數據的ACF圖和PACF圖。從圖4（a）和圖4（b）中可看出，ACF圖在滯后1階之后截尾，而PACF圖在3階后截尾，則ARIMA模型參數q的最大值設為1，參數p的最大值設為3，適合的模型參數組合共有8種，既（p，d，q）=（0，1，0）、（0，1，1）、（0，1，2）、（0，1，3）、（1，1，0）、（1，1，1）、（1，1，2）、（1，1，3）。再分別計算各模型組合的BIC值，計算結果為參數組合（1，1，2）的BIC值最小，為171.15，則選擇（1，1，2）參數組合構建ARIMA模型，并對響應時間數據的測試集進行預測。

4.3.2 LSTM預測ARIMA殘差的參數設置

實驗平臺采用Keras框架，根據經驗和多次殘差實驗對比，確定LSTM模型的參數進行如下設置。輸入神經元個數為4，隱藏層設置為具有300個神經元的單隱藏層，迭代次數epochs為2000，batch_size為50。為進一步防止過擬合現象的發生，模型訓練中用到了dropout技術［15］。本實驗模型的丟失率設置為0.1，即每輪權值更新時選擇10%的節點丟棄。損失函數為均方誤差MSE，激活函數為Relu，優化器參數為rmsprop。

圖4 序列數據的自相關分析和偏自相關分析

4.3.3 不同模型預測結果對比

為直觀地看出各算法預測結果的優劣，圖5給出了不同模型的預測結果圖。其中橫坐標“time”表示從2016-06-10下午6點到下午12點（共6個小時，72個時間點，每個時間點的間隔為5min）的時間節點，縱坐標為對應每個時間點的響應時間值。從圖5中可看出，ARIMA算法預測結果的滯后性較大，且隨著時間推移，如時間點54以后，算法的擬合性驟降。BP模型的表現優于ARIMA算法，但擬合性還是LSTM模型和ARIMA-LSTM組合模型相對更優，這也從側面說明了LSTM模型在單預測模型中的突出表現。而與單模型LSTM相比，組合模型ARIMA-LSTMA的擬合性相對更好，預測精度更高。

表1給出了各模型預測結果的RMSE、MAPE和MAE值對比，從表1可看出，BP模型與ARIMA模型的預測精度相近。LSTM模型在各指標上的值均低于BP模型和ARIMA模型，且差值較大，可見LSTM模型在時序預測方面的表現優于前兩個模型。而ARIMA-LSTM組合模型在RMSE和MAE上的值明顯低于LSTM模型，在MAPE上的值也比LSTM模型略低，可見組合模型ARIMA-LSTM的預測精度高于LSTM模型。整體來看，所提組合模型ARIMA-LSTM的預測精度最高，性能最優。

圖5 不同模型的預測結果對比

表1 不同模型預測結果的比較

5 結語

本文提出一種基于ARIMA-LSTM組合模型的應用系統響應時間預測方法。該方法利用ARIMA模型提取響應時間序列數據中的線性成分，再通過LSTM模型擬合ARIMA模型殘差以捕獲序列數據中的非線性成分，最后集成得到最終預測結果。以國家電網網絡大學平臺中打開首頁的響應時間預測實例進行了實證研究，實驗結果表明，相比于經典的BP、ARIMA以及LSTM單一模型，所提組合模型ARIMA-LSTM的預測精度更高，擬合性更優，所提模型可行且有效。