融合自注意力機制和SARIMA-LSTM算法的快消品需求預測模型＊

柴鴻斌，鄭軍紅，何利力

(浙江理工大學計算機科學與技術學院，浙江 杭州 310018)

0 引言

大數據時代，消費者需求不斷變化，企業對消費品需求的預測難度也越來越大。對企業來說，提高需求預測的精確度有極大意義[1]，因此，有必要探索新的需求預測方法，改進預測模型，使預測精度更高。

在時間序列的需求預測中，常見的方法有灰色預測，回歸分析法，指數平滑法等。但這些常見的需求預測方法不適用于現在迅速變化的市場，如王濟干在基于需求預測的庫存決策研究綜述與展望中提到，這些方法在需求波動大的情況下，無法進行有效預測[2]。近年來，機器學習在預測中的應用越來越多，如深度神經網絡、BP 網絡模型[3]等提高了傳統神經網絡預測結果的準確性。然而單一的預測模型還是無法滿足復雜的市場需求，于是出現了考慮多方面的組合預測模型。雷斌在庫存需求預測方法研究綜述中提到了灰色系統預測理論與馬爾可夫預測方法的結合，并應用于具有強隨機性的零售超市庫存需求預測[4]。陳紫薇在特殊快消品需求預測時發現，現有預測方法已無法滿足日趨多樣化的市場，因此探討分別利用季節性SARIMA模型和雙向LSTM 神經網絡的組合模型進行預測研究[5]。熊芷瑤在對于生鮮零售行業生鮮商品庫存需求中，采取的也是一種基于SARIMA-LSTM 組合預測模型[6]。由此我們可以看出，在進行需求預測的過程中SARIMA-LSTM 的組合預測模型是值得借鑒的，但依舊其預測精度不準確，與真實情況還是會有差距，在豐富多樣的快消品需求市場中無法做到準確把握。

本文提出融合自注意力機制和SARIMA-LSTM組合模型，因為SARIMA 模型可以很好地擬合序列中的線性關系，LSTM 神經網絡也可以挖掘序列中的非線性關系，所以在SARIMA 線性回歸基礎上，增加LSTM 神經網絡模型。并將影響需求的因素做數據相關性計算處理，其作為預測變量的一部分，再將自注意力機制加入到組合模型中，該模型應用在Z 企業快消品中，對其需求進行預測，驗證Z企業的預測需求和實際值，最后再與三種模型進行衡量指標比較，證明該模型是有效的。

1 融合自注意力機制和SARIMA-LSTM 算法的組合模型建立

1.1 SARIMA預測模型

SARIMA 是考慮了季節性因素的一個乘積季節模型，被記作ARIMA(p，d，q)×(P，D，Q，S)，其中，p、P為非季節和季節回歸項數，d、D 為非季節和季節差分階數，q、Q 為非季節和季節移動平均項數，S 為季節性時間跨度[7]。其公式如下：

從式⑴可以看出，序列的短期相關性由低階ARMA(p，q)模型提取；序列的季節相關性由具有周期步長S 的ARMA(P，Q)模型提取。由于短期相關性和季節性之間存在乘積關系，因此擬合模型本質上是ARMA(p，q)和ARMA(P，Q)的乘積。

SARIMA 模型在解決實際問題時頗為廣泛，其優點在于既能保證預測精度，又易于實時預測。本文的研究對象具有明顯季節性，故采用此模型進行預測。

1.2 LSTM預測模型

由于SARIMA 預測模型適用于短期預測，故面對復雜多變的環境與長期預測的準確性，我們需要應用到長短期記憶神經網絡(LSTM)預測模型來有效保證預測，LSTM 是一種特殊RNN模型，LSTM 利用多個門函數來決定需遺忘的信息、記住的信息和輸出的信息，從而使信息有選擇地傳遞。LSTM 包括三個門結構：遺忘門、輸入門和輸出門，各個門之間相互作用，提高了LSTM模型的信息分析能力[8]。如圖1所示。

圖1 LSTM結構圖

圖1 中，xt表示t 時刻的輸入數據，ht表示t 時刻輸出的隱藏狀態，t 時刻的LSTM 將接收三種輸入信息：ct-1、ht-1、xt。這些信息首先被送入遺忘門和輸入門處理，ft表示遺忘門，控制刪除哪些信息；it表示輸入門，篩選需要保留的信息。其公式如下：

經過遺忘門和輸入門處理后，t 時刻的狀態也會更新：

最后輸出門將信息整合，生成輸出信號為ot：

1.3 自注意力機制

雖然LSTM 神經網絡在處理長時間序列問題上效果很好，但是在實際過程中長時間序列特征的重要性存在差異，LSTM 神經網絡不區分長時間序列輸入，會忽略一些重要信息。Attention機制是一種信息處理方法，能夠從大量信息中快速過濾掉高價值信息。快消品需求數據會隨著各種影響因素而變化，時間序列中各時間節點的特征對預測值的影響不同，與被預測節點的隱層狀態相似的特征信息對被預測節點的影響較大而且顯著。

而作為注意力機制的一種特例，自注意力機制也被稱為內部注意力機制，自注意力機制減少了對外部信息的依賴，更擅長捕捉數據或特征的內部相關性[9]。因此，在SARIMA-LSTM預測模型中加入Self Attention機制，可以有效突出不同時間節點能量消耗特性的影響，從而提高預測效果。如圖2所示。

圖2 Attention機制結構圖

1.4 組合模型建立

本文建立的組合預測模型結合了兩種性能互補的算法，有效地克服了單一算法在預測中的局限性，提高了預測精度。由于SARIMA 模型可以很好地擬合序列中的線性關系，LSTM 神經網絡可以挖掘序列中的非線性關系。兩種模型結合，可以利用兩者的優點來預測復雜的時間序列。特定時間段內的快消品需求受季節波動的影響形成與平時不同的需求曲線，這是一個復雜的時間序列。同時，利用自注意力機制的方法可以幫助模型對輸入元素不同部分賦予不同權重，提取出更關鍵、更重要的信息，使模型做出更準確的判斷，同時不影響模型的計算以及處理存儲帶來更大的消耗。

通過計算周期性節日變量、地方經濟環境(GDP)變量、準時交貨率變量三個影響因素與需求量之間的相關性，得到相關系數，并將SARIMA 模型中的異常指標結合，帶入LSTM 神經網絡作為輸入變量，其中訓練集數據波動較大，隨著網絡深度的不斷加深，會造成網絡退化。自注意力機制的引入有效緩解了網絡模型訓練過程中梯度消失的問題，同時也解決了深度網絡訓練難度和性能下降的問題。自注意力層的實現是通過LSTM 編碼器保留輸入序列的中間輸出結果，上一層的輸入結果與當前輸出結果進行相似度比較，得到權重因子，最后得到自注意力系數。如圖3所示。

圖3 在LSTM中加入自注意力機制

其中，Xi，i∈(1，n)為輸入層；hi是每個單元的中間輸出結果，輸入到每個注意力模型中，作用于下一層的元素作為計算的相似度和權重系數，得到一個關系系數。然后對當前元素與上一層中間輸出結果進行點乘計算得到相似度，再通過softmax函數歸一化得到對應的權重系數。最后加權求和產生預測。自注意力層采用以下公式：

2 實驗分析

2.1 實驗數據

本文以Z企業2018-2021年連續48個月的快消品需求量作為研究數據。其中2018-2020年的需求量數據作為訓練樣本，2021年的需求量數據作為測試樣本。

2.2 實驗步驟

首先，根據人們對快消品的購買歷史，結合其需求具有周期性的特點分解序列，通過ADF 檢驗如表1所示。認為該時間序列是非平穩的，故需要進行平穩化操作。

表1 ADF檢驗

對數據進行去均值化處理，再通過一階差分來提取序列的季節性影響，由結果來看，統計量低于每個顯著性水平下的臨界值，認為該序列顯著平穩。滿足序列平穩的建模要求。

利用赤池信息準則(AIC)評估選擇模型參數。當AIC值最低值時，模型為ARIMA(1，1，1)×(1，1，1，12)。由此，可以利用2018-2020 年36 個月份快消品的需求量數據來預測2021年快消品的各月需求量。

其次，先通過時間序列對數據進行處理，找出其定義的異常指標，該月異常指標后的日需求數據進行歸一化處理，并對需求影響因素進行相關性計算，兩者線性組合，形成多維指標向量導入LSTM 神經網絡進行計算。

最后，將預處理后的輸入數據通過輸入層傳遞到下一層，在神經網絡中嵌入自注意力機制模塊，在構建改進的LSTM 模型時確定網絡的結構，將輸入層的大小設置為輸入系列長度。把歷史數據和最新數據一起作為訓練集數據，不斷學習新的訓練集數據，不斷調整模型參數，實時更新數據變化，尋找最新規律，提高準確率的預測。計算過程涉及殘差學習，如果殘差結果接近白噪聲序列，則累加層僅做了恒等映射。所以，訓練目標是使殘差結果接近白噪聲序列，這樣精度不會隨著網絡加深而下降。接下來進入自注意力層，將神經網絡計算出的分量再次歸一化，得到LSTM 優化模型的預測結果，最后將SARIMA 線性模型預測數據和LSTM 神經網絡模型預測數據代入權重組合計算出上一層中間輸出結果與當前輸出的相似度，得到權重因子和注意力系數，然后利用Adam 算法對兩種互補算法的訓練結果進行權重優化，并計算組合模型的預測誤差，在輸出層得到2021年該月快消品需求預測數據。

2.3 實驗結果

首先，將被歸一化的樣本數據輸入到SARIMALSTM 組合模型中。使用Adam 算法公式進行計算，不斷更新模型的權重。每迭代一次，都要計算模型的當前誤差精度，結果如圖4 所示。從圖4 可以看出，經過100 次迭代訓練，訓練誤差的精度從0.9842 降到0.1021并保持穩定，效果良好。

圖4 迭代誤差圖

其次，驗證組合模型的性能，將其與SARIMA、LSTM、SARIMA-LSTM 三種算法模型比較。使用平均絕對誤差(EMAE)、平均百分比誤差(EMAPE)和均方誤差(EMSE)作為檢驗模型的評價指標。計算公式如下：

其中，n 是測試樣本的總數量；yi代表是快消品的需求實際值表示預測快消品的需求值；EMAE、EMAPE和EMSE用于描述樣本實際值與預測值之間的差異程度，這些評價指標的度量數越小，模型的平均預測精度越高。如表2所示。

表2 預測指標對比

最后，得到不同模型的需求量預測結果比（圖5）。結合預測指標對比可以看出，結合需求影響因素的LSTM 模型未考慮季節周期性因素，SARIMA 模型沒有考慮需求影響因素，兩者的效果相差不大，但預測精度差距大，不過兩者的組合模型在評價指標上優于單一模型。加入自注意力機制后的SARIMA-LSTMSAM 模型在MAE、MAPE、MSE 評價指標上優于其他模型，這表明SARIMA-LSTM-SAM 模型的預測精度總體上效果良好。

圖5 不同模型的需求量預測結果比

3 結束語

結果表明，使用SARIMA 模型和LSTM 優化模型的互補優勢再結合自注意力機制的特性，在組合模型的預測中，大大降低組合模型平均絕對誤差(EMAE)、平均百分比誤差(EMAPE)和均方誤差(EMSE)，提高了快消品需求的預測準確性，能夠較為準確地反映出快消品的變化趨勢。綜上，本文預測模型精確且高效，可用于實際的快消品需求預測。接下來的研究，將結合快消品營銷活動數據和品牌規格的細分需求來滿足不同的預測需求。