基于改進SSA-LSTM的銷量預(yù)測研究＊

樓澤霖，鄭軍紅，何利力

(浙江理工大學(xué)計算機科學(xué)與技術(shù)學(xué)院，浙江 杭州 310018)

0 引言

準(zhǔn)確地預(yù)測銷售情況，可以為市場部門提供有效地營銷數(shù)據(jù)支撐，有助于按需制定生產(chǎn)計劃、采購計劃，更好地控制庫存量，其在市場競爭中具有重要意義。

傳統(tǒng)的線性回歸方法進行預(yù)測，會忽視非線性因素的影響[1]。神經(jīng)網(wǎng)絡(luò)在復(fù)雜的數(shù)據(jù)中能夠完成特征的提煉，同時還具備優(yōu)良的自適應(yīng)學(xué)習(xí)能力，在銷量預(yù)測領(lǐng)域得到了廣泛應(yīng)用[2]。其中LSTM 長短期記憶網(wǎng)絡(luò)在許多序列數(shù)據(jù)預(yù)測任務(wù)中表現(xiàn)優(yōu)異。柯苗等人采用LSTM 模型預(yù)測電商商品銷量，相比于傳統(tǒng)的時間序列預(yù)測方法，其預(yù)測效果更準(zhǔn)確[3]。陳盼提出基于多變量的LSTM 模型，對菜品銷量進行預(yù)測，結(jié)果表明，多變量的LSTM 模型的變化趨勢和預(yù)測結(jié)果更接近于真實銷量數(shù)據(jù)，預(yù)測精度更高[4]。

但是在LSTM 模型建立和訓(xùn)練過程中，超參數(shù)的設(shè)定能顯著影響其表現(xiàn)，若設(shè)置了不恰當(dāng)?shù)某瑓?shù)則會導(dǎo)致模型難以達到預(yù)期效果。固定不變的超參數(shù)難以保證預(yù)測精度穩(wěn)定性[5]，因此，為神經(jīng)網(wǎng)絡(luò)模型選擇合適的超參數(shù)就顯得十分重要。

本文提出一種改進的麻雀搜索算法，對LSTM 神經(jīng)網(wǎng)絡(luò)模型的超參數(shù)進行優(yōu)化，以得到預(yù)測精度更高的網(wǎng)絡(luò)模型。考慮到實際場景中，產(chǎn)品的銷量趨勢會受到多種因素的影響，如所屬地區(qū)的零售戶數(shù)量、人口數(shù)量等[6]。某些宏觀經(jīng)濟因素也會在一定程度上影響市場對產(chǎn)品的需求波動，如商品零售價格指數(shù)、全社會消費品零售總額等[7-8]。本文在銷量數(shù)據(jù)的基礎(chǔ)上考慮了零售戶數(shù)量、零售戶的購進次數(shù)、社會消費品零售總額、月平均價格等數(shù)據(jù)，將其加入特征變量中，建立了包含相關(guān)預(yù)測特征條件的多變量模型。最后對銷量進行預(yù)測對比實驗，證明了該模型的有效性。

1 相關(guān)理論

1.1 LSTM網(wǎng)絡(luò)模型

長短期記憶神經(jīng)網(wǎng)絡(luò)(Long Short Term Memory Network,LSTM) 是由循環(huán)神經(jīng)網(wǎng)絡(luò)改進而來的一種網(wǎng)絡(luò)模型，解決了傳統(tǒng)循環(huán)神經(jīng)網(wǎng)RNN在長序列數(shù)據(jù)訓(xùn)練過程中容易產(chǎn)生的梯度消失和梯度爆炸問題。LSTM 網(wǎng)絡(luò)能夠?qū)W習(xí)到數(shù)據(jù)間的長期依賴關(guān)系，在處理時序問題上有比較好的預(yù)測效果。

圖1 是LSTM 單元的內(nèi)部結(jié)構(gòu)，與RNN 相比，LSTM 加入了輸入門、遺忘門及輸出門三個門和一個記憶單元。

圖1 LSTM單元結(jié)構(gòu)

遺忘門可以對歷史信息進行選擇性遺忘，表達式如下：

其中，Wf為遺忘門的權(quán)重矩陣，ht-1為上一時刻的輸出，xt為當(dāng)前的輸入信息，bf為遺忘門的偏置矩陣，σ為sigmoid 激活函數(shù)。ft的值介于0 到1 之間，0 代表完全忘記信息，1代表完全保留信息。

輸入門負(fù)責(zé)將新的信息選擇性的記錄到細(xì)胞狀態(tài)中，表達式如下：

其中，Wi為輸入門的權(quán)重矩陣，bi為輸入門的偏置矩陣。為新的細(xì)胞候選量。新狀態(tài)結(jié)合遺忘門的輸出和上一時刻的細(xì)胞狀態(tài)得到新的細(xì)胞狀態(tài)Ct。

輸出門負(fù)責(zé)控制信息的輸出，表達式如下：

其中，Wo為輸出門的權(quán)重矩陣，bo為輸出門的偏置矩陣。

1.2 麻雀搜索算法

麻雀搜索算法(sparrow search algorithm,SSA)是由薛建凱提出的一種新型群智能優(yōu)化算法[9]，麻雀搜索算法主要模擬了麻雀群體覓食和反捕食行為[10]。相比于其他群智能優(yōu)化算法，麻雀搜索算法具有收斂速度快、魯棒性強、尋優(yōu)能力強、參數(shù)少等特點。

算法將麻雀種群分為發(fā)現(xiàn)者和加入者，發(fā)現(xiàn)者負(fù)責(zé)提供覓食區(qū)域和方向，加入者追隨它們來獲得食物，發(fā)現(xiàn)者和加入者的身份是根據(jù)適應(yīng)度動態(tài)變化的。

在SSA中，發(fā)現(xiàn)者的位置更新公式如下：

T 為設(shè)置的最大迭代數(shù)，t 為當(dāng)前迭代次數(shù)；為第t代種群中的第i個麻雀的第j個屬性值，α 為[0,1]范圍內(nèi)的隨機數(shù)。R2為預(yù)警值，ST 為安全值。Q 為服從正態(tài)分布的隨機數(shù)，L是值都為1的1×d 的矩陣。

當(dāng)R2

以下為加入者的位置公式：

為t+1 代種群中位置處于最優(yōu)的麻雀個體，Xworst處于為當(dāng)前全局最差位置的麻雀個體，A為的1×d的矩陣，其內(nèi)部元素由1和-1隨機組成，A+=A?(AA?)-1。

當(dāng)意識到危險時：

為處于當(dāng)前全局最優(yōu)位置的麻雀個體。β用于控制步長，是一個服從均值為0 方差為1 的正態(tài)分布隨機數(shù)。K用于控制麻雀移動的方向，為[-1,1]范圍中的一個隨機數(shù)。fg和fw分別為當(dāng)前全局最優(yōu)適應(yīng)度和最差適應(yīng)度值，fi為第i個麻雀個體的適應(yīng)度。

2 改進的SSA-LSTM模型

2.1 麻雀算法的改進

雖然麻雀搜索算法具有尋優(yōu)能力強、魯棒性強等優(yōu)點，但是存在其他常見的群智能算法也會出現(xiàn)的問題，即在迭代過程中容易陷入局部最優(yōu)。為了解決此問題本文通過引入重心反變異策略來增強算法跳出局部最優(yōu)的能力。

反向?qū)W習(xí)是一種經(jīng)典的智能優(yōu)化算法加速技術(shù)，它通過在當(dāng)前點和它的反向點之中擇優(yōu)選擇[11]。傳統(tǒng)的反向?qū)W習(xí)通過計算反向點來探索更多的空間，獲取更優(yōu)質(zhì)解。但是該方法沒能利用到整個種群間的信息。

Rahnamayan 等人提出了一種基于重心的反向?qū)W習(xí)[12]，重心反向?qū)W習(xí)能夠結(jié)合整個麻雀種群的搜索經(jīng)驗，提高搜索效率，還能擴大問題空間的探索范圍。使算法迭代到后期可以保留個體的有用信息，防止種群的多樣性降低，從而能夠使麻雀搜索算法能夠更好地發(fā)現(xiàn)全局最優(yōu)解，避免算法出現(xiàn)早熟收斂。

重心計算公式如下：

重心反向解的計算公式：

其中，k 是[0,1]范圍內(nèi)均勻分布的隨機數(shù)，加入收縮因子可以拓展反向搜索空間的范圍，增大找到更優(yōu)解的概率[13]。

在算法迭代過程中，對更新位置后的麻雀種群進行重心反向變異。但是無法保證變異后的麻雀位置一定能夠優(yōu)于變異前的原位置，故采用貪心的思想決定是否要更新麻雀位置，只有當(dāng)變異更新后的位置更優(yōu)時才替換原位置，否則舍棄。

2.2 超參數(shù)優(yōu)化

LSTM 網(wǎng)絡(luò)雖然在時間序列數(shù)據(jù)預(yù)測上具有明顯的優(yōu)勢，但是網(wǎng)絡(luò)的超參數(shù)選擇不當(dāng)會直接影響預(yù)測模型的性能。通過人為經(jīng)驗去設(shè)置超參數(shù)很難保證選擇到最優(yōu)值，采用網(wǎng)格搜索窮舉則會花費大量的時間。

本文使用改進的麻雀算法來搜索LSTM 網(wǎng)絡(luò)模型的超參數(shù)，能夠避免超參數(shù)選取不當(dāng)帶來的誤差，提升網(wǎng)絡(luò)模型的精度。將LSTM 網(wǎng)絡(luò)模型與改進后的麻雀搜索算法相結(jié)合，構(gòu)建了改進的SSA-LSTM 模型。

改進的SSA-LSTM 模型流程如圖2 所示，主要步驟如下：

圖2 改進SSA-LSTM流程圖

步驟1 將歷史銷售數(shù)據(jù)與零售戶等數(shù)據(jù)進行整合、清理。

步驟2 基于時間序列構(gòu)建數(shù)據(jù)樣本，并劃分訓(xùn)練驗證集。

步驟3 把LSTM 的隱含層神經(jīng)元個數(shù)、網(wǎng)絡(luò)學(xué)習(xí)率、訓(xùn)練次數(shù)作為優(yōu)化對象，超參數(shù)的值即為麻雀的位置。

步驟4 將模型的預(yù)測值與實際值的均方誤差作為適應(yīng)度。

步驟5 開始迭代，利用改進的麻雀搜索算法尋找最優(yōu)超參數(shù)。

步驟6 判斷是否已經(jīng)達到最大迭代次數(shù)，如果未達到，返回步驟5；反之則輸出最優(yōu)的LSTM 模型超參數(shù)。

步驟7 通過改進麻雀搜索算法得到的最優(yōu)超參數(shù)，重新訓(xùn)練得到高精度的LSTM網(wǎng)絡(luò)模型。

步驟8 使用該LSTM 模型進行產(chǎn)品銷量預(yù)測，輸出預(yù)測結(jié)果。

3 實驗與分析

3.1 實驗數(shù)據(jù)

本文實驗數(shù)據(jù)來源于某企業(yè)的銷售數(shù)據(jù)，實驗收集了某款產(chǎn)品從2013 年1 月至2019 年12 月的月銷量記錄，其中2013 年至2018 年的銷量數(shù)據(jù)作為訓(xùn)練集，2019 年的月銷量數(shù)據(jù)作為測試集。并結(jié)合零售戶數(shù)量、零售戶的購進次數(shù)、月平均價格、社會消費品零售總額等數(shù)據(jù)構(gòu)建了本文使用的銷量預(yù)測數(shù)據(jù)集，提供給算法模型做訓(xùn)練，進行月銷量預(yù)測。為該模型引入了多個相關(guān)特征變量作為輸入，用以提高模型的預(yù)測準(zhǔn)確性。

企業(yè)所擁有的大量零售數(shù)據(jù)來源于不同的數(shù)據(jù)源，如業(yè)務(wù)系統(tǒng)、終端采集等。由于數(shù)據(jù)源之間的結(jié)構(gòu)不同，需要先將數(shù)據(jù)進行預(yù)處理和整合匯總。此外原始特征數(shù)據(jù)的量綱相差較大，在數(shù)據(jù)輸入模型前，需要對原始數(shù)據(jù)先進行歸一化處理來消除量綱對結(jié)果分析的影響。

歸一化公式如下：

其中，x為原始數(shù)值，xnew為歸一化處理后的數(shù)值，xmax、xmin分別為數(shù)據(jù)中的最大值和最小值。

3.2 評價指標(biāo)

本文選用平均絕對誤差(MAE)、均方根誤差（RMSE）和平均絕對百分比誤差（MAPE）來評價本文提出的銷量預(yù)測模型的效果[14]，并對各個模型的預(yù)測結(jié)果進行對比與分析。

MAE、RMSE、MAPE的計算公式如下：

3.3 實驗結(jié)果

將改進的SSA-LSTM 模型與SSA-LSTM、傳統(tǒng)LSTM 的預(yù)測結(jié)果進行對比。不同模型的預(yù)測結(jié)果如圖3所示。

圖3 不同模型預(yù)測結(jié)果對比

通過圖3 和表1 可以看出，改進的SSA-LSTM 的MAE、RMSE、MAPE 指標(biāo)均小于其他模型，模型精度最高。而單一的LSTM 模型預(yù)測相對較差，這是因為單一的LSTM 模型的超參數(shù)隨機設(shè)定不當(dāng)引起。當(dāng)超參數(shù)經(jīng)過算法的尋優(yōu)調(diào)整之后，得到的模型具有更高的預(yù)測精度。改進的SSA-LSTM 其預(yù)測銷量與真實銷量相差較小，預(yù)測得到的銷量曲線與實際銷量曲線比較接近，預(yù)測擬合效果優(yōu)于其他模型。說明改進的SSA-LSTM 模型預(yù)測效果更好，更適合用于銷量的精準(zhǔn)預(yù)測。

表1 預(yù)測模型誤差對比

4 結(jié)束語

本文提出一種改進的SSA-LSTM 預(yù)測模型，優(yōu)化了LSTM 的超參數(shù)搜索，解決了依靠人工調(diào)參耗時長且預(yù)測效果不佳的問題；結(jié)合海量零售戶數(shù)據(jù)，有效地利用企業(yè)積累的數(shù)據(jù)，提升了預(yù)測的準(zhǔn)確性。該模型對于商品的銷量預(yù)測具有一定的應(yīng)用價值。本文方法不僅能夠為企業(yè)在經(jīng)營決策方面提供有效依據(jù)，還可應(yīng)用于其他領(lǐng)域的預(yù)測。在未來的工作中，可以獲取更多影響銷量的相關(guān)因素，加入更加豐富的特征變量來進一步提高預(yù)測效果。