基于數(shù)據(jù)挖掘的電商日常銷(xiāo)量預(yù)測(cè)研究

馮 明

（中國(guó)社會(huì)科學(xué)院大學(xué)商學(xué)院 北京 102488）

引言

基于互聯(lián)網(wǎng)的交易平臺(tái)具有降低交易成本、提升交易效率等優(yōu)勢(shì)，為電子商務(wù)的發(fā)展提供了有利條件。近年來(lái)，隨著生產(chǎn)消費(fèi)水平的提高，日常商品交易數(shù)量急劇上升，數(shù)據(jù)挖掘相關(guān)算法在該領(lǐng)域的應(yīng)用顯得尤為重要。與此同時(shí)，在全民實(shí)現(xiàn)“彎道超車(chē)”的時(shí)代，大數(shù)據(jù)與人工智能等技術(shù)不斷記錄分析人們的消費(fèi)生活習(xí)慣，能夠?yàn)橛脩籼峁└泳_的營(yíng)銷(xiāo)服務(wù)。作為電商企業(yè)，如何利用電商平臺(tái)提供的有效數(shù)據(jù)資源，作出針對(duì)性的銷(xiāo)售調(diào)整，以期最大限度地提高利潤(rùn)，是一個(gè)非常重要的技術(shù)手段。

徐國(guó)虎、孫凌（2012）在電商發(fā)展的早期階段已開(kāi)始著手將大數(shù)據(jù)技術(shù)應(yīng)用于線上線下用戶數(shù)據(jù)挖掘。其研究基于線上線下用戶數(shù)據(jù)體量大、類(lèi)型多、速率快、價(jià)值高的特點(diǎn)，運(yùn)用大數(shù)據(jù)技術(shù)提出由數(shù)據(jù)來(lái)源層、收集層、存儲(chǔ)層、分析層到最后應(yīng)用層構(gòu)成的O2O用戶數(shù)據(jù)挖掘框架，并指出“最準(zhǔn)確的商務(wù)決策來(lái)源于數(shù)據(jù)支持，大數(shù)據(jù)應(yīng)用必將成為O2O電子商務(wù)深入發(fā)展的重中之重”。羅紅梅（2013）認(rèn)為企業(yè)營(yíng)銷(xiāo)領(lǐng)域應(yīng)該從直覺(jué)、經(jīng)驗(yàn)或情感化的決策過(guò)程走向數(shù)據(jù)挖掘和分析為主導(dǎo)的“理性”時(shí)代，網(wǎng)絡(luò)精準(zhǔn)營(yíng)銷(xiāo)的核心是數(shù)據(jù)營(yíng)銷(xiāo)。在電商促銷(xiāo)活動(dòng)方面，孫鈺（2017）指出活動(dòng)期間的銷(xiāo)量會(huì)顯著大于日常銷(xiāo)量，而活動(dòng)前后的銷(xiāo)量小于日常的銷(xiāo)量，且活動(dòng)前后期的轉(zhuǎn)換率較低。尹勝燕（2017）研究了RFM、關(guān)聯(lián)規(guī)則、聚類(lèi)分析等方法在數(shù)據(jù)發(fā)掘中的應(yīng)用，指出應(yīng)用數(shù)據(jù)挖掘技術(shù)可以在制定營(yíng)銷(xiāo)策略時(shí)統(tǒng)籌兼顧，使得商家的運(yùn)營(yíng)決策具有一定的前瞻性。基于自然語(yǔ)言處理的文本情感分析，劉玉林、菅利榮（2018）通過(guò)分析電商平臺(tái)評(píng)價(jià)系統(tǒng)中的留言判斷情感傾向，并建立情感指數(shù)，以此來(lái)評(píng)估顧客的情感傾向和商家的經(jīng)營(yíng)管理狀況。周靜曦(2019)基于某商家的歷年銷(xiāo)量數(shù)據(jù)，從模型假設(shè)、模型建立與求解等幾個(gè)方面對(duì)數(shù)據(jù)進(jìn)行ARIMA模型的建立，并根據(jù)ARIMA模型對(duì)未來(lái)幾天的銷(xiāo)售量進(jìn)行擬合和預(yù)測(cè)分析，然后用馬爾可夫模型進(jìn)行結(jié)果檢驗(yàn)，為商家的補(bǔ)單及存貨提供理論依據(jù)。葛娜、孫連英等（2019）在深入分析Prophet加法模型和長(zhǎng)短時(shí)記憶神經(jīng)網(wǎng)絡(luò)的特性的基礎(chǔ)上，依據(jù)某企業(yè)產(chǎn)品銷(xiāo)量時(shí)間序列數(shù)據(jù)的趨勢(shì)規(guī)律，構(gòu)建了一種用于預(yù)測(cè)銷(xiāo)售量的Prophet-LSTM神經(jīng)網(wǎng)絡(luò)組合模型，設(shè)計(jì)并實(shí)現(xiàn)了與組合前Prophet、LSTM單項(xiàng)模型及兩種典型時(shí)間序列預(yù)測(cè)模型的對(duì)比實(shí)驗(yàn)。

雖然相關(guān)學(xué)者已從多個(gè)角度和方法研究電商數(shù)據(jù)挖掘，但由于電商主營(yíng)產(chǎn)品的多樣性及其與銷(xiāo)售數(shù)據(jù)復(fù)雜性之間的矛盾，使其很難用一種通用的決策算法來(lái)判斷銷(xiāo)售策略的合理性。本文擬從實(shí)際銷(xiāo)售數(shù)據(jù)入手，通過(guò)對(duì)多種影響因素進(jìn)行數(shù)據(jù)降維，并利用降維后的數(shù)據(jù)進(jìn)行銷(xiāo)量預(yù)測(cè)，從而為商家選擇合理的銷(xiāo)售策略提供指導(dǎo)。

研究方法

本文數(shù)據(jù)來(lái)源于某電商企業(yè)自2020年5月1日至2020年7月16日共計(jì)76天的真實(shí)歷史銷(xiāo)售數(shù)據(jù)，每日數(shù)據(jù)中包括15項(xiàng)影響因素 (x1，...，x15分別對(duì)應(yīng)商品訪客數(shù)、商品瀏覽量、商品平均停留時(shí)長(zhǎng)、商品詳情頁(yè)跳出率、商品加購(gòu)件數(shù)、商品收藏人數(shù)、下單買(mǎi)家數(shù)、下單金額、下單轉(zhuǎn)換率、支付買(mǎi)家數(shù)、支付轉(zhuǎn)換率、下單件數(shù)、支付件數(shù)、訪客平均價(jià)值、成功退款金額)和一項(xiàng)觀測(cè)因素(支付金額 )，構(gòu)成76×16的數(shù)值矩陣表。

（一）數(shù)據(jù)歸一化

對(duì)于任意序列xi∈Rn，存在雙射f，使得x0=f(xi) 屬于標(biāo)準(zhǔn)正態(tài)分布，其中μ，σ 分別對(duì)應(yīng)序列xi的均值和方差，如（1）所示。

為了消除量綱，利用上述歸一化方法將數(shù)據(jù)放縮，作為初始的數(shù)據(jù)預(yù)處理。

（二）相關(guān)性分析

因數(shù)據(jù)記錄中影響因素較多，且有部分因素之間的相關(guān)性是比較直觀的，如下單件數(shù)與下單金額，因而我們首先做一個(gè)相關(guān)性分析，常用的反映兩變量之間變化趨勢(shì)的方向以及程度的系數(shù)包括pearson、spearman、kendall三種相關(guān)系數(shù)，其值范圍為ρ=p[-1，1]，其中0表示兩個(gè)變量不相關(guān)，正值表示正相關(guān)，負(fù)值表示負(fù)相關(guān)，值越大表示相關(guān)性越強(qiáng)。

考慮到數(shù)據(jù)間有較強(qiáng)的線性相關(guān)性，我們直接采用pearson相關(guān)系數(shù)，兩個(gè)變量x1，x2∈Rn之間的計(jì)算方式如（2）所示。

顯然，該矩陣為對(duì)稱(chēng)矩陣，且對(duì)角線元素全為1，因而我們僅顯示下三角，如圖1所示。可以看到，冗余變量較多，因而下一步采取數(shù)據(jù)降維處理，考慮到數(shù)據(jù)降維的可解釋性，因而采用因子分析法來(lái)實(shí)現(xiàn)這一目標(biāo)。

圖1 相關(guān)矩陣

（三）因子分析

在進(jìn)行因子分析之前，我們先進(jìn)行Kaiser-Meyer-Olkin(KMO)和 Bartlett’s球檢驗(yàn)。這兩個(gè)指標(biāo)是衡量樣本是否適合進(jìn)行因子分析的依據(jù)，其中KMO表示變量之間的相關(guān)性，值越接近1表示相關(guān)性越強(qiáng)，一般0.9表示非常合適，0.8表示合適，0.6則表示效果很差或直接不合適；Bartlett’s球檢驗(yàn)用于檢測(cè)相關(guān)矩陣是否為單位陣（變量間是否獨(dú)立），若概率值小于顯著水平α=0.05，則表示適合做因子分析。經(jīng)計(jì)算（見(jiàn)表1），結(jié)果顯示適合因子分析。

表1 Bartlett's球檢驗(yàn)和KMO檢驗(yàn)分析表

設(shè)有n個(gè)樣本，每個(gè)樣本有m個(gè)標(biāo)準(zhǔn)化后的待分析變量，則因子模型為：

Xm×1=Am×pFp×1+εp×1

其中，

這里的系數(shù)A是我們關(guān)心的因子荷載矩陣。顯然，如果忽略特殊因子ε的影響，公因子F在系數(shù)A的作用下可線性表示所有的待分析變量X。

設(shè)公因子F可由變量X線性表出，如（3）所示。

其中，β為線性組合對(duì)應(yīng)的加權(quán)系數(shù)，依此來(lái)計(jì)算因子得分，顯然，每個(gè)公因子的得分分別對(duì)應(yīng)影響變量對(duì)該因子的貢獻(xiàn)。因此，選取因子得分大的公因子來(lái)代表相應(yīng)影響變量的貢獻(xiàn)信息。

計(jì)算相關(guān)矩陣F的特征值λ[t]，t=1，…，n，不失一般性，設(shè)它們滿足λ[t]≥λ[2]≥…≥λ[n] 則必然存在一個(gè)整數(shù)p≤n，使得 ∑Pt=1λ[t]≥0.9∑nt=1λ[t]，且累計(jì)方差貢獻(xiàn)率大于0.75，記p為降維后的因子個(gè)數(shù)。經(jīng)計(jì)算，這里的因子個(gè)數(shù)p=3。

對(duì)因子載荷矩陣進(jìn)行旋轉(zhuǎn)計(jì)算得分，最終得到更有實(shí)際意義的公因子，如圖2所示。根據(jù)權(quán)重關(guān)系，可將公因子F1、F2、F3分別命名為直接因子、潛在因子、轉(zhuǎn)化率因子，然后我們利用這三個(gè)公因子來(lái)預(yù)測(cè)日下單金額。

圖2 正交旋轉(zhuǎn)因子載荷矩陣

（四）線性回歸模型

線性回歸的一般形式可表示為公式（4）。

m表示樣本個(gè)數(shù)，p表示公因子個(gè)數(shù)，那么觀測(cè)結(jié)果y與預(yù)測(cè)結(jié)果y′之間的誤差Rss可表示為：

令誤差最小，計(jì)算Rss的導(dǎo)數(shù)，有：

進(jìn)而θ=（XTX）-1XTy，即正規(guī)方程。計(jì)算得到θ后，直接代入原線性方程，即可得到預(yù)測(cè)結(jié)果。正規(guī)方程、嶺回歸和梯度下降所得擬合誤差百分比如圖3所示。

圖3 擬合誤差百分比

（五）樸素貝葉斯模型

因本文研究的變量均為連續(xù)型，且在經(jīng)過(guò)因子分析后可以適當(dāng)將三個(gè)公因子看做是相互獨(dú)立的變量，因而采用高斯樸素貝葉斯模型。在此之前，我們引入一些理論框架。設(shè)（Ω，F(xiàn)，P） 為概率空間，如果，則稱(chēng)Ai 為Ω 的有窮剖分。全概率公式指的是如果在有窮剖分基礎(chǔ)上，P（Ai）＞0，則對(duì)任一事件B∈F，有

相應(yīng)的，如果對(duì)任一事件B∈F，P(B)>0，則：

稱(chēng)為貝葉斯公式，實(shí)際上貝葉斯公式可以看做條件概率公式在全概率公式下的適當(dāng)變形。對(duì)于高斯樸素貝葉斯而言，我們需要將上述公式中的P表示為高斯函數(shù)即可：

依此計(jì)算三種公因子的條件概率并完成模型訓(xùn)練，然后代入預(yù)測(cè)參數(shù)即可推斷預(yù)測(cè)結(jié)果。如圖4所示。

圖4 高斯樸素貝葉斯模型預(yù)測(cè)結(jié)果

結(jié)果與討論

由于特殊活動(dòng)日期如雙11、618等數(shù)據(jù)的偶然性強(qiáng)且各因素的關(guān)聯(lián)性相對(duì)較弱，而且根據(jù)觀察，雖然雙11、618等活動(dòng)當(dāng)天銷(xiāo)售量會(huì)有爆發(fā)式增長(zhǎng)，但是縱觀全年總銷(xiāo)量構(gòu)成，非活動(dòng)期間的日常交易額還是占據(jù)絕對(duì)比重，因此分析日常交易額的相關(guān)數(shù)據(jù)更具實(shí)際意義。

從數(shù)據(jù)降維角度我們可以將大部分影響數(shù)據(jù)分成三類(lèi)，一類(lèi)直接轉(zhuǎn)化為交易額，如下單買(mǎi)家數(shù)、下單件數(shù)等；一類(lèi)雖然沒(méi)有直接轉(zhuǎn)化為交易額，但可能在將來(lái)的一段時(shí)間變現(xiàn)，如加購(gòu)件數(shù)、收藏人數(shù)等；最后一部分就和轉(zhuǎn)化率等有關(guān)，用來(lái)表示總體訪客的變現(xiàn)價(jià)值。在制定銷(xiāo)售策略時(shí)，可以從這三個(gè)角度來(lái)分別研究。

總體來(lái)講，在流量增加的情況下，轉(zhuǎn)化率因子可以衡量總體效益，但影響當(dāng)日直接交易額的是直接因子，而對(duì)于潛在因子則需要一個(gè)滯后的時(shí)間來(lái)實(shí)現(xiàn)變現(xiàn)，在做促銷(xiāo)活動(dòng)時(shí)可著重考慮這部分?jǐn)?shù)據(jù)。在預(yù)測(cè)方面，相比于樸素貝葉斯分類(lèi)模型，本文使用的多變量線性回歸模型可以更準(zhǔn)確地預(yù)測(cè)觀測(cè)變量。實(shí)際上為了選取合適的擬合方法，本文分別用正規(guī)方程、嶺回歸和梯度下降來(lái)進(jìn)行模型擬合，得到的結(jié)果如圖3。針對(duì)本次研究，梯度下降的誤差最大，可能達(dá)到35%，嶺回歸次之，介于10%-15%，正規(guī)方程表現(xiàn)最好，基本低于5%。

有相關(guān)文章的研究通過(guò)閾值將數(shù)據(jù)二值化，從而把研究目標(biāo)轉(zhuǎn)化為一個(gè)二分類(lèi)問(wèn)題，與之不同的是，本文考慮到影響變量的連續(xù)性，引入高斯樸素貝葉斯模型來(lái)處理該問(wèn)題，相較于前者的閾值分割處理，本文的影響因素具有更多的特征信息。關(guān)于最后的預(yù)測(cè)結(jié)果，鑒于貝葉斯網(wǎng)絡(luò)的分類(lèi)本質(zhì)，這里選取日交易額均值的1.5倍作為閾值，判定是否可以達(dá)成該目標(biāo)，結(jié)果為“0”或“1”的布爾值，預(yù)測(cè)結(jié)果如圖4。圖中預(yù)測(cè)結(jié)果與實(shí)測(cè)值結(jié)果完全吻合，當(dāng)然該模型在本質(zhì)上是用分類(lèi)模型來(lái)做一個(gè)擬合問(wèn)題，對(duì)于預(yù)測(cè)結(jié)果只能給出布爾值，無(wú)法給出更多信息，也存在一定局限，但并不影響研究結(jié)論。在實(shí)際銷(xiāo)售中對(duì)于商家而言，高于1.5倍于日常均值的交易額僅僅是一個(gè)范圍，具體可能是2倍甚至10倍，其中的區(qū)別有時(shí)可能影響很大，這也是后續(xù)研究需要進(jìn)一步挖掘的。

結(jié)論

本文根據(jù)電商企業(yè)每日交易的歷史數(shù)據(jù)，將日下單金額作為觀測(cè)變量，其余變量作為影響變量，分析了影響觀測(cè)變量的主要因素并構(gòu)建預(yù)測(cè)模型。首先利用因子分析將冗余的影響變量劃分為直接因子、潛在因子和轉(zhuǎn)化率因子，得到影響日下單金額的三種公因子，然后分別利用高斯樸素貝葉斯模型以及基于正規(guī)方程法做線性擬合模型，得到較為理想的結(jié)果。本文提供的預(yù)測(cè)模型可以通過(guò)適當(dāng)調(diào)整主要影響因素來(lái)觀測(cè)結(jié)果變化，計(jì)算調(diào)整成本與收益率進(jìn)而得到最優(yōu)策略，這對(duì)于電商企業(yè)分析銷(xiāo)售趨勢(shì)、調(diào)整營(yíng)銷(xiāo)策略，具有直接的指導(dǎo)意義。