基于稀疏神經網絡的火鍋銷量影響因素分析

摘? 要：神經網絡被廣泛應用于目標檢測、優化組合等領域，但其往往容易過擬合。為解決過擬合問題，通常對神經網絡稀疏化，這類技術目前較為成熟，如dropout。文章主要考慮在Lasso罰函數情形下，通過對神經網絡連接的權重進行壓縮，實現高維非線性情形下的變量選擇，并使用蒙特卡洛模擬驗證該稀疏神經網絡的變量選擇結果具有一致性。最后將該模型應用到重慶市火鍋團購銷量分析中，得到10個對火鍋銷量最具影響的因素。

關鍵詞：神經網絡;稀疏神經網絡;變量選擇

中圖分類號：TP399? ? ? ? ? ?文獻標識碼：A文章編號：2096-4706（2022）06-0086-04

Analysis of Influencing Factors of Hot Pot Sales Based on Sparse Neural Network

GUO Ping

（School of Mathematics and Statistics， Guangxi Normal University， Guilin? 541006， China）

Abstract： Neural network is widely used in the field such as target detection， optimization and combination and so on. but it is easy to overfit. In order to solve the overfitting problem， neural networks are usually thinned and such techniques are mature， such as dropout. This paper mainly considers the variable selection in the high-dimensional nonlinear case by squeezing the weight of the neural network connection under the Lasso penalty function case. Monte Carlo simulations are also used to verify the consistency of the variable selection results for this sparse neural network. Finally， the model is applied to the sales analysis of Chongqing hot pot group purchase， and 10 factors that have the most influence on the sales of hot pot are obtained.

Keywords： neural network; sparse neural network; variable selection

0? 引? 言

神經網絡（Neural Network）作為受控的、非線性的深度學習基礎模型，因其大規模并行處理、分布式存儲等特點，被應用于模式識別、優化組合等領域。但由于它往往容易過參數化，對數據產生過擬合，神經元和權值稀疏技術得到重視。例如考慮將神經網絡稀疏化，即對神經網絡的連接的權重增加懲罰函數，如Lasso，將權重系數壓縮至0，從而實現變量選擇。

周書豪使用添加了“dropout”正則技術的深度神經網絡（Deep Neural Network）預測股票第二天漲跌情況[1]。Krizhevsky等考慮神經元稀疏技術“dropout”，訓練深度卷積神經網絡（Convolutional Neural Networks），將LSVRC-2010競賽圖像進行分類[2]。Faming Liang等提出貝葉斯神經網絡（Bayesian Neural Networks），基于腫瘤數據，成功應用于抗癌藥物敏感性相關基因的鑒定[3]。Girshick等提出R-CNN算法，該算法結合CNN應用于目標定位和對象分離，并且在標準PASCAL VOC數據集對象檢測上表現良好[4]。Jean Feng等提出稀疏輸入神經網絡（Sparse-Input Neural Networks），對輸入神經元的權值添加Group Lasso罰函數，并驗證其優于非參數高維估計方法[5]。Yan Sun等提出貝葉斯稀疏神經網絡（Bayesian Sparse Deep Neural Network）解決大規模壓縮和高維非線性變量選擇問題，并驗證該模型的一致性[6]。周徐達提出軟硬件結合，使用剪枝技術處理不規則稀疏神經網絡，以有效實現神經網絡壓縮[7]。

綜上所述，稀疏神經網絡技術的應用成為主流趨勢。隨新冠肺炎疫情好轉，中國餐飲市場規模躍遷，火鍋因其廣泛受眾基礎搜索熱度持續霸榜[8，9]。2020年，火鍋品類收入4 380億元，占整體餐飲收入的11.08%，搜索量漲幅達到11.6%;同年火鍋連鎖化率達到18.3%，較2019年，同比增長3.2%[10]。重慶市是國內目前擁有火鍋店最多的城市。據窄門餐眼收錄的數據，截止至2021年10月06日，重慶市火鍋品類占比10.96%，僅次于快餐簡餐排名第二。在品類比拼大賽道，火鍋作為“吸金王”，該如何保持“吸金”特質？本文將稀疏神經網絡模型應用到重慶市火鍋團購銷量相關分析中，探索對火鍋銷量最具影響的因素。

本文其余部分安排如下，在第二部分介紹稀疏神經網絡模型，在第三部分驗證稀疏神經網絡變量選擇的一致性，在第四部分爬取某團購平臺重慶市火鍋團購相關數據，通過對火鍋半年銷量、店鋪信息、團購基本信息及使用規則數據建立稀疏神經網絡模型，分析獲取對火鍋團購的銷量最具有影響力的因素，為商戶對于如何設計團購套餐以吸引更多顧客消費提供依據。57BA3E12-9874-42DC-8917-AA60F86E9236

1? 模型與指標解釋

神經網絡（Neural Network）往往容易過擬合，可以使用Lasso（Least absolute shrinkage and selection operater）罰函數，在反向傳播神經網絡算法不斷調整迭代權值時，對神經網絡連接的權值添加懲罰項。通過將部分不顯著參數壓縮到0，實現高維非線性情形的變量選擇，使得神經網絡模型稀疏化，從而可以很好地解決過擬合的問題。

1.1? 神經網絡模型

用表示神經網絡第m層第i個神經元的激活值，用表示第m層第i個神經元和第m-1層第j個神經元的連接的權值，用表示第m層第i個神經元的偏置。另外，記神經網絡總層數為L，并用tm表示第m層神經元個數。其他符號，如n表示樣本數，p表示協變量個數，表示第m層使用的激活函數。則第二層神經網絡的計算公式為：

（1）

其中，，，

，

同理，輸出層神經網絡的計算公式為：

（2）

1.2? 神經網絡稀疏化

記為真實值y（X;W，b）對應的擬合值，則可定義如下損失函數：

（3）

在神經網絡反向傳播不斷迭代調整權重參數時，對權值添加Lasso罰函數。Lasso在1996年被Tibshirani提出[11]，該方法的參數估計是帶約束條件的最小二乘估計，本質上將部分參數值壓縮至0，實現模型選擇。因此，求解權值的Lasso估計等價于最小化下述懲罰似然函數：

（4）

其中，λ表示調整參數，或稱Lasso學習率。沿用上述符號，并用作為選取有效變量的依據指標，它表示輸入層第j個輸入神經元與隱藏層每個神經元的連接權值的絕對值之和，即。本文提供兩個思路選取有效變量。一是對的值進行排序，根據真實模型的設置，選取值較大的t個變量作為入選變量，例如真實模型中有5個有效變量則令t=5。二是根據有效變量的權值的估計值應比其余非有效變量權值的估計值大的原則劃定閾值，若值小于此閾值將該值置為0，否則不采取任何操作，最終被保留的非零連接權值所對應的輸入神經元為入選有效變量。并使用FSR（False Selection Rate）和NSR（Negative Selection Rate）[12]作為變量選擇好壞的評價指標。

（5）

2? 數值模擬

本節利用蒙特卡洛數值模擬仿真，說明稀疏神經網絡變量選擇的一致性，并說明本文兩種選取有效變量思路的優良性。從以下神經網絡模型中生成數據：

y=tanh（0.5tanh（x1-2x2+5x3）-3tanh（-4x1+x2+2x3））+0x4+…+0x1 000+0.1ε

其中，協變量x1，x2，…，x1 000與隨機誤差ε都服從標準正態分布。數據的生成參考Yan Sun[6]，但本文僅生成5個數據集，每個數據集包含10 000個樣本。將生成的每個數據集打亂，并將每個數據集按8：1：1的比例分為訓練集、測試集、驗證集。使用1 000-3-1的初始設置對訓練集進行500次迭代訓練神經網絡。此時，選取SGD（Stochastic Gradient Descent）優化器更新權重，Lasso學習率λ=0.01，0.05，0.1，設置批量訓練的子集大小為500，并選擇tanh函數作為激活函數。由于SGD算法使用隨機初始值，為避免模擬結果的隨機性，本文對同一組數據重復運行10次，以確定最終選入的統計變量。

依據真實模型的設置，需從1 000個特征變量當中選出3個有效變量，此3個有效變量的權值的估計值應比其余非有效變量權值的估計值大。模擬結果顯示，對排序與劃定閾值兩種方法入選的有效變量一致。統計變量錯選率（FSR），真實變量未入選率（NSR），測試集均方擬合誤差（MSFE）及均方預測誤差（MSPE），如表1所示。

如表1，在同一個模型情形下，選取不同的Lasso學習率，劃定閾值與劃定t值，入選的變量個數都為3。統計變量錯選率及真實未入選率皆為0，即FSR=0，NSR=0。稀疏神經網絡可以較好擬合數據，逼近真實模型。在Lasso學習率λ=0.05時模型性能最好，對應的測試集均方擬合誤差為MSFE=0.021 9，均方預測誤差為MSPE=0.021 8。

3? 實際應用

3.1? 實例數據來源

各種團購網站自2010年后深入人民生活，成為眾多網民電子商務網絡購物的選擇。收集采用相關的團購平臺信息進行學習研究，具有可靠性、受眾普遍性。本文采用截至2021年11月8日，某團購上重慶市的火鍋團購數據，共計數據3 391條。分析火鍋團購的半年累計銷量的原始數據，數值整體波動較大，故對半年銷量取對數。以店鋪火鍋團購的半年銷量的對數為自變量，店鋪信息、團購基本信息及使用規則數據三大類數據作為因變量（共18個），詳細統計變量如表2所示。

記xs=（xs，1，xs，2，…，xs，18），由于各特征變量量綱不一致，考慮對其進行歸一化處理：

（6）

將歸一化后的數據作為稀疏神經網絡的輸入數據。同時也對對數半年銷量作上述歸一化處理。為評估模型，將3 391條火鍋團購數據打亂，再按8：1：1比例將數據分為訓練集、測試集、驗證集，這三部分分別有2 713、339、339個樣本。

3.3? 實證分析

使用18-3-1的初始設置訓練集數據訓練神經網絡模型，即三層神經網絡，隱藏層單元個數為3。參考數值模擬，同樣選取SGD優化器更新權重，并令MSE（Mean Squared Error）作為訓練模型的損失函數，激活函數仍為tanh函數，設置批量訓練的子集大小為500;不同的是，設置的Lasso學習率為λ=0.07，迭代周期為100。為避免模擬結果的隨機性，在實例分析中對各層權值隨機初始化，并對同一組訓練數據重復運行10次，最后確定入選的統計變量。基于火鍋團購數據，模擬顯示訓練集、驗證集損失函數隨著迭代次數的增加，而逐漸趨于0。稀疏神經網絡結構如圖1所示，變量選擇結果如表3所示。57BA3E12-9874-42DC-8917-AA60F86E9236

圖1中，圓形表示每層的神經元，黑線表示連接。基于火鍋團購數據，這里對輸入神經元使用Lasso正則技術，得到10個有效變量，分別是x1，x4，x5，x7，x10，x11，x13，x14，x15，x16，即火鍋套餐的團購價、團購菜品數量、團購圖片數量、是否含餐位費、人均消費、店鋪內團購項目數、是否提供免費Wi-Fi、是否有停車場、是否需要預約、周末節假日是否通用。

在表3的變量選擇結果中，基于火鍋團購數據，當Lasso學習率λ=0.07，選定閾值為10-3，重復模擬試驗結果趨于穩定。最終入選的統計變量集大小為10，此時對應的訓練集的均方擬合誤差為0.033 5，均方預測誤差為0.021 8。

基于3 391條樣本數據，對火鍋團購的對數半年銷量值從大到小排序，并選取前60%樣本分析。結果顯示，該60%樣本數據所對應的上述10個有效變量的值有顯著規律。在團購基本信息方面，72.83%的火鍋套餐的團購價在200元以下，75.36%的團購菜品數量不少于5個，80.69%的團購套餐頁面至少有2張菜品圖片，61.9%的套餐不包含餐位費;在所在店鋪信息方面，74.45%的店鋪的人均消費不超過60元，84.73%的店鋪團購項目數量不少于3個，95.5%的店鋪提供免費Wi-Fi;在使用規則方面，87%的套餐不需要預約，90.4%的套餐周末節假日通用。

4? 結? 論

在稀疏神經網絡算法被廣泛用的背景下，本文使用對神經網絡的連接權重值添加懲罰函數的神經網絡稀疏化技術，并用蒙特卡洛數值模擬驗證，在特征變量數量大但非零連接權值數量小的數據中，該技術的變量選擇結果具有一致性。最后將稀疏神經網絡模型成功的應用到火鍋團購銷量的分析中，火鍋套餐的團購價、團購菜品數量、團購圖片數量等10個因素對火鍋團購銷量最具影響，并且探尋到高銷量團購套餐這10個因素的共同規律。

參考文獻：

[1] 周書豪.神經網絡在基因型不確定數據和經濟數據上的研究 [D].桂林：廣西師范大學，2020.

[2] KRIZHEVSKY A，SUTSKEVER I，HINTON G E. ImageNet Classification with Deep Convolutional Neural NetworksBy Alex Krizhevsky [C]//Advances in neural information processing systems.2012：1097-1105.

[3] LIANG F，LI Q，ZHOU L. Bayesian Neural Networks for Selection of Drug Sensitive Genes [J].Journal of the American Statistical Association，2018，113（523）：955-972.

[4] GIRSHICK R，DONAHUE J，DARRELL T，et al. Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation [J].IEEE Computer Society，2013.

[5] FENG J，SIMON N. Sparse-Input Neural Networks for High-dimensional Nonpara-metric Regression and Classification [J].Statistics，2017.

[6] SUN Y，SONG Q F，LIANG F M. Consistent Sparse Deep Learning：Theory and Computation [J].Journal of the American Statistical Association，2021，1-42.https：//doi.org/10.48550/arXiv.2102.13229.

[7] 周徐達.稀疏神經網絡和稀疏神經網絡加速器的研究 [D].合肥：中國科學技術大學，2019.

[8] 美團，中國連鎖經營協會.2021中國餐飲加盟行業白皮書 [EB/OL].[2021-11-08].http：//www.ccfa.org.cn/portal/cn/xiangxi.jsp？id=442768&type=33.

[9] CY373.2020年中國火鍋餐飲行業分析：規模不斷增長、兩級分化嚴重 [EB/OL].[2021-11-08].https：//www.chyxx.com/industry/202108/966439.html.

[10] CY331.2021年中國火鍋產業規模及龍頭企業對比分析：海底撈VS呷哺呷哺 [EB/OL].[2021-11-08].https：//www.chyxx.com/industry/202109/975214.html.

[11] ROBERT，TIBSHIRANI. Regression Shrinkage and Selection via the Lasso [J].Journal of the Royal Statistical Society. Series B：Methodological，1996，58（1）：267-288.

[12] MAO Y，YAN S. Variable selection via penalized neural network：a drop-out-one loss approach [C]//in International Conference on Machine Learning，PMLR，2018：5620-5629.

作者簡介：郭萍（1998—），女，漢族，廣西欽州人，碩士研究生在讀，研究方向：數理統計。

收稿日期：2022-02-1057BA3E12-9874-42DC-8917-AA60F86E9236