大數據下的卷煙市場狀態評價方法

蔣麗雯，王雄峰，劉穎璇，張革伕

(1.衡陽煙草公司，湖南衡陽421001；2.深圳信息職業技術學院，廣東深圳518000；3.南華大學經濟管理與法學學院，湖南衡陽421001)

1 引言

隨著公共場所控煙條例的頒布實施，煙草行業也在進行持續的市場化改革，以推動卷煙供給的高質量發展。面向終端市場，卷煙的精準投放成為營銷工作的重中之重，也是調控市場的重要手段。2020年初，國家煙草局提出要建立“俏緊平松軟”卷煙狀態評價模型，以支持運行調控，達到“精準施策”。

2 研究現狀與述評

本文旨在研究卷煙品規市場狀態的評價問題，即就市場上的卷煙品牌與規格分類，在方式方法上專家學者開展了不少研究，取得了不少成果。下面首先介紹卷煙品規市場狀態的評價方法，其次介紹聚類分類算法新應用技術研究。

2.1 卷煙品規市場狀態研究

為精準投放，首先必須把握卷煙品規的市場狀態。顧云飛等[1]構建了一個二級指標評價體系，來研究卷煙市場供需狀態評價方法。劉志剛[2]從貨源投放的角度出發，對“五要素”指導下貨源投放的維度和要素進行分析，以期給卷煙營銷策略調控提供有益參考。劉濤等[3]通過市場狀態理論及重慶市的相關實踐，界定了卷煙品規市場狀態，構造了卷煙品規市場狀態綜合評價指數與趨勢指數的核心指標。于夢吟等[4]提出狀態評價要系統思維，在狀態評價和策略評價相分離策略下，初步闡明了系統思維下總量、價位、品規三個維度，給出了以“條均行批=差”、訂單需求滿足率為核心指標的市場狀態評價矩陣，以及品規維度“俏緊平松軟”屬性評價閾值范圍參考值。于冰等[5]人依托品牌市場匹配矩陣評價體系，以客戶需求為導向，創新設計貨源供應分析測算模型，構建“智慧投放”模式，精準匹配品牌和客戶、供給與需求。

2.2 聚類分類算法及應用研究

聚類的目的是市場細分例如卷煙的“俏緊平松軟”五類，分類的目的是將具體卷煙品規劃分到恰當的類。基于大數據，越來越多地專家學者提出機器學習模型，例如林少華等[6]研究了數據驅動的卷煙市場調控方法，形成了以多層神經網絡算法為核心的市場預測辦法，進而運用預測結果開展市場狀態調控。

聚類分析是在沒有給定劃分類別的情況下，根據數據相似度進行樣本分組的一種方法。聚類的輸入是一組未被標記的樣本，聚類根據數據自身的距離或相似度將他們劃分為若干組，劃分的原則是組內樣本最小化而組間(外部)距離最大化。鄧基剛等[7]借助RFM聚類分析方法，通過分析煙草零售戶購買卷煙行為來實現對卷煙品牌暢銷度的細分，幫助煙草公司合理分類投放香煙品牌。在IBM 的Modeler 數據挖掘工具中，兩步聚類算法是BIRCH層次聚類算法的改進版本，可以應用于混合屬性數據集的聚類。張紅梅等[8]以菖菖市卷煙零售客戶分類為例，運用兩步聚類模型進行客戶分類模擬研究，結果顯示基于兩步聚類算法的卷煙零售客戶分類具有較高的科學性和精準性。楊美潔[9]采用兩步聚類算法來分析高血壓的成因，挖掘出肺炎、腦梗、糖尿病等預測高血壓的重要因素信息，為高血壓的診斷和治療提供參考依據。

決策樹起源于概念學習系統(CLS)，與聚類不同，決策樹是一種有“導師/監督”學習算法。決策樹中，節點對應于待分類對象的屬性，由某一結點引出的弧對應于這個屬性的可能取值，葉結點對應于分類的結果。當數據量很大，屬性很多時，尋找最優決策樹被證明是NP 困難問題。ID3 算法是最經典的決策樹算法，C5.0 是ID3改進算法。胡美蘭等[10]采用C5.0 算法決策樹模型分別建立個人水平模型和臨床模型預測高脂血癥，決策樹模型對體檢人群中隱匿性高脂血癥患者具有較好的預測效果。郭正軍等[11]研究了C5.0 決策樹模型在嚴重精神障礙患者服藥依從性影響因素中的應用，預測中性能良好。

2.3 研究述評

卷煙品規的“俏緊平松軟”五類狀態提出時間不長，現有的研究相對有限。一方面，就狀態評價研究來看，一般先通過獲取訂單滿足率、投放面、訂足率、訂貨面、投放訂貨面等指標數據，然后進行模糊評價，再進行類型的劃分。實際困難是數據的獲得本身就并不準確，因煙草屬于計劃投放，難以直接觀察到需求與價格的波動關系。另外，不同檔次、市場類型、地域狀態中的商家在訂購煙品時，煙草公司投放時會忽略個性而采用“一刀切”策略，使得每一種卷煙品規的訂足率等指標意義甚微。另一方面，在大數據支持下，應用機器學習方法來幫助分類研究顯得不足，特別是讓機器學習的數據存在偏頗時，算法結果的合理性與有效性就會存在質疑。

3 大數據分析模型

本文研究模型的數據來源分兩個：各個縣區市場的中煙湖南平臺日常運營數據，第三方市場調研公司2021 年采集的市場價格數據，這些數據最后全部集成到本地SQL Server 數據庫，進行數據預處理，包括異常處理、缺失數據處理。分析模型框架如圖1所示。

圖1 數據分析模型框架

3.1 數據結構說明

平臺日常運營數據主要包括銷售終端客戶的訂購訪銷數據、客戶標簽特征數據、各訪銷周期投放控制計劃數據。

訪銷數據字段包括：客戶編碼、訪問日期、商品名稱、品牌與工業企業名、需求數量、銷售數量、同期需求數量、銷售額、同期銷售額、毛利等。

終端標簽字段包括：客戶編碼、許可證號、專賣市場類型、營銷市場類型、訂貨方式、檔位、訪銷批次、星級終端等。

第三方市場價格調查數據字段包括：品牌(規格)、工業企業名、批發價、指導價、出貨價、順價、收購價、湖南均價、衡陽均價、投放量等。每隔半個月或一個月即有一次市場價格采集，但并不會針對所有商品，而且每次主要采集的是市場需求大的，未錄得疲軟無需求的卷煙品規。

3.2 數據預處理

由于卷煙銷售的特殊性，從中煙平臺采集的訪銷數據存在兩個問題：一是某個周次沒有需求數據；二是有一定需求(訂購量)但無實際投放量。實際是因為煙草公司根據需求和庫存來投放，統計表明約3%的卷煙沒有投放，沒有需求的一定不會投放。按照市場導向為需求導向，本研究剔除所有觀察周期內需求為0 的數據，保留需求大于0 的數據，統計表明實際中只有27%的訂購需求次數得到了投放。

數據空值來自兩個途徑：一是市場數據采集的不完善，例如實際零售價格；二是來自數據處理本身。對于此價格問題，由于絕對價格可比較性差，轉換為價格變動率，價格空值可處理為變動率為0。當前有關卷煙市場狀態的研究中都提到了訂足面和滿足面兩個參數，實際上因大量卷煙往往有需求，但無投放量，市場視角下卷煙的訂足面和滿足面因小于1而導致在整體市場下一些卷煙對應項為空值，同樣轉換為0來處理。

3.3 混合分析模型

單純使用聚類分析方法，通過尋找數據之間的距離極其相似度來自動分群，難以獲得有效的市場狀態群組，因為聚類會將一些極少數據團當成離群數據拋棄。實際上，在一個投放了200個卷煙的市場，俏的煙品只有10個，占比約5%，這個值與誤差值相當，會出現許多煙品未劃分到確定的一類。另外，在“五類”劃分需求下，無導師的聚類算法會導致五類與“俏緊平松軟”無法對應。本研究，首先由行業市場專家就其中最明顯的幾個卷煙品名進行判斷，賦予對應的“俏、緊、待評”三種狀態，煙品數量約15個，形成訓練“導師”；其次，使用決策樹的C5算法模型，通過學習前面的數據，進行狀態分類預測，應用“二八”規則進行質量評估；第三，使用兩步聚類算法，將“待評”再進行聚類，劃分三類，但因數據量大，劃分不完整，出現大量空狀態實例；第四，再次應用決策樹的C5算法模型，以已經劃分的三類為導師，繼續進行機器學習，再進行分類預測；第五，在不同市場中進行煙品的銷售價值進行劃分，確定“平、松、軟”狀態。基于IBM的Mod‐eler數據挖掘工具，混合分析模型如圖2所示。

圖2 混合分析模型

4 分析模型變量與效果

4.1 分析模型變量

從現有研究來看，度量煙品市場狀態的幾個指標主要是：需求面、訂足面、訂足率，但是這幾個值并不能反映真正的市場需求，因為訂足面和訂足率都是由投放員來設計的，反映的是投放員的市場預判。本研究以市場需求為中心，構建如下13個考察指標，定義如下。

訂購頻次：觀察周期內，每個店鋪每個煙品發起訂購的次數，反應終端市場的需求頻率。對于不同的煙品，一些零售終端每個訪問周期都可能下單，有些店鋪可能4個月就1次，有些不訪問。采用“訂購”的意義在于：相比投放部門，更加真實地反映終端市場需求狀態，因許多煙品可能有訂單但無實際投放。

平均日消耗(需求)速度：整個觀察周期內，每種煙品每日的消耗速度，這是市場終端的需求總預測。以零售終端需求量為基準，而非煙草公司的投放量。

煙店平均銷量：與日消耗速度不同，以零售終端需求量為基準，每種煙品在每個終端的平均名義銷售量，非實際投放的量。實際投放量反應的是供應中心投放人員的市場認知。

投放視角需求滿足率：每個煙品，在有投放量即大于0 情況下，所有銷售量與需求量的比值，假定下次到貨前都能銷售完畢。銷售量為煙草公司銷售給零售終端的投放量，該值一般都小于需求量。在有獎勵情況下，一些特定的煙品，個別零售戶的需求滿足率可能大于1。

市場視角需求滿足率：只要零售戶有訂購需求即需求量大于0，每個煙品的總訂單銷售量與總需求量的比值。反應零售戶的預期需求滿足率，實際投放取決于煙草公司的預判和庫存量，這個值遠小于投放視角需求滿足率。

煙品平均貢獻率：即煙品銷售的平均名義價值，即以零售戶的需求量銷售后為基準，非煙草公司的實際投放量，假定能全部賣出去。

煙品自然溢價率：即市場狀態下，(收購價-出貨價)/出貨價，即反應煙草收購方的意愿，反應收購方對市場狀態的認知。

市場收購溢價：即零售戶的市場零售單位均價與第三方收購價的差值，為正表示再賣出時仍然有利潤，為負表示虧損。

煙品平均訂足率：每種煙品的銷售數量與其額度的比值，額度即煙草公司劃出的投放計劃控制線，一般這個比值小于等于1，在有獎勵情況下，會出現大于1的情況。反應投放人員的控制判斷力。

煙品平均訂足面：對于特定的煙品，觀察周期內，下單后煙品訂足率大于1的零售戶所占比例。

煙品平均需求滿足面：對于特定的煙品，在觀察期內，訂購煙品的零售戶所占比例，不是所有煙品每個訪問周期都有零售戶下單。

需求變化率：(調價后觀察周期內需求量-調價前觀察周期內需求量)/調價前觀察周期內需求量，價格為市場零售價。

價格變化率：(當期市場零售價格-上期市場零售價格)/上期市場零售價格。

上述考察變量都可由所采集的數據項進行構建所得。

4.2 模型效果分析

第一階段“三狀態預測”

在C5.0 決策樹下，調取衡東縣縣城的煙草狀態評價數據，可發現衡東縣縣城的“俏”煙分類預測與專家預判一致，并且對于原來未劃分的三種煙品“白沙(硬和氣生財)”“白沙(硬紅運當頭)”“雙喜(軟經典)”劃分到了“俏”，如圖3所示，而這三種煙也被認為屬于“俏”系列。3 月—6 月，衡東縣城投放了191 種煙，劃分到“緊”狀態的煙有27種，劃分到“待評”的煙有154種，“緊俏”煙占比約19.4%。從實際的銷售量來看，“俏緊”煙占了整個市場的83.7%，其中10 種“俏”煙達到63.2%。“俏緊”狀態基本滿足二八規則，但顯然“緊”煙數量不大，但市場銷量比重偏大。模型的準確率平均為97.8，標準誤差為0.8，效果很好。

從決策的依據來看，輸入變量有：日消費速度、平均銷量、市場視角需求滿足率、訂足率、平均滿足面、平均訂足面、需求變化率、價格變化率、市場收購溢價等，但真正起作用的變量只有5 個，作用變量的重要性值為：日消費速度，0.55；平均滿足面，0.37；平均銷量，0.03；市場收購溢價，0.03；需求變化率，0.03。市場收購溢價是新構建的，來自市場本身，該值對狀態評價也有一定的影響，從圖3 所示的評價結果來看，俏煙無一例外都有終端愿意回購。

圖3 C5預測下的俏煙狀態劃分

在上述模型下，衡陽市區城區的俏煙為9 種，需求額占整個市場的61%，緊煙18種，俏緊銷售額占整個市場的79.5%。俏緊煙總數量只有27 種，占投放品牌的15%，但銷售市場占約80%，投放有點過于集中。耒陽市整個市場俏煙9 種，緊煙27種，二者品牌數量占整個市場的19.1%，但俏緊市場銷售額占整個市場的81.4%。進一步的分析表明，衡陽市本級與市區以外的縣市“俏緊”卷煙品規數量上就相差10個。

第二階段“待評”狀態的聚類與決策樹分類

以第一階段的“待評”數據為機器學習對象，新補充“煙品自然溢價率”指標，輸入9個數據指標，目標聚類數為3，構建兩步聚類模型。模型采用最大似然距離法和貝葉斯BIC準則，增強型學習，兩步聚類法下的輪廓清晰度超過0.5，模型達到良好級別，如圖4所示。

圖4 兩步聚類效果

從聚類效果來看，起顯著作用的指標項包括：

強項：日消費速度，1.0；平均銷量，1.0；總訂購頻次，1.0。

中等項：投放視角需求滿足率，0.78；平均滿足面，0.45；平均訂足面，0.45。

弱項：需求變化率，0.02；價格變化率，0.04；自然溢價率，0.03。

上述聚類算法模型存在明顯缺陷，并沒有將所有實例劃入到相應的三個類中，原因是存在大量的離群數據項，而這些數據又是客觀的。為此，以已分三類為“導師”，繼續構建C5.0決策樹模型，對所有實例進行分類預測。從13個輸入參數，到輸入2個參數，發現只有4個參數的預測準確度最高，達到97%，標準誤差為1.7。起作用的預測變量及其重要性分別是：市場視角需求滿足率，0.36；平均滿足面，0.28；需求變化率，0.19；投放視角需求滿足率，0.18。

最終獲得的三個類為：

聚類-1，11 種煙，市場銷售占比：6.8%，觀察的4 個月內每100戶平均銷售市值為5萬，對應：平。

聚類-2，33 種煙，市場銷售占比：4.2%，觀察的4 個月內每100戶平均銷售市值為2.5萬，對應：松。

聚類-3，110 種煙，市場銷售總占比：6.3%，觀察的4個月內每100戶平均銷售市值為1.25萬，對應：軟。

4.3 卷煙市場狀態定義

根據前述模型分析，本研究給出卷煙的“俏緊平松軟”五種狀態定義：1)俏煙：有廣泛的市場，需求量大；需求幾乎不受價格的影響，一直處于增長態勢；終端具較高意愿用較高價回購后再出售。從零售終端角度來看，每個訪問周期都會下單采購俏煙，幾乎每種零售終端每個訪問周期都會預定，每個終端平均需銷售4包每天。2)緊煙：市場需求面較大，需求量較大；市場回購意愿低，降價一定會迎來需求增長，但漲價會抑制需求。每個終端平均每月約1.3 個訂單，每日每戶平均需銷售0.8 包煙。3)平煙：需求面縮窄，需求量變小；訂購頻次明顯減少，平均每2 個月下訂單1 次；每終端每月大概需要銷售1.5 條煙，每個月中有33%的時間各門店有銷售，或任何時候三分之一的門店在銷售該煙。4)松煙：市場細分明顯，受眾群體不大，需求頻率縮小。訂購頻次變小，4個月才1次訂購，終端2月才需要約0.6 條，每月約需3 包。任何時候，大約只有10%的終端需要該煙。煙品市場銷售價值平均約5 萬。5)軟煙：受眾群體非常有限，屬于極小眾市場，需求頻率很小；終端4月才需要0.4條，每月約需0.6 包。任何時候，大約只有3%的終端需要該煙，許多品牌4個月中都沒有1次被訂購。

5 結論與展望

應用大數據方法，可取得全樣本情景，樣本數達到千萬級；使用零售戶的需求值來研究市場，而不以實際銷售額(投放量)為基準，使得決策更能接近市場。本研究模型使用混合模型，首次定義了“俏緊平松軟”五種狀態，具有清晰的可辨別性特征。首先模型在大數據支持下，新增加了多個來自零售戶的訂購指標，形成了新的視角。第二，基于C5.0決策樹算法，對衡陽地區全市場內的煙品進行“俏、緊、待評”三態預測，“俏緊”市場的劃分基本滿足二八規則，預測準確度高達97.8%。第三，就余下的“待評”卷煙基于兩步聚類算法分三類，最后再基于C5.0決策樹分類預測，根據銷售平均價值來對應到“平松軟”三態。聚類的輪廓值超過了0.5，預測準確度超過85%。實例數據表明，模型具有很好的應用效果，狀態的劃分基本以市場特征為基準，劃分出的卷煙市場狀態辨識度很高，并且可細分到“縣城/城區、鄉鎮、農村”三種市場，并能發現之間的差異。從本模型獲取的卷煙狀態，可為投放部門提供精準投放的量化依據，對于提升煙草管控水平有重要價值。