探析數據挖掘技術在煙草行業中的應用

呂斐斐 王瑞軍

摘 要：隨著信息技術的高速發展，人們積累的數據量急劇增長，與此同時也出現了一門能從海量的數據中提取有用知識的技術——數據挖掘技術。文章正是探討如何將數據挖掘技術更加廣泛地應用于煙草行業管理和經營的數據分析上，以期從中發掘潛在的有價值的信息，用于指導卷煙經營，提高煙草企業綜合競爭力，實現“卷煙上水平”，更好的服務廣大煙草零售戶和消費者。

關鍵詞：煙草行業；數據挖掘；時間序列；孤立點；遺傳算法

引言

隨著市場經濟體制的不斷完善和對外開放的不斷擴大以及我國的入世，煙草行業作為一個相對封閉的國家壟斷行業，面臨前所未有的嚴峻形勢。為迎接挑戰，煙草行業信息化建設在黨的十六大提出的以信息化帶動工業化、以工業化促進信息化，走新型工業化道路的戰略指引下，按照“統一標準、統一平臺、統一數據、統一網絡”的總體要求，逐步實現了系統集成、資源整合、信息共享。煙草行業信息化發展迅猛，業務系統、物流系統、專賣系統等一系列應用系統，在支撐企業日常運營管理工作的同時，已積累了大量的、豐富的數據，如何有效地從這些數據中清理、歸納、挖掘出潛在的有價值的關系和規則，以更好的預測未來的發展趨勢，制定有效的營銷策略、指導商業行為、提供決策支持都顯得至關重要。近年來，數據挖掘作為信息領域運用最廣泛的技術之一，它可以高度自動化地分析所獲得的數據，從中發現有價值的信息，更好的輔助銷售分析和預測，幫助決策者做出正確的決策。

1 數據挖掘概述

1.1 數據挖掘的定義

所謂數據挖掘[1]（Data Mining），就是一個利用各種分析方法和分析工具從大量的、不完全的、有噪聲的、模糊的、隨機的實際應用數據中，提取隱含在其中的、人們事先不知道的，但又是潛在有用的信息和知識的過程。從商業的角度來看，就是將數據庫中積累的大量的業務數據進行提取、轉換、分析，從中發現隱含的、有意義的關鍵性數據，從而為公司決策層的決策提供依據。

1.2 數據挖掘的過程

數據挖掘的過程包含以下五個步驟[2]：

（1）確定研究對象：清晰地定義出業務問題，包括分析業務需求，定義問題的范圍，定義計算機模型所使用的度量，以及定義數據挖掘項目的特定目標，這是數據挖掘的重要一步。

（2）數據準備：現實世界的數據一般是含噪聲的、冗余的、不完整的和不一致的，這將嚴重地影響數據挖掘的質量，因此需要對數據進行一定的處理，包括數據的選擇、數據的預處理和數據的轉換。

（3）數據挖掘：對所得到的經過轉換的數據進行挖掘，除了完善所選擇的挖掘算法外，其余一切工作都能自動地完成。

（4）結果分析：解釋并評估結果，其使用的分析方法一般根據數據挖掘操作而定，通常會用到可視化技術。

（5）知識同化：將分析所得到的知識應用于決策，或集成到業務信息系統的組織結構中。

圖1 數據挖掘過程框圖

1.3 數據挖掘的主要方法

1.3.1 關聯分析。它是形如X→Y的蘊涵式，其中X和Y分別稱為關聯規則的先導和后繼。用關聯規則可以從大量數據項集中挖掘出它們之間有趣的聯系。此外，關聯規則也可用于序列模式發現。

1.3.2 分類。它能將數據庫中的數據項，映射到給定類別中的一個。分類[3]定義了一種從屬性到類別的映射關系，給定樣本的屬性值，根據已知的模式將其劃分到特定的類中。

1.3.3 聚類分析。聚類是根據一定的規則，按照相似性把樣本歸成若干類別。在對樣本合理劃分后，對不同的類進行描述。聚類通常用于將客戶細分成不同的客戶群，如有相同愛好的客戶群。

1.3.4 時間序列。按照時間的順序把隨機事件變化發展的過錯記錄下來就構成了一個時間序列。對時間序列進行觀察、研究，找尋它變化發展的規律，預測它將來的走勢就是時間序列分析。

1.3.5 孤立點分析。孤立點在數學上是指坐標滿足曲線方程，但并不落在曲線上的點。它也可以被看作是在數據集合中與大多數數據特征不一致的數據。對孤立點進行分析極有可能發現重要的隱藏信息。

1.3.6 遺傳算法。它是一類借鑒生物界的進化規律（適者生存，優勝劣汰遺傳機制）演化而來的隨機化搜索方法；是一個以適應度為目標函數，對種群個體施加遺傳操作，實現群體結構重組，經迭代而達到總體優化的過程。

目前，將數據挖掘技術應用于煙草行業的研究逐步受到重視。歐陽秀君，劉文在《數據挖掘技術在煙草CRM中的應用》一文中[4]，主要探討如何將數據挖掘中的關聯規則、聚類、分類方法應用于煙草CRM中。康江峰，陳輝[5]將基于數據挖掘的技術應用于對煙草精準營銷策略的研究。王辛盟[6]采用數據挖掘技術，利用SPSS統計軟件，以某煙草配送中心的訂單數據和客戶資料數據為數據源，用聚類的方法對客戶群進行細分。鄭陽洋、劉希玉[7]采用基于多層次關聯規則挖掘技術，對2007年山東省內某地級市卷煙商業企業的銷售數據進行分析，得到“消費者在購買品名為紅河（軟甲）的客戶中，有57%會同時購買類名為八喜的卷煙”的規則。但以上對于煙草行業的數據挖掘研究的方法主要集中在關聯規則、聚類分析和分類三種方法上，在接下來的研究中，我將探討如何將更多的數據挖掘方法應用于煙草行業的數據分析上。

2 數據挖掘技術在煙草行業中的應用

2.1 聚類分析在卷煙銷售中的應用

為了便于日常卷煙銷售及統計，通常根據卷煙的屬性對進卷煙行分類，常見的卷煙分類方法如下：一是按照價位段劃分，5元以下、5-10元、10元以上等；二是按照利潤貢獻度，分為一類煙、二類煙、三類煙、四類煙和五類煙；三是按照卷煙品牌劃分，泰山系列、黃鶴樓系列、七匹狼系列等；四是按照產地劃分，魯產煙、滬產煙、外產煙等；五是按照焦油含量劃分，低焦油卷煙和高焦油卷煙。以上就卷煙的某一單一屬性對卷煙類別進行區分，極大的方便卷煙的銷售管理工作，然而，消費者在選擇卷煙時，往往會考慮多方面的屬性，因此單一屬性的卷煙分類無法解釋消費者偏好。因此需要引入基于多屬性的卷煙分類方法，由于卷煙規格多且本身具有多重屬性，基于主觀判別分類方法難以滿足分類要求，需借助統計學的方法對卷煙進行科學分類。

聚類分析指將物理或抽象對象的集合分組成為由類似的對象組成的多個類的分析過程，同一類別的樣本表現出較高的相似性。因此，可將聚類分析用于解決上述卷煙分類問題，根據多屬性相似程度將卷煙分成幾個類別，消費者在同一類別中的香煙偏好無顯著差異，即同一類別中的香煙具有較高的替代效應。在實際銷售過程中，當某一牌號的卷煙斷貨、緊俏時，可推薦此牌號所在類別的其它牌號的卷煙給消費者作為有效替代。

2.2 時間序列用于卷煙銷售趨勢預測

卷煙銷售市場季節性特別顯著，主要表現為兩個方面：一是市場以節假日為節點，節前卷煙銷售迅猛，節后消費趨于平淡；二是夏季是旅游市場的旺盛，旅游業帶動外來人口流動增加，卷煙銷售量也隨同增加。同時，卷煙市場也受經濟、人口結構等方面因素影響，使得卷煙銷售量存在明顯的非線性特征，波動范圍比較大，傳統線性預測模型難以準確預測。為了提高卷煙銷售預測精度，建立一個基于時間序列、能夠精確預測卷煙銷售量的模型已經成為一種必然趨勢。

時間序列由四個影響成分所組成，分別是長期趨勢、循環變動、季節變動、不規則變動。這四個影響成分與卷煙銷售市場的變動規律相吻合。通過建立卷煙銷售時間序列模型，對以往銷售的歷史數據進行分析，能夠有效地預測未來卷煙銷售市場的走勢和發展規律，更好地掌握卷煙市場的供需關系。在此基礎上，做好備貨工作，設立合理庫存，實現有效的貨源供應。通過對區域市場變化趨勢的預測并結合客戶實時經營狀況，能夠對客戶的需求總量做出相適應的預測，確保做好客戶的合理定量工作，保障不同零售客戶需求。預測結果還可為制定公平合理的貨源投放政策提供依據，使得各類貨源能夠投放至有相應銷售能力的客戶手中，更好的滿足消費者的需求。

2.3 孤立點分析用于煙草專賣執法

數據挖掘中的孤立點分析方法可以通過計算數據點之間的距離，稠密度等來模擬用戶之間的屬性差異，由此找到那些屬性特征與正常點差異非常大的用戶數據點。人們普遍認為孤立點的存在極有可能是度量或執行錯誤所導致的，因其不符合數據的一般模型，所以在研究普遍現象時，人們總是試圖使孤立點的影響最小化，而盡可能排除它們。然而，孤立點可能隱藏著比一般的數據更有價值的信息。近些年來，孤立點挖掘作為一個重要的研究課題，已被廣泛用于信用卡詐騙監測、市場內部交易偵測、工業設備故障探測等領域。

在已建立的煙草分銷數據庫中儲存著大量客戶訂單信息，這些訂單信息包含多個維度，如用戶ID、商品編號、訂購數量、需求數量、同一品牌訂貨間隔等等。可利用孤立點挖掘算法對客戶訂單數據進行分析，建立客戶評估監測模型，找到以下“孤立點”：訂單金額高的，敏感牌號訂購量大的，敏感牌號訂購頻繁的，以往訂購敏感牌號頻率低但最近一段時間頻繁訂購的，按照商圈不具備高端敏感牌號銷路的卻頻繁訂購等等。這類訂單“異常”的客戶，或者稱為“孤立點”，可以被認為是存在相當大的“違規”可能性，我們的專賣執法人員應該對這一類的零售戶采取進一步的跟蹤調查。孤立點數據分析，勢必成為專賣執法的又一利器。

2.4 遺傳算法用于車輛配送線路優化

卷煙商業企業的銷售收益主要來自于訂單，銷售成本主要產生在物流配送的環節。所以，在假設銷售量不變的情況下，如何優化線路配置，降低成本，最大化公司利潤，在當前煙草行業面臨巨大的挑戰和壓力下，顯得尤為重要。因此，采用科學的、合理的方法來確定配送線路將是車輛優化調度工作的重中之重，是物流系統優化、物流科學化的關鍵。

煙草商業企業已有的線路優化系統中儲存有客戶商店位置、道路情況等信息，可以在此基礎上，利用遺傳算法對配送線路問題進行優化。將一系列實際中車輛配送的約束條件，轉換成二進制編碼（染色體）并隨機產生初始種群，通過模擬達爾文的遺傳選擇和自然淘汰的生物進化過程，并借助于自然遺傳學的遺傳算子進行組合交叉和變異，逐代演化產生出越來越好的近似解，末代種群中的最優個體經過解碼，可以作為最終問題的近似最優解，用以實現對車輛的優化調度，即合理地進行配貨優化、貨物配裝優化，特別是配送路線優化。從而達到提高里程利用率，降低行駛費用，減少車輛空駛里程，增加貨運量，節約燃料，降低大修費等，為企業帶來更大的經濟效益。另外，車輛優化調度在減少廢氣排放量，降低城市空氣污染方面也起到積極作用。

3 結束語

我國加入WTO已有十年的時間，在這十年間，許多行業逐步實現了對外開放，無論在國內市場還是國際市場上，我們都面臨著來自國際大型跨國公司的巨大競爭壓力。然而，在對數據進行分析，從中挖掘出隱藏的信息和規則，用以輔助我們的生產、決策和規劃方面，我國企業已遠遠落后于國外發達國家。可喜的是，現在越來越多的企業認識到利用數據挖掘技術分析數據的重要性——數據挖掘給企業帶來的潛在投資回報幾乎是無止境的。一個企業要想在復雜的環境中獲得成功，必須要有詳實的事實和數據作為支持，因此，隨著數據挖掘技術的不斷改進和日益成熟，它必將為更多的企業提供強有力的信息支撐。文章通過數據挖掘技術在煙草行業中的應用探析，將當下應用比較成熟的數據挖掘技術：時間序列算法、孤立點挖掘算法、遺傳算法引進到對煙草行業日常管理和經營數據的分析上，期待從大量的數據中，發現我們想要的知識，用以實現“卷煙上水平”，更好的服務煙草零售戶和消費者。

參考文獻

[1]牛承珍，馬季蘭.淺談數據挖掘應用[J].山西科技，2008（3）.

[2]蔣宗禮.人工神經網絡導論[M].高等教育出版社，2001.

[3]李紅梅，曹建河.數據挖掘技術在煙草銷售行業中應用探析[J].現代商貿工業，2011（14）.

[4]歐陽秀軍，劉文.數據挖掘技術在煙草CRM中的應用[J].井岡山學院學報（自然科學），2009（6）.

[5]康江峰，陳輝.基于數據挖掘的煙草精準營銷策略研究[J].商業經濟，2012（4）.

[6]王辛盟.數據挖掘訂單分析系統在煙草行業CRM中的研究和應用[D].山東大學，2006，4：20-27.

[7]鄭陽洋，劉希玉.基于多層次關聯規則的卷煙銷售策略[J].管理學家，2009（3）.

作者簡介：呂斐斐（1984-），女，漢族，山東省文登市，山東威海煙草有限公司，中級經濟師，碩士學位，研究方向：數據挖掘方向。