基于粗集的數據挖掘在電子商務中的應用

[摘要] 電子商務是現代商業的主流趨勢，基于數據挖掘技術可以充分利用企業的信息數據，從海量數據中挖掘出對企業有用的信息。文中主要介紹了基于粗糙集的數據挖掘過程：數據預處理、約簡和規則提取。

[關鍵詞] 電子商務 粗集 數據挖掘 決策規則

一、引言

在當前信息化時代，世界電子商務發展速度非常快，傳統行業的電子商務也得到了廣泛的應用。在日益激烈的電子商務買方市場競爭中，任何與消費者行為有關的信息對商家來說都是非常寶貴的。雖然電子商務網站的后臺數據庫能夠記錄下來豐富的交易信息和顧客相關的數據，但是這些數據資源中所蘊涵的大量有益信息至今卻未能得到充分地挖掘和利用。粗糙集作為一種新的數據挖掘的手段，在這一領域的應用有不錯的前景。在數據挖掘的過程中，存在大量冗余數據影響我們的決策，粗糙集理論在得到的決策規則和推理過程方面是最有利的工具，它不但可以在不影響數據所表達的信息下使原來的數據量大為減少，而且可以產生決策規則，從而可以挖掘數據中的有效的模式。

二、基于粗集的數據挖掘方法

1.粗集的基本概念

粗糙集(Rough Set，簡稱RS)理論由波蘭邏輯學家Pawlak教授于1982年提出，由于它能有效處理不精確、不一致及不完整等不完備信息，并從中發現隱含的知識，揭示潛在的規律，近年來越來越多的研究人員開始對它進行研究，從理論上建立了Rough集理論的數據模型，還提出了很多算法，在機器學習、數據挖掘、人工神經網絡等方面得到了廣泛應用。粗糙集理論和數據挖掘關系密切，它為數據挖掘提供了一種新的方法和工具。

在粗集理論中，“知識”被認為是一種將現實或抽象的對象進行分類的能力。關于U的一個知識庫可以理解為一個關系系統，其中U為論域，R是U上的一簇等價關系。決策表信息系統又叫決策表，他是一類特殊而重要的知識表達系統，也是一種特殊的信息表，它表示當滿足某些條件時決策(行為、操作、控制)應當如何進行。它是一張二維表格，每一行描述一個對象，每一列描述對象的一種屬性。屬性分為條件屬性和決策屬性，論域中的對象根據條件屬性的不同，被劃分到具有不同決策屬性的決策類。

2.基于粗集的數據挖掘過程

數據挖掘研究的實施對象多為關系型數據庫，關系表可被看作為粗糙集理論中的決策表，這給粗糙集方法的應用帶來極大的方便，現實世界中的規則有確定性，也有不確定性的，從數據庫中發現不確定性的知識，為粗糙集方法提供了用武之地。數據挖掘中采用的其它技術，如神經網絡的方法，不能自動地選擇合適的屬性集，而利用粗糙集方法進行預處理，去掉多余屬性，可提高發現效率，降低錯誤率。基于粗糙集的數據挖掘過程主要有數據預處理、約簡(包括屬性約簡和屬性值約簡)及規則提取。

(1)數據預處理

在利用粗糙集進行自動規則獲取時，第一步要進行的工作是數據的預處理。 數據預處理主要包括兩個方面：數據的補齊和數據的離散化。運用粗糙集理論處理決策表時，要求決策表中各值用離散值表達。如果決策表中某些條件屬性或決策屬性的值域為連續取值（浮點數表達），則在處理前必須經過離散化。離散化在整個規則獲取過程中起著至關重要的作用，好的離散化算法不僅丟失信息很少，而且得到的規則的適應性較強。

(2)屬性約簡

基于粗糙集的數據挖掘方法的一個顯著的特點就是它具有顯式的知識表達形式。根據粗糙集理論中信息系統的定義，把屬性A分為了條件屬性C和決策屬性D，那么我們很容易根據信息表得到If C Then D的產生式規則。理論上我們針對信息系統中的每一條記錄，都可以得到這樣一條規則。但是直接由信息表得到的規則，條件項較多，規則的泛化能力弱，適用范圍窄。

一般情況下，信息系統中的條件屬性并不是同等重要的，有些條件屬性是多余的，刪除這些屬性并不影響原來的系統。屬性約簡就是在不影響原來的系統的情況下，刪除不相關或不重要的條件屬性，使原有的系統得到簡化。通過應用粗糙集理論對決策表約簡，就是約簡決策表中的條件屬性及屬性值，約簡后的決策表具有約簡前決策表相同功能，但條件屬性達到最小化從而使我們用最少的信息量即可做到一個正確的判斷，決策表的約簡很有意義。

(3)屬性值約簡

值約簡的目的是為了提取決策規則，那么這些缺失的屬性值是肯定要被約簡掉的，和屬性約簡不同，值約簡是針對每一個對象而言的。雖然對整個決策表來說沒有冗余的屬性，但對于每一個對象來說，仍然存在著屬性冗余，去掉這些屬性對今后決策規則的提取、規則的簡化有重要的作用。根據定義一般值約簡算法基本描述如下：對于規則集合中的每條規則，對于該規則中的任意條件屬性，如果去掉該屬性，該規則不和集合中的其他規則沖突，則可以從該規則中去掉該條件屬性。

(4)規則提取

對進行屬性約簡和值約簡后的信息表，就可以進行規則的獲取，使用一個約簡集RED從決策系統S=(U，A)中產生規則的過程相當直接。直觀地，將每個約簡用在決策表的每個對象上，只要簡單地從表中讀出適當的屬性值來形成決策規則。用類似邏輯語言中α→β的形式表示決策規則，α和β分別稱為決策規則的前件和后件，α代表條件屬性值的組合。

三、應用實例

1.數據收集與預處理

在數據挖掘中有一個很重要的步驟就是要為挖掘算法找到合適的數據。在客戶通過電子商務網站進行交易的過程中，企業獲取相關數據的來源主要有兩個方面:(1)服務器數據;(2)客戶登記信息。在本應用實例中，將收集某企業的客戶登記信息進行基于粗集的數據挖掘， 對某企業的部分客戶資料信息經過初步處理，得到對決策屬性有潛在因果關系的條件屬性和決策屬性的字段列表，并對其進行編號。由于運用Rough set理論處理決策表時，要求決策表中各值用離散值，經過離散處理后得到如表1所示的決策表。S =< U，R，V， f>，設論域為抽取樣本，其中R=C∪D，設U={1，2，...}，條件屬性C={年齡，性別，婚否，學歷，收入}，決策屬性D={是否購買}。在用相應的算法進行屬性約簡前，所有的數據都必須是整型數據或浮點型數據，將表1中的數據轉換為整型數據，結果如表2。

2.約簡

屬性約簡的算法有很多，在本例中采用歸納屬性約簡，約簡后的決策表如表3。在該決策表中，約掉了性別、婚否兩個屬性，說明客戶中性別、婚否不是是否購買公司產品的決定性因素，年齡、學歷和收入才是決定性因素。

經過屬性約簡后的決策表中的每一個記錄可以作為一條規則，但其中包含著大量的冗余信息，即在約簡后的信息系統，并不是每一條記錄的每一個屬性值都對信息系統最后決策規則的提取產生作用，必須對屬性約簡后的結果繼續簡化。剔除經過屬性約簡后的決策表中的冗余信息即為屬性值約簡。其實，屬性值的約簡是更進一步的約簡，是真正實現了決策表的最簡化，就實際意義而言，屬性值簡化了的決策表更突出了關鍵屬性及其關鍵屬性值對決策屬性的影響。采用啟發式屬性值約簡對表3進行屬性值約簡，得到表4。

3.決策規則提取

根據值約簡后的決策表，可得如下的規則：

規則1：IF (a4=3) THEN d=1

規則2：IF (a5=3) THEN d=1

規則3：IF (a1=3) AND (a4=4) AND (a5=4) THEN d=1

規則4：IF (a5=4) THEN d=1

規則5：IF (a1=1) AND (a4=1) THEN d=0

從規則1至規則4可以分析得到年齡在30歲～40歲之間，學歷為碩士以上且收入在4000元以上的客戶購買了公司的商品，規則5則說明了年齡在30以下，學歷為大專及以下的客戶沒有購買。由挖掘得到的規則，可以為公司在促銷和鎖定目標客戶的決策上起到重要作用。

四、結束語

電子商務是現代信息技術發展的必然結果，也是未來商業運作模式的必然選擇。利用基于粗集的數據挖掘技術，可以充分利用電子商務企業現有的信息數據，從中發現有利的規則，為企業管理提供決策支持，使企業在在電子商務的潮流中立于不敗之地。隨著數據挖掘算法的不斷發展和成熟，數據挖掘一定會有更加廣闊的應用前景。

參考文獻：

[1]Pawlak Z. Rough set. International Journal of Computer and Information Sciences，1982，11(5):341～356

[2]王國胤:Rough集理論與知識獲取[M].西安:西安交通大學出版社，2001.1～167

[3]呂曉玲吳喜之:電子商務客戶網絡購物行為挖掘[J].統計與信息論壇，2007.5:29～32

[4]胡愛華等:電子商務中數據挖掘方法的應用[J].商場現代化，2007.4