數(shù)據(jù)挖掘在移動電子商務(wù)的應(yīng)用及探索

張玉忠，李云，楊豪杰，方艾

（中國電信股份有限公司廣東研究院 廣州 510630）

數(shù)據(jù)挖掘在移動電子商務(wù)的應(yīng)用及探索

張玉忠，李云，楊豪杰，方艾

（中國電信股份有限公司廣東研究院 廣州 510630）

目前，電子商務(wù)的發(fā)展面臨著業(yè)務(wù)與盈利模式同質(zhì)化、忠誠用戶少、服務(wù)個性化程度低、用戶發(fā)展渠道單一等困難，為最大程度地挖掘客戶價值、滿足用戶的服務(wù)個性化需求，電信運(yùn)營商應(yīng)充分發(fā)揮自身特點(diǎn)，建立用戶統(tǒng)一視圖，通過數(shù)據(jù)挖掘技術(shù)，實(shí)施用戶細(xì)分策略，全方位地量化用戶綜合價值，提高用戶感知，增加用戶黏性，促進(jìn)電子商務(wù)特別是移動電子商務(wù)向服務(wù)差異化的趨勢發(fā)展。

綜合價值；RFM模型；客戶生命周期理論；個性化服務(wù)；協(xié)同過濾

1 前言

目前的電子商務(wù)面臨著激烈競爭：根據(jù)艾瑞2010中國電子商務(wù)年度發(fā)展報(bào)告數(shù)據(jù)，全年交易規(guī)模達(dá)4.8萬億元人民幣，同比增長33.5%；市場參與主體的多樣化將會更加明顯，平臺化和品牌化將是未來的主流，開放與共贏將成為整個互聯(lián)網(wǎng)經(jīng)濟(jì)的主旋律。上述發(fā)展特點(diǎn)的結(jié)果必然造成未來電子商務(wù)業(yè)務(wù)與盈利模式同質(zhì)化現(xiàn)象突出，產(chǎn)品和服務(wù)既各有特色又相互交叉重疊。

另一方面，手機(jī)終端特別是智能3G手機(jī)終端的興起與普及，正逐步改變客戶對信息獲取的實(shí)時性、個性化等要求。豐富的“移動”元素的介入，使得移動電子商務(wù)的發(fā)展面臨著更多難題，同時也提供了更多的機(jī)遇。移動時代的電子商務(wù)呈現(xiàn)出如下特征。

首先，用戶屬性、消費(fèi)能力、行為偏好、話務(wù)行為特點(diǎn)、社會關(guān)系網(wǎng)絡(luò)等傳統(tǒng)的多源數(shù)據(jù)整合已相對穩(wěn)定和成熟，精確的移動位置定位信息、多樣化的終端類型、可靠的信息安全機(jī)制等移動元素的獲取逐步開放，因此可以構(gòu)成一個全方位、立體的用戶統(tǒng)一視圖，從而更全面地綜合描述用戶特征。移動終端相對于PC終端來說，其本身攜帶信息的準(zhǔn)確性、自由性、個性化更加明顯，對用戶特征的描述也更加穩(wěn)定，因此移動電子商務(wù)是一個基于互聯(lián)網(wǎng)又超越互聯(lián)網(wǎng)的綜合應(yīng)用。

其次，打造一個良性協(xié)作并持續(xù)發(fā)展的產(chǎn)業(yè)鏈及商業(yè)模式，促進(jìn)移動電子商務(wù)的可持續(xù)發(fā)展。電信運(yùn)營商、軟件提供商、手機(jī)終端商、銀行支付、物流配送等移動電子商務(wù)領(lǐng)域的產(chǎn)業(yè)鏈上下游基本形成，分工界面逐步清晰化。產(chǎn)業(yè)鏈的各參與方只有緊密合作，才能打造一個良性的生態(tài)環(huán)境。

再次，大力推廣具有移動特色的創(chuàng)新/微創(chuàng)新產(chǎn)品，用豐富的產(chǎn)品培養(yǎng)用戶的移動電子商務(wù)使用習(xí)慣。豐富的信息獲取窗口如購物、美食、股票、天氣、旅行、影視、新聞、航班、音樂、游戲、廣告等“衣食住行樂”有助于誘導(dǎo)用戶進(jìn)行電子商務(wù)。但由于受制于復(fù)雜的終端類型和屏幕尺寸限制，過多的信息反而會干擾用戶對信息的獲取，因此個性化的信息定制和信息推薦是非常必要的。

因此，在激烈的競爭格局和豐富的“移動”元素背景下，數(shù)據(jù)挖掘技術(shù)在應(yīng)用于移動電子商務(wù)時面臨著歷史數(shù)據(jù)更多、個性化用戶需求更高、信息反饋實(shí)時性更強(qiáng)等諸多特點(diǎn)。中國電信需要緊抓“移動”要素，充分發(fā)揮綜合信息服務(wù)商的優(yōu)勢，融合數(shù)據(jù)挖掘的解決方案，多渠道分類用戶特征，用服務(wù)的差異化來支撐用戶需求的個性化，培養(yǎng)用戶的使用習(xí)慣，打造優(yōu)質(zhì)的用戶體驗(yàn)，增加用戶使用的粘性，打造和發(fā)展一個具有綜合應(yīng)用能力的移動電子商務(wù)生態(tài)體系，進(jìn)一步鞏固其智能管道主導(dǎo)者地位，向個性化的用戶細(xì)分、差異化的產(chǎn)品提供、前瞻性的業(yè)務(wù)探索、開放性的共贏合作等目標(biāo)邁進(jìn)。

本文立足于電信運(yùn)營商的角度，結(jié)合過去一年在“號百客戶精確營銷”支撐項(xiàng)目的工作成果，從多源數(shù)據(jù)整合、潛在用戶挖掘、服務(wù)等級細(xì)分、服務(wù)個性化以及未來發(fā)展趨勢等幾個方面，試驗(yàn)和探索數(shù)據(jù)挖掘技術(shù)在為用戶提供個性化的3A（anytime anywhere anyservice）移動電子商務(wù)應(yīng)用過程中的價值和特點(diǎn)。

2 多源數(shù)據(jù)整合

多源數(shù)據(jù)整合是數(shù)據(jù)挖掘的基礎(chǔ)，但海量數(shù)據(jù)對ETL（extraction transformation loading）過程、分析匯總、智能挖掘等帶來巨大的性能瓶頸問題。過去只能通過單方面提高主機(jī)處理能力、修正或改進(jìn)算法等有限的方式改善這一問題，而云計(jì)算（cloud computing）的出現(xiàn)為該問題的解決提供了一種相對較好的方案。例如在“號百客戶精確營銷”支撐項(xiàng)目中，通過采用開源社區(qū)的hadoop分布式并行計(jì)算框架和cloudbase數(shù)據(jù)倉庫軟件（如圖1所示）的系統(tǒng)架構(gòu)，基于4臺廉價的PC Server即可處理每月的數(shù)據(jù)：50億條話單記錄、0.8億條CRM資料、0.2億條業(yè)務(wù)數(shù)據(jù)。試驗(yàn)證明，該分布式處理框架的處理性能是同樣配置的單機(jī)處理能力的10倍以上，而且處理能力是可以光滑水平擴(kuò)展的，在數(shù)據(jù)量增加的情況下，通過追加機(jī)器的方式即可線性增加該平臺的處理性能。

圖1 分布式計(jì)算框架

3 潛在用戶挖掘

中國電信擁有數(shù)量巨大的高度可信的用戶資源與用戶資料，同時還擁有眾多的黃頁廣告用戶資源和成熟的營銷渠道，這是中國電信的優(yōu)勢和核心之一。如何充分發(fā)揮其優(yōu)勢，針對移動電子商務(wù)產(chǎn)品的特性，如何全方位、多維度地描述和分類用戶的行為特征，并根據(jù)存量用戶的特征挖掘更多的潛在用戶，促進(jìn)用戶量的大幅度提升？在“院線通”、“電話QQ”、“健康顧問”等產(chǎn)品的初期推廣階段，通過用戶細(xì)分、協(xié)同過濾等技術(shù)手段提取潛在用戶名單,再通過電話外呼和短信推送后，業(yè)務(wù)訪問量和營銷命中率都取得了較好的效果。

（1）用戶細(xì)分

圖2 客戶全景視圖

中國電信作為綜合信息服務(wù)提供商，特別是號百業(yè)務(wù)的長期積累和發(fā)展，匯聚了大量的商家行業(yè)分類信息和客戶增值業(yè)務(wù)訂購信息。海量的歷史數(shù)據(jù)經(jīng)云計(jì)算平臺整合處理后，得到綜合的多渠道的用戶話務(wù)行為、網(wǎng)絡(luò)瀏覽記錄分析、移動位置服務(wù)信息、興趣偏好分析、消費(fèi)能力的客戶全景視圖(如圖2所示),并把這些分析結(jié)果動態(tài)地記錄在用戶行為知識庫。以“114”話務(wù)數(shù)據(jù)為例，用戶的查號需求攜帶了興趣關(guān)鍵字、商家名稱等信息，較長時間的用戶歷史數(shù)據(jù)積累，結(jié)合號百的商家信息庫數(shù)據(jù)，即可在行為知識庫里面較準(zhǔn)確地記錄下用戶的興趣偏好等信息。行為知識庫在移動電子商務(wù)發(fā)展的不同階段，可以通過不同的數(shù)據(jù)挖掘模型和算法，得到用戶的分類和聚類，實(shí)現(xiàn)精確營銷和市場宣傳，快速準(zhǔn)確地積累用戶。

用戶行為知識庫的用戶全景數(shù)據(jù)，還可以有多種分類方法：如按數(shù)據(jù)變化特點(diǎn)分為靜態(tài)、動態(tài)、衍生數(shù)據(jù)；按詳細(xì)程度可分為綜合、細(xì)分?jǐn)?shù)據(jù)（如美食家類型的用戶可以根據(jù)菜系、價位、時間段等做進(jìn)一步的深度分析）；按復(fù)雜程度可分為單維標(biāo)簽、綜合標(biāo)簽數(shù)據(jù)（如根據(jù)智能業(yè)務(wù)費(fèi)用在用戶ARPU值的占比高、高級智能終端、年齡段在25～35歲、興趣較廣泛等單維標(biāo)簽組合成“時尚達(dá)人”的綜合標(biāo)簽）等。

（2）口碑營銷

原始用戶積累到一定程度后，可以借鑒病毒營銷的模式，向其周圍傳播產(chǎn)品，輻射和發(fā)展更多的客戶，主要的技術(shù)手段有挖掘種子用戶、圈子用戶、社交網(wǎng)絡(luò)分析等。口碑營銷主要用于在避免對用戶過多干擾的前提下，以少量的人力、物力輔助市場認(rèn)知度的提升。

（3）協(xié)同過濾

協(xié)同過濾(CF)的本質(zhì)是根據(jù)其他用戶的喜好來預(yù)測目標(biāo)客戶可能的喜好，常用的相似度有基于用戶和基于項(xiàng)目兩種；相比傳統(tǒng)的基于內(nèi)容分類過濾的方式，CF在開源社區(qū)有很高的活躍度，但在用戶活躍度低的場景下需要處理稀疏矩陣等難題。

4 服務(wù)等級細(xì)分

根據(jù)數(shù)據(jù)庫營銷研究所Arthur Hughes的研究，用戶消費(fèi)屬性有3個重要維度[3]：消費(fèi)近度R、消費(fèi)頻率F、消費(fèi)金額M，這3個維度多方位地描述了用戶價值的全景視圖，是衡量用戶價值和用戶創(chuàng)利能力的重要工具和手段，是用戶多維度合成的綜合價值，為用戶服務(wù)的個性化和分級化提供了較全面的參考依據(jù)。綜合價值C的計(jì)算見式（1）：

其中，C表示RFM 3個維度的綜合價值打分，W表示RFM 3個維度的權(quán)重比例。該式的C和W計(jì)算方法根據(jù)業(yè)務(wù)特點(diǎn)的不同可以有很大的差異性。在號百的商旅業(yè)務(wù)試驗(yàn)中采用了如下方法解決上述問題。

·RFM的取值在很多建模過程中采用用戶原始值的方式，由于每種原始值的取值范圍通常差異很大，因此分箱值的范圍很難指定。使用用戶RFM價值分別與其對應(yīng)的平均值相除的方式來消除量綱，從而方便人工調(diào)整分箱值。

·權(quán)重系數(shù)W使用線性回歸計(jì)算的方式得到，而不是套用經(jīng)驗(yàn)，具體過程如下：首先根據(jù)業(yè)務(wù)需求挑選少量典型記錄，其次要求業(yè)務(wù)人員對這些記錄按照RFM業(yè)務(wù)規(guī)則分別打分，最后用線性回歸算法求出W的取值。

經(jīng)該過程處理后，較大程度地提高了商旅紅名單的準(zhǔn)確率，具體實(shí)現(xiàn)如下。

（1）消費(fèi)近度 R

R指用戶最近一次使用號百服務(wù)至當(dāng)前日期的時間間隔。不同的業(yè)務(wù)可以使用不同的周期，根據(jù)商旅業(yè)務(wù)的特點(diǎn)，可以采用月做單位，在同一個單位之內(nèi)的R具有相同的大小。

RX按照業(yè)務(wù)等級數(shù)目的不同，定義不同的等級門限閾值，不同級別的離散值計(jì)作CR，CR的取值范圍是1～NR的自然數(shù)，NR是等級數(shù)目，CR越小表示用戶最近一次業(yè)務(wù)使用時間距當(dāng)前日期越久。

（2）消費(fèi)頻率 F

根據(jù)業(yè)務(wù)特點(diǎn)，統(tǒng)計(jì)用戶使用業(yè)務(wù)的總頻次F。計(jì)算所有F的平均值F，F(xiàn)/F的結(jié)果計(jì)作FX。FX按照業(yè)務(wù)等級數(shù)目的不同，定義不同的等級門限閾值，不同級別的離散值計(jì)作CF，CF的取值范圍是 1～NF的自然數(shù)，NF是等級數(shù)目，CF越小表示用戶使用電子商務(wù)的頻度越低。

（3）消費(fèi)金額 M

根據(jù)業(yè)務(wù)特點(diǎn)，統(tǒng)計(jì)用戶使用業(yè)務(wù)的總消費(fèi)額度M。計(jì)算所有M的平均值的結(jié)果計(jì)作MX。MX按照業(yè)務(wù)等級數(shù)目的不同，定義不同的等級門限閾值，不同級別的離散值計(jì)作CM，CM的取值范圍是1～NM的自然數(shù)，NM是等級數(shù)目，CM越小表示用戶使用電子商務(wù)的消費(fèi)額度越低。

（4）權(quán)重系數(shù) W

權(quán)重系數(shù)要根據(jù)不同的業(yè)務(wù)特點(diǎn)甚至不同的業(yè)務(wù)發(fā)展階段和市場策略來調(diào)整，如何調(diào)整RFM三者的權(quán)重值需要采用科學(xué)的方法進(jìn)行分析。為使RFM的綜合價值結(jié)果與決策人員的判斷盡最大可能地一致，可以采用如下方法：提供少量典型的樣本數(shù)據(jù)CR、CF、CM給決策人員，由決策人員給每一個樣本數(shù)據(jù)打分CI；根據(jù)樣本數(shù)據(jù)CI和CR、CF、CM，采用線性回歸的方式計(jì)算權(quán)重 WR、WF、WM。

最后，根據(jù)式（1）可以計(jì)算每個用戶的可量化的綜合價值CI，用戶的綜合價值可以直接應(yīng)用于用戶的等級分類，如根據(jù)“二八定律”，可定義Top 20%的用戶為VIP用戶，為這些用戶提供更加優(yōu)異、全面的差異化服務(wù)。

5 服務(wù)個性化

服務(wù)個性化是互聯(lián)網(wǎng)業(yè)務(wù)改善客戶體驗(yàn)的重要途徑之一，它可以很大程度地提高客戶黏性。在“商旅用戶出行分析”專題中，通過用戶話單的分析，結(jié)合GIS信息模型，得到CDMA網(wǎng)移動用戶在幾個月內(nèi)的出行軌跡、(可能的)出行工具，該結(jié)果在商旅訂房訂票業(yè)務(wù)中成功應(yīng)用：坐席在下一次與用戶交互的過程中，通過彈屏的方式顯示用戶的興趣偏好、消費(fèi)能力、(可能的)差旅目的地等綜合信息，幫助坐席在最短時間內(nèi)快速定位和滿足用戶的需求，縮短交互時間。個性化主要體現(xiàn)在交叉業(yè)務(wù)營銷、精確實(shí)時推薦、客戶生命周期營銷與維系方面。

交叉營銷的一個經(jīng)典場景就是沃爾瑪?shù)?“啤酒和尿布”故事，通過不同產(chǎn)品訂購分析，在浩如煙海卻又雜亂無章的數(shù)據(jù)中挖掘出數(shù)據(jù)之間的關(guān)聯(lián)性，從而在套餐組合、產(chǎn)品推薦、用戶聚類、用戶行為預(yù)測、購物籃分析等方面提供統(tǒng)計(jì)的依據(jù)。目前的商業(yè)數(shù)據(jù)挖掘軟件可以提供比較成熟的算法，如Apriori、GRI等，這些算法的結(jié)果可以根據(jù)自定的支持度和置信度閾值，結(jié)合模型評估及調(diào)整，最終形成健壯性、可伸縮性、預(yù)測準(zhǔn)確性都符合業(yè)務(wù)要求的模型。

精確實(shí)時推薦是指通過分析用戶以往的歷史記錄，在合適的時間，以合適的工具向用戶推薦用戶感興趣和相關(guān)的信息。目前，互聯(lián)網(wǎng)存在大量的類似業(yè)務(wù)，如Google和百度的搜索廣告、音樂網(wǎng)站的歌曲推薦等，其實(shí)質(zhì)都是在大量用戶歷史數(shù)據(jù)的分析基礎(chǔ)上做改善用戶感知、預(yù)測用戶行為的應(yīng)用，第一時間把用戶可能感興趣的產(chǎn)品首推給用戶，起到“Don't Make Me Think”的效果。

客戶生命周期理論[4]是指從企業(yè)與客戶建立業(yè)務(wù)關(guān)系到完全終止關(guān)系的全過程，是客戶關(guān)系水平隨時間變化的動態(tài)發(fā)展軌跡，可分為考察期、形成期、穩(wěn)定期和退化期等4個階段。在客戶生命周期的不同階段，成本投入和利潤回報(bào)率是不同的，需要根據(jù)不同的階段特征提供相應(yīng)的個性化服務(wù)，進(jìn)行不同的戰(zhàn)略投入，獲得更多的客戶價值，特別是在退化期，要考慮如何利用流失預(yù)警的方式提前進(jìn)行用戶維系工作，最大程度地延長客戶的生命周期。

6 未來發(fā)展

在相當(dāng)長的一段時間內(nèi)，信息獲取仍然是誘導(dǎo)和培養(yǎng)用戶使用移動電子商務(wù)習(xí)慣的重要途徑。因此，內(nèi)容豐富的、個性化的信息提供渠道與移動電子商務(wù)產(chǎn)品的結(jié)合是移動電子商務(wù)產(chǎn)業(yè)鏈發(fā)展環(huán)節(jié)的粘合劑，也是催化劑。

另外，移動電子商務(wù)特別注重用戶體驗(yàn)的自由性，也就是用戶可以隨時隨地地使用所需業(yè)務(wù)。要實(shí)現(xiàn)該目標(biāo)，除了需要大量的用戶歷史行為數(shù)據(jù)、豐富的產(chǎn)品做支撐外，還需要高速、海量的數(shù)據(jù)處理能力來支撐，有效地融合物聯(lián)網(wǎng)理念和云計(jì)算技術(shù)可以有助于推動這一目標(biāo)的實(shí)現(xiàn)。例如用戶上傳所感興趣產(chǎn)品的一張圖片，后臺系統(tǒng)可以根據(jù)圖像識別技術(shù)快速反饋不同賣場的相同產(chǎn)品以實(shí)現(xiàn)價格比較等。目前，云計(jì)算技術(shù)還有待完善，產(chǎn)品多停留在概念上，離商業(yè)化還有一定的距離，特別是與數(shù)據(jù)挖掘相關(guān)的商業(yè)工具在與云計(jì)算的結(jié)合方面落后于開源社區(qū)。

1 2010年中國電子商務(wù)年度數(shù)據(jù)發(fā)布.http://ec.iresearch.cn/html/131667shtml

2 RFM模型-MBA.智庫百科.http://wiki.mbalib.com/wiki/RFM%E6%A8%A1%E5%9E%8B

3 客戶生命周期理論.http://wiki.mbalib.com/wiki/%E5%AE%A2%E6%88%B7%E7%94%9F%E5%91%BD%E5%91%A8%E6%9C%9F%E7%90%86%E8%AE%BA

4 楊震，陳曉勤.電信企業(yè)開展個性化信息服務(wù)的研究.電信科學(xué)，2009，25（10）

5 汪樹東，柯衛(wèi)，董亞楠.移動支付平臺建設(shè)實(shí)踐與探索.電信科學(xué)，2010，26（9）

Application and Exploration of Data-Mining into e-Commerce

Zhang Yuzhong,Li Yun,Yang Haojie,Fang Ai
(Guangdong Research Institute of China Telecom Co.,Ltd.,Guangzhou 510630,China)

For the present,e-commerce business is confronted with such challenges as homogeneous profit pattern,customer churn,tenuous loyalty,single channel etc,to satisfy personalized customers and maximize the profits,the telecom sponsor will benefit from providing customer with classification,levelized service by data-mining solution.

comprehensive value,RFM model,customer life cycle model,personal service,collaborative filtering

2011-04-28)