基于決策樹技術的預離網客戶識別模型

李智勇,冷 夔

(中國移動通信集團四川有限公司,四川成都 610072)

0 引 言

隨著電信企業重組,市場競爭進一步加劇,客戶流失已經成為各運營商關注的重點.據2011年數據,某通信運營商4月離網率高達5%,預測全年離網率達40%,此對其市場競爭力和盈利能力產生了較大的負面影響.因此,利用系統中的客戶數據,采用數據挖掘工具對客戶離網行為進行挖掘分析,力爭以高效率、低成本進行存量客戶的保有,已成為通信運營商亟待解決的問題.本文以CRISP-DM(跨行業數據挖掘過程標準)以及決策樹分析方法為工具,從商業理解、數據理解、數據準備、建立模型、模型評估和結果部署6個階段,構建起預離網客戶識別模型.該模型經系統固化,定期識別出目標客戶明細,通過有針對性進行保有工作,取得了良好的成效.

1 預離網客戶識別商業理解

預離網客戶識別商業理解,是指從商業角度理解項目的目標和要求,然后把理解轉化為數據挖掘問題的定義和一個旨在實現目標的初步計劃[1].

1.1 確定商業目標

通常,客戶在從正常到離網的整個過程中,其狀態一般會依次經歷正常、沉默、預拆、離網等狀態.處于各狀態的客戶,其接觸的難度也依次加大,由易于接觸、可接觸、難以接觸到不可接觸.經過數據探索發現,95%的正常客戶在離網前會沉默,90%的沉默客戶會離網.為確保預離網客戶的可接觸性,保證客戶保有的實際效果,需將預離網客戶的目標狀態適當前移,即以沉默客戶為主進行實際保有工作.

1.2 形勢評估

客戶離網原因包括:因所在地點變動而產生的自然流失,因選擇了不合適的資費或者不滿通信運營商的服務而產生的主動離網,因競爭對手采取了營銷手段而產生的策反流失等,具體分析如表1所示.

表1 客戶離網原因

1.3 數據挖掘目標

數據挖掘目標為:預離網客戶查準率≥85%;查全率≥80%.

2 數據理解與準備

數據理解與準備包括:原始數據的收集,熟悉數據,標明數據質量問題,探索對數據的初步理解,發覺有趣的子集以形成對隱藏信息的假設[1].

2.1 數據準備

數據準備包括:提取客戶自然屬性、身份屬性、品牌屬性、資費屬性、消費屬性、行為屬性、業務屬性和其他屬性8大類140余個字段,作為數據建模的基礎數據.

2.2 數據清洗與變量選取

選取11萬已離網的客戶,以及110萬在網客戶,對其歷史自然屬性、身份屬性、品牌屬性、資費屬性、消費屬性、行為屬性、業務屬性和其他屬性進行比對,利用SPSS的Clementine軟件對建模字段進行數據審核和探索,清洗掉對客戶離網影響概率很小的字段,留下66個影響字段.

3 模型建立

3.1 建模技術

本文采用決策樹算法[2]建立預離網客戶識別模型,具體步驟為:首先,選擇預離網客戶最有代表性的變量——話費余額作為決策樹的根節點,對引起話費余額變動的各項因素進行判斷;其次,根據離網客戶的特征并和在網客戶特征進行對比,判斷出各項因素所反應出的客戶離網的概率;最后,建立起預離網客戶識別模型決策樹.圖1為預離網客戶識別模型決策樹,由于變量眾多,適用于預離網客戶的規則就達658個,圖1僅展示前4層節點.

圖1 預離網客戶識別模型決策樹模型

3.2 模型建立

模型建立的具體步驟如下:

(1)數據平衡.為了對比離網客戶的特征,提煉客戶離網前的行為特征、消費特征、業務特征等信息,將提取的11萬離網客戶和110萬在網客戶近3個月的屬性數據,經過清洗和平衡,使離網客戶與在網客戶在數量上達到1∶4的比例.

(2)數據分區.將經過平衡以后的數據,經過隨即抽取,其中,80%的數據作為模型訓練區,20%的數據作為驗證測試區.

(3)決策樹模型構建.將模型訓練區的數據通過SPSS的二元分類器對客戶屬性數據進行評估,利用Logistic回歸模型得出客戶離網在每個屬性字段上的概率.圖2展示了前4層結果,其中:0為離網客戶,1為在網客戶.

圖2 預離網客戶識別模型

(4)修剪分支.在決策樹中,我們發現主資費、入網渠道、投訴次數、農村客戶屬性、家庭客戶屬性和集團客戶屬性6個要素對于客戶離網影響概率極低,可將其作為無關分支進行修剪.

(5)建立預離網客戶模型.經過修剪分支后,根據決策樹節點模型所計算出的單個字段概率,對單字段進行組合計算,構建預離網客戶識別模型規則,其結果如表2所示.

表2 預離網客戶識別模型及篩選規則

(6)模型輸出.沉默客戶模型主要輸出3個字段:沉默標識、沉默概率、沉默原因.

沉默標識可以用來識別客戶是否疑似沉默客戶(0為否,1為是);沉默概率可以用來作為客戶是否疑似沉默客戶的概率(介于0到1之間),如一個客戶的目標標識為1,目標可能性為0.9的要比0.7的更可能成為沉默客戶.部分結果如表3所示.

4 模型評估

模型評估的關鍵目的是,決定是否存在一些重要的商業問題仍未得到充分地考慮.關于數據挖掘結果的使用決定應該在此階段結束時確定下來.通常,通信運營商利用模型增益和測試集查全及查準率進行模型評估工作[1].

4.1 增益評估

增益圖是不同閥值下命中率(PV+,正確預測到的正例數占預測正例總數的比例)與預測成正例的比例(Depth)的軌跡.隨著閾值的減小,更多的客戶就會被歸為正例,也就是Depth變大,這樣PV+就相應減小.一個好的模型,在閾值變大時,相應的PV+就要變大,曲線足夠陡峭.

表3 預離網客戶識別模型結果輸出

如圖3所示,在閥值設定為20%的時候,曲線足夠陡峭,表明本模型效果較好,通過實際的使用,我們發現使用模型之后效果提升了約4.2倍.

圖3 增益評估圖

4.2 查全查準評估

查全查準評估通常采用查全率與查準率來評價.

在模型建立初期,由歷史上已離網客戶與在網客戶數據按1∶4比例進行了數據平衡,并且從中隨機抽取了80%的數據作為模型訓練區,20%的數據作為驗證測試區.經過模型對訓練區數據進行識別,并與驗證測試區數據進行對比,得出預離網客戶識別模型的查全率和查準率為,

查全率=70987/(70987+17013)=80.67%,

查準率=70987/(70987+12081)=85.46%.

5 模型識別效果與結論

5.1 模型識別效果

根據2011年4月某通信運營商數據,本預離網客戶識別模型識別出106 012戶具有離網傾向的客戶,參與營銷活動的客戶有16 432戶,營銷效率為15.5%.通過跟蹤分析發現參與活動的客戶,5月份狀態正常的客戶超過90%,而未參加活動的客戶狀態正常的僅達40%左右;參加活動的客戶人均MOU值提升了29.41%,人均ARPU值提升了23.67%.僅計算成功挽留的客戶就為公司節約新客戶拓展費用約500萬元.

5.2 結 論

根據CRISP-DM(跨行業數據挖掘過程標準)方法所建立的預離網客戶識別模型經市場實踐,證明其是準確而有效的.但是該模型仍然存在以下兩個方面的問題需要完善:一是季節性缺陷.根據市場規律,每年3～4月是市場淡季,客戶離網率急劇上升,而模型根據前3個月離網客戶的數據進行分析,在市場淡季時,參數可能會出現偏差,影響模型的準確性.二是時效性缺陷.由于計費系統設計,客戶消費的出賬時間間隔為一個月,因此對于預離網識別模型中相當重要的指標如ARPU值、MOU值等每個月才能獲取一次數據,造成預離網客戶識別每個月才能提取一次客戶數據.而在實際市場環境下,客戶離網是隨時發生的,因此預離網客戶識別模型難以在第一時間就識別出預離網客戶,影響了營銷效率的提高.

[1]CRISP-DM協會.CRISP-DM 1.0數據挖掘方法論指南[EB/ OL].[2002-04-15].http://2011down.com/detail/gFiuTih.

[2]王桂芹,黃道.決策樹算法研究及應用[J].電腦應用技術,2008,20(1):1-5.

[3]張獻華,田亮,葉幸春.基于決策樹的數據挖掘技術在電信用戶流失預測的應用與研究[J].中國新通信,2007,9 (14):79-82.

[4]管東升.移動通信客戶流失行為預測技術的研究[J].電腦開發與應用,2005,21(10):57-59.

[5]王姝華,鐘云飛.數據挖掘在移動通信業大客戶離網預測中的應用[J].江蘇通信技術,2004,20(3):1-4.