一種基于雙層融合結構的客戶流失預測模型

李為康，楊小兵

(中國計量大學 信息工程學院，杭州 310018)E-mail:ignatius.lee@foxmail.com

1 引 言

時至今日，各類市場日益飽和且競爭激烈，屬于行業巨頭的市場份額越來越大，各行業企業家們以往關注的重點在于推出新穎的定制服務來吸引新客戶，并將已經擁有的客戶轉換成忠誠客戶[1].而研究表明發展一個新客戶的成本遠高于維護一個老客戶的成本[2]，所以預防老客戶的流失是各企業家們必須重視的問題.

因此，客戶流失預測技術對于企業挽留老客戶和推出各種定制服務來說是十分重要的.比如電信企業，一個流失的客戶如果不再使用運營商提供的服務，那么他就再也無法產生任何利潤，這對于擁有千萬級別數量客戶的運營商而言，如果能降低百分之一的客戶流失率，那將會帶來可觀的利潤增長[3].及時并準確識別潛在的流失客戶漸漸成為了各大行業巨頭企業家們研究的重點.

客戶流失預測技術是從管理學中的CRM(Customer Relationship Management)發展而來，是CRM中十分重要的組成部分，其流程包含了業務分析，數據分析，數據預處理，模型的構建、評估和部署.

目前，在客戶流失預測技術上的研究獲得了很多成果.Kaizhu等人[4]于2014年提出了可理解的支持向量機，該模型不僅在精度方面表現優異，而且通過構建樸素貝葉斯樹，可以精準的分析客戶流失的原因.同年，Verbeke等人[5]通過分析社交網絡來劃分客戶群體，針對不同的客戶群體使用不同的分類模型，既提高了預測表現，又分析了不同社交群體的流失原因.文獻[6]使用遺傳算法來進行模型的構建并加入了Benefit maximization準則，在提高模型預測表現的基礎上，還能為企業選擇利益最大化的方案.文獻[7]使用了Logistic回歸與決策樹的混合算法來構建預測模型，該算法在預測表現與可解釋性上都較好.文獻[8]提出了兩種基于改進的多層感知機的客戶流失預測模型，解決了獨熱編碼后數據維度過高及數據稀疏帶來的計算消耗等問題.

近些年，機器學習是人工智能及模式識別領域的共同研究熱點，由于硬件條件的提升和大數據技術的發展，機器學習在圖形識別，語音識別和分類預測等方面取得了巨大的進步，并且準確率遠高于大部分傳統模型.在客戶流失預測領域，機器學習的算法如強化學習算法的應用大幅提高了模型的準確率，但是單個算法在預測準確率上的提升還很有限.

為了提升電信客戶流失預測的精確性，本文提出利用GBDT(Gradient Boosting Decision Tree)，LightGBM(Light Gradient Boosting Machine)，XGBoost(eXtreme Gradient Boosting)，CatBoost(Categorical Boosting)，AdaBoost(Adaptive Boosting)五種基于樹的算法構建雙層融合模型運用在客戶流失預測上.

2 預備工作

2.1 數據來源

本文實驗采用的數據集來自于Kaggle數據科學競賽中公開的數據集.該數據集包含了100000個電信企業客戶數據樣本，其中流失客戶標簽數量為49562個，非流失客戶標簽數量為50436個；特征數目為100，包含有79個數值型特征和21個離散型特征.由于該數據集樣本數量較多，且流失客戶數量與非流失客戶數量基本保持一致，可以判定屬于平衡型大樣本數據集.

2.2 特征編碼

在機器學習領域中的數據樣本有兩種特征類別：連續型特征和離散型特征.然而，在客戶流失預測中，數據集中客戶數據的離散特征基本沒有連續性，這無法適應大部分機器學習算法.為了解決上述問題，通常情況下都會使用獨熱編碼來處理這些離散特征，比如特征{網絡模式：{GSM，CDMA，WCDMA}}經過獨熱編碼后變為{網絡模式：{GSM{100}，CDMA{010}，WCDMA{001}}}，顯然，經過獨熱編碼后會產生稀疏數據，如果樣本量很大，那么獨熱編碼產生的大量稀疏數據會影響模型預測的準確率.而且，如果數據集中離散特征數量過多，獨熱編碼很容易造成維度災難，直接導致了模型的時間消耗成本.獨熱編碼的另外一個弊端就是轉換離散特征中不同的值時是完全獨立的，斷裂了不同值之間的內在關系[9].

為了避免獨熱編碼帶來的弊端，本文決定選用標簽編碼來對數據集進行特征編碼.標簽編碼處理離散數據時會將特征如{網絡模式：{GSM，CDMA，WCDMA}}轉換為{網絡模式：{GSM{1}，CDMA{2}，WCDMA{3}}}.但是標簽編碼也會帶來新的問題，如一些基于距離的模型，在計算時會出現“GSM”加上“WCDMA”的平均值是“CDMA”這樣的情況，這顯然是不正確的.

2.3 算法選擇

由于特征編碼方式選擇了標簽編碼方式，且客戶流失預測幾乎都是二分類問題，所以本文選擇基于樹的機器學習算法來搭建模型.基于樹的算法在處理變量時，并不是基于向量空間度量，數值只是一種類別符號，即沒有偏序關系，很好地解決了上文中提到的標簽編碼帶來的問題，所以非常適合標簽編碼后的數據處理.而如果用獨熱編碼處理數據本質上只是增加樹的深度.

本文實驗選取了在Kaggle二分類預測競賽中運用較多、效果較好的幾種基于樹的算法，在沒有對算法進行調參的情況下，直接在完整的數據集上進行訓練預測，最終將會選擇準確率較高的算法進行模型的搭建.選擇的算法在實驗采用的數據集上準確率對比如表1所示.

表1 準確率對比表

2.4 算法介紹

經過對比實驗，本文最終選擇GBDT，LightGBM，XGBoost，CatBoost和AdaBoost這五種算法搭建模型.

AdaBoost的核心思想是針對同一個訓練集訓練不同的分類器，即弱分類器，然后把這些弱分類器集合起來，構造一個更強的最終分類器.一般來說，使用最廣泛的AdaBoost弱學習器是決策樹[10].AdaBoost的主要優點有：作為簡單的二元分類器時，構造簡單，結果可理解，不容易發生過擬合[11].

GBDT算法利用到了梯度下降法的思想，且無論用于分類還是回歸，基函數一直都使用的是CART回歸樹[12].GBDT二分類算法的關鍵是利用當前模型的損失函數負梯度的值作為分類問題算法中的殘差的近似值，擬合一個分類模型.GBDT的優點是在相對較少的調參步驟下，預測的準確率也可以比較高.而且GBDT使用了一些健壯的損失函數，對異常值的魯棒性非常強.

XGBoost是陳天奇博士在2014年提出的一個優化的分布式梯度增強庫[13]，它在Gradient Boosting框架下實現機器學習算法.XGBoost本質上是多個CART回歸樹的集成，和GBDT有些類似，但是與之相比有很多創新和提高.比如提出了一種新穎的用于處理稀疏數據的基于樹的學習算法，是第一種處理各種稀疏模式的統一方法；在代價函數中加入了正則化項，用于控制模型的復雜度，防止過擬合，等.XGBoost已經在大量的機器學習和數據挖掘競賽中被廣泛地認可[14].

2017年1月微軟在業內知名的開源軟件項目托管平臺GitHub上開源了LightGBM，它是一種高性能的基于決策樹算法的梯度提升框架.相比XGBoost，同樣的實驗條件，LightGBM在不降低準確率的前提下，預測所消耗的時間減少了十倍左右，占用系統內存卻下降了三倍左右[15].它采用最優Leaf-wise算法分裂葉子節點，而不是Level-wise算法.當擁有相同數量的葉子節點時，Leaf-wise算法比Level-wise算法損失得更少，因此LightGBM擁有更高的精準率.而其他的任何已存在的梯度提升算法都不能夠達到這樣的精準率.而且LightGBM用到的直方圖做差帶來了一定的正則化的效果[16]，能夠使擬合出來的模型避免過擬合且具有更好的推廣性.

在微軟開源LightGBM三個月后，俄羅斯頂尖技術公司Yandex也在GitHub上開源了CatBoost算法.CatBoost的核心是對稱完全二叉樹思想，即每一次只劃分出兩條路徑，劃分路徑的順序是隨機的.特征維數在劃分后不會減小，不過用來劃分的特征會與一個其他類別特征通過貪婪算法[17]的方式相結合形成新特征.然后，在樣本的逐個添加的過程中，算法可以自動檢測并剔除干擾樣本，隨著樣本數量的累積，預測結果會變得更為準確.根據官方網站(1)https://catboost.ai/數據顯示，同樣的實驗條件下，CatBoost性能要優于XGBoost和LightGBM，文獻[18,19]中也證明了相比較于經典算法CatBoost的表現十分優異.而文獻[20]將CatBoost、XGBoost和LightGBM融合構建出來的模型運用在地質探測研究上性能也很優異.

3 模型搭建

本文提出的分類預測模型由雙層結構組成，分為Stacking層和Voting層，每層單獨搭建好后再進行融合，構成最終的客戶流失預測模型.

3.1 Stacking層

Stacking是一種運用堆疊思想的集成學習算法，目前在分類問題上運用的也比較廣泛[21].其核心思想是通過組合多個基礎分類器構建初級分類模型，再基于訓練集訓練初級分類模型；然后，初級分類模型輸出的訓練集預測結果和測試集預測結果用來訓練次級分類模型.圖1所示是Stacking初級分類模型中單個基礎分類器3折驗證模型工作的過程示意圖.

圖1 單個基礎分類器3折驗證模型工作過程示意圖

首先將數據集劃分為訓練集和測試集(假設訓練集為999條數據，測試集為210條數據)，然后一級分類模型中的單個基礎分類器1進行3折交叉驗證，使用訓練集中的666條作為喂養集，剩余333條作為驗證集.每次驗證使用666條數據訓練出一個模型，再用訓練出的模型對驗證集進行驗證得到333條數據，同時對測試集進行預測，得到210條數據.這樣經過3次交叉檢驗，可以得到新特征也就是3×333條預測結果和3×210條測試數據集的預測結果.

接下來會將3×333條預測結果拼接成999行1列的矩陣，標記為訓練數據集A1.而對于3×210行的測試數據集的預測結果進行加權平均，得到一個210行1列的矩陣，測試數據集B1.這是單個基礎分類器在數據集上的預測結果，如果再集成兩個基礎分類器，比如基礎分類器2、基礎分類器3，那么最后會得到A1、A2、A3、B1、B2、B3一共六個矩陣.

最后將A1、A2、A3并列在一起成999行3列的矩陣作為訓練數據集，B1、B2、B3合并在一起成210行3列的矩陣作為測試數據集，讓次級分類模型基于這樣的數據集再訓練.

為了避免基礎分類器之間相關性過高，實驗初期搭建了基礎分類器分別是XGBoost，LightGBM，CatBoost的初級分類模型和基礎分類器為AdaBoost，GBDT的次級分類模型來組成Stacking層.Stacking層的實驗結果在訓練集和測試集上的準確率分別為99.35%和62.96%，ROC(Receiver Operating Characteristic)曲線[22]如圖2所示.

圖2 Stacking層訓練集和測試集ROC曲線

根據圖2可以看出，Stacking層搭建好后在訓練集上準確率比較高，在測試集上的準確率相比文章選取的5種算法也有提升，但是準確率提升不到1%，不夠理想.

3.2 Voting層

由于Stacking層的效果不夠理想，所以本文又在實驗中加入加權投票算法[23]的思想，融合了雙層結構組成了最終的客戶流失預測模型，加權投票算法示意如圖3.加權投票算法的思想是每個基礎分類器都對樣本做出自己的判斷，并對它判斷的類進行投票.如圖3所示，假設基礎分類器有5個，那么他們對數據進行訓練并預測的結果最后會進行加權平均.而且基礎分類器在投票時的權重可以隨分類器的準確率而設定，準確率較高的基礎分類器可以具有較大的權重值.最終根據計算后概率最高的類確定樣本的判定結果.因此，與單獨的基礎分類器相比，加權投票算法的使用可以提高最終結果的準確率.

圖3 加權投票算法流程示意圖

Voting層搭建好后，對比實驗了文章選取的5個基礎分類器不同權重下的準確率，最終確定基礎分類器權重設置為{{AdaBoost:1}，{GBDT:1}，{XGBoost:1}，{LightGBM:2}，{CatBoost:2}}，在訓練集和驗證集準確率分別為91.12%和63.67%，ROC曲線如圖4所示.

圖4 Voting層訓練集和測試集ROC曲線

根據圖4可以看出，相較于Stacking層，Voting層雖然在訓練集上的準確率下降了，但在測試集上的準確率卻有提升.

3.3 雙層模型融合

在進行模型融合實驗時，發現如果按照第一層使用Voting層，第二層使用Stacking層的結構搭建模型，那么預測結果和單獨使用Stacking層的預測結果幾乎一致.而如果是第一層使用Stacking層，第二層使用Voting層的結構搭建模型，那么準確率有明顯提升.且實驗中將Stacking層訓練好后作為一個基礎分類器賦予高權重加入到Voting層會使模型的準確率再次到提升.雙層模型融合好之后搭建的完整客戶流失預測模型的流程圖如圖5所示.

圖5 客戶流失預測模型流程圖

原始數據集被讀取后進行標簽編碼，隨后按照7∶3的比例劃分訓練集和測試集.將劃分好的數據集輸送到Stacking層進行訓練預測，經過5折交叉驗證將結果與劃分后的數據集合并再送入Voting層進行訓練預測，同時將Stacking層賦予高權重作為一個基礎分類器加入到Voting層參與預測.

3.4 算法時間復雜度分析

文章采用了多個分類器的融合模型，融合之后算法時間復雜度應有較大的提升.假設樣本數量是N，特征數量是D，樹的深度是M，弱分類器數量是T，直方圖寬度是K，隨機排序次數是S，那么各算法時間復雜度如表2所示.

表2 算法時間復雜度

根據表2可以估算出在相同條件下，時間復雜度優越性理論上從高到低分別為CatBoost、LightGBM、XGBoost、GBDT、Adaboost.根據雙層模型的結構特性，融合之后整個模型的間復雜度為應為2*(O(M*S*N)+2*(O(T*M*N))).但實際各部分的時間消耗如表3所示.

根據表3可以看出LightGBM比XGBoost花費的時間還要多，且融合之后的雙層模型比單層相加的時間要少，不符合上文分析的結果.

表3 實驗中的消耗時間

觀察分析后發現，為了獲得高準確率，調參之后模型消耗時間相比不調參有較大改變，且每次運行程序時也會有略微不同.再由于進入Stacking層和Voting層之前各分類器就已經訓練好，相比單層分別訓練再進入要節省不少時間，故會出現表3中的結果.而本文是針對客戶流失預測精準性的提升，融合之后的模型相比單個分類模型的時間消耗提升在本文實驗條件下處于接受范圍之內.

4 實驗結果及分析

4.1 實驗環境

本文實驗在Windows10操作系統環境下，工程軟件為Pycharm.使用深度學習框架TensorFlow構建雙層模型，并利用機器學習庫Sklearn構建對比實驗.硬件條件為4核4線程2.5GHzCPU(酷睿i5 7300)，6Gb顯存的顯卡(GeForce 1050TI)，電腦內存是雙通道16G內存.

4.2 評判指標及模型參數

目前，分類預測模型的評價指標一般使用準確率(accuracy)，精準率(precision)，召回率(recall)和F1值(F1)這三個指標.不過，如果流失預測模型預測判定某一客戶會流失，但實際上沒有，這種錯誤在客戶流失預測中是完全可以接受的.但如果流失預測模型預測判定某一客戶不會流失，而實際上該客戶卻屬于流失客戶，那這種錯誤是不可接受的.因此，對于均衡型數據集，以上三個指標中最重要的是精準率和召回率.公式如下：

其中，TP為正確劃分為流失客戶的樣本數；TN為正確劃分為非流失客戶的樣本數；FP為錯誤劃分為流失客戶的樣本數；FN為錯誤劃分為非流失客戶的樣本數.

實驗中各模型參數的調參過程使用了Sklearn庫中的GridSearch函數，GridSearch函數本質上是窮舉搜索，循環遍歷候選的參數，嘗試每一種可能，輸出表現最好的參數組合.尋找最適合的參數能提高算法的準確率，實驗所采用的各算法參數如表4，未設置的參數都采用默認參數.

由表4可以看出，learning_rate與n_estimators參數是大部分模型都調整的參數.

learning_rate就是學習率，用來控制模型學習的進度，在監督學習中最常見.學習率在機器學習中的作用可以表示為wi=wi-λ?F(wi)/?wi，其中wi是模型參數，F是成本函數，λ是學習率，?F(wi)/?wi是一階導數.學習率越大模型學習速度越快，但會因容振蕩而錯失最優值；學習率越小模型學習速度越慢，會產生過擬合，收斂速度會很慢.所以學習率對于算法性能的表現至關重要.

n_estimators參數在不同的模型中有不同的含義，在LightGBM、XGBoost、GBDT中它代表樹的棵數，而在AdaBoost和Bagging中它代表最大弱分類器個數.理論上n_estimators數值越大，模型性能越好，預測也越穩定，但這也會減慢計算速度.

GBDT算法中調整了樹的最大深度(max_depth)、子節點最少樣本數(min_samples_leaf)、子樹劃分條件(min_samples_split)、子采樣比例(subsample)四個參數.其中子采樣比例可以用來防止過擬合，由于GBDT模型可以表示為決策樹的加法模型，即fm(x)=fm-1(x)+T(x;Θm)，T(x;Θm)為決策樹，Θm為決策樹參數，m為當前步數.所以樹的深度、子節點最少樣本數、子樹劃分條件作為Θm的重要成員成為GBDT較為重要的參數.

LightGBM和Logistic Regression的參數設定涉及到了lambda_l1和lambda_l2參數，即L1正則化和L2正則化.正則化是結構風險最小化的一種策略.在優化模型時對經驗風險與模型復雜度做一個權衡，同而時符合偏差和方差分析，通過降低模型復雜度，得到更好的泛化能力，降低模型對訓練數據的擬合程度.L1正則化是在損失函數加上L1范數，容易得到稀疏解而L2正則化是在損失函數后加上L2范數，使得得出的解比較平滑.兩種參數的設定也要根據實際情況而定，比如在本次實驗中XGBoost算法經過窮舉調參得出最優解中并沒有設定正則化參數.

KNN是基于距離度量找出訓練集中與其最靠近的K個訓練樣本，然后基于這K個“鄰居”的信息來進行預測.所以在進行調參時，對KNN影響較大的K值以及距離算法由n_neighbors和p兩個參數表示，P=2代表模型采用歐式距離.

4.3 結果分析

本文選擇Bagging，KNN，Logistic Regression三種經典的客戶流失預測模型和MLP神經網絡模塊作為實驗的對比對象，由于數據集相同，與文獻[8]中提出的融合自編碼器的MLP、融合實體嵌入的MLP兩種模型進行數據對比.對比實驗的ROC曲線與P-R(Precision Recall)曲線[24]如圖6所示，在測試集上的實驗結果數據如表5所示.

圖6 對比實驗ROC曲線和P-R曲線

相對于未改進的MLP解決了獨熱編碼問題，文獻[8]中改進后的兩種算法將高維的數據映射到低維的空間，降低了網絡收斂于局部最優解的可能性，增加了數據間的關聯性，改善了離散屬性的度量方式，所以獲得了較高的準確度.

KNN劃分客戶群體實質上是通過計算歐氏距離來預測中心點周圍的部分樣本，選擇多數類別作為預測值輸出.但這樣就忽略了每個屬性的數據分布范圍，默認各屬性屬于同一數據范圍，所以在屬性值較多的情況下模型精度不高.

Logistic Regression由于通過最大判別函數學習，對特征輸出線性表達，且在訓練時，不管特征之間有沒有相關性，它都能找到最優的參數，所以在本次實驗數據集上表現良好.雖然Logistic Regression輸出結果可解釋性較好，但對模型中自變量多重共線性較為敏感.且容易欠擬合，不能很好地處理大量多類特征或變量.

Bagging采用了均勻取樣，且訓練集的選擇是隨機的，各輪訓練集之間相互獨立，而又因為基模型選擇的是ExtraTrees，又為整體多加了一層隨機性，在對連續變量特征選取最優分裂值時，不會計算所有分裂值的效果來選擇分裂特征，而是對每一個特征在它的特征取值范圍內隨機生成一個分割值，再通過選取一個特征來進行分裂.所以對于平衡型數據集該模型表現良好.

本文模型在實驗采用的公開數據集上有很好的表現.融合了基于樹型模型的5種強模型，同時避免了維度災難和數據稀疏問題，保證了特征之間的關聯性，在可接受范圍內的時間復雜度的提升下帶來了準確率和精準率的巨大提升，與選取的其他客戶流失預測模型相比準確率平均高出8.81%，并且與基于MLP改進后的兩種模型相比都高出1.7%以上.而在精準率和召回率方面，本文模型雖然召回率表現一般，但是精準率提高了23%左右.綜合對比下，本文提出的模型性能要優于對比實驗中的各類模型.能夠在二分類預測比如信用評估、災難預測等運用中有不錯發揮.

5 結束語

由于采用了準確率較高的基于樹的機器學習算法，同時融合了Stacking和Voting的方法搭建了雙層預測模型來提高精度，加上針對性的數據處理方式，本文提出的模型在選取的電信客戶數據集上進行客戶流失預測的表現十分良好，在召回率差距不大的情況下，準確率和精準率比文中提到的經典的客戶流失預測模型和改進的客戶流失預測模型都要高.不過，本文的研究仍舊存在些許不足，將來的研究工作將努力解決以下問題：

第一，本文提出的模型在大樣本的平衡型數據集上有著良好的表現，但是對于非平衡型數據集和小樣本的數據集是否還能延續良好的性能還需要繼續研究；第二，在機器學習算法的調參過程中，由于使用了GridSearch函數，調參的時間成本非常巨大，很多參數設定的跨度區間較大，最終選用的是默認參數，如何能在調參過程更加精細的前提下減短調參的耗時是十分重要的；第三，對于本文模型的召回率的提高是否能通過模型內的不同層或不同級之間的算法調整來解決也是一個值得研究的問題.