基于Graphsage的用戶攜轉(zhuǎn)預(yù)測(cè)研究

汪悅?高偉?程新洲?王思維?孟范玉

摘要：當(dāng)前國(guó)內(nèi)移動(dòng)網(wǎng)絡(luò)用戶已經(jīng)趨于飽和，運(yùn)營(yíng)商之間對(duì)于用戶的競(jìng)爭(zhēng)進(jìn)一步加劇。如何通過人工智能技術(shù)提前預(yù)測(cè)用戶攜號(hào)轉(zhuǎn)出的傾向是運(yùn)營(yíng)商目前的一項(xiàng)重要工作。而當(dāng)前的預(yù)測(cè)方法大多基于業(yè)務(wù)人員積累的經(jīng)驗(yàn)，無法充分發(fā)揮運(yùn)營(yíng)商海量多模態(tài)數(shù)據(jù)的優(yōu)勢(shì)，也無法充分挖掘數(shù)據(jù)間的關(guān)系。因此，本文提出一種基于Focal Loss改進(jìn)的GraphSAGE（Graph Sample Aggregate）模型，用于用戶攜轉(zhuǎn)預(yù)測(cè)。該模型在攜轉(zhuǎn)數(shù)據(jù)集上實(shí)驗(yàn)，結(jié)果驗(yàn)證了本模型的優(yōu)異效果。

關(guān)鍵詞：攜轉(zhuǎn)用戶預(yù)測(cè)；圖神經(jīng)網(wǎng)絡(luò)模型；GraphSAGE

一、引言

隨著移動(dòng)互聯(lián)網(wǎng)時(shí)代的到來，在移動(dòng)通信市場(chǎng)存量用戶十分有限的情況下，我國(guó)電信業(yè)務(wù)面臨著極大的市場(chǎng)競(jìng)爭(zhēng)壓力。當(dāng)前國(guó)內(nèi)移動(dòng)網(wǎng)絡(luò)用戶已經(jīng)趨于飽和，隨著攜號(hào)轉(zhuǎn)網(wǎng)業(yè)務(wù)的開通，運(yùn)營(yíng)商之間對(duì)用戶的競(jìng)爭(zhēng)進(jìn)一步加劇。各運(yùn)營(yíng)商都希望能夠減少用戶轉(zhuǎn)出的數(shù)量，控制用戶流失，如何通過人工智能技術(shù)提前預(yù)測(cè)用戶攜號(hào)轉(zhuǎn)出的傾向，及時(shí)制定相應(yīng)策略進(jìn)行用戶挽留是運(yùn)營(yíng)商目前的一項(xiàng)重要工作。

現(xiàn)有用戶攜號(hào)轉(zhuǎn)網(wǎng)的識(shí)別方法大多基于規(guī)則進(jìn)行判斷，或者基于決策樹、隨機(jī)森林等傳統(tǒng)機(jī)器學(xué)習(xí)方法[1-3]計(jì)算用戶攜號(hào)轉(zhuǎn)網(wǎng)的概率。這些方法所采用的規(guī)則或者特征主要是業(yè)務(wù)人員積累的經(jīng)驗(yàn)，無法充分發(fā)揮運(yùn)營(yíng)商海量多模態(tài)數(shù)據(jù)的優(yōu)勢(shì)，無法充分挖掘數(shù)據(jù)間的關(guān)系，存在識(shí)別準(zhǔn)確率低的問題，無法為用戶的維系、挽留提供足夠的指導(dǎo)。

因此，一種通過新的技術(shù)手段去識(shí)別攜號(hào)轉(zhuǎn)網(wǎng)用戶的方法是必要的。在移動(dòng)通信領(lǐng)域，網(wǎng)絡(luò)和人機(jī)物交互的拓?fù)浣Y(jié)構(gòu)具有應(yīng)用圖神經(jīng)網(wǎng)絡(luò)技術(shù)[4-5]的天然優(yōu)勢(shì)。人工智能領(lǐng)域的圖神經(jīng)網(wǎng)絡(luò)算法在多模態(tài)數(shù)據(jù)（文本、語音、圖像等）和復(fù)雜網(wǎng)絡(luò)場(chǎng)景下均表現(xiàn)出比傳統(tǒng)機(jī)器學(xué)習(xí)方法更優(yōu)的決策能力。

本文提出一種基于Focal Loss改進(jìn)的GraphSAGE模型識(shí)別攜號(hào)轉(zhuǎn)網(wǎng)用戶。該方法先基于用戶的通話關(guān)系，構(gòu)建用戶關(guān)系拓?fù)浣Y(jié)構(gòu)，收集并處理用戶信息，輸入到基于Focal Loss改進(jìn)后的GraphSAGE網(wǎng)絡(luò)中，預(yù)測(cè)用戶是否會(huì)在未來攜號(hào)轉(zhuǎn)網(wǎng)。本模型在運(yùn)營(yíng)商省分公司用戶數(shù)據(jù)集上測(cè)試，對(duì)比多種傳統(tǒng)機(jī)器學(xué)習(xí)方法，驗(yàn)證了本模型的優(yōu)異效果。

二、方法

對(duì)于攜轉(zhuǎn)用戶預(yù)測(cè)算法，首先構(gòu)圖G（V， E）。其中，V代表運(yùn)營(yíng)商省份用戶數(shù)據(jù)，{xv，∈V}表示每一用戶的表示特征，其中包含：用戶性別、用戶年齡、出生日期、套餐號(hào)碼、流量使用信息、通話時(shí)長(zhǎng)和信用等級(jí)等20個(gè)維度。E代表通話關(guān)系，矩陣中數(shù)值1代表記錄中兩個(gè)用戶有通話，0表示無聯(lián)系。

（一）GraphSage

盡管深度學(xué)習(xí)在計(jì)算機(jī)視覺和自然語言處理等領(lǐng)域已取得了巨大的成功，但傳統(tǒng)的深度學(xué)習(xí)方法在處理非歐式空間（圖）數(shù)據(jù)上的結(jié)果仍讓人不滿意。為了解決這一問題，研究人員借鑒了卷積網(wǎng)絡(luò)（Convolutional Neural Network，CNN）等傳統(tǒng)深度學(xué)習(xí)網(wǎng)絡(luò)，定義和設(shè)計(jì)了用于處理圖數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，圖卷積網(wǎng)絡(luò)（Grpah Convolutional Network， GCN）等圖神經(jīng)網(wǎng)絡(luò)。

GraphSAGE是2017年提出的一種圖神經(jīng)網(wǎng)絡(luò)方法[4]，用于解決圖卷積網(wǎng)絡(luò)（Grpah Convolutional Network，GCN）[5]的局限性。GCN利用了圖的整個(gè)鄰接矩陣和圖卷積操作融合相鄰節(jié)點(diǎn)的信息，一般用于直推式學(xué)習(xí)。而GraphSAGE采用了節(jié)點(diǎn)的鄰域信息，不依賴于全局的圖結(jié)構(gòu)。它使用多層聚合函數(shù)，每一層聚合函數(shù)會(huì)將節(jié)點(diǎn)及其鄰居的信息聚合在一起得到下一層的特征向量。

GraphSAGE包含采樣和聚合，首先使用節(jié)點(diǎn)之間關(guān)系連接信息，對(duì)鄰居進(jìn)行采樣，然后通過多層聚合函數(shù)不斷地將相鄰節(jié)點(diǎn)的信息融合在一起，用融合后的特征表示預(yù)測(cè)節(jié)點(diǎn)標(biāo)簽。公式表示如下：

（1）

（2）

（3）

其中，l為層數(shù)，N（v）為對(duì)節(jié)點(diǎn)v其一階相連的節(jié)點(diǎn)上均勻采樣的結(jié)果。聚合aggregate函數(shù)采用mean方式，即對(duì)鄰域的節(jié)點(diǎn)取平均值。W為權(quán)值矩陣。σ為激活函數(shù)，本文采用reLU函數(shù)。最后一步公式（3）為對(duì)數(shù)據(jù)的歸一化處理。

（二）Focal Loss

Focal loss [6]被提出用于圖像領(lǐng)域解決數(shù)據(jù)不平衡造成的模型性能問題。本任務(wù)所采用的運(yùn)營(yíng)商省分公司用戶數(shù)據(jù)集存在著樣本不均衡的問題，故本模型采用Focal Loss作為損失函數(shù)。公式表達(dá)如下：

（4）

其中，α、γ為權(quán)重因子分別控制樣本不均衡和識(shí)別難易程度問題，本文采用α=0.2，γ=2。

三、實(shí)驗(yàn)結(jié)果與對(duì)比

基于Focal Loss改進(jìn)的GraphSAGE攜轉(zhuǎn)預(yù)測(cè)模型在省份用戶數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)驗(yàn)證。本文共收集了半年大約10萬多條用戶數(shù)據(jù)，按照8：1：1劃分訓(xùn)練集、驗(yàn)證集和測(cè)試集。并且在各個(gè)數(shù)據(jù)集中攜轉(zhuǎn)與不攜轉(zhuǎn)的比例大約為5：1。

本文與決策樹和隨機(jī)森林方法做對(duì)比。評(píng)價(jià)指標(biāo)采用精準(zhǔn)率、召回率、F1分?jǐn)?shù)和AUC（Area Under Curve）。精準(zhǔn)率也叫查準(zhǔn)率，即正確預(yù)測(cè)為正的占全部預(yù)測(cè)為正的比例。召回率為正確預(yù)測(cè)為正的占全部實(shí)際為正的比例。F1分?jǐn)?shù)作為綜合指標(biāo)，兼顧了精確率與召回率。AUC被定義為ROC（Receiver Operating Characteristic）曲線下的面積。

實(shí)驗(yàn)結(jié)果如表1所示。從表中可以看出，基于Focal Loss改進(jìn)的GraphSAGE模型取得了最優(yōu)的結(jié)果。

四、結(jié)束語

本文采用基于Focal Loss改進(jìn)的GraphSAGE模型，用于預(yù)測(cè)運(yùn)營(yíng)商攜號(hào)轉(zhuǎn)網(wǎng)情況。該模型充分考慮了海量的多模態(tài)數(shù)據(jù)以及挖掘了數(shù)據(jù)間的關(guān)系。實(shí)驗(yàn)結(jié)果驗(yàn)證了本模型的優(yōu)異效果，為用戶攜轉(zhuǎn)預(yù)測(cè)提供了有效的方案。在未來，將收集并分析更多月份數(shù)據(jù)，用以提高模型準(zhǔn)確度。

作者單位：汪悅 高偉 程新洲 中國(guó)聯(lián)合網(wǎng)絡(luò)通信集團(tuán)有限公司研究院

王思維 孟范玉 中國(guó)聯(lián)合網(wǎng)絡(luò)通信集團(tuán)有限公司

參? 考? 文? 獻(xiàn)

[1] 胡文玉，李紅霞. 我國(guó)實(shí)施移動(dòng)業(yè)務(wù)攜號(hào)轉(zhuǎn)網(wǎng)政策的研究[J].電信科學(xué)， 2010， 26（8A）： 133-138.

[2] 盛昭瀚，柳炳祥. 客戶流失危機(jī)分析的決策樹方法[J].管理科學(xué)學(xué)報(bào)， 2005， 8（02）： 20-25.

[3] 應(yīng)維云.隨機(jī)森林方法及其在客戶流失預(yù)測(cè)中的應(yīng)用研究[J].管理評(píng)論， 2012， 24（2）： 140-145.

[4] Hamilton W， Ying Z， Leskovec J. Inductive representation learning on large graphs[J]. Advances in neural information processing systems， 2017， 30.

[5] Kipf T N， Welling M. Semi-supervised classification with graph convolutional networks[J]. arXiv preprint arXiv：1609.02907， 2016.

[6] Lin T Y， Goyal P， Girshick R， et al. Focal loss for dense object detection[C]. Proceedings of the IEEE international conference on computer vision. 2017： 2980-2988.

汪悅（1990.04-），女，漢族，河北，博士學(xué)位，工程師，研究方向：深度學(xué)習(xí)、圖神經(jīng)網(wǎng)絡(luò)技術(shù)、通信行業(yè)用戶側(cè)的場(chǎng)景分析與建模；

高偉（1992.05-），男，漢族，河南確山，碩士研究生，中級(jí)工程師，研究方向：機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、圖神經(jīng)網(wǎng)絡(luò)等人工智能技術(shù)在運(yùn)營(yíng)商網(wǎng)絡(luò)以及業(yè)務(wù)中的應(yīng)用研究；

程新洲（1978.08-），男，漢族，河南，教授級(jí)高級(jí)工程師，研究方向：大數(shù)據(jù)與網(wǎng)絡(luò)智能運(yùn)營(yíng)研究；

王思維（1982.03-），女，漢族，北京，本科畢業(yè)，研究方向：運(yùn)營(yíng)平臺(tái)能力建設(shè)及大數(shù)據(jù)模型開發(fā)應(yīng)用；

孟范玉（1981.11-），男，漢族，山東泰安，大學(xué)本科，工程師，研究方向：數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、數(shù)據(jù)分析等。