潘鋼
為提升企業的4G服務質量,并將凈推薦值(NPS)測評體系嵌入4G服務管理戰略中,本文圍繞4G-NPS預測模型構建4G用戶凈推薦值管理支撐體系,形成了從NPS預測、到NPS變化原因診斷、到用戶服務體驗優化的雙閉環服務管理流程,并固化于品管系統中,最終有效提高了企業的4G服務管控水平。
一、業務背景
在日趨激烈的4G市場競爭環境下,各大運營商提供的4G產品和功能亦逐漸趨于同質化,使得消費者對4G的感知已從簡單的產品好壞開始轉變成服務的好壞,而用戶服務的好壞將很大程度上決定了消費者購買忠誠度的高低,這對4G服務管理工作提出了新的要求和挑戰。為此,公司引入凈推薦值(NPS)測評體系,嵌入到用戶導向的4G服務管理戰略中,通過NPS打分反映4G服務在用戶內心的認可程度和推薦意愿,從而引導服務管理方向。
傳統的NPS管理都是僅從調研數據著手進行評估、分析與維系,這種管理方式覆蓋用戶面小、調研成本高、時間相對滯后,同時鑒于問卷長度等因素,也無法定位到更深層的業務問題。
鑒于傳統管理方式的局限性,本文引入大數據的分析挖掘方法,不只是從調研用戶的信息進行分析,而是針對本地全網4G用戶進行分析,并創新性設計實施了半監督回歸的建模方案,克服了小樣本建模的不穩定性,完成了“個人用戶4G凈推薦值打分預測模型”,最后以此為基礎建立了一整套以數據為驅動的4G用戶凈推薦值管理閉環體系,助力公司的4G用戶服務管理工作。
二、4G用戶凈推薦值管理支撐系統介紹
(一)整體框架介紹
圍繞4G-NPS預測模型構建4G用戶凈推薦值管理支撐體系,形成了從NPS預測、到NPS變化原因診斷、到用戶服務體驗優化的雙閉環服務管理流程。基于該體系,在4G服務上實現了閉環管理,推動服務問題的有效解決,進一步提升了企業的服務管理能力,加強用戶的4G服務體驗。
整個雙閉環服務管理體系包括針對總體NPS閉環模塊和針對個人NPS閉環模塊,提供了整體4G-NPS的趨勢預測,重要指標的監控與原因分析,個人用戶4G-NPS預測打分的監控與下載, 4G-NPS現階段重要用戶群的定位、監控與下載等功能,具體系統架構以及功能架構如圖1:
(二)總體4G-NPS閉環模塊介紹
1. 4G-NPS趨勢預測應用模塊
使用者可以通過趨勢預測模塊監控4G-NPS用戶下月的整體NPS表現值,如果處于預警值,則會引發告警。使用者還可以通過影響因子下鉆模塊進一步分析NPS變化甚至預警的原因,從而支撐管理人員實施針對性的改善措施。此外,該模塊還提供全網及調研用戶的4G-NPS總分、歷史趨勢展示等功能。
2.影響因子下鉆模塊
使用者通過影響因子下鉆模塊可以從告警指標出發,通過影響因子下鉆功能,對告警原因進行深入分析,定位指標異常原因,反饋給策略部門跟進。
3.策略部門跟進
面向各策略部門,包括產品、價格、宣傳、服務、營銷、網絡等部門,當平臺對監控指標(影響因子)觸發預警時,策略部門將收到告警信息,并做進一步的分析驗證,探究相關策略不合理之處,并采取優化行動。
(三)個人用戶4G-NPS閉環模塊介紹
1.個人用戶4G-NPS預測模塊
在總體監控流程完成后,使用者還可以對個人用戶的情況進行監控。監控4G用戶凈推薦值打分的現狀及變化趨勢,定位打分分布變化的原因,提供用戶清單下載。
2.細分用戶群應用
在監控用戶整體的4G-NPS打分分布情況后,可進一步根據營銷需要定制細分用戶群體,供使用者監控人群的NPS變化,并提供號碼清單下載。
3.營銷/服務部門跟進
應用平臺面向各營銷和服務部門,當用戶打分分布觸發預警時,服務部門將收到告警信息,并可對相應用戶對進一步分析驗證。業務人員也可自行對相應打分的用戶進行提取,并針對業務場景選擇相應的細分用戶群進行維系或營銷。
4.個人用戶閉環模塊對總體閉環模塊的影響
通過個人用戶4G-NPS的維系和營銷,提高用戶對4G的感知水平,從而提升個人用戶的打分。通過個人用戶的打分影響總體4G-NPS的打分,達到個人用戶閉環模塊對總體閉環模塊的正向影響,助力4G-NPS的提升。
(四)核心技術方案(4G凈推薦值預測模型)
1.預測方案介紹
本文選擇參與過NPS調研的企業用戶數據作為初始的訓練樣本集。采用數據挖掘方法,分析對這些用戶NPS評價水平產生影響的重要業務變量,并進一步提煉其中存在的數量關系,作為衡量全網用戶NPS評價水平的判斷依據。模型充分利用了企業大數據,引入了包括用戶的基本信息、網絡行為、日志信息、基站交互信息、產品訂購信息、業務消費信息、觸點信息等多種歷史數據。這些數據經過探索、篩選后,參與模型計算。
在該模型構建的過程中,主要存在兩項技術挑戰:一是模型訓練集樣本數量較少,并且其中包含的信息量嚴重不足。二是業內尚缺少解決用戶主觀評價預測的合適方案。為解決上述問題,本文經研究決定引入半監督的學習算法進行分析建模。該算法引入主成分分析及信息增益的方法,結合神經網絡算法進行回歸訓練,最終建立預測模型,成功解決了前述問題,取得良好效果。
2.技術方案具體內容
模型使用大數據開源工具R進行開發,因其豐富的算法資源,可有效降低模型的開發周期。模型輸出可通過SQL代碼直接固化與數據庫,使其部署更加方便快捷。
半監督學習是介于有監督學習和無監督學習之間的學習方式,其模型訓練樣本既包括已標記樣本(調研用戶樣本)也包括未標記樣本(未調研樣本)。既可以利用大量容易獲得的未標記樣本,從而彌補訓練集樣本不足問題,又可以利用已標記樣本獲得更高效的學習模型。
技術方案的流程包括了:指標設計、數據探索、主成分分析、信息增益法篩選指標及神經網絡回歸預測模型,最后會進行模型評估。其中,核心算法為主成分分析算法、信息增益法及BP神經網絡算法,具體如圖2:
(1)指標設計:通過4G用戶感知分析,共設計并開發數據指標近150個。
(2)數據處理:通過主成分分析、信息增益等手段,對建模數據進行預處理。通過主成分分析進行對變量進行降維,減弱指標間的共線性,并更好的提取指標特征,再通過信息增益進行主成分的篩選,確定對建模有意義的成分用于輸入模型。

(4)模型迭代優化:將結果置信度最高的未標記樣本和預測結果加入訓練集,再次訓練模型直到符合效果要求。為了能夠通過SVR方法選出合適的候選樣本,需要對樣本標記置信度進行評估,找到置信度最高的樣本,但是回歸問題的類別標簽是連續型數字值,因此很難找到這樣的估計概率。故此處借鑒COREG算法中的評估機制:置信度最高的樣本是指把樣本加入標記樣本集中使標記樣本的預測值與實際實值標簽值最一致的樣本。
(5)模型評估:效果評估主要目的是評估模型的預測效果,把模型的預測結果與實際的調研結果進行對比。具體是通過計算命中率、覆蓋率及提升度來進行的。其中,命中率為命中批評者的樣本數除以總的樣本量,覆蓋率指累積命中數除以總的命中數,提升度(Lift值)為覆蓋率除以樣本占比。
3.模型效果
從圖3中可以看出,預測得分最低的10%的用戶中,模型命中的批評者用戶的概率為69.44%,比平均批評者概率高了近42%,比單一信息增益法高了三十個百分點,模型對4G-NPS的預測能力比傳統方法有大幅提升。
三、平臺應用效果
通過部署以該模型為核心的管理規范及相關支持系統,公司在用戶忠誠度管理的效果上實現了較為明顯的提升,具體表現在:
(一)用戶忠誠度提升
根據集團測評數據,公司當年用戶NPS得分15.15分,較上一年的9.36分提高了5.79分,排名也實現了提升。
(二)有效的落實并改善了部分業務短板問題
以模型實際運行情況為例:模型反映出總體NPS呈現下降趨勢,通過影響因子下鉆模塊發現,關鍵影響因子“4G流量占比”指標告警,進一步借助“用戶群下鉆模塊”抽取受影響的用戶群體,分析發現,主要是部分區縣公司的用戶4G流量分流比出現異常波動,平臺將該信息及時反饋給相應區縣公司,區縣公司通過專項分析發現,主要是部分4G基站異常,當4G用戶在問題基站出現時,就會自動切換至2G、3G模式,從而影響4G流量分流比。區縣公司網絡部得到確切問題基站信息后,及時進行了網絡優化,恢復了4G網絡。次月跟蹤時平臺監測該項指標恢復正常。
四、總結與展望
該體系圍繞4G-NPS模型實現了以數據驅動服務管理的閉環流程,支撐業務人員實現4G服務的全流程靈活管控。其中4G-NPS模型直接針對服務管理中重要的結果型指標,較好的實現了對用戶NPS得分的預測,模型中采用的半監督回歸的建模方案,使預測準確度大幅提高,比單一算法的命中率提升了近三十個百分點。該模型的推廣意義不僅在于提升了企業調研的效率,更加重要的是該模型建立起了業務管理指標與用戶NPS評價水平之間的量化關系,揭示出企業為了提升用戶評價水平,真正應該著手改進的業務問題,這就為企業真正提升用戶NPS評價找到了方向。