電信行業基于種子用戶群擴展技術的定向營銷研究與應用

張旭，劉洋，胡磊，趙曉東，張海濱

?

電信行業基于種子用戶群擴展技術的定向營銷研究與應用

張旭，劉洋，胡磊，趙曉東，張海濱

（華為軟件技術有限公司，江蘇 南京 210012）

在數據業務爆發式增長的時代，掌握海量用戶數據的電信運營商占有價值優勢。通過大數據技術對數據價值進行洞察識別和探索已經成為運營商發展增值業務的必要手段。對于傳統的營銷方式，各省市公司通過一些業務指標篩選目標客戶或者單獨建模的方式進行粗放營銷，數據獲取周期長，營銷接觸率不高。針對上述痛點，提出在小樣本數據情況下構建相似群擴展服務（Lookalike）。該服務結合電信行業的數據及業務特點，集成了度量學習、深度學習等方法，有效支撐電信運營商實現精準營銷。Lookalike服務減少了人工參與，自動實現營銷目標客戶的輸出，大大提高了營銷活動的工作效率及成功率，在多次實際電信項目中得到驗證TTM（time to market）取得了由月到日的提升，營銷成功率明顯提高。

智能數據集成；種子相似用戶群自動擴展技術；華為運營商大數據平臺

1 引言

隨著社會信息化的飛速發展，人們已經邁入大數據時代。Gartner統計數據認為從2011年開始，大數據已經處于期望快速提高的階段。各行各業產生的數據呈現出3V的特性，即數量大、數據種類多，數據響應速度要求高。與互聯網相比，電信運營商積累了龐大的數據資源，每天都有數以億計的用戶在運營商管道中留下電信行為數據[1]。工業和信息化部統計數據顯示，2016年我國三大運營商電話用戶數達15.3億戶，移動用戶數為13.2億戶[2]，固話用戶數為2.07億戶[3]。數據源種類豐富多樣，運營商的數據包括通話數據、位置數據、用戶屬性數據、用戶上網數據、手機消費數據、終端數據等，數據類型涵蓋結構化的用戶基本信息數據、半結構化的用戶訪問日志數據、非結構化的流媒體數據等。為了應對信息化運營商的轉型，各大國際運營商在大數據產品方向大力投入，如西班牙電信（Telefónica）率先成立名為“動態洞察”的大數據業務部門；Verizon成立了基于大數據分析的精準營銷部門（Precision Marketing Division）；新西蘭電信（Telecom New Zealand）成立獨立的大數據子公司 Qrious[4]。

精準營銷一直是電信運營商業務最重要的部分，傳統的營銷方式是業務專家根據規則篩選目標用戶，隨著機器學習的興起，也將監督的分類方法融入模型中。機器學習的方法對數據分析人員的技術背景及能力有較高要求，數據預處理及參數調整都相對復雜。此外，在運營商的很多實際營銷場景中，由于沒有積累營銷反饋數據，難以準確定義正負樣本。客戶希望根據現網存量用戶，分析他們的共性且獨特的特征，然后找出最相似的目標用戶群，作為最可能轉化的潛在用戶。只利用現網存量的種子用戶進行潛在目標用戶的挖掘，可能面臨種子用戶數量較少、種子用戶與未知用戶數量相差懸殊的問題。可見，傳統的基于正負樣本的分類模型不再適用，需尋找或開發適用于無法準確定義正負樣本且能較好解決種子樣本所占比例較低的問題。因此本文提出在小樣本數據情況下構建相似群擴展服務（Lookalike），可以更好地發揮數據價值，最大限度地提高數據分析人員的工作效率，模型構建從2個月縮短至2周，降低人員專業要求，無需數據分析專家，只需業務人員參與，快速支撐融合營銷目標客戶群選取。

圖1 預測分析服務框架

2 Lookalike技術方案及關鍵技術

2.1 大數據平臺預測分析服務框架

Lookalike是華為運營商大數據平臺預測分析服務產品中的一部分，預測分析服務整體方案如圖1所示。

華為運營商大數據平臺的預測分析服務具備以下特點。

? ? 機器學習自動化：提供超參優化、特征選擇、集成學習、各種評估指標等自動化能力，提供開箱即用的分析服務。

? ? 分析服務插件化：支持第三方開發服務插件，插件接口靈活，提供服務自動發布、計算平臺自動對接等工程能力，開發者僅需關注核心分析服務邏輯。

? ? 擴展算法庫：集成MLlib、TensorFlow、Sparkling Water等業界先進算法平臺，提供豐富的算法庫，降低構建分析服務難度，提升服務準確性。

2.2 Lookalike分析服務

Lookalike服務的定位是客戶只需要提供少量的種子用戶，自動輸出潛在目標客戶群，可以支撐潛在客戶挖掘、用戶拉新、精準營銷、銷售提升以及在線廣告等大數據分析應用。Lookalike具有“COURSE”（control，on-demand，unified，rule-free，scalable，efficient）六大亮點。

?? control（擴展規模可選）：支持擴展群規模靈活選擇。

?? on-demand（按需觸發）：根據業務需求隨時觸發。

?? unified（通用場景）：通用Lookalike服務，適用各種精準營銷場景。

?? rule-free（不依賴規則）：無需維護龐大規則庫。

?? scalable（可伸縮）：最小支持100種子，最大可支持百萬級種子。

?? efficient（有效性）：百萬級種子條件下可在小時內完成服務響應。

圖2 Lookalike分析服務流程

Lookalike服務總體流程如圖2所示，主要分為不平衡數據集處理、數據預處理、核心算法處理和模型選擇、模型應用4個部分，下面對Lookalike中的幾個關鍵技術進行介紹。

?2.2.1 數據預處理

每個電信運營商都具有豐富的數據資源，傳統的方式對于不同的業務場景都需要業務專家對特征維度進行多次篩選，多域的數據特征近千維，給業務專家帶來較大挑戰。為了減輕業務專家工作量，Lookalike服務融入了特征降維的模塊。大多數業務場景中，用戶沒有提供相關的負樣本，有監督的特征選擇方法會帶入計算誤差，因此優先選用RBM（restricted Boltzmann machine，受限玻爾茲曼機）降維方法。

RBM是由Hinton和Sejnowski于1986年提出的一種生成式隨機神經網絡（generative stochastic neural network），該網絡由一些可見單元（visible unit，對應可見變量，亦即數據樣本）和一些隱藏單元（hidden unit，對應隱藏變量）構成。整個網絡是一個二部圖，只有可見單元和隱藏單元之間才會存在邊，可見單元之間以及隱藏單元之間都不會有邊連接[5]。

RBM的核心在于定義一個合理的能量函數，通過能量定義狀態的概率，然后通過極大似然估計求解模型的參數，最后得到每一個輸入樣本的隱式表達，通過輸出層可以獲取希望得到的降維后的特征。RBM構建示意如圖3所示。

圖3 RBM構建示意

?2.2.2 DensityPropagation算法

基于密度傳播的相似用戶擴展方案，可以降低噪聲影響。密度傳播算法分為兩個步驟，首先通過NN計算用戶之間相似性，為種子和候選集分配不同的初始能量，通過種子和候選集之間的遞更新各自能量值。模型訓練示意如圖4所示。

圖4 DensityPropagation算法示意

DensityPropagation模型訓練流程具體如下。

（1）訓練樣本包含種子集和候選集，S和U分別代表種子和非種子。

（2）設置所有種子的初始能量s，設置所有非種子的初始能量u。

（3）對于每個種子，選取它的個近鄰，每個近鄰把自身初始能量的1/傳遞給這個種子，能量加上種子的初始能量就是種子的新能量ESsi，得到種子的最終能量。

（4）對于每個非種子，選取它的個近鄰，近鄰中的種子用戶把更新后的能量的EFsi的1/傳遞給這個候選用戶，更新候選用戶能量ESuj。

（5）對于每個非種子，選取它的個近鄰，近鄰中的非種子用戶把能量ESuj的1/傳遞給候選用戶，得到新的能量為EUuj。

（6）非種子的最終能量為EFuj=(s/tanh (s·9))· tanh(u+ESuj+EUuj)。

如果能量傳遞后種子的能量升高，說明種子周圍的種子數量較多，該種子為正樣本的權重越高；如果候選用戶的能量升高，說明該候選用戶周圍的種子用戶數量較多，由此可初步推斷該候選用戶的營銷成功概率較高。經過多次迭代，輸出候選集中每個用戶營銷成功率列表并按能量值進行排序。客戶根據業務需求確定閾值，該閾值以上的用戶即潛在目標用戶。算法采用NN計算用戶之間相似性，為了更好地描述不同特征，將度量學習融入算法中[6]。

電信領域數據具有數據量大、維度高、稀疏性強等特點，其固有數據分布空間可能不是歐氏空間。采用簡單的歐氏距離來度量樣本點之間的相似性，往往無法保證得到令人滿意的結果。通過訓練數據學習出的度量距離對比歐氏距離，能夠更好地描述樣本的本征相似性。因此通過NN算法計算用戶之間相似性時，Lookalike算法采用度量學習方法，在最小化同類樣本對的馬氏距離平方和的同時，約束不同類樣本對的馬氏距離，使其大于給定閾值。使在新的度量空間中相似對更加緊湊，而非相似對更加分離[6]，如圖5所示。

圖5 度量空間變換前后示意

度量學習目標函數如式（1）所示：

其中，x,x為樣本對，稱為度量矩陣。

通過式（1）計算得到度量矩陣后，優化后的樣本間距離表達式見式（2）。

?2.2.3 TraightWeight算法

TraightWeight算法是基于FP-growth獲取關聯規則分類的思想。由于沒有明確的負樣本，該服務中采用關聯規則得到種子關鍵特征進一步計算相似性的方法來輸出潛在客戶群。與C4.5、SVM算法相比，基于頻繁項的分類方法近幾年在很多的研究中都得到了較好的結果[7]。FP-growth與Apriori算法相比，只需要兩次掃描數據庫，采用分治的策略有效降低搜索開銷。TraightWeight算法的流程如圖6所示，具體介紹如下。

（1）首先對數值型數據進行分箱，類別型的屬性做索引。

（2）出于性能考慮，根據種子用戶抽樣比例參數的設置，對候選集用戶進行抽樣。

（3）基于FP-growth，采用關聯規則分類的方法，挖掘頻繁項規則，當產生的規則的數量小于設定的最小規則生成數量時，規則的最小支持度閾值減半。直至從種子集和全量集中產生的規則的數量都滿足要求或達到迭代次數限制。

圖6 TraightWeight示意

（4）根據頻繁項在種子和全量集合的不同，獲取關鍵關聯規則的權重。

（5）累加某未知用戶包含的所有規則的權重，將其作為該未知用戶的得分。得分越高，成為目標用戶的概率越大。

?2.2.4 WeightedElasticNet算法

利用正類樣本和無標記樣本進行學習（learning from positive and unlabled example）稱為 PU 或 LPU 學習[8]，是一種半監督的二元分類模型，通過標注過的正樣本和大量未標注的樣本訓練出一個二元分類器。由于正樣本集合中難免會有一些噪聲以及正負樣本的數據傾斜，采用WeightedElasticNet算法[9]，可以解決樣本不平衡的問題，Wen算法的目標函數如式（3）所示：

?2.2.5 模型融合

為了提高推薦結果的準確度，系統通常會應用多個子模型（多個算法）產生多個推薦候選集。然后通過一定的模型融合策略，將多個候選集融合成最終的結果展示給用戶，以達到“1+1>2”的效果[10]。Lookalike融合模型如圖7所示。

圖7 Lookalike融合模型

本文采用加權平均法對模型進行集成為：

?2.2.6 超參優化

Lookalike服務中涉及許多可以調整的配置參數，有些參數很難預置在軟件開發中，需要根據實際業務數據進行調整，為了減輕人工配置的工作量，本文在框架中置入超參優化模塊，可以識別算法的關鍵超參及其有效范圍，克服超參優化的維度災難和非凸性。本文選擇貝葉斯優化算法對Lookalike模型中涉及的參數進行優化。貝葉斯優化是一種聯合優化超參數的強力工具，并且最近也越來越流行。它能自動調節超參數以提升產品質量和人類生產力。貝葉斯優化是一種近似逼近的方法，采用在函數方程不知的情況下根據已有的采樣點預估函數最大值的思想[11]。貝葉斯優化算法的偽代碼如下。

算法1 貝葉斯優化算法

for=1,2,…,do

query objective function to obtainy+1

update statistical model

end for

3 應用效果

Lookalike服務經過多個項目的驗證，在提高營銷成功率的同時還可以縮短TTM，獲取含數據與分析時長由月到日的轉變。

3.1 X省機頂盒加裝項目

X省電信運營商推廣第二部機頂盒加裝業務，匿名特征198維度，將采用隨機森林算法與Lookalike算法做比較。其中隨機森林參數設置：樹的棵數為100棵，樹深10層。實驗環境為2臺華為RH2288（單臺24核300 GB內存）、Hadoop2.7.2和Spark1.5.1。其實驗數據和實驗結果分別見表1和表2。

表1 X省機頂盒加裝項目實驗數據

表2 X省機頂盒加裝項目實驗結果

從上述結果可以看出，監督的分類模型自動將非種子集合（unlabeled data）認為是負樣本會代入效果誤差，Lookalike的AUC與隨機森林相比提升23%。

3.2 Y省流量套餐營銷

Y省運營商為了培養全省的客戶的流量使用習慣，通過短信進行“任我享”流量包營銷。采用Lookalike服務輸出營銷潛在客戶名單與運營商實際的營銷結果做AB對比測試，此應用案例采用Top的查全率和查準率進行比較。

用戶的接入特征有基本特征、賬單列表、訂購套餐、流量特征等，都做了匿名處理，分別為F1, F1, …, F128。實驗環境為5臺E9000（單臺6核，96 GB內存）、Hadoop2.7.2和Spark1.5.1。其實驗數據見表3。

表3 Y省流量套餐營銷實驗數據

全量目標用戶是用戶對全量1 908萬用戶營銷的結果，查全率比較結果如圖8所示。

圖8 查全率比較

從查全率來看，全量目標用戶截止至12日共訂購用戶149 457個，其中23 048個在Lookalike結果得分靠前的100萬用戶中，查全率為15.4%。

圖9 命中率變化趨勢

命中率為根據Lookalike選定個用戶，該個用戶中訂購的個數與的比例，命中率變化趨勢如圖9所示。從命中率來看，截止至12日的全量目標命中率為0.78%，算法圈定的得分靠前的100萬用戶命中率為2.30%，前10萬用戶命中率為3.64%，命中率有顯著的提高。

Lookalike服務產品對目標客戶有較強的識別能力，若需達到2.3萬訂購目標，使用Lookalike只需的營銷為100萬用戶，傳統方式需營銷300萬用戶，將為運營商節約2/3的營銷資源。

3.3 H省4G終端營銷

H省運營商4G客戶滲透率已達到60%，但仍有1 700萬客戶未使用4G終端，以低端客戶為主，遇到發展瓶頸，各市公司通過DOU/ARPU等指標篩選目標客戶或單獨建模的方式進行粗放營銷，數據獲取周期長，營銷接觸率低，營銷成功率不高。因此該公司嘗試用Lookalike同時開展營銷活動，實驗環境2臺華為RH2288（單臺12核，256 GB內存），實驗數據和實驗結果見表4和表5。

表4 H省4G終端營銷實驗數據

從表5來看，接通率提升了23.04%，外呼成功率提升了12.77%，從原來的月建模時間縮短為2 h輸出潛在客戶名單，同時保證了較高的營銷成功率。

4 結束語

針對電信行業營銷場景中負樣本難以精確定義和搜集的特點，本文提出了一種基于小樣本種子用戶群擴展技術來快速、準確識別潛在目標客戶，該技術將客戶發現問題抽象成無監督或半監督機器學習任務進行建模并對預測結果進行有效融合。經多個局點和多個實際業務場景驗證發現，與傳統方法相比，種子用戶群擴展技術提高了目標客戶發現的準確率，降低了一線服務或業務實施人員的使用門檻，還可適用于電信行業多個業務營銷場景，在幫助電信運營商大大提升營銷活動E2E轉化率的同時也有效節約了營銷支撐成本。

在業務部署過程中，也發現了一些還未得到有效解決的技術問題，包括：用戶建模問題，即如何科學選擇有效特征或屬性來描述用戶，才能保證后續種子用戶群算法的覆蓋率和精準度；持續優化問題，即如何及時搜集營銷反饋數據，并根據反饋持續優化機器學習模型，形成算法和營銷活動的閉環。

驅使營銷活動成功的因素較多，算法和模型只是其中一部分，以最小的代價獲取最大受益，是營銷活動永恒的追求。在后續的研究和優化過程中，或可考慮將營銷成本和代價等因素構建到模型當中，打造完全基于數據驅動的智能營銷系統。

表5 H省4G終端營銷實驗結果

[1] 劉春, 鄒海鋒, 向勇. 大數據環境下電信數據服務能力開放研究[J]. 電信科學, 2014, 30(3): 156-161.

LIU C, ZOU H F, XIANG Y, et al. Research on telecom data service open ability under the environment of big data [J]. Telecommunications Science, 2014, 30(3): 156-161.

[2] 廖建新. 大數據技術的應用現狀與展望[J]. 電信科學, 2015, 31(7): 7-18.

LIAO J X. Big data technology: current applications and prospects [J]. Telecommunications Science, 2015, 31(7): 7-18.

[3] 黃勇軍, 馮明, 丁圣勇, 等. 電信運營商大數據發展策略探討[J]. 電信科學, 2013, 29(3): 6-11.

HUANG Y J, FENG M, DING S Y, et al. Big data development strategy for telecom operators[J]. Telecommunications Science, 2013, 29(3): 6-11.

[4] 梁燦, 何陽, 韓涵, 等. 數據中心聯盟大數據發展促進委員會電信工作組[S]. 電信大數據應用白皮書. 2017.

LIANG C, HE Y, HAN H, et al. Data center alliance major data development promotion committee telecom working group[S]. White Book of Telecommunication Big Data Application. 2017.

[5] 張春霞, 姬楠楠, 王冠偉. 受限波爾茲曼機[J]. 工程數學學報, 2015(2): 159-173.

ZHANG C X, JI N N, WANG G W. Restricted Boltzmann machines[J]. Chinese Journal of Engineering Mathematics, 2015(2): 159-173.

[6] XING E P, NG A Y, JORDAN M I, et al. Distance metric learning, with application to clustering with side-information[C]// International Conference on Neural Information Processing Systems, Dec 9-14, 2002, Vancouver, British Columbia, Canada. Cambridge: MIT Press, 2002: 521-528.

[7] WAND J, KARYPIS G. Harmony: efficiently mining the best rules for classification[C]//M The Fifth SIAM International Conference on Data Mining, Apr 21-23, 2005, Newport Beach, California, USA. Piscataway: IEEE Press, 2005: 205-216.

[8] LEE W S, LIU B. Learning with positive and unlabeled examples using weighted logistic regression[C]// Machine Learning, Proceedings of the Twentieth International Conference, Aug 21-24, 2003, Washington DC, USA. Palo Alto: Aaai Press, 2003: 448-455.

[9] HONG D, ZHANG F. Weighted elastic net model for mass spectrometry imaging, processing[J]. Mathematical Modelling of Natural Phenomena, 2010, 5(3): 115-133.

[10] 周志華. 機器學習[M]. 北京: 清華大學出版社, 2016.

ZHOU Z H. Machine learning[M]. Beijing: Tsinghua University Press, 2016.

[11] SHAHRIARI B, SWERSKY K, WAND Z, et al. Taking the human out of the loop: a review of bayesian optimization[J]. Proceedings of the IEEE, 2015, 104(1): 148-175.

Application and research of marketing using automatic similar users extension technology in telecom industry

ZHANG Xu, LIU Yang, HU Lei, ZHAO Xiaodong, ZHANG Haibin

Huawei Software Technologies Co., Ltd., Nanjing 210012, China

With the explosive development of data service, TSP(telecommunication service provider) has taken advantages of owing massive user data. It is a necessity for TSP to develop value added business using big data techniques which explores the data value. The traditional way of marketing utilizes rules or supervised classification method meets the challenge of low success rate and long data acquisition period. Therefore, a new service named Lookalike was proposed. The service supports precision marketing by integrating matric learning and deep learning efficiently based on telecom operators’ data characteristics. The Lookalike service decreases the artificial participation and enhances the efficiency and success rate of marketing activity. The enhancement of TTM (time to market) has been improved in many real programs and the success rate of marketing has increased absolutely.

smart data integration, automatic similar users extension technology, Huawei FusionInsight platform

TP311.13

A

10.11959/j.issn.1000?0801.2018029

2017?12?01；

2017?12?20

張旭（1976?），男，博士，華為軟件技術有限公司大數據首席分析建模專家，主要研究方向為數據挖掘與分析、用戶偏好分析、用戶建模、用戶相似性分析與個性化推薦。

劉洋（1989?），女，華為軟件技術有限公司大數據科學實驗室高級工程師，主要研究方向為數據挖掘與分析、個性化推薦、用戶建模。

胡磊（1981?），男，華為軟件技術有限公司大數據科學實驗室高級工程師，主要研究方向為數據挖掘和機器學習。

趙曉東（1981?），男，華為軟件技術有限公司大數據科學實驗室高級工程師，主要研究方向為數據挖掘、數據集成與治理。

張海濱（1983?），男，博士，現就職于華為軟件技術有限公司大數據科學實驗室，主要研究方向為數據挖掘與機器學習、時間序列分析、服務計算等。