基于大數據的電信領域用戶服務模型與數據融合策略研究*

高永梅，琚春華，鮑福光

（1.杭州職業技術學院 杭州310018；2.浙江工商大學 浙江310018）

1 引言

近年來，各國政府高度關注大數據的研究和應用，2012年美國政府投資2億美元開展 “大數據研究和發展計劃”，歐盟投入1億歐元建設科學數據的基礎設施。中國計算機學會等組織也多次組織關于大數據的學術討論會。在科學界，大數據的研究也得到了高度重視，國際頂級的學術期刊《Science》、《Nature》等相繼出版了關于大數據研究的專題期刊。

隨著信息技術在電信領域長期而廣泛的應用，各電信企業已擁有海量的用戶信息和業務數據。智能手機的普及，移動互聯網的迅猛發展，給電信行業帶來了新的革命，產生了大量的互聯網訪問、社交媒體等數據。2012年，Eric Hsueh-Chan Lu 等構建了 MCE（mobile commerce explorer）框架，挖掘并預測了移動用戶的運動軌跡和購買趨向[1]，Tzung-Shi Chen等人創建了UMBPs挖掘方法，研究移動用戶的移動行為模式[2]。2010年，張蕓等人通過改進的N-gram預測模型有效預測了用戶的行為傾向[3]。2013年，陳娜等人構建了基于Hadoop的BSS大數據平臺，為大數據背景下的個性化消費定制提供了支持[4]。

電信企業決策的正確與否依賴于如何從不同來源、不同渠道的數據中提取到有價值的信息，如何科學地管理和合理開發這些內部和外部信息資源，這也是增強企業競爭力、吸引更多用戶的關鍵所在。運營商對海量數據進行有效挖掘和分析，能更精準地掌握用戶需求及特征，從而更加高效地為電信用戶推薦適合他們的服務，定制與用戶相適應的消費產品。

2 電信領域數據特征分析與用戶服務模型構建

電信領域數據能夠折射出用戶的很多特征，CRM系統中存儲了用戶的姓名、性別、職業、地區等基礎信息，BOSS（business&operation support system）中詳細記錄了用戶的通話、短信、流量等消費行為和消費清單，微博、微信等社交平臺折射出用戶的人際交往、時尚特征、生活軌跡，互聯網訪問軌跡反映了用戶的興趣、愛好、購買意愿等。

基于電信領域的用戶行為分析、提取用戶特征是精準營銷[5]、個性化推薦[6,7]的前提。針對電信領域用戶的精準營銷應建立在了解用戶的興趣、愛好、社會影響力、文化層次、年齡階段等的基礎上，對用戶進行個性化業務推薦，需要了解用戶的業務偏好、消費習慣等。

從電信領域考慮，構建用戶特征模型，如圖1所示，以便開展精準營銷和個性化服務。

針對電信領域的用戶，本文對用戶基本興趣特征信息做了如下定義。

定義1 （用戶）用戶是指在某電信營運商處注冊的且能被唯一識別的用戶。在電信營運商注冊的用戶集合定義為用戶集 U={u1,u2,…,uN}。

定義2 （自然特征）用戶基本屬性集是用戶已知存在的多種特征因素的集合，包括性別（gender）、年齡(age)、職業(occupation)、婚姻狀態（marriage）、城市(city)、教育程度(education)、專業（major）和收入(income)等，定義用戶背景集為 ：UBE={gender，age，occupation，marriage，city，education，major，income，…}。

定義3 （影響力特征）用戶影響力特征指的是該用戶所處用戶群和經常聯系的朋友圈與移動人際網絡，包括通話時間最長的聯系人 （long-time contact）、最常聯系的人（contact）、飛信朋友圈（Fetion）、微信朋友圈（WeChat），這些因素都會影響該用戶的相關行為和偏好。定義影響力特征為：INF={long-time contact，contact，Fetion，WeChat，…}。

定義4 （電信特征）電信特征指的是用戶已經啟用或者曾經使用的電信業務和活動，包括用戶級別、業務偏好、在網時間、月移動網絡流量、月短信量和通話時間等。定義用戶電信特征為：TBS。

定義5 （生活軌跡）用戶生活軌跡指記錄用戶的活動位置和位置情景，包括出差位置、旅游偏好等位置情境。生活軌跡位置情境定義為一組非空屬性集Si={Si1,Si2,…,Sim}，每個屬性 Sij(j=1,2,…,m)都有一組屬性值Sij={Sij1,Sij2,…,Sijr}；對于推薦過程中的時刻t，Si都唯一具有一個屬性值相應地，在時刻t，情境對象Si都具有特定狀態在不同的推薦位置下，影響電信用戶行為的因素是不同的[8]。

定義6 （用戶行為特征集）指用戶通過移動網絡進行的網絡行為和偏好，包括移動閱讀、常見網頁、關注品牌、常用應用和購買評價等。UIC表示電信用戶在通過移動網絡訪問的資源進行分類后的興趣內容集合：UIC={P1,P2,…,Pl}∪{L1,L2,…,Lm}∪{C1,C2,…,Cn}={UIC1,UIC2,…,UICm}，其 中 ，P表示應用的一個組件頻道，L表示相關鏈接，C表示標簽內容，UIC是采用概念分層方法分類生成的興趣內容，則有對應的興趣概念集：∑={σx|1≤x≤Z}，堝UIC|→σx，σx為興趣內容特征概念，|→表示興趣內容到特征概念的映射關系。

從系統學角度考慮，移動用戶模型包括輸入、處理和輸出等部分，其中輸入部分主要包括顯性數據和隱性數據[9]。顯性數據是用戶在電信運營商處自行注冊留下的相關信息，包括用戶基本特征（注冊名、出生日期、性別、學歷、職業和所在城市等）和電信業務特征（用戶級別、業務、在網時間和月消費量）等；隱性數據是電信用戶通過移動網絡進行的各種活動和行為數據，包括影響力特征（通話時間最長的聯系人、最常聯系的人、飛信朋友圈、微信朋友圈）、生活軌跡和文化特征等。

電信移動用戶模型構建框架如圖2所示，由用戶興趣本體獲取、修正和用戶群的組建3部分組成。其中，電信移動用戶興趣本體獲取涉及用戶的基本特征、電信業務特征及其領域本體的構建等；電信移動用戶興趣模型的修正是根據用戶的生活軌跡、文化特征和影響力特征等業務行為來升級本體，實現用戶興趣本體的學習更新；用戶群則通過眾多電信移動用戶興趣本體的相似度計算來獲得，從而組建的。

根據用戶的興趣情境信息，在構建用戶本體情境中，將用戶情境劃分為用戶個體情境、用戶環境情境以及用戶設備情境。本體通常采用層次概念樹的形式，用戶情境的某一元素就是通過樹中的每個節點來表示的，即構建情境本體樹。用戶情境采用形式化的描述模型可做如下定義。

定義7（用戶情境）用戶情境UserContext=(UPC,UEC,UDC)，其中UPC表示用戶個體基本情境，UEC表示用戶環境情境，UDC表示用戶設備情境。UPC表示為：UPC=(UIC，UBE，TBS)；UEC 表示為：UEC=(daytime,location)，daytime 表示用戶網絡行為所處的時間，location表示用戶網絡行為所處的位置或IP地址；UDC表示為：UDC=(hardware,software)，即用戶的軟硬件設備。

情境相似度指的是兩個用戶之間的情境相似度，用于用戶情境聚類，從而進行用戶相似推薦。設G為當前用戶情境本體樹CT1中的某個非子節點，G有N個子節點G1，G2，…，GN，G′為與 G 相對應的歷史用戶情境本體樹 CT2的節點，則G與G′的相似度為：

其中，Σwi=1，wi為第i個子節點的權重。

對于兩個概念Gi′與Gi之間的相似度，本文采用基于Levenstein編輯距離的字符串相似度計算式[10]：

其 中 ，ed(Gi,Gi′)就 是 Gi與 Gi′之 間 的 Levenstein 編 輯距離。

用戶情境相似度的算法思路：比較當前用戶情境模型與歷史情境模型的相似度，即根據本體模型的層次關系，通過對子層節點概念屬性相似度的計算，回推其父節點概念屬性的相似度，直到求出根節點概念屬性的相似度。

具體算法步驟如下。

輸入：當前用戶情境CT1和歷史用戶情境CT2

輸出：用戶情境相似度CTSim（G,G′）

步驟 1 設 CTSim（G,G′）=0。

步驟2 取出CT1中的某個概念Gi，如果存在轉入下一步，否則結束。

步驟3 在CT2中找出與Gi對應的概念Gi′，如果存在轉步驟4，否則轉回步驟2。

步驟4 循環計算G與G′所有子節點Gi與Gi′的相似度 CTSim（G,G′）+=wi×CTSim（Gi,Gi′），得到綜合相似度。

3 基于Hadoop的電信大數據處理框架

電信領域的數據可分為內部數據和外部數據，內部數據主要來自CRM系統的用戶數據、BOSS的業務數據以及用戶通過各種電子渠道留下的訪問軌跡，外部數據涉及用戶在移動互聯網、公共社交平臺等方面的訪問及社交媒體數據?？纱篌w上將電信運營商能獲取的數據分為以下六大類：

·消費行為數據，用戶在電信運營商各業務系統中產生的消費記錄數據；

·訪問行為數據，用戶通過運營商的短信營業廳、網上營業廳、掌上營業廳等渠道進行消費查詢、業務辦理等行為產生的訪問軌跡；

·用戶信息數據，用戶的自然屬性，如性別、職業、年齡、入網時間、ARPU值等；

·業務類型數據，電信運營商提供的業務，如基礎類、套餐類、通信類、商務類等；

·公眾平臺數據，用戶在各種公眾平臺留下的痕跡，如微博、微信等社交媒體數據；

·上網軌跡數據，用戶使用手機訪問互聯網的痕跡。

對以上電信領域的海量數據進行采樣，僅僅采用普通的數據庫存取方式，在性能上是遠遠不能滿足需求的。為更好地滿足性能需求，需要采用分布式的存取方式。而Hadoop是一個開源的、可進行分布式計算的分布式系統基礎架構，也是目前應用最廣泛的云計算框架。它以數據處理量大、可靠性高、成本低、效率高和擴展靈活等優勢，贏得了市場的認可。MapReduce和HDFS（Hadoop distributed file system）是Hadoop技術體系兩個主要的核心組件，HDFS是一個分布式文件系統，適合構建于普通的廉價計算機集群之上，MapReduce是一個編程模型和軟件構架，能夠在計算機集群上編寫并行化程序，對大數據進行快速處理[11]。Hadoop技術體系中還包含很多其他非常實用的技術，如HBase是一個分布式的數據庫，它是一個面向列的開源數據庫，適合于非結構化的大數據存儲；ZooKeeper用來維護Hadoop集群的配置信息、命名信息等，是一個分布式應用程序協調器，能提供分布式鎖同步功能和群組管理功能。結合電信領域數據特點以及Hadoop分布式架構，構建如圖3所示的電信領域數據采集與存儲架構。

3.1 數據采集層

數據采集層主要是通過不同的傳輸協議和API從各個數據源采集移動用戶的相關數據。網上營業廳、掌上營業廳等供用戶自助服務的電子渠道，可采用HTTP獲取用戶的訪問軌跡；短信營業廳、熱線電話IVR（interactive voice response，互動式語音應答）、CRM系統和BOSS為電信運營商內部系統，這些系統一般都提供了對外的API，可以利用這些接口獲取用戶數據；微博、微信等社會公共平臺為豐富平臺的各類應用，提供了開放性的API，以便吸納第三方用戶開發的精品應用，可以通過此接口從公共平臺獲取相關信息；移動用戶通過智能終端訪問互聯網時，網關是流量必經之地，在網關處可以獲得用戶訪問互聯網的所有痕跡。

3.2 數據存儲層

數據存儲層負責將上一層發送過來的數據進行分類與整合，并將這些數據存儲在非結構化的分布式數據庫（HBase）中。將CRM系統中獲取的數據存儲在用戶信息數據集中；將從網上營業廳、短信營業廳、掌上營業廳、IVR中獲取的數據存儲在訪問行為數據集中；將BOSS中獲取的數據存儲在消費行為數據集和業務類型數據集中；將微信、微博等公共平臺獲取的數據存儲在公共平臺數據集中；將互聯網訪問軌跡存儲在上網軌跡數據集中。再對各類數據集進行挖掘分析，生成特征庫和索引庫，方便業務服務的挖掘，這部分內容將在后面進行詳述。同時該層還負責將數據內容存儲到分布式文件系統中。

3.3 文件存儲層

文件存儲層基于HDFS，它主要是一些計算機集群節點，包含存儲控制節點 （namenode）、數據存儲節點（datanode）和集群監控節點3類。namenode是HDFS的管理者，管理文件系統的命名空間，維護文件系統的元數據，同時，該節點還保存了文件與數據塊在datanode中的對應關系。Hadoop為了避免因namenode出現故障而影響整個系統的運行，設計了secondary namenode作為namenode的同步備份節點。datanode是HDFS存儲數據的節點，datanode有很多，它會定期向namenode匯報所存儲的數據塊列表，方便使用者直接獲取數據。集群監控節點主要負責監控各節點的工作是否正常，一旦出現故障立即做出相應的處理。

4 電信業務數據融合與服務挖掘應用

4.1 網上營業廳和掌上營業廳的數據融合與業務服務挖掘

網上營業廳和掌上營業廳是電信運營商為方便用戶查詢話費余額、賬務清單、業務套餐、話費充值等業務而開發的電子服務渠道，通過分析用戶在網上營業廳和掌上營業廳的點擊行為，可以發現用戶的消費趨向[12]。通過在網上營業廳和掌上營業廳網站內植入JavaScript代碼，跟蹤鼠標點擊行為，并通過HTTP提交給Web服務器，經過數據存儲接口存儲到訪問行為數據集中，同時將訪問記錄寫入索引庫。通過對訪問行為數據集進行分析挖掘，得到用戶電信特征：如經常進行余額及消費清單查詢的用戶為消費敏感型，近期經常查看套餐業務的用戶為新業務嘗試型等，根據用戶特征設置相應的個性化服務，如圖4所示。

4.2 短信營業廳與IVR數據融合與業務服務挖掘

短信營業廳是電信運營商通過短信向用戶提供服務功能的渠道，移動用戶可以通過發送短信進行話費查詢、業務辦理等操作，隨時隨地，方便實用。而IVR是電信運營商通過語音提供服務功能的渠道。電信運營商擁有短信營業廳和熱線電話的存儲數據庫，同時熱線電話有通話日志（calllog），用戶通過短信營業廳和IVR進行業務咨詢或辦理帶有明確的目的性，能夠準確反映用戶近期的動態。所以對短信營業廳和IVR的數據進行分析更具有針對性，通過API從短信營業廳、IVR數據庫和calllog中提取數據，經過數據存儲接口存入訪問行為數據集，同時將數據索引存入索引庫。獲取的數據多為文本信息，為提取有用信息，需對獲取的文本信息進行關鍵詞提取、詞性標注及中文切分詞處理，最后將獲取的特征信息存入特征庫，根據用戶特征制定個性化服務策略，如圖5所示。

4.3 CRM與BOSS數據融合與業務服務挖掘

電信運營商的CRM系統積累了大量的用戶信息數據，BOSS內存儲了運營商的業務服務產品類型以及用戶消費的詳細信息。CRM系統和BOSS作為電信運營商的內部系統，數據真實可靠，對這些數據進行有效挖掘，對用戶消費行為進行細分，按照用戶消費行為的各個指標對用戶進行分類，用戶的消費指標可設定為消費金額、消費類型、消費時間、消費頻率、在網時間等。數據采集處理過程及個性化服務與推薦如圖6所示，通過內部API獲取用戶信息及消費數據，經過數據存取接口分別將數據存入用戶信息數據集、業務類型數據集和消費行為數據集，同時將用戶信息索引、業務類型索引和消費行為索引存入索引庫，再采用改進的k-means聚類[13]等算法對用戶進行細分，提取特征存入特征庫。提取用戶的性別、年齡、地區等存入用戶自然特征庫；根據用戶消費情況提取用戶電信特征存入電信特征庫，如夜間大流量型、多語音業務型、多短信業務型、增值業務型等；根據用戶漫游情況提取用戶的生活軌跡，如省內出差型、省際出差型、國際出差型等。根據用戶的自然特征、電信特征和生活軌跡特征，進行套餐推薦等個性化服務。

4.4 微博、微信等公眾平臺數據融合與業務服務挖掘

隨著互聯網和智能終端技術的飛速發展，越來越多的人們通過社交網絡進行各種社會活動，在線社交平臺成為真實人際關系在互聯網上的重現，能夠折射出用戶的興趣、愛好、影響力、消費趨向等特點。最近得以迅猛發展的微博、微信等社交平臺，擁有海量用戶及其用戶留下的信息，從這些海量數據中挖掘有價值的信息，實現精準營銷和服務推薦，也是各大運營商所期待的。微信中的朋友圈、微博中的粉絲數量真實地體現了該用戶的影響力，微博、微信中發表的文字、語音等內容包含用戶的生活軌跡、興趣愛好、品牌趨向等特征。

數據采集處理過程及個性化服務與推薦如圖7所示：微博、微信等第三方社交平臺，大多提供了API技術，通過外部API獲取用戶粉絲情況、關注情況、朋友圈以及發布的文字信息、語音信息等，經過數據存取接口將數據存入公共平臺數據集，同時將信息索引存入索引庫。將接收到的語音信息通過轉換工具轉換成文字，連同獲取到的文本信息，使用文本聚類算法，提取用戶的影響力特征、品牌特征、文化特征、生活軌跡等，分別存入相應的特征庫，并根據用戶特征挖掘相應的服務與推薦。

4.5 互聯網訪問數據融合與業務服務挖掘

圖6 CRM/BOSS數據采集與服務挖掘應用

圖7 微博、微信等公眾平臺數據采集與服務挖掘應用

隨著智能手機的普及、網絡的優化，越來越多的用戶通過手機訪問互聯網。用戶通過手機訪問互聯網的數據是海量的，而網關是所有用戶流量必經之地。所以，用戶訪問互聯網的數據可以在網關處采集。記錄用戶訪問的互聯網地址URL，使用爬蟲器獲取該地址的頁面內容，然后使用文本聚類算法提取特征信息，存入特征庫。數據采集處理與服務推薦過程如圖8所示。

5 結束語

通過數據采集和融合方法，獲取電信領域海量數據，包括用戶基本特征數據、用戶行為數據、用戶偏好特征數據、電信特征數據、社交影響力特征數據以及用戶生活軌跡等，并經過處理形成特征庫，根據融合的數據構建電信移動用戶服務模型，為電信運營商后續運營決策和套餐制定與推薦提供支持。

（1）消費定制

根據構建的電信移動用戶服務模型，進行短信定制、套餐定制、彩鈴定制、信息服務定制、音樂定制、新聞定制和行業信息服務的定制等營銷決策。定制消費可以涵蓋移動電信相關信息服務，消費群從個人、家庭到團體，可以涵蓋不同區域、不同職業、不同領域以及不同年齡段的用戶。

（2）個性化推薦與城市交叉推薦

個性化推薦服務在電商已有一些應用，如“你可能喜歡……”、“購買了這款物品的人還購買了……”等之類的挖掘推薦。電信運營商的產品和服務更具有針對性和情境移動等特點，根據移動網絡的特點和位置情境的要求，電信移動用戶的推薦更具有靈活性和真實性，因此移動網絡的個性化推薦能夠發揮更大的效能。同時，結合相似電信移動消費群體的特征和偏好，進行城市間的交叉業務推薦，進而將成功的營銷和方案推廣到其他相似用戶群，提升績效。

圖8 上網軌跡數據采集與服務挖掘應用

（3）精確營銷

精確預測用戶的需求，根據用戶的瀏覽記錄，點擊流來做預測，構建動態的移動用戶興趣模型，可采用規則引擎技術來實現。

1 Lu E H C,Ying J J C,Chen H S,et al.Simulation framework for travel trajectory generation and mobile transaction modeling.Proceedings of International Conference on Information Security and Intelligence Control(ISIC),Yunlin,Taiwan,China,2012

2 Chen T S,Chou Y S,Chen T C.Mining user movement behavior patterns in a mobile service environment.IEEE Transactions on Systems,Man and Cybernetics,Part A:Systems and Humans,2012,42(1)

3 張蕓.智能空間中情景感知的系統模型和預測研究.北京郵電大學碩士學位論文，2010

4 陳娜,徐歆壹,宋紅兵等.基于Hadoop的電信BSS大數據平臺建設研究.電信科學,2013,29(3)

5 楊軍.基于移動通信客戶行為分析的精確營銷策略研究.電子設計工程，2012(8)：141～143

6 余肖生,孫珊.基于網絡用戶信息行為的個性化推薦模型.重慶理工大學學報(自然科學)，2013(1)

7 嚴雋薇,黃勛,劉敏等.基于本體用戶興趣模型的個性化推薦算法.計算機集成制造系統,2010(12):2757～2762

8 胡慕海.面向動態情境的信息推薦方法及系統研究.華中科技大學博士學位論文,2011

9 琚春華,鮑福光.基于情境和主體特征融入性的多維度個性化推薦模型研究.通信學報,2012,33(9A):17～27

10 何娟,高志強,陸青健.基于詞匯相似度的元素級本體匹配.計算機工程,2006,32(16):185～187

11 琚春華,鄒江波,張芮等.基于MapReduce技術的并行集成分類算法.電信科學，2012,28(7):40～47

12 薛立宏,張云華,曹敏.移動互聯網運營關鍵問題及商業模式探討.電信科學,2009,25(5):11～17

13 左國才,周榮華,黎自強.改進k-means算法在電信CRM客戶分類中的應用.計算機系統應用，2012(11)