基于電信大數(shù)據(jù)的即時環(huán)境應用能力開放平臺

鄭　明　中國聯(lián)通研究院平臺與產(chǎn)品實驗室研究員王　蓉　中國聯(lián)通研究院平臺與產(chǎn)品實驗室產(chǎn)品開發(fā)實驗室組長，高級工程師楊　瑞　中國聯(lián)通研究院平臺與產(chǎn)品實驗室研究員

?

基于電信大數(shù)據(jù)的即時環(huán)境應用能力開放平臺

鄭明中國聯(lián)通研究院平臺與產(chǎn)品實驗室研究員
王蓉中國聯(lián)通研究院平臺與產(chǎn)品實驗室產(chǎn)品開發(fā)實驗室組長，高級工程師
楊瑞中國聯(lián)通研究院平臺與產(chǎn)品實驗室研究員

摘要：提出一種基于電信大數(shù)據(jù)的即時環(huán)境應用能力開放平臺，并研究平臺框架及實現(xiàn)機制。該平臺充分挖掘電信運營商的數(shù)據(jù)價值，并為第三方應用提供業(yè)務便利，有利于電信運營商大數(shù)據(jù)生態(tài)環(huán)境的構(gòu)建。

關(guān)鍵詞：大數(shù)據(jù)；即時環(huán)境；開放平臺

1　引言

移動互聯(lián)網(wǎng)時代各類應用層出不窮，各細分市場競爭趨于同質(zhì)化。應用若能在用戶需求產(chǎn)生或發(fā)生變化時，即時對用戶提供對應的服務，將極大提升用戶體驗，增強市場競爭力。電信運營商擁有豐富、真實、準確的用戶數(shù)據(jù)，包含實時信息如移動用戶上網(wǎng)流量記錄，以及歷史信息如用戶基礎(chǔ)身份信息、用戶標簽信息等。基于電信運營商的大數(shù)據(jù)，分析用戶的即時狀態(tài)，并將相關(guān)分析結(jié)果開放給應用開發(fā)者，將成為運營商大數(shù)據(jù)開放的重要應用形式，本文稱之為基于電信大數(shù)據(jù)的即時環(huán)境應用能力開放平臺。

2　應用場景

為更直觀地描述即時環(huán)境應用能力開放平臺，本文先以一個特定的應用場景為例進行介紹。該應用場景下，某個第三方應用需要即時獲知進入某地理區(qū)域內(nèi)的具備某特性的用戶信息，以便向這些用戶推送有針對性的業(yè)務營銷信息。如圖1所示，通過基于電信大數(shù)據(jù)的即時環(huán)境應用能力開放平臺實現(xiàn)該需求的關(guān)鍵環(huán)節(jié)，具體如下：

（1）第三方應用向開放平臺訂購服務，服務指明應向其通知具備某類特征標簽的用戶進入某個區(qū)域內(nèi)的事件。

（2）開放平臺根據(jù)第三方應用所訂購的服務，設(shè)置事件觸發(fā)器。

（3）符合預設(shè)條件的移動用戶移動到預設(shè)區(qū)域，并產(chǎn)生移動上網(wǎng)流量。

（4）電信大數(shù)據(jù)平臺從實時采集的移動用戶上網(wǎng)流量記錄中提取用戶位置信息，并根據(jù)用戶歷史上網(wǎng)記錄分析用戶特征，并通過標簽形式進行標注。電信大數(shù)據(jù)平臺將所提取的用戶位置信息及標簽信息實時寫入能力開放服務中。

（5）能力開放服務通過事件觸發(fā)器實時檢測用戶信息的寫入。

（6）當能力開放服務檢測到符合觸發(fā)條件的寫入時，則向第三方應用進行通知，通知內(nèi)容包含該符合條件的用戶的手機號碼。

（7）第三方應用向該用戶推送具有針對性的業(yè)務營銷信息。

圖1　即時環(huán)境應用能力開放應用場景示例

3　平臺框架

基于電信大數(shù)據(jù)的即時環(huán)境應用能力開放平臺框架如圖2所示，框架中各部件描述如下：

（1）第三方應用

即訂購服務的需求方，是訂購規(guī)則的制定者，數(shù)據(jù)處理結(jié)果的使用者。

（2）業(yè)務訂購系統(tǒng)

第三方應用訂購的受理系統(tǒng)，根據(jù)客戶訂購內(nèi)容生成訂購規(guī)則。

（3）任務調(diào)度引擎

解析訂購規(guī)則，并根據(jù)規(guī)則向能力開放服務、電信大數(shù)據(jù)平臺分配數(shù)據(jù)處理任務，完成以上系統(tǒng)相關(guān)業(yè)務處理邏輯的自動化配置。

（4）能力開放服務

能力開放平臺的核心部件，包括以下部件內(nèi)容：

●分布式內(nèi)存數(shù)據(jù)庫：存儲讀取、寫入頻率極高的熱點數(shù)據(jù)，是能力開放服務的核心數(shù)據(jù)存儲部件。

●嵌入式腳本：作為分布式內(nèi)存數(shù)據(jù)庫的擴展腳本，實現(xiàn)腳本與內(nèi)存數(shù)據(jù)庫函數(shù)的雙向調(diào)用，以擴展內(nèi)存數(shù)據(jù)庫功能。

圖2　即時環(huán)境應用能力開放平臺框架

●接口服務：定義外部數(shù)據(jù)、分析結(jié)果數(shù)據(jù)的交換接口標準，提供開放接口服務，完成各類接口的封裝，并實現(xiàn)與其他部件交互的能力適配。具體包括以下接口內(nèi)容：

——數(shù)據(jù)批量導入接口：用于外部數(shù)據(jù)的批量導入。

——查詢接口：用于第三方應用查詢分析結(jié)果。

——Pub/Sub：用于第三方應用數(shù)據(jù)的實時輸入，以及分析結(jié)果的實時通知。

（5）電信大數(shù)據(jù)平臺

用戶數(shù)據(jù)基礎(chǔ)平臺，提供分布式的持久化存儲能力與流處理能力，包括HDFS/HBase、Spark、數(shù)據(jù)分析挖掘平臺等部件。

4　平臺數(shù)據(jù)需求

4.1用戶屬性數(shù)據(jù)

電信大數(shù)據(jù)平臺實時采集移動用戶上網(wǎng)流量記錄并進行挖掘分析，向能力開放服務提供各類用戶屬性數(shù)據(jù)，具體如下：

（1）用戶標識

提供用戶的手機號碼，或其他經(jīng)過匿名處理的用戶標識碼。

（2）用戶位置

可直接提供用戶的地理坐標數(shù)據(jù)，或提供用戶接入移動通信系統(tǒng)的地區(qū)區(qū)域碼（LACID）、小區(qū)識別碼（CELLID），以及系統(tǒng)全局范圍內(nèi)的以上編碼與基站地理坐標數(shù)據(jù)的映射關(guān)系。

（3）用戶上下文

用戶上下文信息包括用戶終端、近期使用的應用和近期搜索詞等數(shù)據(jù)。

（4）用戶畫像

用戶畫像可通過標簽形式進行描述，也可按其他自定義數(shù)據(jù)格式進行描述。

此外，第三方應用也可向開放平臺提供用戶屬性補充數(shù)據(jù)。

4.2目標描述數(shù)據(jù)

第三方應用向開放平臺提供訂購目標的描述數(shù)據(jù)，以滿足其訂購業(yè)務的需求，具體如下：

（1）目標用戶描述

提供對訂購目標用戶群體的描述信息，包括對目標用戶的屬性要求，如畫像要求、終端類別要求、近期搜索詞要求等；也可包括目標用戶的用戶標識集合，即要求開放平臺僅分析、處理該集合范圍內(nèi)的用戶數(shù)據(jù)。

（2）目標區(qū)域描述

提供對訂購目標區(qū)域的描述信息，即對訂閱區(qū)域的地理位置要求，如行政區(qū)域要求、地理坐標要求，要求開放平臺僅分析、處理該目標區(qū)域范圍內(nèi)的用戶數(shù)據(jù)。

（3）目標時間描述

提供對訂購目標時間的描述信息，要求開放平臺僅在該目標時間范圍內(nèi)進行用戶數(shù)據(jù)的分析。

5　業(yè)務處理流程

5.1業(yè)務訂購與任務分配

如圖3所示，業(yè)務訂購與任務分配是客戶完成即時環(huán)境應用能力業(yè)務訂購，開放平臺完成訂購任務解析分配的流程，具體包括以下流程：

圖3　業(yè)務訂購與任務分配流程

（1）第三方應用通過業(yè)務訂購系統(tǒng)訂購業(yè)務。

（2）業(yè)務訂購系統(tǒng)生成訂購規(guī)則描述文件，并提交任務調(diào)度引擎處理。

（3）任務調(diào)度引擎解析訂購規(guī)則：

●向電信大數(shù)據(jù)平臺傳入任務配置。

●向分布式內(nèi)存數(shù)據(jù)庫提交執(zhí)行任務所需的腳本文件。

5.2任務執(zhí)行

任務執(zhí)行是指能力開放服務、電信大數(shù)據(jù)平臺完成任務配置后，啟動數(shù)據(jù)處理分析以及結(jié)果應用。針對不同的業(yè)務場景，任務執(zhí)行可根據(jù)單體用戶數(shù)據(jù)的計算復雜性、單次分析數(shù)據(jù)量，分為流式任務執(zhí)行模式與批量任務執(zhí)行模式。

（1）流式任務執(zhí)行模式

流式任務執(zhí)行模式，由嵌入式腳本完成數(shù)據(jù)分析工作，并實時開放處理結(jié)果。適用于單體用戶數(shù)據(jù)的計算復雜性弱、單次分析數(shù)據(jù)量小的應用場景。如圖4所示，流式任務執(zhí)行模式的處理流程具體如下：

●第三方應用通過開放接口服務

輸入外部數(shù)據(jù)，開放接口服務根據(jù)外部數(shù)據(jù)的類別將數(shù)據(jù)存儲于大數(shù)據(jù)平臺或分布式內(nèi)存數(shù)據(jù)庫。例如，將限定目標用戶范圍的數(shù)據(jù)存儲于電信大數(shù)據(jù)平臺，將用戶屬性的描述信息存儲于大數(shù)據(jù)平臺。

●大數(shù)據(jù)平臺將單體用戶或少量用戶的數(shù)據(jù)提交給內(nèi)存數(shù)據(jù)庫。

●內(nèi)存數(shù)據(jù)庫調(diào)用嵌入式腳本進行數(shù)據(jù)分析，并保存用戶數(shù)據(jù)。

●內(nèi)存數(shù)據(jù)庫將分析結(jié)果提交給開放接口服務，并由開放服務接口將分析結(jié)果開放給第三方應用。

●根據(jù)應用場景的需求，將分析結(jié)果持久化保存于電信大數(shù)據(jù)平臺。

（2）批量任務執(zhí)行模式

批量任務執(zhí)行模式，由大數(shù)據(jù)平臺完成數(shù)據(jù)

分析工作并開放處理結(jié)果，分布式內(nèi)存數(shù)據(jù)庫僅

提供快速數(shù)據(jù)查找、寫入功能。適用于單體用戶數(shù)據(jù)的計算復雜性強、單次分析數(shù)據(jù)量大的應用場景。如圖5所示，批量任務執(zhí)行模式的處理流程具體如下：

●第三方應用通過開放接口服務輸入外部數(shù)據(jù)（與流式任務執(zhí)行模式的外部數(shù)據(jù)輸入要求一致）。

●電信大數(shù)據(jù)平臺批量提交用戶數(shù)據(jù)查詢請求。

圖4　流式任務執(zhí)行流程

圖5　批量任務執(zhí)行流程

●內(nèi)存數(shù)據(jù)庫將用戶數(shù)據(jù)批量返回給電信大數(shù)據(jù)平臺，電信大數(shù)據(jù)平臺進行數(shù)據(jù)分析。

●電信大數(shù)據(jù)平臺將分析結(jié)果提交給開放接口服務，并由開放服務接口將分析結(jié)果開放給第三方應用。

●將電信大數(shù)據(jù)平臺中最新的用戶數(shù)據(jù)寫入內(nèi)存數(shù)據(jù)庫中保存。

6　結(jié)束語

基于電信大數(shù)據(jù)的即時環(huán)境應用能力開放充分挖掘了運營商的數(shù)據(jù)價值，并為第三方應用提供業(yè)務便利，不僅可以作為一種收費業(yè)務模式實現(xiàn)大數(shù)據(jù)變現(xiàn)，更促進了運營商大數(shù)據(jù)生態(tài)環(huán)境的構(gòu)建。

參考文獻

［1］李政，李繼兵，丁偉.基于大數(shù)據(jù)的電信運營商業(yè)務模式研究［J］.移動通信，2013（05）.

［2］王珊，肖艷芹，劉大為，等.內(nèi)存數(shù)據(jù)庫關(guān)鍵技術(shù)研究［J］.計算機應用，2007（10）.

［3］陳娜，張金娟，劉智瓊，等.基于Hadoop平臺的電信大數(shù)據(jù)入庫及查詢性能優(yōu)化研究［J］.移動通信，2014（07）.

Openplatform with real-time environment application ability basedontelecommunication big data

ZHENGMing，WANGRong，YANGRui

Abstract:This paper presents an open platform of real- time environment application based on telecom big data，and researches on its framework and implementation mechanisms. This open platform fully extracts the value of mobile network operators’business data， and provides convenience for the third-party application. It is conducive to the ecosystem of telecom big data.

Keywords:big data； real-time environment； open platform

收稿日期：（2016-03-20）