基于信息匯聚平臺的快數據應用設計與實現

趙彥杰

(中國電信股份有限公司上海分公司，上海 200120)

基于信息匯聚平臺的快數據應用設計與實現

趙彥杰

(中國電信股份有限公司上海分公司，上海 200120)

用戶行為信息中蘊含著巨大的價值，如何采集并加工用戶行為信息，使之成為新的業務增長點，是運營商面臨的重要課題。通過對信息匯聚、采集、加工等關鍵技術的研究，給出了基于信息匯聚平臺的快數據應用的實現方案，能夠通過用戶開關機、位置變化、語音通話等行為觸發用戶關懷、企業名片、信息推送等業務，該方案已經廣泛用于電信運營商的新興業務領域，取得了顯著的經濟效益。

移動通信;大數據;快數據

1 引言

工業和信息化部發布的通信運營業統計公報顯示，2014年中國手機用戶數已經達到13億戶，并且仍在不斷高速增長。隨著移動通信行業的巨大發展，運營商越來越意識到，用戶行為中蘊含著巨大的價值，除了對用戶信息進行大數據挖掘，分析用戶特點、偏好之外，如何圍繞移動用戶特有的實時行為數據，提供對廣大用戶具有吸引力的快數據業務來提升服務體驗，是一個需要深入研究的課題。

快數據是基于用戶行為的近實時數據流，與普通大數據處理動輒數十分鐘至數小時的跨度不同，其從產生、采集、加工到業務提供，往往在數百毫秒至數秒之間，需要在事件發生的同時立即做出反應與操作，運營商目前的信息采集及分析系統并不具備這種實時事件的反應能力。此外，運營商目前信令系統原始數據的來源主要是類A口信令，因此針對移動用戶信息分析局限于用戶的開關機及忙閑狀態，存在信息源單一、數據挖掘不充分、接口不靈活等問題，不能充分滿足上層業務的需求。比如本地用戶國際漫游回歸歡迎詞業務，由于早期系統無法采集用戶的漫游狀態，導致該業務需求不能快速實現。

為了更好地發揮信息提供閥門作用，必須設計一套新的信息匯聚系統，對更多的移動通信網絡用戶行為原始數據進行匯聚和采集，同時對采集的數據進行分析、過濾、加工和封裝，最后通過標準的接口將數據傳送至業務平臺，為業務平臺執行上層業務邏輯為用戶提供個性化快數據服務打下堅實的基礎，滿足不斷發展的業務需求。

2 信息匯聚平臺功能架構設計

信息匯聚平臺是通信網絡用戶行為消息匯聚、采集和加工的核心網元，其系統架構設計自下而上可分為3層:數據采集層、數據處理層和應用接口層。信息匯聚平臺的系統架構如圖1所示。

數據采集層負責從各類網元收集并匯聚如類A口事件(基站到移動交換機的信令)、深度分組檢測信息、MAP(mobile application part，移動應用部分)消息等源數據，并將所得到的數據存入原始數據庫。消息解碼內容包括開關機、主被叫、收發短信、周期性位置更新等。數據處理層負責對原始數據進行預處理、加工和關聯，將所有信息梳理成用戶維度的實時與非實時狀態表，并將用戶行為細節信息存入用戶數據庫。應用接口層負責按照信息匯聚平臺定義的標準接口對外提供數據，包括Web services接口、socket接口、FTP接口以及其他因為特定用戶的特殊要求而實現的專用接口。接口層同時還具備各種數據訪問邏輯以及安全控制，通過內部中間件向數據處理層發起業務請求，提供上層業務平臺所需的信息查詢、定制或主動推送服務，如單個用戶實時狀態查詢、基于用戶的實時狀態變化通知、批量的基站維度查詢以及支持號碼、位置和狀態3個維度的用戶歷史軌跡查詢等。信息匯聚平臺的對外接口見表1。

3 業務網絡數據采集及過濾

在傳統電信網絡中，信令監測只是一種故障定位和運維保障的手段，而信息匯聚平臺的出現使得這些包含用戶信息的信令可以為各種上層業務需求提供原始數據，因此，信令的采集和過濾技術顯得格外重要。

類A口信令是信息匯聚平臺采集的重要數據，包含用戶的開關機事件、起呼事件、短信事件、登記事件以及呼叫詳細記錄，其采集的原理是在基站到移動交換機的數據鏈路上跨接探頭，以獲取相關數據流量，跨接點一般選擇在匯聚基站的數據設備上。

圖1 信息匯聚平臺功能模塊設計

表1 信息匯聚平臺應用接口

隨著業務需求的擴充，信息匯聚平臺還需要采集移動用戶登記消息，用于配合上層消息推送平臺進行漫游用戶的歡迎詞服務，此類消息一般可以從運營商已有的移動網信令監測系統獲得。移動網信令監測系統從原始信令中過濾出登記通知消息，進行解碼、分析、合成，根據一定的規則生成相關的記錄(包括移動用戶識別碼、用戶號碼、時間等信息)，通過北向socket接口實時發送給信令匯聚平臺。信息匯聚平臺通過采集層收到移動網信令監測系統的數據后，經過統一封裝模塊，將數據發送給上層業務平臺。

數據過濾是數據采集技術中的重要環節，比如根據主被叫號碼或指定區域進行過濾，根據不同的需求，采用不同的處理模式。與其他信息采集系統采用先存儲后處理的方式不同，信息匯聚平臺采用基于實時事件的數據流處理方式，真正滿足了快數據業務實現的高速性。在信息匯聚平臺基于基站列表的過濾功能中，可以采用混合過濾模式，即各類業務統一對原始數據進行掃描，按照不同的過濾要求同時查找各類規則，最后生成針對不同業務的輸出。這種方式下，系統掃描數據時需要對全部規則進行匹配，實時性稍差，但適合以文件方式傳輸的準實時業務需求，如用戶關懷、信息推送等業務。混合過濾方案的實現模式如圖2所示。

圖2 混合過濾方案的實現模式

為了保證數據的實時輸出，企業名片、掛機短信等高實時性業務建議采用以業務為單位的鏈式過濾，對每個業務配置獨立的過濾器。這種面向業務的獨立處理方式針對各個業務獨立進行處理，實時性高，但是每次有新的業務需求時，都需要新建過濾器，適合于數據源單一、數據加工簡單的業務。

4 基于通話行為的快數據應用設計

通過信息匯聚平臺對外開放的信令數據，可以獲取用戶的實時通話行為，并以此設計掛機短信與來電名片業務，這也是電信運營商面向中小企業用戶推廣的重點新興業務。

掛機短信的場景是當移動用戶撥打簽約此項業務的企業號碼后，企業可識別撥打行為并向主叫發送預設的短信，作為企業維系客戶的手段。要實現此項業務，信息匯聚平臺必須采集移動網原始信令，對MAP消息進行分揀和合成，獲取所有移動用戶的呼叫情況，同時結合類A口的被叫側起呼和掛機事件，補充相關呼叫的狀態，最后根據企業清單過濾出主叫號碼發送給上層業務平臺進行預設短信的發送。對于用戶起呼、終呼在不同移動交換機的場景，則需要信息匯聚平臺將各個交換機的詳單及所有的切換消息進行全局的匹配與合成，從而形成正確的跨域掛機事件。

來電名片業務的申請者為固話用戶，當申請該業務的用戶撥打其他用戶時，將同時給被叫發送閃信/短信，短信內容包含該用戶預設的名片信息。來電名片的數據來源主要是固網到關口局的IAM(initial address message，起始地址消息)，對于已完成軟交換改造的電信網絡，需調整為采集SIP(session initiation protocol，會話初始協議)消息。信息匯聚平臺根據IP地址實時采集各個軟交換匯接局到關口局的起呼消息，根據主被叫進行解碼，獲取簽約號碼的呼叫行為清單后發送給業務平臺。掛機短信及來電名片業務的實現流程如圖3所示。

其具體實現流程如下:

(1)主叫號碼A呼叫被叫號碼B;

(2)信息匯聚平臺通過數據采集層的探針獲取呼叫發起和振鈴消息事件;

(3)信息匯聚平臺數據處理層對采集到的原始消息事件進行預處理;

(4)數據處理層將消息關聯成用戶號碼維度的實時狀態表，根據消息內容補充被叫狀態;

(5)數據處理層根據主被叫號碼的業務定購關系過濾相關事件;

(6)信息匯聚平臺應用接口層根據事先定義的標準接口將數據發送至上層業務平臺;

(7)來電名片平臺將主叫事先定義的名片信息通過閃信發送給被叫號碼;

(8)B應答后，A、B雙方通話，通話結束后雙方掛機;

(9)信息匯聚平臺通過數據采集層的探針獲取呼叫應答和掛機消息事件;

(10)信息匯聚平臺數據處理層對原始數據進行加工、關聯和過濾;

(11)信息匯聚平臺應用接口層通過標準接口將數據發送至上層業務平臺;

圖3 通話快數據業務實現流程

(12)掛機短信平臺將被叫事先定義的推廣信息通過短信發送給主叫號碼。

為了維護用戶行為隱私，對外提供的數據都需要按照實際申請業務的用戶進行發送。用戶清單的獲取方式有兩種:一是上層掛機短信或來電名片平臺定期(每天)提供全量或新增的用戶清單，信息匯聚平臺根據新的用戶清單對數據進行過濾;二是信息匯聚平臺通過客戶關系管理系統獲取新開通業務的用戶清單定時更新。信息匯聚平臺與上層業務平臺采用socket方式進行通信，在正常情況(網絡帶寬充足、數據接收服務器未堵塞數據等)下，信息匯聚系統解碼過濾分析處理后向業務平臺標準接口發送數據的時延可以控制在收到起呼或終呼消息后的2 s之內，相當于用戶呼叫或掛機后馬上就能收到消息推送，完全可以滿足快數據應用的需要。

5 基于位置信息的快數據應用設計

位置信息是移動互聯網應用的核心要素，通過信息匯聚平臺類A口信令中包含的基站和扇區信息，能夠準確地獲取用戶所在的小區位置。一般在城市市區或郊區城鎮區域，一個基站覆蓋的范圍為半徑500 m的區域，而在比較空曠的農村區域，一個基站的覆蓋范圍在1.5～3 km。類A口信令可以給出用戶所在小區對應基站的IP地址，通過查詢基站數據庫的映射關系，就可以找到對應的基站名稱、地址及經緯度信息。

除了對單個用戶進行定位外，信息匯聚平臺還可以結合時間軸給出用戶的動態軌跡，或者過濾出處于某個基站或某片區域的用戶集，開展信息推送類的快數據應用。運營商可以根據合作方提供的簽約用戶號碼，查詢用戶所在的商圈，同時從大數據系統獲取用戶的各類標簽，結合用戶位置和標簽進一步篩選和分類用戶，針對不同用戶推送其感興趣的信息。基于位置信息的實時信息推送應用過程設計如下:

(1)業務發布人員在上層管理平臺創建任務、定制業務觸發規則;

(2)管理平臺批量導入指定區域的基站列表，自動同步到信息匯聚平臺;

(3)信息匯聚平臺生成指定區域采集自動機，采集區域內的用戶位置變化信息;

(4)用戶進入指定區域，向移動交換機發起位置登記及狀態更新消息;

(5)信息匯聚平臺通過數據采集層的探針獲取到用戶登記消息;

(6)信息匯聚平臺數據處理層對采集到的原始消息事件進行預處理;

(7)數據處理層根據預設的業務觸發規則及基站列表過濾相關用戶事件;

(8)信息匯聚平臺通過大數據平臺進行特征匹配，打上用戶喜好標簽;

(9)信息匯聚平臺應用接口層通過標準接口將號碼集發送至小區短信或信息推送平臺;

(10)上層業務平臺根據信息匯聚平臺上報的號碼集進行信息推送。

對于指定區域信息推送的業務，要特別注意對該區域的常駐用戶進行過濾，以免對用戶形成騷擾。常駐用戶一般有兩種類型:該區域居住用戶(駐留時間為夜晚)和該區域上班用戶(駐留時間為白天)。信息匯聚平臺需要對常駐用戶進行定義，如連續N天A時刻-B時刻出現在指定基站或者扇區下的用戶，N、A、B是可配置參數，一般居住用戶設置成連續5天凌晨0:00-6:00、上班用戶設置成連續5天9:00-16:00。數據挖掘模塊定期分析指定區域的常駐用戶，生成文件放在指定目錄下，服務提供層根據業務需求，對需要過濾常駐用戶的數據推送，會自動獲取對應的用戶清單，實現常駐用戶過濾的功能。

6 結束語

隨著移動網絡建設的不斷完善，通信網絡覆蓋和用戶數都在大幅增長。在這種形勢下，電信運營商除了提供用戶基礎的語音、短信、上網業務之外，還需要進一步提供更加豐富和全面的增值服務來吸引用戶，提高自身的競爭力，創造新的價值增長點。信息匯聚平臺具有強大的網絡數據采集能力和豐富的對外接口，通過信息采集和匯聚可以實現小區短信、漫游用戶歡迎詞、公益信息發布、企業來電名片、掛機短信等多種實時的快數據應用，為運營商有效利用用戶行為數據開展快數據業務起到了示范作用，取得了良好的經濟效益和社會效益。如何對采集的信息進一步分析挖掘，實現移動通信網絡行為的大數據分析，與快數據應用結合開展業務，是下一步研究的重點課題。

［1］鄭鳳.移動互聯網技術架構及其發展 ［M］.北京:人民郵電出版社，2013.ZHENG F.Mobile Internet Technical Architecture ［M］.Beijing:Posts&Telecom Press，2013.

［2］尹立強，張海燕.移動通信［M］.西安:西北工業大學出版社，2013.YIN L Q，ZHANG H Y.Mobile Telecommunication ［M］.Xi'an:Northwestern Polytechnical University Press，2013.

［3］張傳福.移動互聯網技術及業務［M］.北京:電子工業出版社，2012.ZHANG C F.Mobile Internet Technology and Business ［M］.Beijing:Publishing House of Electronics Industry，2012.

［4］涂子沛.數據之巔:大數據革命，歷史、現實與未來［M］.北京:中信出版社，2014.TU Z P.Big Data History，Reality and Future ［M］.Beijing:China Citic Press，2014.

Design and implementation of fast data application based on information aggregation platform

ZHAO Yanjie
Shanghai Branch of China Telecom Co.，Ltd.，Shanghai 200120，China

User behavior information contains great value.Telecom operators must collect and deal with this information to create new business growth point.Through the research of information collection and processing，the implementation scheme of fast data application was given.Services such as user care and information push were provided based on the behavior of position change and voice calls.The application was used in the new business field of China Telecom and achieved remarkable results.

mobile communication，big data，fast data

TN929.5

A

10.11959/j.issn.1000-0801.2016027

2015-04-02;

2015-10-26

趙彥杰(1982-)，男，中國電信股份有限公司上海分公司工程師、交換網絡處副處長，主要研究方向為業務平臺的維護管理及產品支撐。