基于分布式搜索模式的線上用戶軌跡數(shù)據(jù)的支撐與應(yīng)用

胡夢云

摘要：本文對互聯(lián)網(wǎng)渠道大流量營銷的支撐方案進行闡述，通過對系統(tǒng)底層架構(gòu)的改造，引入分布式搜索，提高數(shù)據(jù)存儲和分析效率，實現(xiàn)百萬級用戶的數(shù)據(jù)管理能力。為線上運營提供數(shù)據(jù)經(jīng)營分析，深度數(shù)據(jù)挖掘的能力，獲取用戶需求，打造線上運營精準高效的數(shù)據(jù)化營銷模式。為用戶提供智能高效的服務(wù)，提升營銷體驗，助力運營商數(shù)字化轉(zhuǎn)型。

關(guān)鍵詞：移動互聯(lián)網(wǎng);大數(shù)據(jù)分析;電信行業(yè);微信公眾號;業(yè)務(wù)支撐系統(tǒng)

中圖分類號：TP311? ? ? ? 文獻標識碼： A

文章編號：1009-3044（2021）06-0035-02

1 建設(shè)背景

隨著運營商全面互聯(lián)網(wǎng)化轉(zhuǎn)型，“湖北聯(lián)通”微信公眾號作為典型的互聯(lián)網(wǎng)輕觸點渠道，在傳統(tǒng)業(yè)務(wù)能力搭建的基礎(chǔ)上，不僅承載著公司線上渠道與用戶情感維系的窗口，更是助力渠道數(shù)字化轉(zhuǎn)型的重要觸點。作為X百萬粉絲的公眾號，基礎(chǔ)能力逐漸豐富，如何精準獲取用戶需求，為用戶提供更智能高效的服務(wù)，是我們進一步提升體驗的關(guān)鍵。同時，基于微信生態(tài)系統(tǒng)內(nèi)大規(guī)模用戶的服務(wù)與支撐，對系統(tǒng)數(shù)據(jù)管理和分析能力的要求增強，數(shù)據(jù)分析與運營之間的依賴也越來越深。

2 建設(shè)方案

2.1 建設(shè)目標

為了加強公眾號系統(tǒng)對線上運營數(shù)據(jù)分析的能力，專研數(shù)據(jù)管理，我們引入當下互聯(lián)網(wǎng)最流行的系統(tǒng)框架，挖掘團隊能力，因地制宜，對數(shù)字化能力再研判，重構(gòu)微廳數(shù)據(jù)結(jié)構(gòu)。將業(yè)務(wù)的審核與決策點定位于業(yè)務(wù)流程執(zhí)行的位置，高頻次溝通，提高數(shù)據(jù)分析效率，縮短迭代周期，減少信息溝通的渠道和時間，從而整體提高對顧客和市場的反應(yīng)速度。

整體規(guī)劃系統(tǒng)的架構(gòu)，以性能為目標，從底層強化系統(tǒng)大數(shù)據(jù)支撐的能力，實現(xiàn)前后端解耦，引入分布式數(shù)據(jù)搜索引擎框架（Elasticsearch），深化高可用高并發(fā)的改造成果，在支撐高并發(fā)營銷活動的同時，提供大數(shù)據(jù)深度挖掘的成果，全面覆蓋用戶行為軌跡，為全面數(shù)字化賦能。

2.2 建設(shè)方案

2.1.1 分布式索引數(shù)據(jù)分析，提升數(shù)據(jù)深度挖掘能力

通過實現(xiàn)系統(tǒng)前后臺分離，引入更高效率的數(shù)據(jù)分析框架，從底層增強系統(tǒng)對數(shù)據(jù)分析的支撐能力。基于Mysql+Mycat體量小、速度快、成本低的特點，實現(xiàn)數(shù)據(jù)庫讀寫分離，多節(jié)點協(xié)同作戰(zhàn)，支撐大規(guī)模用戶開展高并發(fā)營銷活動。引入Elasticsearch（后文簡稱“ES”）分布式底層數(shù)據(jù)架構(gòu)，支撐大數(shù)據(jù)量（億級）的實時統(tǒng)計查詢的能力，提高數(shù)據(jù)分析效率。Es是分布式可擴展的實時搜索和分析引擎，分布式實時文件存儲，并將每個字段都編入索引中，使其可以被搜索。同時，其強大的可擴展性，可支撐上百臺服務(wù)器，處理PB級別的結(jié)構(gòu)化或非結(jié)構(gòu)化數(shù)據(jù)。

本項目在重構(gòu)數(shù)據(jù)庫時，通過ES面向文檔型數(shù)據(jù)庫存儲方法，將微信公眾號粉絲User表設(shè)計成ES文檔，一條數(shù)據(jù)在這里就是一個ES文檔，用JSON作為文檔序列化格式，這個文檔會屬于一個User的類型，各種類型存在于一個索引當中（Es? 索引（Index） ? 類型（type） ? 文檔（Docments） ? 字段（Fields））。

為了提高搜索的性能，減少磁盤尋道次數(shù)，將多個值作為一個數(shù)組通過連續(xù)區(qū)間存放，一次尋道讀取多個數(shù)據(jù)，同時也降低樹的高度。

例如：粉絲綁定記錄表（Name、bandtime、Age），ES會為每一個field建立一個倒排索引，每一條數(shù)據(jù)的每一個信息都自己的索引ID。

| ID | Name | Bandtime | Age |

| -- |：------------：| -----：| -----：|

| 1? | 張三 | 2019/3/12 | 18

| 2? | 李四 |2020/1/10 | 24

| 3? | 王五 | 2020/9/3 | 24

Name下的名稱“張三”也會有索引編號，也就是Posting list。 Posting list就是一個int的數(shù)組，存儲了所有符合term的文檔id。ID是ES自建的文檔id，那么ES建立的索引如下：

Name：

| Term | Posting List |

| -- |：----：|

| 張三 | 1 |

| 李四 | 2 |

| 王五 | 3 |

Bandtime：

| Term | Posting List |

| -- |：----：|

| 2019/3/12 | 1 |

||2020/1/10 | 2 |

| 2020/9/3? | 3 |

Age：

| Term | Posting List |

| -- |：----：|

| 18 | 1 |

| 24 | [1，2] |

2.1.2 可視化搜索引擎工具，強化數(shù)據(jù)監(jiān)控和檢索能力

為了能快速找到某個用戶綁定記錄term，將所有的term排個序，二分法查找，logN的查找效率就像是通過字典查找，這就是Term Dictionary。而ES通過內(nèi)存查找term（記錄）和Term Index（索引頁），不讀磁盤，來減少磁盤尋道次數(shù)，從而提高查詢性能。然而，ES是一個大數(shù)據(jù)集群，本項目中微信公眾號系統(tǒng)在Linux的環(huán)境下，通過 Kibana 可視化界面來管理和監(jiān)控數(shù)據(jù)文件存儲對服務(wù)器磁盤消耗的情況，以及監(jiān)控文件的大小，見圖1。

通過 Kibana 可清晰看到Es某個索引占用磁盤的情況。Kibana提供了傻瓜式的數(shù)據(jù)檢索能力，可以直接通過查找，輸入你想檢索的任何內(nèi)容， ES能迅速從PB級的海量數(shù)據(jù)里給出響應(yīng)，如圖2。

傳統(tǒng)的數(shù)據(jù)庫存儲方式，百萬級數(shù)據(jù)統(tǒng)計及分析需要一周方能反饋結(jié)論，使用ES后的微廳數(shù)據(jù)分析可提高1-3天內(nèi)完成，對用戶行為和營銷策略快速反應(yīng)。

3 數(shù)據(jù)化的運用和成果

3.1 數(shù)據(jù)化運營模式創(chuàng)新，打造高效協(xié)同運營團隊

通過對數(shù)據(jù)化運營模式的思考，組建小快靈的協(xié)同運營團隊，高頻率地對粉絲群畫像，根據(jù)營銷的目的快速定位用戶。運營報表數(shù)據(jù)沉淀及數(shù)據(jù)處理的開發(fā)周期，從3周降低到5天完成;臨時統(tǒng)計分析由原本的2～3天縮短至10分鐘可反饋，效率提升90%。

通過微信公眾號粉絲結(jié)構(gòu)的分析，根據(jù)綁定用戶年齡占比及趨勢、主套餐分類和占比、用戶ARPU和留存，以及用戶使用微信公眾號的情況，提煉用戶特征，形成用戶畫像。有針對性地為用戶設(shè)計標簽共7大類，其中包括業(yè)務(wù)標簽、套餐標簽、地市標簽等。

例如充值用戶畫像，可知：

1） 單筆充值金額，平均充值金額XX元/筆，同比增長XX%;

2） 活動規(guī)則引導，單筆充值XX元用戶中XX%通過“周周抽大獎-獲取更多抽獎機會”來充值，用戶中XX%是網(wǎng)齡2年以上的老用戶;

3） 小額充值用戶，單筆充值金額在XX元及以下的XX%;小額充值用戶群XX%是2I用戶，平均年齡32歲;

4） 用戶充值偏好，XX%用戶選擇固定金額[50-500元]的方式進行充值，微廳充值優(yōu)惠對粉絲吸引力較大。從用戶選擇偏好來看，選擇充值頁面充費贈費獎勵用戶最多XX%。從充值金額來看，選擇單筆XX元用戶最多;

5） 用戶充值次數(shù)，XX%用戶每月充值一次，僅XX%用戶每月充值3次及以上。

通過數(shù)據(jù)分析提供運營優(yōu)化策略，進一步對微信充值界面流程進行優(yōu)化，賦能地市個性化能力，增加充值動態(tài)營銷浮窗，通過大數(shù)據(jù)手段，驅(qū)動運用對用戶價值的提升。

3.2 流量分析驅(qū)動運營，推進精準營銷與協(xié)同運營

為了能夠提供高價值的流量分析能力，深度提煉運營需求，強化數(shù)據(jù)歸納和分析能力，由數(shù)據(jù)驅(qū)動運營精準獲取用戶需求。在微信生態(tài)圈內(nèi)，將模版消息分為主動營銷類和被動提醒類消息兩類，打造模版共計XX個，包括月度賬單、交費提醒、活動通知等，其中精準營銷類的 “活動通知”推送后轉(zhuǎn)化率高達XX%。

根據(jù)微信用戶標簽化的成果，在“為愛充值”活動中，針對目標用戶群體推送“活動通知”模板，模板消息共計推送XX萬人，共計XXXX名用戶進行話費充值，轉(zhuǎn)換率為XX%。整個為愛充值活動共計XXXX名用戶進行充值，模版消息帶來的用戶占總?cè)藬?shù)的XX%。模版消息的精準推廣不打擾用戶的同時，成功帶來有需求的用戶，使得認可率較高，也說明在推廣實惠型活動的時候，模版消息是有力的運營手段。

3.3 行為定位區(qū)隔屬性，內(nèi)容運營精準送達

通過用戶行為軌跡的分析和定位，進行用戶畫像，不僅可以針對受益群體發(fā)送推文，更能對微信3*5菜單做有效的規(guī)劃提供幫助，有效提高內(nèi)容運營的轉(zhuǎn)化率。

例如與湖北華盛商城合作的終端零售能力，經(jīng)過多次數(shù)據(jù)分析和改進，菜單上線位置從三級到二級再到三級，結(jié)合圖文推送的宣傳，轉(zhuǎn)化率一直穩(wěn)定上升。初期上線后僅銷售XX臺終端，通過行為定位后新發(fā)展注冊用戶XXXX個，占華盛商城湖北板塊用戶總注冊量的XX%。

在2020年湖北疫情期間，快速響應(yīng)湖北人對互聯(lián)網(wǎng)服務(wù)的需求，加深軍營和研發(fā)的合作，在微信構(gòu)建H5頁面10元10G流量包訂購營銷頁;并且為線上運營人員提供精細化推廣依據(jù)。10元10G流量包共進行過X次針對訂購過的用戶精準營銷，用戶轉(zhuǎn)化率XX%，在短信營銷中效果較好。

4 總結(jié)及展望

綜上所述，我們依托大數(shù)據(jù)分析，打造BPR創(chuàng)新團隊，以客戶為中心，堅持用戶畫像、行為分析、問題導向的工作方法，創(chuàng)新機制體制，提高工作效率。通過數(shù)據(jù)來驅(qū)動運營，以小快靈的數(shù)據(jù)化營銷模式，上下同欲、左右同頻、前后同心，敏捷支撐，確保渠道數(shù)字化項目保質(zhì)保量順利轉(zhuǎn)型。面向業(yè)務(wù)流程，直擊痛點難點，使運營、數(shù)據(jù)分析和研發(fā)緊密合作，高效運轉(zhuǎn)，助力互聯(lián)網(wǎng)時代下的快速營銷推廣。

參考文獻：

[1] 趙宏田，江麗萍，李寧.數(shù)據(jù)化運營-系統(tǒng)方法與實踐案例[M]. 北京：機械工業(yè)出版社，2018.

【通聯(lián)編輯：梁書】