基于大數據分析技術的用戶行為分析平臺設計與實現

羅嘉龍 蘇毓洲 方健煒 陳正銘

摘要：隨著大數據時代多元化商業模式和細分市場的快速發展，眾多行業面臨著高昂獲客成本和流失率的雙重挑戰，如何精確獲取用戶行為數據成為重中之重。為解決問題，該文提出基于大數據分析技術的用戶行為分析平臺，對用戶行為數據進行統計分析，優化企業營銷策略，精細化運營。本項目通過測試，證實能更好地對任意網站進行用戶數據獲取和挖掘利用。

關鍵詞：大數據;獲客成本;高流失率;用戶行為分析;精細化

中圖分類號：TP393 文獻標識碼：A

文章編號：1009-3044（2019）35-0054-03

時至今日，大數據（big data）一詞頻繁出現在各信息領域。據預計，到2020年全球每天所產文件、圖片、視頻等各類信息數據量可達35ZB（240GB量級）[2]，并還在增長，這些龐大數據中包含著豐富的用戶行為信息。如何及時、精確地從這些信息中統計、分析出對企業有用的數據信息，挖掘出這些信息背后隱含規律和價值，已成為制約企業決策發展戰略，開拓市場和擴寬客戶群的重要因素[3]。目前企業主流做法是引入類似于諸葛IO，百度統計等第三方模塊，或者另外自行開發后臺統計模塊。為此，本文設計用戶行為分析平臺[4]，運用大數據分析技術、Lu-cene全文檢索交叉分析算法，自定義埋點技術，摒除接入第三方服務進行用戶分析所帶來的風險，對數據進行用戶渠道轉化、新增、留存、多維度交叉分析，能很好地發現潛藏規律，預測數據未來走向，并以圖表可視化形式展示，很大程度上滿足了企業決策者需求。

1 存在問題描述

經市場調研，傳統的企業開發網頁系統普遍存在問題如下：

1）性能問題：用戶在日常體驗過程，網頁往往會生成大量的新增留存數據。傳統企業開發網頁系統需要及時對其進行數據處理并分析數據所帶來的潛在信息，這一過程會極大消耗服務器大量性能，同時對系統性能造成一定損耗。

2）獲客成本問題：傳統網頁開發系統為了處理網頁用戶數據往往會消耗一定成本自行開發，或者接入第三方服務統計功能模塊，從而導致企業開發網頁獲客成本高昂，得不償失。

3）安全性問題：目前，部分企業會接入第三方服務來優化數據統計模塊（如諸葛IO，百度統計等），雖然成本較低，但所有分析都將暴露給了第三方平臺，數據存在泄漏的可能，隱含著極大安全隱患。

4）用戶高流失率[1]問題：企業傳統網頁在開發過程中統計方式單一，數據處理與分析方面還做得不夠完善，如何提高用戶體驗感迫在眉睫，用戶流失高問題日漸體現。

5）市場營銷定位問題：一個精確、符合大眾用戶的營銷策略決定一個企業的盈利虧損。傳統網頁開發對在挖掘用戶數據潛在價值這一模塊缺乏重視，制約著決策者對市場營銷數據流動進行正確的價值評估，往往導致決策者無法作出精確營銷[5]，造成經濟上不必要的損失。

2 系統設計理念與模塊

用戶行為分析平臺設計采用SSM+MAVEN框架進行開發，嚴格遵守著MVC思想，分析統計各個網站的瀏覽量，用戶群體訪問量，為用戶提供較好的決策方案，操作簡單、數據準確，具有良好的個性化服務的特征其中本系統在事件的搜索上使用了全文檢索，提高了網站的查詢效率。由于在數據量龐大，基于大數據可視化的統計不可避免，為此，本系統做到了各種報表的導出與統計圖下載相結合，采用多維度細分時間分析，提供新增、活躍、留存訪客等分析數據，通過大數據精確分析[6]，同時還提供標簽反向檢測，減少數據錯誤，為決策者、網站管理者提供幫助。平臺主要分為以下模塊：

3 系統實現

3.1系統架構流程介紹

如下圖2所示，當用戶對網站進行操作，用戶行為數據將會發送至本系統的接收器，接收器通過算法對數據進行篩選與過濾，進而把有效數據存儲進數據倉庫。當數據倉庫接收到數據后，系統利用一系列如用戶活躍度、終端分析、地域分析等大數據用戶行為分析算法，根據用戶在網頁的瀏覽行為進行加權評分，然后全局比較，分析用戶活躍沉默用戶，同時會將計算后的結果趨勢分析，分析出用戶是否留存，最終以大數據分析圖表技術展示，并把結果返回給用戶。同時，基于數據量較大影響系統的檢索速度的不足，本系統采用全文檢索算法[7]，從根本上解決搜索檢索效率的問題，最后將會把數據回饋展示到系統頁面上，以提供用戶實時使用。同時，本系統為解決獲取的用戶數據可能因網站版本的迭代或傳輸過程中出現錯誤的問題，設計開發出驗證檢測模塊，該模塊利用爬蟲與標簽遞歸算法檢查數據正確性，保證了統計數據的完整性。

3.2系統設計總流程

1）調查網上各類統計平臺的需求，設計平臺需求文檔，埋點方案[8]設計，不斷吸收大眾的意見，總結出明確的文檔。

2）設計系統Browser/Web/DataBase3層體系架構：表示層（presentation）-Web瀏覽器、功能層（business logic）-具有應用程序擴展功能的Web服務器、數據層（data service）-數據庫服務器。

3）對系統模塊進行劃分，明確各個模塊的功能和聯系。

4）設計后臺數據庫，規范設計出數據庫表，包含event、log、subpage、user、useraction、userdetail、web、webdetail等表。

5）編程和調試，完成前端頁面設計與實現和后端功能的開發，完成前后端數據交互。最后再完成移動端頁面的實現。

6）α測試：計算本機測試，采用不同瀏覽器和不同分辨率顯示器進行可用性測試。

7）項目部署到云端。

8）β測試：讓測試人員采用不同的設備進行測試，修改測試過程中發現的BUG。

9）調試修改代碼，根據測試結果，修改程序的不足之處。

3.3關鍵功能實現

前端埋點方案button按鈕標簽數據獲取相關部分代碼：

$（'button'）.click（function （）{//前端Javascript代碼獲取所有button標簽并進行點擊事件處理

if（$（this）.attr（'min'）==null）{//判斷植入頁面button是否具有min屬性

var label='button';//賦值該button為label

var value=this.value;//賦值該button標簽value值為

var text=this.innerText;//賦值該button標簽innerText為tex

var id=this.id;//賦值該button標簽id為id

var classname=this.className;

//賦值該button標簽className為classname

var name=this.name;//賦值該button標簽name為name

label=label=="‖label==null？"：label;

//三元表達式判斷label值是否為空

id=id=="‖id==null？"：id;

//三元表達式判斷id值是否為空

classname=classname=="‖classname==null？"：class-name;

//三元表達式判斷classname值是否為空

name=name=="‖name==null？"：name;

//三元表達式判斷name值是否為空

text=text=="‖text==null？"：text;

//三元表達式判斷text值是否為空

value=value=="‖value==null？"：value;

//三元表達式判斷vallue值是否為空

var tab=this.outerHTML==null？""：this.outerHTML;

//三元表達式判斷outerHTML值是否為空

var message='Iabel='+label+'&id='+id+'&className='+

classname+'&name='+name+'&text='+text+'&value='+value+'&tab='+tab;//賦值message

console.log（message）;//后臺輸出message進行測試

if（tab！=null&&tab！="&&tab！='undefined'）{

//判斷tab是否為nun或undefined

sendMsg（message）;//發送到后端

}}}）;

當頁面植入用戶行為平臺所下載的代碼，點擊任意button，即可輸出該button標簽label名、value、innnerHTML、name、id、className等一系列標簽屬性。如圖3所示，是button標簽測試在后端輸出的結果。

當用戶進行用戶行為，系統會自動監控用戶行為所產生的數據，并對其進行訪客分析，以1小時實時記錄訪問者行為，在線時間、在線人數有多少個。分多時間緯度觀察近期訪問者數量通過折線圖展示，而訪問者詳細細節通過表格呈現（包括他們通過什么瀏覽器訪問、訪問時間、訪問的操作系統、訪問的頁面、訪問的IP），并對其進行地域分析，記錄訪問者的來源地，如圖4所示通過中國地圖形式展現出來。

4 結束語

隨著互聯網技術的進步和快速發展，精細化運營逐漸成為市場主流，而用戶行為數據分析的重要性日漸凸顯。本文講述基于大數據分析技術的用戶行為分析平臺設計與實現流程，致力于解決現有市場普遍存在的成本、安全等一系列問題，同時可以有效提高用戶體驗，很好的分擔決策者壓力。目前，本系統多次測試結果基本滿足設計需求。綜上所述，本文系統設計順應社會發展趨勢，具有較好的商業實用性和較高的市場價值。

參考文獻：

[1]賴院根，劉敏健，王星.網絡環境下的信息用戶流失分析[J].情報科學，2011，29（11）：1736-1741.

[2]何運祺.基于Hadoop移動大數據的用戶行為分析[D].蘭州：蘭州理工大學，2017.

[3]陳恩紅，陳玉瑩，潘鎮，等.用戶序列行為分析研究與應用綜述[J].安徽大學學報：自然科學版，2018，42（5）：39-51.

[4]郝增勇.基于Hadoop用戶行為分析系統設計與實現[D].北京：北京交通大學，2014.

[5]楊芮.Web用戶行為數據收集統計系統的設計與實現[D].北京：北京交通大學，2015.

[6]閆朝陽.基于Web的大數據分析平臺交互設計研究[J].設計，2019（17）：94-97.

[7]王鵬.基于Hadoop全文檢索的研究與應用[D].重慶：重慶郵電大學，2017.

[8]廖建軍.Web信息的無埋點精準采集[D].北京：北京郵電大學，2019.

【通聯編輯：梁書】

收稿日期：2019-10-11

基金項目：韶關學院大學生創新創業訓練計劃立項項目（省級）（S201910576037）