大數據平臺的用戶行為分析系統的設計

姜鯊

摘要：本文主要就大數據平臺用戶行為分析系統的設計進行多方面的探究，希望能借此有助于為實際系統設計起到一定啟示作用。

關鍵詞：大數據平臺；用戶行為；系統設計

0.引言

社會信息的日新月異，人們已經生活在信息的環境中，用戶查找信息也更多是依賴搜索引擎，系統能自動保存用戶使用過程，查詢日志也會以此方式進行保存。大數據技術的應用下，為分析用戶行為提供了良好技術支持，通過從理論上深化系統設計的研究，就能從一定程度上豐富其理論。

1.大數據平臺的用戶行為分析系統設計需求和總體設計

1.1大數據平臺的用戶行為分析系統設計需求

大數據平臺的用戶行為分析系統的設計，需要結合實際功能應用需求，對于調研展開系統的需求分析是首要環節，結合系統需求開發者就能對系統功能模塊以及安全要求等全面的掌握，這樣才能有助于制定用戶行為分析系統具體工作的執行，這也是提高決策精確性的關鍵點，能保障設計和實踐的高契合度。從行為分析系統的業務需求層面來看，在人們對日志信息關注度不斷提高的同時，市面的大量技術和工具能完成日志分析，及對日志中的有效數據信息能進行挖掘，功能也比較強大[1]。而結合用戶行為分析系統設計要求來看，就難以滿足用戶對其產生的功能性需求，大數據技術的應用下，通過分布式數據庫，基于列來進行數據信息的存儲，提供的借口和功能較為簡單，使用中比較方便。日志分析的時候就有著比較突出的實踐應用效果[2]。另外，從系統非功能性需求層面來看，和大數據運行平臺相結合，用戶行為分析系統實踐特性和業務處理周期分布，系統在性能上需要滿足最佳響應速度以及擴展性滿足需求，也就是在業務自調整能力以及安全需求等方面都滿足實際工作的需要。

1.2大數據平臺的用戶行為分析系統總體設計

大數據平臺的用戶行為分析系統總設計當中，HDFS存儲層比較重要，對于這一系統的設計，這一層是對數據優化存儲的，通過單一主節點和五個附屬數據節點方式完成存儲，并且是通過MapReduce實現數據寫入和讀取操作。而在Hadoop集群層也是比較重要的層，也是設計主旨，這是在云計算分析技術的基礎上來對用戶軟硬件和網絡環境進行搭建，通過幾臺人終端PC設備建立獨立分布式協作集群，其中把節點設置成在其中一臺PC終端[3]。而在用戶接口層方面，這是連接用戶和用戶行為分析系統間的重要載體，主要是進行信息交換共享。設計當中通過可視界面把運行結果反饋用戶自身，結合運行流程反饋需要的結果，最后實現功能上契合。而在計算層上，這是大規模數據樣本數據分析的主流發展形勢，通過規約/映射方式對記性數據的計算處理，不僅要采用并行處理模式，以及負載均衡設計，采用MapReduce展開模型設計的效率更為突出，也能提高計算速度和精度。最后就是在邏輯業務層的設計上，設計上通過Hadoop集群模式處理，通過HDFS來實現對于日志信息的截取，通過MapReduce的計算組件來反應出當前用戶的操作行為，主要包含日志的存儲、信息采集及分析處理等[4]。

2.大數據平臺的用戶行為分析系統詳細設計及實現

2.1大數據平臺的用戶行為分析系統詳細設計

大數據平臺的用戶行為分析系統設計的內容比較多樣，如在對日志采集模塊的設計中，這一模塊是用戶行為分析系統的初始工序，要從不同的角度進行分析。明確需求后進行信息提煉轉換短語和詞語組合模式，把其提交到對應搜索引擎體系當中，然后采用大數據平臺實現數據驗證和處理，類型的劃分環節，互聯網的信息是比較繁雜的，用戶如果是在大數據運行下及時的定位到目標信息，搜索引擎就是比較關鍵的，這是搞笑檢索信息的服務模式，提供日志類型包含兩種，用戶搜索日志和系統運行日志。進行采集的時候，有幾個核心的組件，也就是collector、agent及store，前者是接收分析匯總處理，完成之后導入到后臺服務器。日志系統的設計主要是保障日志存儲可靠性和實踐運行的良好適應，

2.2大數據平臺的用戶行為分析系統實現

受到篇幅的限制不能全面的實現系統的應用，此次主要就日志導入模塊實現簡要闡述，日志是通過實時記錄方式，對每個操作都實施了自動記錄，系統運行中日志文件也是比較大的。用戶行為分析模塊的實現過程中，這是設計系統運行關鍵環節，用戶獲得基本數據訪問信息后，通過統計學分析原理實現用戶行為規律探尋和特征的闡述。如選擇搜狗公司對外公布日志數據源，有超過四千萬條信息，信息的容量達到4.4G作為素材進行開展有效數據分析，分析獲得用戶名稱以及主機排行和時間段的統計記錄[5]。基于關鍵詞的排行統計分析方面，搜索進程設置采用關鍵詞以及相對應主題實現引擎和用戶的進行，用戶對主題肝硬度和興趣比較濃厚，能發現有諸多重復查詢需求。采用排名方式開展處理，選擇數量一百個，在用戶排名比較靠前的時候，顏色呈現為鮮艷，顯示區域聚焦中間位置，反之顏色是淡化的，位置趨向四角。

3.結語

當前我國的互聯網技術的應用愈來愈廣泛，在各領域生產當中發揮著重要作用，互聯網技術應用下人們獲得信息比較方便，并能進行信息買賣以及工作交流。針隊不同用戶實施個性化的信息推送，結合用戶興趣進行制定活動方案，成為各大企業推銷產品的重要方式。未來的大數據平臺的用戶行為分析系統的應用將會成為主流。

參考文獻：

[1]陳全，鄧倩妮.云計算及其關鍵技術[J].計算機應用，2017，29（9）：2562-2567.

[2]董志安，呂學強.基于百度搜索日志的用戶行為分析[J].計算機應用與軟件，2015，30（7）：17-20.

[3]楊文峰，李星.網絡搜索引擎的用戶查詢分析[J].計算機工程，2016，27（6）：20-21.

[4]王繼民，彭波.搜索引擎用戶點擊行為分析[J].情報學報，2016， 25（2）：154-162.

[5]余慧佳，劉奕群，張敏等.基于大規模日志分析的網絡搜索引擎用戶行為研究[J].中文信息學報.2017，21（1）：109-114.