基于大數據的社區用戶行為分析系統的設計與實現

侯菡萏 張帆

摘 要：本文以大數據主流技術SparkCore和SparkSQL為主，搭配主流前端框架SpringMVC，系統前端方便社區管理者操作，提供高交互性、清晰易懂的可視化界面;后端優化分析算法，提高執行效率，增強代碼魯棒性和可擴展性，實現了社區用戶消費行為分析預測、上網指數分析等功能，為管理者制定更合理高效的決策提供依據。

關鍵詞：社區用戶;行為分析;Spark技術

1 引言

隨著中國國力的快速提高，人們對居住條件及其所在社區提供的服務都有了更高的要求。社區一般由第三方物業公司管理或社區用戶自治，每一個社區都會有相應的社區管理者去決策。如果管理者能夠提供合理決策，分配合適資源，居民的幸福感就會提升。由于不同環境、不同地區、不同時間下，兩個社區往往存在著較大的差異，社區用戶間的需求和生活習性也截然不同，社區的管理不能僅憑經驗。根據中國民政部2020年2季度民政統計數據顯示，現今全國共有51.7萬個村委會，11.1萬居委會，如此龐大數量下社區管理者與住戶之間往往存在諸多矛盾，社區管理者認為住戶感受過激、特例化;而社區住戶認為管理者管理經驗不足，不能合理分配資源，出現決策無效甚至失誤。本文采用大數據技術解決以上矛盾，大數據技術提供了一種能夠客觀、實時反映某個時段內社區用戶行為的方式，社區管理者依據大數據分析結果，實現多角度掌握社區用戶行為，通過可視化界面及時察覺異常數據，從而提供有效決策。

2 大數據相關技術

2.1 Spark

Spark作為一款優秀的大數據開發技術，是一個專門為大規模數據而生的基于內存的實時計算引擎。其有四大特點，分別是速度快，相較于Hadoop，相同數據量Spark快100倍;易用性，提供了豐富的API借口，包含Python、Java、Scala等;通用性，提供一站式服務，包含核心SparkCore、使用SQL語句的SparkSQL、實時處理的SparkStreaming、機器學習的MLlib等;運行在任何地方，本身以.class形式存儲，可以直接在JVM中運行。

2.2 SpringMVC

SpringMVC是一個較為優秀的Java Web開發框架，相較于以前的Web開發，其做了非常多的優化，將核心部分做了分工，分為M（Model），V（View），C（Controller），大大降低了耦合，同時增強了內聚，節約了開發人員的學習成本，提高開發效率，減少失誤可能性。

2.3 Clickhouse

Clickhouse是一個列式數據庫，建立該數據庫的目的在于對數據進行快速的在線分析與處理。Clickhouse數據庫的優點包括：緊湊數據格式、數據壓縮、數據存儲在磁盤、多核處理、支持分布式、支持部分SQL、數據實時更新等。

3 系統架構設計

在大數據開發流程設計中需要先確認數據的輸入和輸出，分別是社區管理者提供的源數據文件和數據庫結果表;其次確認輸入的數據量總和，輸出的數據量是結果表，數據量較小。由于分析結果既要生成結果表，還要展示到前端界面，需要一定的即時性和交互性，因此本系統選用Spark技術，由于Hive和MapReduce等技術適用于離線分析，一般用于在每天凌晨處理昨日的數據，而Spark則是基于內存實時處理，選用Clickhouse來存儲更合適。同時Spark提供了一站式服務，有專門針對數據庫的SparkSQL，設計大數據開發架構如圖1所示。

4 系統功能設計

系統采用模塊化思想，結合歸納法和演繹法進行設計。模塊化思想要求每個子模塊都具有一致的數據結構、一致的代碼風格規范以及一致的操作流程，使用這種方式可以將一個復雜模塊抽象為若干個邏輯清晰功能統一的子模塊，從而提高代碼復用性，增強代碼的可擴展性，減少維護的成本并提高開發人員的開發效率。歸納法即在以往相似系統設計集的基礎上，進行需求相關的二次設計，雖然能保證系統設計不會出現全局上的失誤，但是往往也得不到有效的結構創新和改革。演繹法通過總結規律，根據普遍規律自下而上抽象出整個系統的邏輯。使用這種方法能夠個性化定制系統，具有最合適最能滿足需求的特點，但開發成本大幅度提高，也更容易出錯，開發周期延長。因此開發過程中，最好的方式就是將兩者結合，這兩種方法的任何一個缺點都會嚴重影響本系統的質量，故需要中和兩種手段并積極發揮優勢的一面。依據以上方法，在社區用戶行為分析系統中抽象設計出三大模塊，各個模塊下繼續劃分多個子模塊，真正意義上實現了模塊與模塊間的低耦合，模塊內部的高內聚。消費行為分析模塊包括消費地點排名分析、消費能力分析和消費分布分析。借書行為分析模塊包括總借閱圖書排名分析、月借閱圖書排名分析、各類別借閱圖書排名分析、總借閱圖書作者排名分析、借閱用戶性別比例分析、借還書時間段分析、總借閱圖書出版社排名分析和社區用戶閱讀量排名分析。上網行為分析模塊包括網絡使用高低峰分析和上網指數分析。系統結構如圖2所示。

5 用戶行為數據分析與實現

本質而言，Spark算法與Hadoop算法極為相似，但Spark算法能夠更好地進行數據挖掘、機器學習技術方面的應用。在運算過程中，用戶行為的數據信息統一存儲在HDFS中，通過對數據的讀取，可以獲取頻繁項集的全局支持度，最終將計算后的頻繁項集保存在HDFS中。

5.1 用戶消費能力分析

該算法目的是分析社區用戶每個人的消費能力，并進行賦分和排名。該算法實際業務作用為篩選重點消費人群，并在后續社區開發中重點培養和關注。該模塊是用戶粒度，因此需要平鋪展開所有消費指標并計算比值，最后根據權重算法得出最終排名。算法流程圖如圖3所示。

5.2 借閱圖書用戶性別比例分析

該算法主要分析借閱群體在所有群體中的占比以及借閱群體中男女分布情況。該算法邏輯較為復雜，需要多個數據源分步計算多個指標，并需從不同維度上得到的臨時結果再度整合才能完成，算法流程圖如圖4所示。

5.3 用戶網絡使用高低峰分析

網絡使用高低峰算法主要分析在不同時間段社區用戶每個人的上網情況，并且分析出每個人上網的高峰期和低谷期，是用戶粒度的需求。算法流程圖如圖5所示。

6 用戶行為數據應用

數據應用方面，包括對數據的展示、數據智能推薦、用戶行為預測三部分。數據展示方面，是通過 Sprintboot提供的數據訪問接口，對Mybatis進行持久化框架連接和應用。同時，Angular組件在系統中的應用，可以加快信息數據應用的響應速度，有利于系統數據信息處理質量的提升。最后，通過Echarts，將信息動態以直觀的形式展示給用戶。在數據智能推薦方面，基于內容過濾的推薦算法、雙重聚類算法的融合，形成混合推薦技術。通過該技術的應用，可以對用戶行為日志進行讀取、分析，并在此基礎上，對用戶行為進行關于服務內容的智能推薦。用戶行為預測方面，基于數據包的重組算法，可以根據用戶行為的相關數據，實現網絡數據信息的重組。

7 結語

本文闡述了構建用戶行為分析系統的背景及意義，考慮到海量評價數據所帶來的挑戰，將數據存儲、處理及用戶行為模型構建與Spark技術相結合，設計了基于大數據平臺的用戶行為分析系統，系統主要包含用戶消費能力分析模塊、用戶行為預測模塊，每個模塊有特定的功能，實現了用戶行為信息的有效分析和深度應用，為社區管理者提供了進行有效決策的數據展示。

作者簡介：

侯菡萏（1979.02—），女，漢，黑龍江省哈爾濱市，碩士，副教授，哈爾濱金融學院計算機系，研究方向：數據分析與數據挖掘。

課題：黑龍江省高等教育教學改革項目（SJGY20190265）《線上線下混合式“金課”的研究與實踐——以“數據庫原理及應用”課程為例》