基于云計算的移動互聯網大數據用戶行為分析引擎設計

張靚 黃克彬

?

基于云計算的移動互聯網大數據用戶行為分析引擎設計

張靚 黃克彬

中國移動通信集團廣東有限公司，廣東 廣州 510630

很多裝備制造業領域的企業信息化程度已經很高，以各式各樣的系統業務分析報表為代表的五花八門的數據充斥著企業，一些來自機器傳感器，一些來自商業系統，一些來自報告分析，還有一些來自外部網站和社交媒體。面對這些數據，企業沒有正確的工具來管理和分析它們，商業價值的最終數據被忽略。然而，大多數管理者的日常工作和決策依賴于當地的數據進行分析。因此，設計并實現了一個互聯網用戶行為分析系統，設計了系統的總體框架，系統由捕獲模塊、數據分析模塊、數據圖生成模塊框架及系統接口模塊組成，并使用Java語言進行編程。此系統生成的網絡用戶行為分析結果為網絡用戶管理提供了科學依據。移動互聯網大數據時代的到來給企業經營者帶來了巨大的挑戰。因此，在大數據的背景下，提出了用戶行為分析引擎的設計方案，有利于供應商的新業務的開發。

用戶行為；行為分析；網絡協議

近年來，我國移動互聯網技術得到了全面發展。這使我國的互聯網運營商面臨著一個新的發展機遇，開始走從話務量經營向流量經營轉變的道路，并深入分析用戶的行為規律，發掘市場與廣大用戶的真實需求。為了能夠充分滿足用戶日新月異的需求變化，運營商必須不斷開發、推出新產品，充分發揮計算機技術的功能。云計算技術正是這樣一種能夠滿足海量數據分析與處理的強大引擎系統。

1 大數據用戶行為引擎系統在云計算技術下的設計

1.1 總體構架

這項研究中主要使用云計算技術的海量數據計算。移動互聯網數據挖掘分析系統應建立實現互聯網用戶行為分析的引擎，并根據用戶的喜好及上網習慣和行為，為用戶提供有針對性的個性化服務，使數據收集、分析、服務類型及營銷策略能夠形成一個統一的有機整體，提升企業的營銷效率。此外，云計算系統主要通過FTP服務器實現數據采集，然后是分布式計算的系統接口以及數據批處理，大數據應存入Hbase數據庫。該系統不僅能夠實現海量數據存儲，而且也能夠存儲非結構化的數據。最后，通過蜂窩集成層和總結層EIL處理，利用MapReduce數據分析模型將處理后的結果傳遞給數據庫，并建立總體系統架構。

表1 戶行為數據分析格式 分類數據模型優點缺點典型應用場景 鍵值（Key-Value）存儲數據庫Key指向Value的鍵值對，通常用hash表來實現查找速度快數據無結構化（通常只被當作字符串或者二進制數據）內容緩存，主要用于處理大量數據的高訪問負載，也用于一些日志系統等 列存儲數據庫以列簇式存儲，將統一列數據存在一起查找速度快，可擴展性強，更容易進行分布式擴展功能相對局限分布式的文件系統 文檔型數據庫Key-Value對應的鍵值對，Value為結構化數據數據結構要求不嚴格，表結構可變（不需要像關系型數據庫一樣需預先定義表結構）查詢性能不高，而且缺乏統一的查詢語法Web應用 圖形（Graph）數據庫圖結構利用圖結構相關算法（如最短路徑尋址，N度關系查找等）很多時候需要對整個圖做計算才能得出需要的信息，而且這種結構不太好做分布式的集群方案社交網絡，推進系統等

1.2 系統拓撲與功能分布

該系統的拓撲結構主要是將一個服務器作為一個單節點平臺的主節點服務器，而另一個服務器則作為哈普多普平臺的從屬節點服務器。一般情況下，節點服務器可以根據實際需要進行動態擴展。主節點服務器不僅要從節點服務器分配任務和流程，還要監控服務器的工作從節點執行。由許多節點服務器執行，能夠有效地提高數據效率，理解服務器軟件運行狀態。借助MapReduce用戶行為分析模型資源，分析所有匯聚到系統的移動互聯網用戶行為數據，能夠了解用戶的上網習慣、偏好，甚至包括用戶的社會關系，并提供全面的業務服務，給用戶推薦具體的內容。一般來說，從節點服務器與主節點服務器在軟件的結構上沒有太大的差異，唯一不同的是從節點服務器不具備部署任務以及管理調度的功能。以搜狗公司數據分析為例，根據第三方互聯網數據統計機構CNZZ公布的2015年9月的中國網民搜索引擎使用情況統計報告，搜狗搜索的市場份額已經達到15.68%，成為中國第三大互聯網搜索公司，其用戶行為數據分析格式如表1所示。

2 用戶行為分析大數據入庫組件設計

移動互聯網用戶的行為分析引擎的數據主要是通過應用平臺數據與DPI數據兩個渠道獲取的。這兩個數據源有著明顯的不同。首先，應用平臺數據比較集中，在一個訪問行為表中就能夠完整呈現，每天表現為一個文件，且文件的大小以GB分級；DPI數據則是眾多分散的小文件，這些文件一般都不超過10?MB，其最重要的一個特點就是文件的來源特別快，平均每2?min就能夠接收到多個新文件，一個省一天可收集到1?TB左右的數據量，效率極高。針對這兩個數據源的特點，采用了不同的設計方案。在獲取用戶基本數據信息的情況下，這些數據的統計分析可以獲得用戶行為的基本特征和規則。采用Hadoop平臺的用戶行為分析系統對搜狗實驗室提供的搜索引擎日志數據集進行分析處理，源文件大小共4.4?G，行數為43?545?444行。用戶查詢關鍵詞的排名、點擊URL排名以及用戶搜索記錄、時間段等用戶行為特征都能夠有效地呈現出來。

2.1 應用平臺數據入庫

該平臺主要采用的是批量入庫的方式，每天進行一次數據入庫，文件的大小一般為GB級。大型數據文件多采用Hadoop平臺進行入庫。然而實踐證明，MapReduce分布式處理Hbase入庫效率普遍不高。因此，可對這一系統進行優化處理，在MapReduce分布處理的基礎上，實行批量入庫處理。在Hadoop系統應用過程中，多使用TextInputFormat。由于TextInputFormat在map中多顯示的是文件的單行記錄，因此可采用NLineInputFormat類使其能夠在MapReduce中實現批量入庫。在這種系統的支持下，每個分片都會留下N行記錄，然后通過適當的參數配置，實現每次可讀取N行記錄，進而在Map中進行批量入庫的相關操作，提升數據分析的效率。

2.2 DPI數據入庫設計

DPI數據入庫主要針對的是大量的小型數據文件。這些文件盡管所含數據量不大，但是數據來源的頻率特別高。首先，可采用SequenceFiles軟件壓縮、打包這些小文件。在文件打包的初期要采取措施減少小文件的數量。需要注意的是，讀取小文件時會受到一定的限制，無論是Hadoop shell軟件還是Map讀取軟件，都很難實現對數據的靈活讀取。此外，采用HAR軟件對小文件進行歸檔，雖然能夠在一定程度上減少小文件的數量，但卻仍然達不到靈活讀取數據的需求，這在很大程度上是因為HAP軟件的讀取性能較低。另外，Hadoop append系統雖然能夠將這些小文件追加到同一個文件中，但是這些小文件的大小千差萬別，且數據來源頻率廣，有峰值與低谷之分，所以對這些數據的控制也較為煩瑣。除此之外，還有Flume、FLumeNG以及Scribbe系統。這些系統能夠處理中間層的數據，堅守小文件的數量，然而傳輸與壓縮文件功能不強，具有一定的缺陷。由此可見，以上方式都不能實現數據文件的有效處理。因此，要科學分析DPI數據的特征，對CombineFile InputFornt進行有效繼承，設置數據的分片大小，以便實現CreateRecordReader。這種方式能夠實現入庫DPI大數據。

2.3 個性化推薦引擎系統框架

個性化推薦引擎系統包括用戶行為數據收集框架如圖1所示。

圖1

用戶行為數據收集方式：采取埋點代碼和系統日志分析兩種方式：第一，埋點代碼是類似于Google Analytics和百度分析的方式，在客戶網站嵌入少量的JS埋點代碼，然后收集網站和移動端用戶行為數據；第二，系統日志分析是收集客戶網站日志數據，對日志數據進行分析，提取所需的用戶行為特征數據。

主要利用大數據集群的高吞吐量、高可用性（High Availability）和水平擴展性，對客戶網站收集的用戶行為數據進行處理。我們的大數據集群采取最新的Spark技術計算內存，大大降低了原有Hadoop的MapReduce計算模型開發和部署的難度；同時利用Hadoop提供的HDFS分布式文件系統，提供數據的容錯性和水平擴展性。分析引擎優化在實踐中，一方面，需要根據用戶反饋的實際操作來改進引擎；另一方面，也需要測試基準（基準）驗證它們的有效性。這個測試基準是一個典型的文件用戶案例。建立這樣的用戶案例的主要考慮因素包括：（1）代表性。典型的文件用戶案例主要以“典型”為特征，能夠充分反映不同類型的文件用戶的特點，用戶數量相對合理。（2）反饋。用戶的典型用戶故事應在檔案和檔案之間建立充分和及時的信息反饋機制，將實際的檔案服務質量、問題及時有效地反饋到真實檔案中。（3）可控性。典型的檔案用戶案例相對于檔案應是可控的，這意味著雙方應建立良好的相互信任關系。通過對典型用戶案例的實際測試和改進，提高了檔案用戶數據分析引擎的性能。

3 結語

隨著我國社會主義現代化建設的不斷發展，我國計算機信息技術已取得了有效的進展。然而，隨著信息多元化與多用戶模式的出現，傳統的計算機信息技術已不能滿足人們的需求，開始轉向對云計算技術的開發與應用。云計算技術下的大數據用戶行為引擎設計，能夠跟蹤用戶，且運行成本低廉，在企業的營銷中有著極大的應用價值，值得推廣應用。

[1]李鐘尉，陳丹丹. 軟件開發實戰1200例[M]. 北京：清華大學出版社，2011.

[2]謝希仁. 計算機網絡[M]. 6版. 北京：電子工業出版社，2013.

[3]施瓦茨，扎伊采夫，特卡琴科. 高性能MySQL[M]. 3版. 北京：電子工業出版社，2013.

Cloud Computing Based Mobile Internet Big Data User Behavior Analysis Engine Design

Zhang Liang Huang Kebin

China Mobile Communications Group Guangdong Co., Ltd., Guangdong Guangzhou 510630

Many degree field of enterprise information equipment manufacturing industry has been high, with a wide variety of business systems analysis reports represented a wide variety of data filled with business, some of the sensor from the machine, from a number of commercial systems, a number of reports from the analysis , There are also external websites and social media. In the face of this data, companies do not have the right tools to manage and analyze them, and the final value of business value is ignored. However, most managers’ daily work and decisions depend on local data for analysis. Therefore, the analysis was designed and implemented a system of Internet user behavior, design the overall framework of the system, the system by the capture module, data analysis module, map data generation module framework and system interface modules, and using the Java programming language. The network user behavior analysis result generated by this system provides a scientific basis for network user management. The arrival of the era of mobile internet big data has brought great challenges to corporate operators. Therefore, in the context of big data, a design scheme for a user behavior analysis engine is proposed, which is conducive to the development of new services for suppliers.

user behavior; behavior analysis; network protocol

TN929.5；TP391.3

A