Hadoop+JavaWeb大數據分析可視化系統

焦向雨 黃康輝 盧崢

【摘? 要】論文提出的大數據分析可視化系統主要處理實時性要求不高，但對決策很重要的離線數據，如同種崗位不同地區工資對比情況，各熱門崗位數量統計，對顧客購買記錄進行統計等。利用大數據平臺進行海量數據的存儲、分析，提高客戶對事件的決策準確率，將分析得出的數據結果以可視化的形式在瀏覽器上呈現，以便用戶直觀看到數據的變化結果。

【Abstract】The big data analysis visualization system proposed in this paper mainly deals with the off-line data which is not required to be real-time， but is very important for decision-making， such as the contrast situation of the same post in different regions， the statistics of the number of various popular posts， the statistics of customer purchase records， etc. Using the big data platform to store and analyze the massive data can improve the accuracy of user's decision-making for the event， and present the data results in the form of visualization in the browser， so that users can see the change results of the data directly.

【關鍵詞】大數據;分布式;Hadoop;可視化

【Keywords】big data; distributed; Hadoop; visualization

【中圖分類號】TP393? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?【文獻標志碼】A? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?【文章編號】1673-1069（2020）02-0151-02

1 概要設計

1.1 框架設計

1.2 設計思路

此架構即Hadoop+JavaWeb（MVC模式）的結合用于模擬大量數據處理方式。通過利用Hadoop的特性進行分布式存儲，目的在于突破IO存儲瓶頸問題。項目的模擬數據主要為結構化數據，假設結構化數據超過單機容量的范圍，那么便采用Hadoop生態圈進行架構設計[1]。使用Hadoop集群的HDFS進行分布式存儲（HDFS便于管理和維護以及具有較高容錯性），采用Mapreduce（離線計算）進行數據的清洗與篩選。當需要使用這些數據進行決策，可用Hive進行數據的清洗、提煉和分析之后存于HDFS中。由于Hive提供SQL功能，并且Hive-SQL可轉化為Mapreduce，因此，Hive可以對大量數據進行分析與處理[2]。

Hive是基于Hadoop的一個數據倉庫，還可以將結構化數據映射成一張表，在本項目中，Hive與MySQL映射成一張表，通過Sqoop使Hive與MySQL進行數據交換。本著OLTP的思想，可以使HDFS為主（分布式存儲文件），MySQL為輔，通過Hive傳遞的實時性要求不高，但對決策很重要的數據（如同種崗位不同地區工資對比情況，各熱門崗位數量統計，對客戶購買記錄進行統計等）傳遞至MySQL。由于關系型數據庫維護方便、使用方便，支持SQL，可用于復雜查詢，便于滿足使用者的不同需求[3]。結合MVC思想，程序通過將Model和View代碼分離，實現了前后端的分離，其使Java后臺開發人員集中精力于業務邏輯，前端程序員集中精力于表現形式，使項目開發的分工更加明確，程序的測試更加簡便，提高了開發的效率[4]。

1.3 模塊設計

1.3.1 Hadoop模塊組成部分

HDFS、Hive、Sqoop、Mapreduce、MySQL。

1.3.2 JavaWeb模塊組成部分

Dao、Domain、Service、Utils。

1.3.3 前端模塊組成部分

HTML、JavaScript、Echarts、JSP（前后臺數據交互）、JSON（數據傳輸）。

2 詳細設計

2.1 上述架構可拆分成兩部分設計

2.1.1 Hadoop平臺架構組件的搭建

①分布式文件系統：HDFS;②分布式計算引擎：Mapreduce;③數據分析引擎：Hive;④數據交換工具：Sqoop;⑤關系型數據庫：MySQL;⑥需注意的地方：當主節點發生故障時，整個系統便會癱瘓，為了解決此問題，可選用ZooKeeper搭建HA。

2.1.2 JavaWeb平臺架構組件的搭建

本次JavaWeb的開發采用MVC設計模式（Model View Controller）。Model表示應用程序的數據核心，View表示數據顯示層，Controller表示控制層。MVC模式同時提供了對HTML、CSS和JavaScript的控制。其中，Model是應用程序中用于處理應用程序數據邏輯的部分。通常模型對象負責在數據庫中存取數據。View是應用程序中處理數據顯示的部分。通常視圖是依據模型數據創建的。Controller是應用程序中處理用戶交互的部分，通常控制器負責從視圖讀取數據，控制用戶輸入，并向模型發送數據。MVC分層的同時也簡化了分組開發，不同的開發人員可同時開發視圖、控制器邏輯和業務邏輯[5]。

2.2 架構的整合說明

架構Hadoop+JavaWeb（MVC模式）的結合可以模擬大量數據處理的方式，通過三臺虛擬機搭建Hadoop分布式集群，基于Hadoop的特性進行分布式存儲，有效解決了IO存儲的問題。由于Hadoop的HDFS存儲數據種類繁多（具有較高容錯性），可采用Mapreduce（支持離線大量數據的處理）進行數據的清洗與篩選。本項目的樣本數據主要是結構化數據。因此，選用Hive作為數據分析引擎。Hive是基于Hadoop的一個數據倉庫工具，本身沒有專門的數據存儲格式，也沒有為數據建立索引，所以數據存儲在HDFS上。Hive支持SQL查詢，能將SQL查詢轉換為Mapreduce的job在Hadoop集群上執行，并且其可以將結構化數據映射成一張表。

但Hive不支持復雜語句查詢，為了滿足各種復雜的業務離線查詢需求，在本項目中，Hive與MySQL映射成一張表，通過Sqoop使Hive與MySQL進行數據交互，形成以HDFS存儲為主，以MySQL查詢、Hive查詢為輔的設計結構。

結合面向對象的思想，由于結構化數據可看成一個個對象，便可引入JavaWeb作為前后端交互的平臺，通過request發起查詢信息后，JavaScript調用Service層，之后Dao層的數據傳輸到Service層，以JSO的格式封裝Service的集合數據嗎，并傳遞到JSP中，最后JavaScript獲取到JSP中HTML的id，把JSON字符串轉化為對象，以Jquery作為中介呈遞數據給Echarts進行可視化[6]。

3 安裝及使用

大數據集群環境配置：①電腦配置至少12G運行內存;②關于虛擬機問題：準備三臺Linux虛擬機，每臺至少分配2G運行內存，主節點至少分配50G磁盤空間，從節點至少分配30G磁盤空間;③必須考慮各個組件的軟件兼容性;④Tomcat為v7.0版本;⑤在搭建大數據集群時，先配置Hadoop，再配置Hive，最后配置Sqoop。

4 項目總結

在設計架構時，還需要考慮架構的延伸和擴展，為此，在JavaWeb端采用MVC模式。采用這個模式后期方便重寫代碼，可采用SSM（Spring+SpringMVC+MyBatis）對整個程序進行解耦，簡化開發過程，提高開發效率。當然在Hadoop集群也留有擴展的余地，除了使用離線計算的框架外，還可以搭建Spark，加快數據處理的速度。

關于項目的模塊拆分有三大部分，即大數據端、Java后端、前端。在開發過程中，大數據模塊最為復雜，需要協調好各個組件的兼容性，并且需要了解一定的分布式概念，還需對數據結構、操作系統、計算機網絡、數據庫有一定的了解。而Java后端和前端比較簡單，Java只需要專注于業務邏輯，前端只需要會使用Echarts可視化框架即可。

在本次項目的制作中，目前還沒有發揮出全部的功能，在制作時并沒有考慮程序整體的解耦，如果把MySQL換成其他數據庫，那么所有的接口將要被重新實現，造成了維護不便的問題。

在整個項目設計的過程中，沒有添加用戶接口，不能獲取用戶的真正需求，整個制作流程到實現也只是處于一個假設狀態，因此，在制作時只模擬了一個統計崗位數量的業務邏輯。在此項目的基礎上，后續會不斷改進。

【參考文獻】

【1】王衛鋒，楊林.基于Hadoop的郵政寄遞大數據分析系統設計與實現[J].中國科學院研究生院學報，2017，34（3）：395-400.

【2】楊曉燕.大數據下智慧圖書館研究領域的可視化分析[J].河南圖書館學刊，2020，40（02）：94-96.

【3】楊恒，田坤，常亮，等.基于大數據分析的可視化預測性運維系統實現[J].冶金自動化，2020，44（01）：44-47+73.

【4】張文斐，陳酌灼，洪梓銘.移動終端應用數據分析用戶體驗改進技術[J].信息技術與信息化，2019（07）：34-37.

【5】李曉穎，趙安娜，周曉靜，等.基于大數據分析與挖掘平臺的個性化商品推薦研究及應用[J].電子測試，2019（12）：65-66+81.

【6】陳海拔，顧全，董羊城，等.基于大數據的電網調度控制智能告警系統[J].電子設計工程，2019，27（11）：91-95.