基于大數據的可視化科技圖譜系統設計

仇舒蕾 張宇浩

本文根據具體數據與具體應用要求，規劃了一些圖譜來完成技術大數據的可視化。文章設計和完成的科技圖譜軟件，把不同種類的科技資源、信息根據不同需求進行可視化，形成相關圖譜，展現可視化結果為客戶帶來科學的交互功能。

如今社會每天日均會形成大量信息，其包括入人們生活的各個方面，人們也由此進到大數據時代。想要充分利用數據，必須要有和大數據相符合的數據分析水平，以對大數據實現獲取、保存和分析，獲取其中的價值用于具體生產中，是當下重要的研究內容。

大數據技術

現如今人們具有多樣化的數據載體，這類數據載體持續形成、傳輸數據，獲取這些數據中潛藏的信息，用在具體生產工作中，可引導人們更高效地分析局勢，做出科學決策。以往的單臺主機在運算和存儲上無法滿足信息分析處理需求，由此衍生出了大數據系統。大數據系統具有從大量數據中迅速獲取有用內容的能力，當前已有許多與大數據相關科技產生，包括大規模并行處理信息庫、信息挖掘、分布式文件軟件、分布式信息庫、云計算系統以及互聯網存儲等。

科技譜圖軟件的設計和實現

1.系統設計

（1）技術資源信息分析圖

實現對每一種信息分析結論的可視化，形成柱狀圖與餅狀圖，基于柱狀圖體現信息種類與數量，基于餅狀圖體現信息構成與各部分占據的比例。其具備以下3種功能：交互操作，客戶能夠在餅狀圖與柱狀圖上獲取具體資料；轉換功能，轉換顯示不同種類信息分析結論的可視化展現；搜索功能，搜索各個城市的信息分析結論。

（2）技術資源分布熱力圖

基于技術資源分布熱力圖，可于城市地圖上對技術資源信息實現可視化。在城市地圖上通過特別高亮的模式展現每種信息所處的地理范圍，表明信息所處位置，以覆蓋物方式表述信息的布局密度。點擊地圖中的標注產生提示數據，展現該標注所處位置的數據資料，比如名稱、部位和數據等內容，提供每種信息的熱力圖。

2.系統實現

2.1系統實現條件

該系統選擇Java語言在Eclipse開發條件下研發，采取 SpreingMVC結構，以Tomcat用作信息中間件。于Eclipse內建立一個Web頁面，下載可視化軟件Echarts與D3的開發包，把開發包插進Eclipse開發條件中。下載SpringMVC結構所要依靠的Spring jar包，把JAR包融進項目內。根據系統邏輯規劃與開發結構在項目內建立每層結構包，在包內建立項目的Java文件展開編程任務。

2.2技術資源大數據處置系統

大數據處理系統依靠開源分布式計算結構Hadoop，涉及規范的Hadoop部件，像HBase，Solr，Hive，Gangh等，帶來可視化的分布和控制工具。系統支持大數據運轉環境基于類似SQL或是JSON的形式來訪問Hadoop軟件內的其余部件模塊Hive，HBase，HDFS內的文件。

針對實施預處理的信息，在大數據系統內借助大數據處理系統完成存儲與分析，根據具體的可視化要求及可視化主體，獲得可視化的信息。大數據處理系統如圖1所示。

在大數據處理系統內，首先建立Hive信息倉庫，通過信息預處理集成信息，對收集的技術資源信息進行劃分，分析信息的可視化主題，對應至原始信息表與相關信息項，實現最后的表結構規劃。按照規劃的表結構創建Hive信息倉庫，展開信息加載，按照已創建的信息空間，從原本信息庫內抽取出相關的信息存進Hadoop的HDFS文件軟件內，借助Sqoop技術完成信息導入。