探析大數據可視化技術與工具

羅敏剛

摘 要

可視化隨著大數據時代的來臨日漸重要，傳統可視化技術在應對大規模數據有響應時間過長、缺少靈活性等弊端，而現如今，這項技術已發展到一定程度，很多互聯網公司都推出了各自的產品，種類繁多，能滿足目前大多數需求。針對目前幾款比較熱門和使用普遍的技術和工具，從他們的功能特點展開分析。

關鍵詞

大數據;可視化;技術;工具

中圖分類號： TP311.13 ? ? ?? ?文獻標識碼： A

DOI：10.19694/j.cnki.issn2095-2457.2020.09.062

0 引言

現代社會，人類早已和數據密不可分，海量數據的組成真實地反映了現實世界的復雜事物，但人腦無法直接把龐大的數據轉化為有效的信息，數據可視化這項技術有助于我們更好的管理和理解這些數據，以及發現復雜數據更深層次的聯系。21世紀初Jim Thomas教授提出可視化是大數據挖掘與分析中一項必不可少的技術，發展至今從入門級的Excel到專業級的商業產品，這項技術已經較為成熟，它的應用無論在金融、銷售、物流、電力、交通、傳媒，還是醫學、地理等科學都發揮著重要的作用，幫助各領域人員發現問題，診斷問題，解決問題。

數據可視分析是大數據分析不可或缺的重要手段與工具，將人腦智能與機器智能相結合，將“只可意會，不可言傳”的人類知識和個性化經驗可視的融入整個數據分析和推理決策過程中，使得數據的復雜度逐步降低到人腦和機器智能可處理的范圍。[1]

1 大數據可視化基本概念

在大數據時代，數據的價值將得到最大程度的釋放，微小的數據也有可能產生超乎想象的價值。大數據的特點包括：Volume（數據量大），數據從GB到TB、PB乃至EB級別，采集、存儲和計算的量大;Variety（類型繁多），廣泛的數據來源，決定了大數據形式多樣性;Velocity（速度快失效高），數據增長速度快，處理速度快，時效性高;Value（價值密度低），所產生的數據中，有價值的數據所占比例很小，數據價值密度較低;Online（數據在線），數據一直在線，隨時能調用和計算，這是大數據區別于傳統數據最大的特征。

數據可視化是一種通過將數據編碼為可視對象如點、線、顏色、位置關系、動態效果等，并將對象組成圖形來傳遞數據信息的技術。其目的是以清晰且高效的方式將信息傳遞給用戶，是利用人眼的感知能力對數據進行交互的可視化表達以增強數據認知的技術。[2]

數據可視化技術包含以下幾個基本概念：

數據空間：是由n維屬性和m個元素組成的數據集所構成的多維信息空間;

數據開發：是指利用一定的算法和工具對數據進行定量的推演和計算;

數據分析：指對多維數據進行切片、塊、旋轉等動作剖析數據，從而能多角度多側面觀察數據;

數據可視化：是指將大型數據集中的數據以圖形圖像形式表示，并利用數據分析和開發工具發現其中未知信息的處理過程。[3]

2 大數據可視化技術有哪些

前端界面中幾種常見的大數據可視化技術，例如Highchar ts、Echarts、Charts、D3，使用JavaScript結合HTML5中的Can vas和SVG實現，能在pc和移動設備上運行且支持大多數主流瀏覽器，兼容性很好。

2.1 Highcharts

開源但不完全免費的軟件，非商業用途可免費使用，商業用途需授權，支付相關費用獲得技術支持、圖表定制服務以及VIP專屬服務。

Highcharts主要優勢在于：

1）兼容性高，可以在所有的移動設備及電腦上的瀏覽器（IE6以上）中使用。

2）配置語法簡單，所有配置都是JSON對象，易于讀寫和解析。

3）支持用戶一鍵導出以及直接打印圖表。

4）支持多坐標軸，同時對比多個數據。

2.2 Echarts

開源的、免費的可視化庫，功能豐富，涵蓋各行業圖標，可根據需求高度個性化定制。

ECharts全新4.0版本新特點：千萬級數據可視化渲染能力、SVG + Canvas 雙引擎動力更佳、數據樣式分離及扁平配置讓開發更便捷、首創無障礙訪問支持、適配微信小程序和ppt。

2.3 Chart

由社區共同維護的開源項目，8種可視化展現形式，每種方式都具有動態效果并且可定制，支持所IE9以上瀏覽器。

Chart.js2.0版本的新增特點包括：

1）可以混合不同圖表，以便在數據集之間提供清晰的視覺區分。

2）新增圖表軸類型，輕松繪制各種復雜的圖形。

3）改變數據、更新顏色和添加數據時，均有開箱即用動畫效果。

2.4 D3

動態的、交互式的、開源的在線數據可視化框架，無須任何插件就能運行，可以與現有的Web技術無縫協作，可以操作文檔對象模型的任何部分。

D3.js的主要特點包括：

1）非常靈活簡便，易于使用。

2）支持大量數據。

3）聲明式編程以及代碼的可重用性，簡化了編寫難度，提高了效率。

除了以上的前端技術，還有基于Java開發的圖形技術，有更高的靈活多變性。

2.5 Processing

Processing是基于Java開發的圖形技術，一門開源編程語言，也是一個開發環境，同時支持Linux、Windows以及Mac OSX三大平臺，并且支持將圖像導出成各種格式。

Processing編程語言類似于java和C，有編程基礎用戶上手容易，語法簡單，大幅度降低學習門檻，使非程序員學習也不困難。目前為止，Processing已經十分成熟，不僅支持Android應用的開發，也對web方面提供了單獨的開發工具。

Processing對于生成和編輯圖像的功能十分強大，包括矢量圖與光柵圖繪制、圖像處理、色彩模式、鼠標和鍵盤時間、網絡通信、以及面向對象式編程，聲音還有三維文件的處理等，幾乎可以繪制任何想要的圖像。

3 大數據可視化工具分析

目前國內外數據可視化市場上已有不少成熟產品，廠商主要來自這幾類：一類是提供商業可視化產品的軟件服務商，國內有帆軟、永洪科技、東軟、四方偉業、SMARTBI等，國外有SAP BO、IBMCognos、Oracle BIEE、Microsoft BI等傳統商業智能軟件服務商。第二類是新興可視化產品提供商，國內有恒泰實達、數字冰雹、海致BDP等，國外有Tableau、Qlik、Micros trategy等。第三類是互聯網巨頭公司，如網易有數、百度圖說、阿里云數加，其大數據平臺可視化基本是自己設計開發，同時售賣各種數據產品。第四類是互聯網大數據服務商，如百分點、海云數據、神策數據、友盟等。[4]每款產品有其自身特點和應用場景，以下介紹幾款有代表性的產品。

3.1 DataV

DataV是阿里云的一款數據可視化產品，用來分析并展示龐大復雜的數據，分為基礎、企業和專業版，可滿足多種業務的展示需求。功能特點：

1）提供多種模板。DataV提供指揮中心、地理分析、實時監控、匯報展示等多種場景模版。

2）多種數據類型。AnalyticDB、RDS MySQL、兼容MySQL數據庫、CSV文件、DataV數據代理服務、API、靜態JSON。

3）圖形化界面。無須編程能力，拖拽使用，簡單方便。

4）多分辨率適配。DataV特別針對拼接大屏端的展示做了分辨率優化，能夠適配非常規的拼接分辨率。

企業版相比基礎版，增加功能包括：

1）支持大屏加密發布。

2）支持更多數據源類型。

3）支持的項目數量增多。

4）支持本地部署。

5）支持自定義組件。

3.2 RayData

RayData是騰訊云大數據實時可視化交互系統，系統實現數據實時圖形可視化并實時交互，使用戶對數據的管理更加方便，應用場景豐富。產品處于內測階段，可通過申請來獲得使用資格。功能特點：

1）超高分辨率。采用獨特的超高分辨率運算引擎，使圖像不被壓縮，結合其不同于傳統可視化界面的表現形式，最終呈現具有視覺沖擊和豐富細節的結果。

2）內容模塊個性化。靈活的程序架構，模塊化管理，方便個性化新增業務，滿足各種需求。

3）端到端軟硬一體機。RayData提供端到端產品方案，包括從軟件到大屏以及后端渲染服務器，只需用戶提供數據源，無須二次開發。

4）實時交互。根據接入的數據實時變化，且為雙向互動，提高用戶的參與度。此外，用戶利用移動端能遠程對大屏進行控制，控制模塊根據需求自由定制。

3.3 Tableau

Tableau是一款國外商業智能軟件，對于數據管理和數據可視化都有很強大的功能，也是數據可視化產品市場的主導者之一。分為個人版和組織團隊版，付費產品，有免費試用。

功能特點：

1）快速分析。在數分鐘內完成數據連接和可視化。Tableau 比現有其他解決方案快10到100倍。

2）簡單易用。直觀明了拖放產品分析數據，無須編程即可深入分析。無論是電子表格、數據庫還是Hadoop 和云服務，任何數據都可以輕松探索。

3）智能儀表板。集合多個數據視圖，進行更豐富的深入分析。

4）自動更新。通過實時連接獲取最新數據，或者根據制定的日程表獲取自動更新。

5）瞬時共享。只需數次點擊，即可發布儀表板，在網絡和移動設備上實現實時共享。[5]

3.4 Sugar

Sugar是百度旗下的一款數據可視化產品，提供報表及數據大屏可視化服務，圖表組件豐富，拖拽式編輯，支持下鉆、聯動等交互式數據分析。付費產品，30天全功能免費試用。功能特點：

1）支持頁面自適應，適配各種界面。

2）支持公開與加密發布，可以復制URL供他人瀏覽，也可以嵌入第三方系統。

3）同時支持云端和私有部署。

4）提供權限管理，用戶授予不同權限，實行數據隔離，保證數據的安全性。

5）對數據有過濾篩選功能，支持對圖表和大屏無限層級的深度挖掘以及圖表聯動分析。

4 總結

在大數據時代，可視化技術占據著不可替代的一部分，應用于各個行業領域，商用和免費的產品繁多，不管有沒有編程經驗的用戶都能找到自己適用的工具。目前來看，可視化技術已取得了一定的成果，但隨著時代發展，數據的規模和復雜度也會不斷增加，這項技術面臨的問題和挑戰也會不斷增加，相信未來的可視化工具功能會更加強大全面。

參考文獻

[1]崔迪，郭小燕，陳為.大數據可視化的挑戰與最新進展[J].計算機應用.2017- 07-10.

[2]黃璽磊.大數據的最后一公里——數據可視化技術[J].中國金融電腦，2017- 02-07.

[3]劉勘，周曉崢，周洞汝.基于平行坐標法的可視數據挖掘[J].計算機研究與發展，2003-02-11.

[4]中國大數據可視化市場份額排名出爐，中國軟件網.