智能化行業中大數據可視化技術的應用

張小倚,延 慶,李曉霽

(1 陜西延長石油<集團>管道運輸公司 陜西 延安 716000) (2 陜西延長石油<集團>管道運輸第三分公司 陜西 延安 716000)

0 引言

可視化技術在大數據應用中作為領先的數據,它能將大量的數據和數據信息中不明顯的邏輯關系、復雜無趣的數據進行可視化的轉化,能在看似復雜沒有規律的數據信息中發現其關聯性,讓用戶在挖掘復雜且枯燥的數據信息時能降低難度。以前人們只能從大量的數據中自己發現信息,發現信息的過程浪費了大量的人力資源和時間,現如今研究人員可以通過數據可視化技術以簡單且具體的圖形對數據進行展示和分析,這樣不僅快捷還能大大減少人力資源[1]。由此可見,大數據可視化技術在這個大數據時代對數據信息的分析起到了一定作用。

1 大數據可視化理論分析

1.1 可視化技術的概述

數據可視化即數據的圖形表示,旨在以更易于掌握和理解的有效方式傳達海量數據。從某種意義上說,數據可視化是原始數據和圖形元素之間的映射,它決定了這些元素的屬性如何變化。借助于圖形化手段如折線圖、柱狀圖、散點圖、餅狀圖、地圖、網絡圖、矩陣圖等,直觀地表達數據與數據直接關系,獲得數據的內在信息,從而清晰有效地傳達信息。

部分學者對大數據可視化的界定:對抽象的數據信息進行計算機可視化,通過互動的方式提高思維能力。大數據可視化技術與傳統計算機上的電子圖像及科學研究的可視化不一樣,現在的信息可視化研究更偏重于可視化圖形,以及數據和數據信息內隱藏的內容和部分容易忽略的規律,大數據可視化更致力于創造類似人的認知能力規律[2-3]。

面對具有大數據的海量、異構、多樣性特征的數據集,如商業分析、人口狀況分布、用戶行為數據等,數據可視化要經歷數據采集、數據分析、數據管理、數據挖掘等在內的一系列復雜的數據處理過程,然后根據業務需求確定圖形化方式,如采用三維還是二維、靜態還是動態、實用還是交互等。

1.2 可視分析的基礎研究

要想對可視化進行剖析需要有各種各樣的基礎理論支持,而在這些基礎里最關鍵的就是認知能力理論模型、建構理論模型、人機交互認知能力實體模型,這些都為智能化中大數據可視化問題打下了牢固的基礎。

1.3 可視化技術應用

可視化技術保留了傳統式的科學研究可視化和信息可視化,以總體目標的視角考慮,對各方面的數據信息進行匯總分析。BEN[4]根據信息化的特點,把可視化技術分成1-dimensional、2-dimensional、3-dimensional、multi-dimensional、tree、network和temporal。

這幾年,不少學者圍繞著這些信息種類,提出了信息可視化技術的新方式和新技術,并且已經開始普及[5]。隨著互聯網大數據的快速發展,社交媒體、互聯網技術、社會發展公共文化服務的流行,從它們的使用中慢慢演變出了幾種獨特的信息種類,包含文字信息、互聯網及多維數據信息等。這些與互聯網大數據有關的信息都與Shneiderman的歸類交叉式結合,這些將會是大數據可視化技術研究方向的關鍵所在。

1.4 大數據可視化的基本模型

大數據可視化的基本模型主要包括Data Transformation(數據轉換)、Visual Mapping(可視化映射)、ViewTransformation(視圖變換)等方面。

數據轉換:將原始數據轉換為數據表形式,以達到數據規范化的目的。

可視化映射:將數據表映射為可視化結構,由空間基、標記的圖像屬性等可視化表征組成,從而構建數據的可視化結構。

視圖變換:將數據的可視化結構根據位置、比例、大小等參數進行設置并顯示在輸出設備上,以實現可視化輸出。

2 智能化行業中大數據可視化技術的系統結構

2.1 可視化設計組件和總體架構

所謂可視化數據,其實是根據數值用標尺、顏色、位置等各種視覺隱喻的組合進行表現,如深色和淺色的含義不同,二維空間中右上方和左下方的點含義不同?？梢暬菑脑紨祿綏l形圖、折線圖和散點圖的飛躍。不論圖在什么位置,可視化都是以數據為核心的,大部分組件都是為了展示數據而創造,組件的數據來源于數據源,且每個組件只能綁定一個數據源,每個數據源只能被一個組件綁定。數據源的數據必須是二維數組(集合),并且組件能識別的數據也必須是二維數組。智能數據采集及大數據可視化系統技術架構如圖1所示,該系統設計時采用了前后端分離模式,在老式的基礎上又增加采用主流后端技術棧Spring Cloud+Mysq1+Redis+RabbitMQ等微服務、微架構、分布式。微服務架構容易開發和維護,是一種軟件開發技術面向服務的體系,都圍繞著具體業務進行構建,并能獨立部署,可將系統架構分為用戶層、業務層、信息處理層和數據存儲層。

圖1 系統技術架構

2.2 用戶層

用戶層主要對可視化的數據進行匯總,分析界面;數據處理層進行數據智能收集及可視化分析,包括創建表單;數據存儲層就是把所有收集的數據進行備份存儲等。

用戶層主要是利用系統提供控件并自主創建表單,并能拖曳式全屏編輯,使得采集出來的表單能更加清晰。用戶編輯頁面如圖2所示,可以看出:用戶層可以設定標簽,利用標簽進行分離,也可以用來標識某個特定屬性的表單,對表單進行快速定位;還能添加表單的介紹,讓采表填表人員能更加明確地采集到內容和要求,有表單發布時對已經創建的表單能進行關聯性發布,有需要填表單的成員需要登錄賬戶進行數據填寫,發布模式多種,每個人主要知道賬戶都可以填寫。

圖2 用戶編輯頁面

2.3 傳輸層

微服務架構主要通過IIystrix庫進行隔離訪問,通過聯系到第三方庫,防止級聯失效,提高系統的可用性和出錯性。利用Zuul組建服務網管,Zuul過濾器能驗證用戶身份、測試壓力等功能,Spring ClouddConfig進行統一的微服務管理配置。以上的內容能保證用戶的數據安全、增強用戶體驗、提高工作效率。

2.4 處理層

能在系統中通過調取之前用戶提交的表單收集到數據,通過智能化數據匯總,為用戶提供可視化的界面,讓呈現出來的圖形內容更加清晰,為用戶提供了更加方便有效的數據。在Hadoop MapReduce中,這個轉換過程是直接的,具有固定的執行流程,可以直接將包含map/reduce函數的作業劃分成map和reduce這2個階段。map階段包含多個可以并行執行的map任務,reduce階段包含多個并行執行的reduce任務。map任務負責將輸入的分塊數據進行處理,并將其輸出結果寫入緩沖區,在緩沖區中進行數據分區、聚合等操作[6-7],最后將數據傳輸到磁盤上的不同分區中。reduce任務主要是將分區中的數據通過網絡保存到本地內存中,內存空間不足時,寫入磁盤,并將數據寫入分布式文件系統中。

3 智能化行業中大數據可視化技術的研究方向

3.1 研究方向

現下的社會已經步入了大數據時代,根據相關文獻數據,發現國內大數據可視化技術的主要研究分為以下3個階段:

第一階段,可視化技術的定義和概念產生的階段。在這個階段中,如果有學術權威提出新的概念時,那么它的概念將由此產生或更新。

第二階段,可視化技術慢慢走向成熟的階段。在發展的過程中出現了很多新的技術方法,如數據可視化的分析工具、信息采集與信息處理技術等,這些技術都為可視化技術走向成熟打下了堅定的基礎。

第三階段,可視化技術的應用階段。在這個階段中,可視化技術已經能進行閱讀、收播新聞、在教育等其他方面也得到了廣泛的應用。

現在我國處于一個快速的信息化時代,如果將國內外進行對比,國內更傾向于可視化技術的理論和技術探索,應用還比較落后;國外大數據可視化的技術與理論都比較超前。因此國內現在也將可視化技術向著智能化的方向邁進,追求向智慧化的方向發展,這些都是目前國內所要研究的方向[8-9]。

3.2 可視化技術研究的步驟

數據智能可視化技術的研究是一個很大的挑戰,具有多維度、多領域、易理解、準確性高等特點,能對有效的信息進行匯總,同時把一些有規律的信息進行組合,使項目的關鍵點更加突出,智能可視化技術的步驟如下:

步驟1 對所給數據進行智能分析,明確目標信息;

步驟2 分析得出目標信息屬性,類型等;

步驟3 采用合適的數據可視化類型;

步驟4 結合適當的可視化方法;

步驟5 一鍵式生產數據可視化場景;

步驟6 直接得出項目關鍵信息。

仔細觀察以上步驟可以看出,可視化技術與智能分析的結合,使數據能更好地展示和進行更深層次的分析和研究,加大了可視化目標的準確性。將可視化技術進行智能化,更進一步優化了處理數據的能力,還相應地減少了數據分析的時間,保證了數據分析的準確性和可用性,使智能化的一鍵式生成數據可視化場景離實現更近了一步。

3.3 應用趨勢

大數據可視化技術其自身強硬的交互性、多維性以及可視性特點,可以方便用戶實時查看自己的數據,并通過圖表的方式進行呈現。數據可視化不僅可以進行數據狀態的呈現,還可以對存在關聯的可視化數據進行比較,從而挖掘出數據與數據之間的有效連接,呈現出一個更加嚴謹性的數據發展趨勢。在大數據的環境下,數據可視化服務具有即時生成的功能,當數據采集完畢后,可以立即進行可視化方案的呈現[10]。例如:電子錢包中的賬單服務,用戶需要通過使用電子錢包所產生的交易數據,自動生成數據圖表,當月末時自動進行呈現。用戶只需要借助數據圖表分析自身的消費狀況,實時調整自己的消費規劃,此類服務的即時性,可以為用戶創建數據可視化,其便利、快捷的優勢是其他數據無法媲美的[11]。

大數據可視化技術在多媒體領域、多維疊加式數據等的應用已經非常成熟,大數據處理分析各種數據信息時,這個數據加工的過程也是傳播數據信息的過程,智能手機作為人們工作和生活的必需品。其中,所涉及到的大數據可視化技術已經滲入到人們工作生活的方方面面,通過智能手機進行信息的搜集和數據結果的展示,為大數據可視化技術的交互發展奠定了更加堅實的基礎[12]。而多維疊加式數據的可視化以社交網絡和數字地圖的方式進行疊加,其群體主要以年輕人為主,這種數據方式具有更加靈活的互動性和娛樂性。大數據可視化最終的目標是以解決人們實際問題為主,根據人們的問題對大量的數據信息進行選擇并剔除無關聯的數據,對篩選的數據進行綜合分析后,以最佳的描述方式進行呈現。

4 結語

大數據可視化技術就目前的形勢來看,經過不斷的努力研究和應用,已經有了一定的基礎成果。但是技術的發展是不停歇的,數據的類型只會更多、更復雜多樣,數據分析的也不夠徹底,因此需要提高數據分析技術,提高數據處理能力和效率,指出一個更加明確的研究方向,讓可視化技術不僅只是對數據的展示的一種工具,更是能為各大領域的發展提供更深層次的造詣。當前,各方面都離不開數據,相關研究的發展對大數據可視化技術的依賴性越來越高,大數據可視化技術已經成為了最優秀的一種處理信息的手段,是用戶從大量的數據中挖掘出重要信息的主要方式。為了使技術更加的智能化,我國的科研人員還在為之努力奮斗。