大數據可視化技術探析

付長軍，喬宏章

(中國電子科技集團公司第五十四研究所，河北 石家莊 050081)

?

大數據可視化技術探析

付長軍，喬宏章

(中國電子科技集團公司第五十四研究所，河北 石家莊 050081)

大數據挖掘分析是未來大數據產業的重點和關鍵，可視化分析技術在自動化處理模型的基礎上，將人的認知能力用于發現潛在知識和隱藏模式，已經成為大數據分析的重要工具之一。圍繞大數據分析的本質，對大數據可視化技術的內涵進行了剖析，然后從人的視覺原理和可視化兩個角度對可視化分析技術原理進行了綜述，最后介紹大數據可視化在新聞傳媒和態勢感知兩個領域的應用情況。

大數據；數據挖掘；可視化；數據分析

0 引言

大數據技術經過最近十年的飛速發展，已經成為一門廣泛應用的成熟技術。隨著大數據產業鏈的日益完善，未來發展重點是大數據的挖掘分析與應用[1]。21世紀初由Jim Thomas教授提出的可視化分析是大數據挖掘分析與應用中不可或缺的一門技術[2]，一方面將大數據中所包含的邏輯、結構等要素利用圖形化的方法顯示出來供人們理解和決策本身就是大數據應用的一個重要方面，另一方面通過圖形化交互式界面將人腦擅長的認知能力融入到大數據分析過程中，能夠解決傳統自動化處理算法難以解決的問題。

可視化分析的處理過程可以看作是一個假設生成的過程，在可視化界面下用戶可以看到數據的一些內在特性從而形成假設，進一步的假設驗證既可以通過可視化方法來完成，也可以利用統計和機器學習等一些自動處理的方法來完成[3-4]。由于人腦在分析過程中的介入，可視化分析方法在非均勻數據和噪聲數據的處理能力有明顯優勢，此外在分析推理過程中可以不依賴于任何先驗模型。

可視化分析涉及腦認知、人機交互、數據分析、信息可視化幾方面的內容，是一個典型的交叉研究領域[4-5]。雖然已經開發出了從入門級的Excel到專業的D3、Visual.ly等面向不同應用的各類可視化分析工具，但是如何針對具體數據設計出針對性的可視化方法仍無章可循，仍需工程人員創造力的注入。

本文從大數據可視化分析的內涵入手，介紹了可視化分析中經常利用的視覺原理，然后梳理出了不同維、不同類型數據的典型化分析處理方法，為讀者在可視化分析的實踐中提供一些程式化的設計思路和啟發。

1 大數據可視化分析的內涵

任磊等人認為：大數據可視化分析是指在大數據自動分析挖掘方法的同時，利用支持信息可視化的用戶界面以及支持分析過程的人機交互方式與技術，有效融合計算機的計算能力和人的認知能力,以獲得對于大規模復雜數據集的洞察力(insight)[4]。歸根到底，大數據可視化分析是從原始數據獲取知識的一種手段，所采用的主要手段是自動化分析算法、可視化和人機交互。

如圖2所示，數據分析的最終目標是發現原始數據背后所隱藏的信息，進而形成知識以納入人們已有的知識結構中[6]。

圖1 數據分析運行機制

為達到這一目標，主要依賴于人和機器的合作與互補，一種方法是將數據映射為形狀、顏色、大小等視覺元素，通過視覺刺激和圖形的交互來實現，該途徑主要利用了人的理解力和創造力優勢。另一種方法是利用機器學習等方法形成模型，得出結論，形成知識并納入已有的知識結構，該途徑主要利用機器的計算能力和存儲能力優勢。兩種途徑可以獨立進行，又可以相互補充。通過可視化分析能夠發現一些機器發現不了的潛在規律和結構，從而指導機器形成新的模型和學習方法；同樣，通過機器學習得到的模型也會指導人們采用更加合理的可視化方法，更加有效地刺激人們的視覺感知系統。幫助人們發現數據中隱藏知識并歸入到已有知識結構是大數據可視化分析的本質內容和根本任務，而不僅僅是“很炫地”顯示出來。

2 可視化分析方法中的基本視覺原理

理解和運用視覺原理的目的在于，可視化分析過程中映射成的視覺元素和設計生成的圖形圖像，能夠被人們在最短時間內準確地將所包含的知識納入到已有的知識結構中，盡可能避免引入不必要的干擾因素。由于對人的視覺原理尚未研究清楚，本文僅介紹在大數據可視化分析中影響較深的幾個基本視覺原理。

2.1 潛意識處理

少數的視覺屬性可以通過潛意識瞬間完成分析判斷，換言之，不需要集中注意力即可以完成信息的處理。如圖2所示，人們對顏色、體積、面積、角度、長度、位置等視覺屬性非常敏感，可以在瞬間區分出差別，對位置差異性把握的尤其準確[7]。

圖2 潛意識下不同視覺屬性的處理精度

因此在設計中就可以把一些差異化的東西盡可能通過這些視覺特性表現出來，如圖3(a)和圖3(b)所示，2個數據集中的顏色/灰度和形狀差異可以瞬間被人們發現，這樣的數據呈現形式有助于發現數據中潛在的知識。然而，當數據呈現結果中同時采用了顏色/灰度和形狀差異兩種不同的視覺特性顯示后，如圖3(c)所示，觀察者被混淆，無法準確快速地區分出來。因此，在可視化過程應該避免多種視覺特性的引入，以提高視覺認知效率。

(a)僅含灰度差異

(b)僅含形狀差異

(c)含灰度和形狀差異圖3 潛意識下不同視覺屬性的處理精度

2.2 格式塔視覺原理

格式塔視覺原理(Gestalt Laws of Perceptual Organization)認為[8]：距離相近的部位(相近性)、在某一方面相似的部位(相似性)、彼此相屬傾向于構成封閉實體的部位(封閉性)、具有對稱/規則/平滑等具有簡單特征的圖形(簡單性)在一起時會被人們認為成一個整體，如圖3所示。因此，在可視化分析中，為了讓數據展示結果簡單明了，可以利用以上特性，借助視覺欺騙通過孤立的部位把一個整體表現出來。從另一方面講，在數據展示過程中，應該避免將不同屬性的數據用相近性、相似性、封閉性或簡單性的特征來加以描述，不然會引起視覺的混淆。

圖4 格式塔視覺原理示意圖

2.3 愛德華·塔夫特原則

作為信息設計先驅，耶魯大學統計學教授愛德華·塔夫特(Edward Tufte)認為一個好的數據呈現應該簡明、準確、高效、一目了然、充分反應出所包含的信息，要盡可能用最小的空間以最少的筆墨讓受眾在最短的時間得到最多的觀點(即Data-ink maximzation)，如圖5所示，圖(b)將圖(a)中一些不必要的元素進行了刪減，刪減后圖的可讀性得到了明顯提升。針對如何設計出一個好的數據呈現結果，愛德華·塔夫特教授提出了以下原則[9]：

① 明確對照物：在統計分析過程中，最基本的分析行為要回答清楚“與什么做比較？”；

② 明確因果關系：表明各個變量直接的關系；

③ 明確各種變化因素：世界是非常多元的；

④ 整合各種跡象：把文字、數字、圖像和圖表完全整合在一起；

⑤ 提供詳細的標題：說明作者和發起人，數據來源，展示完整的測量比例，指出相關的問題；

⑥ 內容決定一切：分析結果的好壞最終還是看內容的質量、實用性和完整性。

(a)設計前的結果

(b) 設計后的結果

3 常用的可視化分析方法

大數據可視化分析方法處理的數據類型涵蓋一維、二維、多維、文本、網絡圖、代碼/算法、時空數據等，采用的顯示方法包括標準的2D/3D顯示、圖標化顯示、圖像化顯示、堆疊化顯示等，采用的變換技術包括投影、濾波、放縮、變形、填充等。此外，單一的數據呈現結果不足以反應數據潛在的全部信息和知識，還需要相應的交互技術根據用戶的理解程度，適時調整數據呈現結果，達到將原始數據包含的知識納入到用戶已有知識體系結構這一最終目的。

對一/二維的數據通常采用的顯示方法包括曲線圖、折線圖、散點圖、餅圖、柱狀圖、雷達圖、熱力圖等。多維數據可視化分析的目標是發現多維數據分布規律，尋求不同維度之間的邏輯關系，分析過程中主要通過映射、投影、平行坐標等降維手段實現多維數據在平面上的顯示，采用的方法包括[4]:幾何圖形、圖標、像素、層次結構、圖結構以及多種方法并舉等形式。

文本是人們交流和記錄的重要載體，占據了約80%左右的電子化信息，以新媒體、電子檔案、電子記錄等形式與人們的生活緊密相連，是大數據挖掘與分析的一項重要內容。文本可視化分析的目的在于通過詞頻、主題關聯、動態演化等規律的展現，發現文本中蘊含的語義特征。常用的顯示方法包括：標簽云、語義結構樹、氣泡等，如圖6所示[10]。

(a)標簽云

(b)語義結構樹

(c)氣泡圖圖6 文本可視化案例

網絡圖直接體現了文件組織架構、網頁地圖、人際交流等現實問題中的關聯關系。網絡圖的可視化分析旨在通過選擇合理的層次結構、捆綁或刪減不必要的邊和節點、多尺度交互等手段，直觀地展示潛在的模式和關聯關系，常用顯示手段包括H樹H-Tree、圓錐樹 Cone Tree、氣球圖 Balloon View、放射圖 Radial Graph、三維放射圖 3D Radial、雙曲樹 Hyperbolic Tree 等[3]，如圖7所示。

(a) H樹

(b)圓錐圖

(c)氣球圖

(d)放射圖

基于人機交互的可視化技術能夠讓用戶直接與數據呈現結果進行交互，可以在看到數據局部信息的同時又能了解到整體信息，也使得通過不同可視化分析方法進行原始數據分析成為可能。常用的方法包括動態投影(Dynamic Projections)、整體+詳細技術(Overview+Detail)、交互式濾波(Interactive Filtering)、交互式縮放(Interactive Zooming)、交互式變形(Interactive Distortion)、焦點+上下文 (Focus+Context，F+C)等技術[4]。

4 大數據可視化分析的應用前景

大數據可視化引入了人的分析認知能力，將動態呈現與分析有機結合在了一起，在大規模非結構化數據分析中優勢更加突出，被廣泛應用于態勢分析和新聞報道中。

數據可視化分析技術的引入增加了新聞傳播內容的客觀性和可信性[11]。《衛報》《泰晤士報》《洛杉磯時報》《紐約時報》《時代周報》、中央電視臺等國內外著名媒體相繼利用開發平臺和公共數據，基于大數據可視化技術開展新聞報道。央視在2014年除夕前首次推出 “據說春運”系列報道后，相繼推出了“據說春節”“據說兩會”系列報道。《“據”說“兩會”》系列報道中利用標簽云顯示方法，參照主播顧國寧的形象，成功地塑造了“數據哥”形象，實現了電視播報分格與信息可視化的緊密結合。將由老百姓最關注的熱門詞以喜聞樂見的新聞人物形象呈現在觀眾面前，讓受眾能在短時間即發現最關注的詞匯有哪些、哪個關注程度高一些、與我最相關的內容是哪個等等，把評價和判斷留給觀眾，新聞節目的意味更加深長，觀賞性和科學性也得到進一步提升。信息可視化技術已經成為新聞媒體創新播放形式，提升觀眾吸引力的重要工具。

態勢估計、分析和預測離不開數據可視化分析技術[12-13]。為掌握安全、輿論、對抗、環境等事件的宏觀狀況、形態和形勢，并判斷其強弱盛衰，需要對眾多的數據綜合起來加以理解，衡量各種因素對于達成目標的重要程度。由于潛在的模式千變萬化，自動化的計算機處理模型無法應對所有場景，對態勢的估計、分析和預測離不開人的認知能力。可視化分析技術在態勢感知應用中，將各類環境數據、方法、概念、步驟等知識映射成視覺元素，充分利用視覺的信息處理優勢，不僅為決策者提供強大便捷的態勢感知手段，還與自動化處理方法共同識別和理解事件相關要素、關聯關系和發展趨勢。可視化分析已經成為各類態勢感知的關鍵技術。

5 結束語

大數據可視化分析技術充分利用了機器和人的各自優勢，在大數據挖掘、分析和應用中廣泛使用，為此各大公司和研究機構開發了眾多成熟的程式化制作工具幫助人們方便地解決面臨的問題。然而人的視覺認知原理尚未認識清楚，如何實現計算機挖掘與人的認知之間的最優化協作，依然缺少以用戶為中心的系統設計與方法論，用戶往往看不懂可視化領域創新技術。面對具體的問題，一個好的可視分析解決方案仍然依賴用戶的經驗和創作靈感。此外，隨著數據量的日益增大，受顯示器尺寸的限制以及人單次處理信息能力的限制，面向可視化分析的自動化數據篩選和挖掘日益迫切。

[1] 喬宏章,付長軍．大數據產業發展現狀研究[J]．無線電通信技術,2016,42(4): 1-4,28.

[2] Richard May,Pat Hanrahan,Keim Daniel A,et al. The State of Visual Analytics is and Where it is Going[C]∥2010 IEEE Symposium on Visual Analytics Science and Technology(VAST),2010:257-259.

[3] Herman I,Melancon G,Marshall M S. Graph Visualization and Navigation in Information Visualization: A Survey [J]. IEEE Transactions On Visualization and Computer Graphics,2000,6(1): 24-43.

[4] 任磊,杜一,馬帥,等. 大數據可視分析綜述[J].軟件學報,2014,25(9):1909-1936.

[5] 曾悠. 大數據時代背景下的數據可視化概念研究 [M].杭州：浙江大學,2014.

[6] Keim D A. Information Visualization and Visual Data Mining[J]. IEEE Transactions on Visualization and Computer Graphics,2002,8(1):1-8.

[7] Colin W. Information Visualization: Perception for Design (Third Edtion) [M]. San Francisco: Morgan Kaufmann,2012.

[8] Barry S. Foundations of Gestalt Theory[M]. German:Philosophia Verlag Gmbh,1988.

[9] Tufte E R.The Visual Display of Quantitative Information [M]. USA:Graphics Press,1983.

[10]Koh K,Lee B,Kim B,et al. ManiWordle: Providing Flexible Control over Wordle [J]. IEEE Trans. on Visualization and Computer Graphics. 2010,16(6):1190-1197.

[11]常江,文家寶,劉詩瑤. 電視數據新聞報道的探索與嘗試[J]. 采編談藝,2014(5):74-79.

[12]李東海. 綜合偵察系統一體化技術發展研究[J]. 無線電工程,2016,46(6):13-17.

[13]吳佳鑫,王健海. 基于態勢感知理論的可視化感知模型[J].現代圖書情報技術,2010(Z1):9-14.

DARPA推進“分散計算”計劃，開發新型網絡協議改善網絡性能

美國國防高級研究計劃局(DARPA)2017年6月19日宣布，已就其“分散計算”(DCOMP)計劃與Vencore公司創新研究部門——Vencore實驗室簽訂了基本合同。合同期到2021年，價值超過1 000萬美元。

DARPA此前已與多家公司簽訂“分散計算”項目研發合同。此次Vencore將為DARPA開發創新的網絡協議，特別關注了一種解決方案，利用可編程的網絡元素，收集路徑內網絡數據，并借助可編程協議邏輯分析和使用這些分析數據，從而提高網絡性能。

根據DARPA 2017年6月24日發布的“分散計劃”項目跨機構公告，該項目旨在解決網絡連通性和電能受限的惡劣作戰環境中數據計算的成本和時延問題。項目包括三大技術領域：分散任務感知計算算法、可編程的節點和協議棧以及技術集成。

目前有大量計算需求的用戶一般都是接入大型共享數據中心，將其圖像、視頻等文件送回數據中心處理。但在不同操作環境中，這種方式的費用和時延會帶來問題，尤其是網絡容量嚴重受限或用戶應用要求近實時響應時。這種情況下，用戶可利用當地可用的計算能力。

“分散計算”計劃尋求一種創新的方法創建協議棧和算法軟件，通過利用分散的計算系統資源，提高網絡應用性能。計劃尋求一種可伸縮的系統，這種系統可根據用戶的競爭性需求，通過大量的異構計算平臺，以任務感知的方式，實現計算設施安全和統一的任務分配，體系結構中可包括網元、無線電臺、智能手機、帶可編程執行環境的傳感器以及便攜式微云。

Study on Big Data Visualization Technology

FU Chang-jun,QIAO Hong-zhang

(The 54th Research Institute of CETC,Shijiazhuang Hebei 050081,China)

The big data mining analysis is the key issue in the future development of big data industry. Based on automatic processing model,the visual analysis technology uses people’s perceiving ability to discover the latent knowledge and hidden patterns,and it becomes one of the most important big data analysis tool. Based on the essence of big data analysis,the intention of big data visual analysis is analyzed. From the point of visual principle and visualization method,the principle of visualization analysis methods is summarized. At last,the application of big data visualization in news media and situation awareness is introduced.

big data; data mining; visualization; data analysis

2017-05-09

付長軍(1981—)，男，博士，主要研究方向：信號與信息處理，于2012年畢業于清華大學自動化系，同年在中國電子科技集團公司第五十四研究所參加工作，主要從事衛星通信、衛星導航與衛星遙感等空間信息綜合系統的研制與生產，以及大數據、公共安全等相關系統與產品的論證和研究；目前在IEEE Transactions on Image Processing(TIP)、Data Compression Conference(DCC)等國內外著名雜志上發表論文近二十篇。喬宏章(1963—)，男，高級工程師，所副總工程師，主要研究方向:信號與信息處理，于1983年在中國電子科技集團公司第五十四研究所參加工作，主要從事偵察設備、航天測控地面設備和信息系統的研制和生產；主持建設的項目或軍隊科技進步一等獎一項，2012年起作為集團“智慧城市”專家組成員，主持了“平安包頭”“平安唐山”等項目的論證和建設工作，已發表學術論文十余篇。

10. 3969/j.issn. 1003-3114. 2017.05.01

付長軍,喬宏章.大數據可視化技術探析[J].無線電通信技術,2017,43(5):01-05.

[FU Changjun,QIAO Hongzhang. Study on Big Data Visualization Technology [J]. Radio Communications Technology,2017,43(5): 01-05.]

TP912.3

A

1003-3114(2017)05-01-5