多模態理論在數據可視化交互裝置設計中的應用研究

羅保權　邢亞龍

關鍵詞：多模態理論 意象圖式 數據可視化 交互模型 裝置設計

中圖分類號：TP47 文獻標識碼：A

文章編號：1003-0069（2022）01-0048-04

引言

隨著大數據與人工智能時代的來臨，數據可視化的需求和應用已成為日常生活的基本內容，在信息時代，大數據將會如同石油般寶貴的資源。

信息技術的發展導致海量的數據產生，讓數據可視化設計的呈現方式與載體都有了更多的可能性，同時也面臨不小的挑戰。單一的媒介與模態已不能滿足數據可視化設計展示的需求，更多的形式不斷涌現，如增強現實AR/虛擬現實VR、多屏幕互動、手機程序、交互裝置等，都提高了其多樣性與復雜性。其中，“交互裝置”是綜合性最強的呈現方式，包含了展示與交互，從多模態的理論出發，挖掘數據可視化交互裝置設計的潛在價值，創造出令大眾能清晰理解，并能實現交互的可視化裝置設計，成為當下研究的熱點。

一、數據可視化的多模態理論

（一）多模態的概念

模態（Modality）指的是交流的渠道和媒介 ，包括語言、技術、圖像、顏色和音樂等符號系統。針對人類的“模態”，一般指的是“感官”，即視覺、聽覺、觸覺、嗅覺和味覺等五感，同時在設計產品或事件的過程中，或多或少都會運用多種符號資源建構意義，因而產生了多模態的概念，進而有了多感官融合的設計模型。

最早研究多模態的是在認知語言學領域，專家在研究時發現，語言不單單是“語言”本身，人與人之間的交流除了話語以外，同時還包含多種非語言模態如表情、肢體動作、身體特征、道具設備等。對于“多模態”概念，早期在社會符號學、教育學中都有大量的研究。國內學者胡鴻等通過多模態交互理論結合學齡兒童教具設計，得出有多模態設置的教具更能提升課堂互動性與參與感。國外學者Salway與Martinec則通過新舊媒體表達范式的對比，深入地從多模態角度分析了圖文關系理論。國內外學者對于多模態的研究分析基本聚焦在社會符號學以及語言學范疇，這對于交互裝置如何達成與觀眾溝通，實現交互性有一定的理論借鑒意義。

同時，近年來在工程學、自然科學、設計學等領域，越來越多的專家開始關注“多模態”理論的應用，形成了研究熱點。Andersen 等指出，想讓人們順利地完成計算機的各項功能任務，最好的方式是使用多模態隱喻的方式去設置功能符號，如垃圾桶隱喻刪除文件、文件夾隱喻管理文件、齒輪隱喻系統設置等，這使得計算機成為非常豐富的多模態媒體，媒介使用的便捷性與有效性，很大程度是因為媒介符號設計源自于人們的生活經驗與認知基礎。

盡管不同領域對“模態”的定義與應用存在差別，但本文站在數據可視化交互裝置設計的角度，將模態定義為：人機交互時，裝置設計傳達信息時所呈現的方式，是一種人機交互的媒介狀態，多模態就是利用多種感官模態作為媒介，實現多種人機信息交換的可達性。

（二）意象圖式與多模態感知

意象圖式作為認知語言學中的重要概念之一，于1980年由美國語言學家馬克·約翰遜與萊考夫率先提出。指人在長期的生活經驗當中，其行為、心智、知覺都存在著一定的規律模式以及意義圖式，它使人們具備有意義且可認知關聯的經驗，并能理解以及進行推理學習。

意象圖式是人與環境反復交互經驗下，日積月累形成的抽象認知結構，其圖式決定了認知的具身化表現以及隱喻化的語言系統形成。在口頭上的表達“他有很遠大的夢想”，體現了“性質”圖式中的“大小”程度，程度雖然是相對抽象的概念，但它在潛意識中可以影響認知理解與語言系統。在行為活動中，我們看到“樓梯”就自然聯想到“上與下”的動作，這對應了“空間”圖式。所以，常見的意象圖式是已經在人腦中形成的共同行為經驗模式。

“意象圖式”與“多模態”雖分屬不同的概念領域，但都圍繞人的認知與心智習慣模型展開研究。意象圖式是論述語言如何受環境狀態影響，從而做出相應的描述詞匯;多模態是論述行為感官如何受環境狀態影響，從而做出相應的動作交互，兩者都說明了人與物、人與人的各種交互行為都來源于認知，而認知與環境狀態有密不可分的關系，把“多模態”與“意象圖式”的概念結合，可以為交互裝置設計提供關于“動因”的理論解釋。

由此，結合多模態理論與意象圖式部分理論的借鑒，可以構建數據可視化交互裝置設計的底層理論系統，為交互裝置的設計提供理論依據，如圖1。

二、多模態概念下的數據可視化交互裝置設計思路

（一）數據可視化藝術裝置的多模態應用

以可交互裝置設計的形式去實現數據可視化，是數據可視化中最為復雜的呈現方式。基于多模態人機交互理念，以及現今大數據所表現出的“規模大、變化快、異構性和非結構性”等特點，對數據可視化交互裝置的設計提出了挑戰，數據可視化交互裝置設計從應用的模態情景，可以分為多維度模態、在地性模態、游戲式模態、情感化模態四種，分別應對不同的使用場景與目標人群。

1.多維度模態：數據可視化交互裝置設計可以突破屏幕（二維）的限制，實現多維度的交互，像廣州美術學院學生創作的數據可視化交互裝置《云圖》，如圖2，利用9個可交互的全息投影展柜，把9個不同城市實時氣候數據通過動態三維的方式進行展示，觀眾通過掃二維碼進入特定程序，使2個或多個城市的數據進行比對展示，結果實時在裝置上反映出來，實現多個維度的立體觀察。

2.在地性模態：在藝術設計領域，“在地性”指的是為現場性以及利用地點的特殊性進行藝術創作，將“在地”作為空間批判的策略和創作方法，而交互裝置的設立與其所處的空間載體有著非常密切的關系，在地性原則同樣適用。在數據可視化交互裝置“深圳脈動”中，如圖3，裝置將深圳交通實時數據轉譯為光影運動，光影運動再轉化為機械運動，機械裝置的運動集合構成了作品的模態效果，創造出符合用戶感知的運動模型。同時，裝置的六邊形與深圳9個行政區巧妙對應，1300萬深圳人各自獨立的交通行為在這里集體可視化，匯聚出城市的脈動。

3.游戲式模態：以游戲的方式進行數據可視化交互，可以增加用戶的黏性以及好感度，通過游戲的模態，讓觀眾通過身體的參與挖掘數據的有趣點，從而實現對數據價值的理解。全球首家以House of Innovation為概念的耐克上海001，空間中庭有一個大型的數據可視化交互裝置名為“核心中場”，如圖4，通過各類型體育游戲的模態交互，參與者可以實現身體狀況數據、運動能力數據、雙人或多人競技數據、綜合排名數據等聯動，深度捆綁數據與用戶的關系，實現沉浸式的游戲交互狀態。

4.情感化模態：情感模態是指利用帶有情感色彩的符號元素，以及帶有情感特征的行為模型進行模態設計，諸如握手、擁抱、擊掌等行為的象征隱喻借用。Twitter委托Sosolimited團隊設計的一個數據可視化交互裝置，如圖5，充分利用了情感化模態。參觀者可以使用平板電腦選擇8個熱點話題中的任意一個，來觀看這個話題當前Twitter上的熱點度。談論這個話題的人越多、越激烈，裝置上燈光閃爍的頻率越高，“心跳”越快。

（二）基于多模態的數據可視化交互裝置設計模型

在判斷數據可視化交互裝置的效果時，要以用戶體驗結果為判斷依據，用戶體驗的優劣跟模態有著密切聯系。英國工程師WilliamPlayfair在其數據統計圖形繪制中，利用了人類認知圖形模態的特點，較早地從用戶體驗的角度去處理數據可視化，柱狀圖作為現今被應用最廣泛的圖表類型，最早是由他設計的。Jesse James Garrett在其著作《用戶體驗要素》中，首次提出了基于用戶體驗要素的網站平臺設計模型，它從用戶認知與體驗感知的角度切入，進行了詳盡的原因分析與過程拆解。模型基于網站交互體驗層級的復雜與多樣、內在邏輯的繁復與鏈接的特點，利用5個層級（戰略層、范圍層、結構層、框架層、表現層）高度概括了整個設計過程，該模型對業界產生了巨大影響力。

基于上述多模態理論基礎，以及在借鑒用戶體驗層級要素模型的基礎上，重新整合并改進設計得出適用于數據可視化交互裝置設計的層級模型。從4個層級進行設計過程推導，幫助設計師更有目標和效率地進行設計工作，也讓觀眾更能清晰理解交互裝置想要表達的意圖，滿足認知期望，從而實現沉浸式的交互體驗，如圖6所示。

1.戰略層級：戰略層是整體方案設計的基礎以及原點，如果沒有戰略層面的思考，設計則無法推演與定位，喪失了核心要素。在戰略層，用戶需求是推動整個方案的源動力，用戶通過數據想要了解什么，又是什么驅動用戶與藝術裝置互動等動因問題，都需要在具體設計前研究清楚。

2.戰術層級：明確的戰略目標后，接下來需要關注的是數據的內容與邊界，數據的邊界決定了可視化的層級。收集回來的數據進行解構分析，厘清數據之間的鏈接與邏輯關系，梳理出數據的組織結構、進行數據去躁等，都能進一步提純數據，增強用戶獲取數據的效率。還要進行數據的特征挖掘，找出有特點的數據細節，甚至是具有沖突性、戲劇性的數據變化，讓最終的交互裝置設計內容具有更強的吸引力。

3.結構層級：結構層是在整體范圍都確定后，從結構層面進行完善設計。數據映射把數據的狀態數值、三維空間信息、固定或時變數據邏輯、數據間的組織關系等，通過形（點線面體）跟色（色立體）的匹配，分別映射在不同的視覺路徑上，使用戶能清晰認知。交互設計的重點在交互行為的設計與創意上，需要規劃用戶的操作手段、回饋模式等表現方式。好的交互設計可以瞬間吸引用戶，并在交互中感受到樂趣。

4.模態層級：最后的模態層是基于用戶體驗以及感知的層面，把之前結構層的交互設計、數據映射、裝置構造等，以一種多感官模態的形式進行最終呈現，讓觀眾除了視覺層面的感受外，還有其他感官的交互。同時，在模態層還要加入意象圖式的可視化考慮，讓觀眾能在最短時間內辨認裝置的操作方式，以及空間位置、長寬高、形狀大小、色彩屬性等感知內容，基于目標用戶，將感知性高的模態元素應用在交互裝置設計中。要特意指出的是，視覺界面的設計屬于多模態中的視覺模態范疇，所以對于一般（屏幕二維）數據可視化的圖形化界面設計，也是需要考慮的重點之一。

戰略層、戰術層、結構層、模態層這四個層級間存在著層次漸進的關系，每一個層級都基于上一個層級推導出來，即戰術層基于戰略層的目標用戶需求以及數據收集的研究，結構層基于戰術層的數據分析進行交互設計與數據映射，模態層的多感官感知設計是基于結構層的推導，這四個層級關系緊密相連而構成整體。

三、設計實踐

在設計實踐研究中，筆者以成都氣候數據的可視化展示作為研究目的，并以交互式裝置設計的形式進行實物測試。整個數據可視化交互裝置的設計，都嚴格按照上文論述的設計層級模型展開，重點在于以真實的設計實踐驗證理論的可行性。

1.設計戰略目標的定義：首先，設計從戰略層角度對目標用戶需求以及相關數據進行收集，并反復推敲戰略目標與任務路徑，確定了目標用戶想要了解的數據內容，然后收集了成都2020過往一年全年每日的實時各地區平均濕度天氣數據（數據來源：中央氣象臺國家氣象數據網），作為基礎數據收集。

2.設計戰術制定的梳理：接著在戰術層中，通過把氣候對應的地區數據特征作進一步提取，將二維抽象數據轉換為思維坐標系，能對應時間軸與空間軸的三維模態。數據三維模態分析如圖7a所示，以不同的立體粒子形態去呈現數據，強化氣候變化與地理的關系，這種在地圖圖形符號上以帶顏色的三維立體方塊作為表達的數據圖式，能方便用戶迅速對整體變量做出判斷，由于有了“時空”維度的加入，令觀眾能更好地把握全局。背后獲得信息設計邏輯如圖7b所示，觀眾可以直觀感受氣候與地理分布的關系，并通過實時的變化感受不同時節成都氣候的特點。

3.設計結構方式的深化：在結構層的設計分為兩個方面，一是用戶可以通過手機掃二維碼進入定制程序，改變參數查看氣候與地理信息的數據聯系與變化;二是在裝置構造上選擇LED立體陣列作為展示載體，以配合內容與模態的需求。二級立體界面設計如圖7c所示，在數據映射層面把對應的結構信息，如空間地理位置，區域氣候變化、相對濕度等，利用顏色映射法、高度映射法、三維映射法進行數據映射，提高用戶理解力，加快用戶認知效率。

4.設計模態交互的設定：在最后的模態層設定上，綜合了此前理論模型的要點，一方面從行為感官模態交互入手，利用紅外線動作感應技術，識別觀眾所在位置與作品方位的對應關系，把觀眾所在的方位與成都地圖的方位做了一個對應模態，觀眾步隨景移可以圍繞作品觀察成都氣候在不同地區的變化三維圖像;另一方面從認知識別符號的在地性入手，加入火鍋、熊貓、竹子等情感化符號以及文化符號的表達，使得原本抽象冰冷的數據有了“表情”與文化基因，更能讓觀眾產生共情，如圖8a所示。同時，在交互裝置中還加入了聲效的考慮，讓交互藝術裝置最后呈現的豐富多變的綜合模態效果，能根據用戶的交互產生實時的變化，如圖8b所示。

從最后的結果看，該數據可視化交互裝置的設計流程是嚴格按照前述的“數據可視化交互裝置設計層級模型”執行的，從結果上是受到了當地民眾的歡迎，有不少觀眾在體驗后都能感受到當地氣候條件與地理因素的關系，也體會到了氣候地理因素對社會文化的影響，得到不少正面回饋與多家媒體的報道，是數據可視化交互裝置設計模型的一次實踐驗證。

結論

基于多模態理論的梳理與數據可視化交互裝置設計的實例分析，采用系統模型過程拆分的方法，提出數據可視化交互裝置的設計模型，該模型主要包含戰略層、戰術層、結構層與模態層四個部分。每一個層級都是基于上一個層級推導，層級之間的邏輯關系緊密，其中多模態作為最終的層級考慮，是影響數據裝置與用戶是否達成真正交互的關鍵因素，也是豐富數據可視化裝置設計體驗感的核心要素。

該模型的運用可增加數據可視化交互裝置設計信息傳達的準確性、豐富性、趣味性與交互性，使得數據可視化有了更為綜合的表達形式，也為交互裝置的設計創作提供了新的交互維度。

3266501908267