多模態交互在數字體驗設計中的策略探究

徐威，徐夢陶

（大連理工大學 建筑與藝術學院，遼寧 大連 116024）

一、多模態的理論

在數字化時代的趨勢下，科技的發展為用戶的產品體驗帶來不一樣的全新形式。多模態下的數字體驗設計不僅僅是傳統的滿足用戶的需求，還能通過數字化、多媒體化的技術和形式提升用戶在體驗中的感受質量，并且通過聯合多種感官的交互方式，調動用戶的整體感官機能，使用戶獲得多重維度的生理體驗與精神滿足。

（一）多模態概述

“模態”俗稱感官，單模態指單個感官，“多模態”即兩個以上感官的融合，多模態交互指人通過不同模態通道內的信息合并統一，感知與物體（包括人、機器、動物等）進行交互的行為。人們對于世界的認知是從“感知”開始的，我們所聽、所視、所嗅、所觸、所品味到的都是感知的結果，模態是人體與外部接觸的主要途徑，通過神經傳輸系統將感知到的刺激傳輸給大腦，從而感受到事物屬性的信息。錢鐘書先生曾說過：“在日常經驗里，視覺、聽覺、觸覺、嗅覺、味覺往往可以彼此打通或交通，眼、耳、舌、鼻、身各個官能的領域，可以不分界線。”說明人體的感官是一個相互融合、相輔相成的整體，對接收到的信息是由一種感覺體驗的刺激引起另一種感覺體驗形式，從而產生感官之間的互通現象，同時由原研哉提出的“五感設計”，即沒有像視覺一樣帶來的沖擊力，卻具有內心喚醒般的吸引力，加強對人方便性和情感性的追求，使感知效果能更加趨向于真實的感受，也為多模態理論提供了理論依據和實踐基礎。

（二）多模態應用范圍

對于多模態的應用范圍，根據日本博報堂生活綜合研究所在《五感的時代——視、聽、嗅、味、觸覺的消費社會學》中進行的總結概述，其主要體現在四個方面。第一是文化體驗追求方面，傳統的文化交流方式主要是視覺、聽覺這兩個最直觀的表現方式，成熟的文化追求需要多種感官的融合，比如5D影院、多感互動游戲、公共藝術展覽中的三維立體形態等。第二是電子科技應用方面，隨著科技的不斷進步，虛擬現實技術、增強現實技術、混合現實技術都使多模態的應用范圍不斷擴張，使我們的感官對世界的信息接收更趨于真實。第三是恢復感官認知方面，隨著屏幕化的日益流行、大數據時代的逐漸來臨，使得智能手機占據了人們生活中的一大部分，用戶日常接觸到的多為視覺和聽覺，所以通過為用戶提供超越這二者的各種感官元素，將人體二十多種感官調動起來恢復漸漸喪失的多模態認知。最后是掌握人性的整體化方面，在社會的發展中更多地注意到了人的多模態交互，將人的整體作為研究對象，從理性開始轉變為用感性和感覺作為分析重點來探討社會。

二、數字體驗設計中的多模態體驗層級

隨著體驗經濟時代的來臨，以及感官傳感、人體識別與跟蹤技術的不斷發展，多模態交互被運用在數字體驗設計創作中的頻率逐漸提高，傳統的物理體驗裝置已經逐步被數字體驗裝置取代，給用戶帶來由多種感官元素組成的、能接受多種外部信息傳達的多模態交互體驗過程以及更深刻的情感價值。

>圖1 體驗階段層級圖

>圖2 《Fan Mirror》

>圖3 大英博物館VR體驗

>圖4 一號畫廊

>圖5 ValoClimb攀巖墻

在多模態數字體驗設計中，包含著感覺、知覺、思維這三部分內容（圖1），感覺是指當用戶的感官受到外部刺激后做出的反應，知覺是利用已知的感覺來區分，是對感覺信息解釋的過程。思維則是一種用推理或判斷間接地反映事物本質的認識活動。這三者的最終目的是通過數字化的體驗、多種感官的重疊達到對世界的信息接收的認知，從而意識到人體對客觀物體的認知并不是一蹴而就的，是具有從淺層次到深層次的不斷深化的過程，深層活動通常由一系列的淺層活動構成并由多種模態共同完成，通過提升淺層次的感官體驗達到更深層次的與體驗者的交互體驗。通過總結現有的數字體驗裝置，歸納出三種不同層級的體驗階段，探討設計師在面對數字體驗設計時如何能夠使體驗不斷深化進行思考和策略制定。

（一）基礎感知階段

基礎感知階段是體驗階段的最初層級，也是指在體驗過程中的“感覺”與“認知”。在數字體驗的過程中用戶會發現人的感官接受信息是具有本能的特征，具有主動接收信息的意識，在一種感官的刺激下會引領另一不同感官的體驗，觸發多模態的新形式。這種感官與感官的結合使得信息的接收、與物體的交互變得更加有趣。藝術家Daniel Rozin熱衷于使用不同的材料制作“魔鏡”系列的互動體驗裝置，例如他的作品《Fan Mirror》（圖2）。當體驗者站于鏡前擺出各種不同的姿勢時，魔鏡就會通過傳感器自動捕捉體驗者的身體形態，并通過不同材料的鏡面呈現出不一樣的剪影，視覺、觸覺協同工作增強了數字體驗的豐富性。在公共藝術的數字體驗裝置方面，大英博物館走在了領先的位置，通過VR虛擬現實技術將游客帶到了青銅時代（圖3），讓游客通過燈光、氛圍來更為真實地體驗青銅器時代的生活，參與古人包括祭祀太陽在內的各種儀式，并且游客可以通過虛擬現實深刻體會青銅時代的歷史與文化，不再只是單純地參觀擺放在玻璃后面的文物。除此之外，浙江理工大學虛擬現實實驗室致力于研究虛擬嗅覺技術，他們在博物館研究方面認為博物館的應用要注重多種模態的融合，使得參觀者在視覺、觸覺接觸到文物的同時使用到平時在參觀體驗中使用頻率較低的嗅覺，這樣能夠更全面、更自然地感知文物，獲得更強烈的存在感和真實感。

對于設計師來講，在數字體驗設計中營造多模態交互的受眾體驗，規避傳統單一的展現方式，將多種感官融入設計創作中，可使體驗者的感受得到大幅提高，讓數字體驗裝置傳達的信息更具說服力。但是也并不意味著需要將人體的二十多種感官都進行融合，在設計時要注重模態的重要程度，有主有次，相輔相成，更利于之后的設計研究。

（二）行為交互階段

行為交互階段是體驗階段的中等層級。是指在多模態交互的基礎上，將多模態的理性認知與感性認知進行融合，從而構成一個多維的多模態體驗整體。在交互過程中用戶對數字體驗裝置的好奇心增強，根據想象、聯想等方式對數字體驗裝置進行探索，在體驗中進行有意識的干預，滿足精神上體驗的過程。克利夫蘭藝術博物館的創意互動裝置1號畫廊（圖4）在數字體驗設計中同樣使用了創新的方式來讓觀眾搜索博物館的一系列藝術品。允許用戶簡單地繪制線條和形狀，讓游客得以從具有相似幾何形狀的集合中調出相對應的藝術品，并且當游客在屏幕上做一張面部表情的圖片時，畫廊將展示具有相同面部表情的系列中的藝術品。與此同時，Valomotion公司推出的增強攀巖墻 ValoClimb（圖5），在這個室內攀巖墻上能夠投影交互式圖像，在訓練過程中加入競技游戲的因素，在相對緊湊的空間內，用戶可以參與多種即時的互動體驗，使數字體驗的過程變得有聲、有色、有趣，讓用戶達到全身心融入的狀態，幫助用戶找到運動的快樂。除此之外，以色列設計師Oren Geva為盲人研發出一款獨特的名叫2C3D的相機（圖6），它可以實時地將鏡頭影像變成三維觸覺數據，供盲人觸摸，其精度甚至可以描繪出人臉的細節，這些體驗都融合了多種模態，同時又增加了用戶的交互探索。

對于設計師來講，體驗既不是用戶的主觀認知和感受，也不是一般意義上的客觀存在，不能夠生硬地照搬現實世界，它是人與環境相遇時動態的、連續的相互作用所產生的結果，在行為探索階段這個過程中通過不同個體對于體驗的認知，在交互的過程中能夠使用戶在基礎感知層次之上進行自身思想與行為探索的體驗，達到融入情感產生共鳴的目的。

（三）思維聯通階段

思維聯通階段是體驗階段的最高層級，是在感知與探索基礎上的抽象的情感體驗，數字體驗需要人的介入和參與，體驗也是藝術創作者通過引導觀眾參與互動的方式。多模態下的數字體驗設計的根本目的是加強對人方便性和情感性的追求，也是一個人實現包括內心情感在內的心理需求、生理需求和精神層次上的途徑，使感知效果更加地趨向于真實的感受。在數字體驗過程中通過多模態的感官互動體會到了豐富的體驗方式與樂趣，通過感官與聯想融合的行為探索階段，融入了感情的共鳴，在思維聯通階段是對數字體驗的反思，還可以把觀眾的思緒帶到不同的時間和空間，激發埋藏在深處的記憶，傳遞給用戶此項設計想要表達的思想。

針對數字體驗中的思維聯通階段，有以下幾個例子能夠更好地對其進行解釋，Michelle Oui團隊為了紀念莎士比亞逝世400周年而制作的體驗裝置《Life Scape》，裝置有六個不同的影盒，每個影盒代表著人生不同階段。當人們靠近時裝置點亮，影盒開始變化，戴上耳機傾聽不同的韻律。它讓觀眾以不一樣的方式經歷人生的各個階段，在一瞬間激起部分體驗者內心深處的記憶，不同的人在體驗中可能會獲得不一樣的感悟，聯想到相似的經歷可能演變成不同的故事，鼓勵觀眾以獨特的視角看待人生，感悟到每個人的珍貴之處，這正是數字體驗中的最高層次的作用。除此之外。在2019年Local Projects公司設計的時尚體驗博物館（Fashion for Good Experience Museum），博物館通過數字體驗裝置向人們講述衣服背后的故事，改變參觀者原有的看法，使人們通過時尚體驗博物館意識到衣服可持續發展的重要性。每位參觀者進館前會分發智能手環，通過手環的個性化數字旅程，觀眾可以通過視覺觀看設計者的創新故事，通過觸覺接觸到從織物線到棉布的各個部分，轉換身份成為服裝設計師，從一系列以可持續性為靈感的圖像中選擇并定制屬于自己的專屬服裝。設計師以傳播可持續發展為目標，使用多模態的設計理念使參觀者體會到不一樣的感悟，成為可持續發展的并肩作戰者。數字體驗中的思維聯通迎合了參觀者在體驗時進行情感交流和互動時產生的一種不可言狀的微妙感受，充滿了與心靈的私密溝通所產生的服帖感，這種內心感觸的欣喜是單純的基礎感知階段所不能實現的，是感官、探索的升華。

>圖6 2C3D的相機

>圖7 《Life Scape》

>圖8 時尚體驗博物館

對設計師來講，在數字體驗設計的過程中，體驗者與裝置進行互動不應該僅僅注重交互行為，更應該注重在體驗的過程中傳遞給用戶設計想要表達的思想，使得數字體驗在滿足用戶行為感官體驗的同時在思想上得以有更深的理解。做到“以人為本”，引導淺層次基礎體驗，通過不同個體對體驗的認知與探索形成各自獨特的感受，在整個數字體驗中融入情感共鳴。

三、多模態交互下數字體驗設計的應用意義

（一）提升感官體驗

新興的科學技術為當代人們的生活帶來了翻天覆地的變化，數字體驗裝置的發展是傳統體驗方式的變革，改變了傳統體驗多以視聽為主的信息傳遞方式，通過科技的運用更新了用戶在接收信息、使用產品時的形式，使其不再滿足于單一的感官所帶來的體驗，而更傾向于“一加一大于二”的多模態體驗。在數字體驗過程中通過多種感官的融合與疊加，能充分調動體驗者的身體機能，使信息的接受更加有趣，使體驗的認知更趨向于真實。典型的多模態數字體驗有虛擬現實技術，創造虛擬的體驗環境給人腦以真實的認知，它可以通過敘事性的設計法則，用故事的形式，設計營造虛擬場景、真實或虛擬角色、引人入勝的情節、沉浸式的體驗、真實的氣氛等基本元素，直接調動參與者的情緒模態的融合，使體驗在抽象與具象之間反復橫跨，并且通過多模態交互對虛擬環境做出反饋，提升整體的感官體驗，讓趣味性、直觀性貫穿數字體驗的始末。

（二）擴寬表現形式

藝術家們利用多模態交互這個能夠觸發多種感官融合交錯、影響人體生理與心理的特質，將藝術與科技互聯，使用當今發展得如火如荼的傳感技術以及增強現實、混合現實等技術，將數字信息世界與真實的世界建立起互通的橋梁，將自己的作品融入到數字體驗當中，在各行各業都能看到他們的身影。在公共藝術場所，博物館中的數字體驗裝置加深觀眾對于文物的理解，在視覺觸覺乃至嗅覺方面都能與受眾進行情感交流和互動，帶動參與者的感官穿越到不同的時間和空間中。在互動娛樂場所、商業運營場所的數字體驗裝置通過強化我們的感知，將以往單一的體驗延伸至多維模態體驗，例如耐克在上海的首家概念創新店，在試穿新產品之前需要經過短暫練習，然后體驗者就能輕松掌握游戲規則、開啟挑戰。互動畫面和立體音效的結合能夠擴寬體驗的表現形式，使信息能夠更好地傳遞。

（三）加深情感共鳴

不同的顏色、聲音、味道都給人以不同的感官體驗，例如紅色讓人有熱情與激昂的感覺，藍色讓人聯想到冷靜與理智的感覺，舒緩與緊張的樂曲給人的感覺也截然不同，我們對家、對媽媽身上的味道、對那些充滿記憶的事情都可以通過嗅聞來進行記憶的提取。多模態的數字體驗設計聯合多種感官，當體驗者通過聽、視、嗅、觸、味不同的模態進行體驗時，由低層次的基礎感知體驗上升轉移到行為探索階段，最后到達思想聯通的階段，三個階段層層遞進，進一步激發起體驗者更深層次的思考，從而引起情感共鳴，最終讓體驗者能夠真正理解設計者的想法，同時也融入了其自身對數字體驗的理解，產生全新的感悟。

四、總結

多模態交互以人五感及大腦認知為基礎，在數字體驗設計中起著重要的作用，多模態的融入給新興生態發展下的數字體驗設計指明了新的方向，契合了數字體驗的特性并順應了發展趨勢。未來的體驗設計，必將是技術與感知、藝術的合力傳遞，無論單獨討論哪一方，都是片面的。數字體驗設計為用戶的體驗提供了新的交互方式與表現形式，進一步激發起體驗者更深層次的思考。多模態交互下數字體驗設計的目的是加強人對信息的感知，對方便性和情感性的追求，使感知效果更加趨向于真實的感受，但是如果為了數字化而數字化，單純地追求技術帶來的樂趣，就不能算達到多模態思想聯通的深層次。科技與藝術同步發展，設計者清楚地意識到精神和文化的重要性，數字體驗設計才能真正地做到“以人為本”。