基于多模態(tài)感官理論的交互式數(shù)字藝術研究

徐潔漪 席濤

摘要：以研究交互式數(shù)字藝術在多模態(tài)感官理論指引下的創(chuàng)作手段及未來發(fā)展趨勢為目的。本文通過對目前交互式數(shù)字藝術的技術發(fā)展及藝術表現(xiàn)特征進行分析，從多模態(tài)感官理論的視覺，聽覺，觸覺，嗅覺，味覺以及交互手段出發(fā)，研究和探索如何構(gòu)建多感官的交互式數(shù)字影像。對創(chuàng)作過程進行多感官互動分析，從感官融合，虛擬環(huán)境構(gòu)建及媒介呈現(xiàn)方面總結(jié)多模態(tài)感官構(gòu)建交互式數(shù)字藝術的方式方法，對未來數(shù)字藝術的發(fā)展提出新的展望。

關鍵詞：交互式數(shù)字藝術，多模態(tài)，用戶體驗，虛擬現(xiàn)實

中圖分類號：TB472 文獻標識碼：A

文章編碼：1672-7053（2018）03-0097-03

1 交互式數(shù)字藝術的發(fā)展與演變

1.1 傳統(tǒng)藝術邁向數(shù)字藝術

21世紀，隨科學技術的進步，藝術與科技的結(jié)合誕生了許多例如圖像處理，多媒體交互以及增強現(xiàn)實等新的數(shù)字媒體表現(xiàn)形式，使得數(shù)字藝術的發(fā)展不再局限于單一傳統(tǒng)媒介。麥克盧漢的《理解媒介》中提到，傳統(tǒng)的藝術形式借助文字印刷媒體實現(xiàn)，其特征為視覺的，順序的。而數(shù)字時代，藝術更多的依附和創(chuàng)作于電子媒介，圖像除了繼承符號形態(tài)以外更講求功能以及知覺的再概念化，由此產(chǎn)生的數(shù)字藝術相比傳統(tǒng)方式更具有信息反饋，實時互動，多感官融合的特點。

1.2 交互式數(shù)字藝術時代特征

信息時代，數(shù)字媒介本身便具有交互性的特點，依附于此衍生而來的交互數(shù)字藝術便在此基礎上得以發(fā)展。相較于傳統(tǒng)數(shù)字藝術單一的信息呈現(xiàn)和傳遞方式，受眾僅能通過觀看收聽的方式以被動的姿態(tài)接受信息，因此可以說傳統(tǒng)的藝術形式是受眾進行被動性的抗爭，而交互式數(shù)字藝術則是通過受眾主動參與信息的解讀與認知尋求被動與主動之間的平衡。

由于交互式數(shù)字藝術信息結(jié)構(gòu)的不確定性，信息原本所呈現(xiàn)的形態(tài)結(jié)構(gòu)將因受眾不同的交互方式而改變。在交互的過程中，受眾將超越信息本身設定的意義，賦予其新的含義，創(chuàng)造更多的想象空間。另外，在這樣一個不確定、無意識的交互環(huán)境中，通過交互行為，受眾與受眾、受眾與空間、受眾與作品之間能夠形成許多不可預測的結(jié)果。受眾的角色從被動接受轉(zhuǎn)為主動，成為創(chuàng)作者，其交互關系原理可總結(jié)為圖1。

由圖1所示，人、媒介、作品、藝術家之間相互連接呈網(wǎng)絡化的結(jié)構(gòu)，交互數(shù)字藝術通過交互構(gòu)建虛擬現(xiàn)實的環(huán)境，受眾與虛擬空間進行互動和連接而產(chǎn)生。受眾通過與虛擬環(huán)境中的物體互動，以物體為媒介與其它受眾更甚與藝術家之間形成多向交流和溝通的關系結(jié)構(gòu)。于此同時，數(shù)字藝術中的信息和隱喻所蘊合的美學、情感、認知等內(nèi)在屬性也借交互行為產(chǎn)生，這種內(nèi)在屬性使得受眾成為作品主體的同時也為作品的客體。交互數(shù)字藝術的網(wǎng)絡化幫助受眾在思想，情感和信息上達到共享和交流，達到物理和心理的互動。

除了交互性、網(wǎng)絡化的特征之外，隨著感官傳感跟蹤技術的發(fā)展，多感官融合也越來越多地被運用在交互式數(shù)字藝術創(chuàng)作中。交互式數(shù)字藝術通過使受眾對真實世界的體驗認知及客觀想象的圖像世界進行交換，調(diào)動受眾多種感覺，從而啟動身體觸覺和運動感官反應，達到超越時空的豐富知覺體驗。身體在虛擬數(shù)字空間中成為圖像提供者，通過身體與數(shù)字藝術的結(jié)合，能夠刺激人的感官，將數(shù)字藝術從視覺、聽覺方面延伸至嗅覺、味覺及觸覺，達到身臨其境的效果。

2 多模態(tài)感官理論的應用價值

2.1 多模態(tài)感官理論

多模態(tài)，即為多感官。外界的光線、聲音、氣味等皆作用于人的感官系統(tǒng)，例如當視覺受到外部刺激時，視覺神經(jīng)會將刺激轉(zhuǎn)化為生物電信號，并迅速把信息傳到腦神經(jīng)系統(tǒng)進行處理。感覺是認知活動的開端，通過感官能夠了解事物的屬性。多模態(tài)指多個感覺器官加上處理各自信號的神經(jīng)系統(tǒng)，其包括視覺模態(tài)、聽覺模態(tài)、觸覺模態(tài)、嗅覺模態(tài)和味覺模態(tài)。人類的感官系統(tǒng)是一個相互作用和聯(lián)系的整體，人們利用多種感官來獲取接受信息，多感官整合便是將不同感官通道內(nèi)不同的信息合并為統(tǒng)一，連貫的知覺的過程。因此通過多模態(tài)感官理論能夠研究感官主體與外部世界的互動關系。

多模態(tài)感官與單一模態(tài)感官不同，這意味著兩種或更多種感覺對刺激作出反應。它感覺到對各種刺激的反應。這種多感官聯(lián)合被稱為通感，通感是一種神經(jīng)學現(xiàn)象，指一種感覺形態(tài)刺激引起另一種感覺形態(tài)，產(chǎn)生感官互通的現(xiàn)象，由達爾文的表哥F·Galton在1880年自然界的論文中首次被記錄。

2.2 應用內(nèi)涵

從傳播學理論出發(fā)，接受信息時調(diào)動的感官越多，心理對事物的形象就更趨向于真實，感官體驗達到最大化的同時傳播效用也在不斷增強。因此在交互式數(shù)字媒體中，利用多模態(tài)感官理論具有三層內(nèi)涵：一是通過多感官整合，調(diào)動受眾的感官機能，使信息接收過程更為主動、有趣、直觀；二是將數(shù)字藝術從單一的視覺傳播信息得以延伸，利用人類感官的生理及心理特點，從認知角度拓寬藝術表現(xiàn)形式；三是探索多感官聯(lián)合對數(shù)字藝術在信息表達上的影響，更好地評估信息傳達的有效性及受眾的內(nèi)外在體驗。

2.3 應用價值

多模態(tài)感官實驗表明，模型可以將聲音作為聯(lián)想圖像進行相同或相似的圖像，提出了在一個連貫的框架內(nèi)組合聲音和運動圖像的邏輯方法。例如，在視覺上，不同的顏色賦予不同感覺：紅色橙色黃色等暖色給人明亮溫暖的感受，藍色白色則給人寒冷暗淡的感受；同樣不同的旋律和聲音可以使一個人產(chǎn)生不同的感覺。因此在許多藝術作品和音樂作品中，藝術家和觀眾之間的交流是通過視覺和聽覺來形成的。然而，媒體藝術，通過為觀眾提供超越視覺和聽覺感覺界限的各種感官元素，使他們有各種各樣的體驗。在眾多作品中，配備了尖端的技術，模擬觀眾的視覺、聽覺、嗅覺等，吸引觀眾。除了傳統(tǒng)的視聽，研究實驗表明，在數(shù)字藝術中加入光、風、震動等均能加強受眾的感官體驗，這為媒體藝術創(chuàng)作提供了更多可用元素。

3 數(shù)字藝術中的多模態(tài)感官互動研究

3.1 行為活動分析