音畫交互設計在音樂演出中的聯覺表達要素

靳媛媛 周帆揚

摘 要： 音畫交互設計是數字媒體技術不斷發展，并結合實際應用而催生的新興設計領域，是以數字媒體為重要媒介平臺、對聲音和視覺要素的關系進行的探索。在音樂演出中，音畫交互設計能夠以跨界的方式拓展動態媒體的表現形式，從而創造多感官聯覺的審美體驗。論文從音畫交互設計的視聽映射、成像媒介、交互方式三個維度入手，分析其在音樂演出中的聯覺表達要素，以期為該類演出提供借鑒。

關鍵詞：音畫交互設計；音樂演出；聯覺表達；視聽映射；音樂可視化

中圖分類號：J61 文獻標識碼：A

音畫交互設計是數字媒體時代背景下發展的學科方向，是對視覺藝術和聲音藝術關系的探索，其最早出現在實驗動畫的聲音可視化理論中，隨著媒體技術的進步和文化藝術的發展，范疇包括視覺音樂、實驗性影片、視聽表演、生成藝術、互動裝置和VJ藝術。[1]在音畫交互設計中，藝術家或設計師通過建立特定的“聲音—畫面”對應、轉換和同步規則，并借助新媒體技術更加有效地刺激觀眾的視聽聯覺。音畫交互設計表達方式較傳統藝術領域有明顯的區別：第一，其本身具有非常明顯的跨界特性，涉及了聲音藝術、視覺藝術、心理學、新媒體技術和交互技術在內的多個學科領域；第二，在傳播和呈現方面，音畫交互設計以數字媒體為重要媒介，且具有相當的實時性和表演性；第三，對觀眾而言，這種多感官的聯覺體驗也將帶來更加直接而強烈的藝術感受。因此，音畫交互設計的聯覺表達并不是指視覺表達和聽覺表達的“堆積式”疊加，而是由產生協同效應的各個感官系統合成的一個整體。音畫交互設計以其獨特方式不斷拓展音樂的藝術內涵，豐富音樂的情感表達，并為聲音藝術開辟了新的欣賞和理解途徑。

當下，音畫交互設計發展迅猛，歐美地區已形成了數個知名的新媒體視聽音樂節、藝術節和論壇沙龍；在國內，以上海音樂學院、中國美術學院為代表的各大藝術院校也相繼設立了音畫交互設計專業或是相關的數字媒體藝術學科，積極地推動音畫交互設計在演出中的創作實踐邁入新的階段。然而因其實驗性，音畫交互設計的理論研究與其設計實踐之間始終存在較大的差距。通過對音畫交互設計聯覺表達的分析研究，可以更好地理解其相關的各種邏輯系統和藝術化的表現手法，從而促進音畫交互設計形成更為完善且普適的理論體系。本文試從音畫交互設計的視聽映射、成像媒介、交互方式三個維度入手，分析其在音樂演出中的聯覺表達要素，并歸納各要素不同演繹方式的特征與優勢，以期豐富音畫交互設計的理論資料，同時為之后該類演出的創作實踐提供借鑒參考。

一、視聽映射

在視覺藝術領域，音樂一直是藝術家們的創作源泉之一，然而音畫交互中的音樂可視化研究并不局限于藝術層面，更與科技、人文等領域的研究成果息息相關。“映射”（Mapping）原為數學名詞，指兩個元素的集之間元素相互對應的關系。通過建立適當的屬性關聯以實現音樂與視覺的同步，稱之為“視聽映射”（Audiovisual Mapping）。音樂作為一種抽象藝術，其視聽映射建立在視聽聯覺的生理機制和心理機制上，然而在音樂演出中，觀眾所產生的視聽聯覺，往往因個人的生活經歷、文化背景、社會環境等差異而各不相同。因此，視聽映射強調的是從宏觀方面視聽信息間某種整體聯系和轉換規則，而不特指其中各元素的唯一確定的對應關系。[2]根據對不同的視聽轉換規律特點，音樂可視化的視聽映射可以分為自然映射、直覺映射、邏輯映射、敘事化映射、數字化映射和多通道映射等。

（一）自然映射

基于物理學的自然映射（Natural Mapping）又稱“物理映射”，指通過物理手段，實現視聽媒介的傳遞與轉換。[3]在物理學中，聲音的本質是由聲源物體振動而產生的一種機械波，這種波形的產生貫穿聲音振動的整個過程，因此聲音與圖像之間有著固定的對應規律。以音流學（Cymatics）為代表，利用不同的聲音引起的共振刺激顆粒、流體和氣體媒介震動以展現出客觀的視覺化圖像。隨著技術的發展和創意的生產，這種通過物理實驗手段實現音樂可視化的映射模式被結合以多種藝術裝置呈現和記錄。

（二）直覺映射

基于心理學的直覺映射（Intuitive Mapping），以語音符號學（Phonetic Symbolism）為代表，以人類普遍的認知體系為基礎，從心理學角度分析通感聯覺，探究人類在處理視聽語言之間關聯性時具有的共通心理傾向，在解釋和還原人們聽音樂時，思維里根據音樂旋律或音符律動形成某種具有普遍性的特定景象，如糾結纏繞的毛線球、正在延展的裂紋或跳動的火焰，等等。

（三）邏輯映射

基于人類感知基礎的邏輯映射（Logical Mapping），指根據預先設置的邏輯關系參照和匹配不同體系的信息以建立系統的對應關系。例如，通過分析音樂的頻率、振幅、音色和圖像參數之間相對應的物理特性，以及其與人類普遍性的感知規律之間的邏輯關系[4]103-105，并通過相應的圖形運動、色彩變幻和畫面切換體現音樂的情緒起伏。雖然邏輯映射并不具有絕對的普適性，但針對一些共通感受能夠探索并總結到一定的規律，例如，音樂的頻率高低與畫面明暗的對應關系——高頻音通常對應較亮的視覺意向，低頻音則往往匹配較暗的視覺意向。

（四）敘事化映射

基于受眾群體情感認同的敘事化映射（Narrative Mapping），也稱為情節映射，指通過某一特定的敘事性視頻片段中的具體情節來對應音樂的情感表達。這種映射模式脫胎自歌劇、音樂劇等包含有具體情節故事的舞臺表演，主要用于影視和游戲類的主題視聽音樂演出，通常會直接使用其所屬的影視或游戲作品中的視頻片段作為視覺設計的基礎素材，其畫面的敘事情節尤為具體。對于此類音樂演出的觀眾而言，影視或游戲作品中人物、場景和情節已經和音樂形成了非常具象的視覺和情感關聯。作為一種小眾文化的藝術表達，這些特定的敘事化映射雖然不一定具備科學嚴密的視聽映射邏輯，卻能夠給特定人群帶來非凡的情感沉浸體驗。

（五）數字化映射

基于數碼生成藝術（Digital Generative Art）的數字化映射（Digital Mapping），是指利用數字技術以及計算機算法實現的視聽對位方式。其原理類似于個人電腦中音頻播放器的音樂可視化動畫，在演出中通過程序軟件讀取和分析輸入聲音樣本中關鍵信息的參數數據，并將數據變化同其匹配的圖像參數進行動態轉換。[5]58-69數字化映射并非獨立于此前的幾種映射方式的全新模式，而是在不同的映射方法中應用數字化的實時信息分析和運算方式。

（六）多通道映射

多通道（Multichannel）源于計算機技術名詞，原指計算機與人類感官系統相對應的多個信息輸入和輸出通道。多通道映射，是指在聲音與視覺信息之間建立起多重的映射通道，使不同映射屬性之間相互影響而實現綜合的視聽效果，并發揮出不同映射手段間的互補性。在各藝術門類中，音樂藝術具有明顯的非物質性、數學性和抒情性，其構成元素能夠被輕易地采集分解，但整體蘊藏的情感表達卻復雜而微妙。對于大多數的藝術家和設計師而言，完成某一種數學關系式的視聽映射對照關系并不是創作活動的目的——一方面，單一映射模式僅針對音樂中包含的特定信息進行分析，然而在某些情況下這些特定信息具有明顯的局限性，難以反映出音樂演繹的動態特征；另一方面，通過單一映射模式生成的圖像在形式和內容上往往趨于近似，長時間觀看容易產生視覺疲勞。因此，藝術家和設計師通常會參考多種視聽映射模式進行視覺設計，根據表演的整體需求組合切換，并在適當情況下對視覺或聽覺采用留白的處理手法，實現理性因素與感性因素的平衡，從而提升最終的呈現效果，使視聽結合的演繹可以被觀眾更好地感知和體驗。

二、成像媒介

在音畫交互設計中，成像媒介決定畫面的視覺質感，常見的舞臺成像媒介包括舞臺燈具、LED屏幕、投影，所呈現的視覺效果也各具特色。此外，新型技術的不斷升級迭代賦予了藝術家和設計師更為廣闊的創意空間，大量曾經停留在概念中的藝術形式也得以一一呈現。

（一）數字燈具

隨著數字化技術的迅猛發展，舞臺燈光領域也大步邁向數字化時代。從專業音樂廳、音樂節舞臺到院校劇場，所用的燈具及控臺多數都采用了數字化控制；配合數控煙機、霧機以及其他的舞臺布景實體，能夠完成復雜的視覺效果構建，通過集成實施一體化控制，呈現豐富的視覺效果，與視聽主體內容形成整體的視覺體系。

（二）LED屏幕

LED屏幕設備一直被廣泛地應用在各類舞臺，相比原有的采用固定化裝配方式的大尺寸舞臺LED顯示屏，新型舞臺LED屏幕形式和功能愈發多樣：LED地磚屏能夠大面積鋪裝，并能結合機械臂或是數控升降臺完成復雜的位移或是升降動作；輕量化的LED屏幕模塊輕便易用，其存儲運輸、安裝拆解、編碼控制更加便捷，能夠快速組合成造型奇特且更具空間層次感的顯像陣列；在其基礎上發展出的柔性LED屏幕更為輕薄，以硅樹脂制等軟性材料替代了玻璃面罩，具有可彎曲的特性，彎曲時圖像平滑美觀，可根據需要拼接組合成弧形、柱形等曲面顯示屏，進一步豐富了LED屏幕的表現形式。

（三）投影

作為一種漫反射的成像方式，投影填補了LED屏幕作為直接光源的局限性，賦予了舞臺美術設計全新的創意理念和表現形式，讓音樂可視化設計的視覺呈現層次感得到極大的提升。此外，幻影成像技術（Phantom Imaging）可以在理想狀態下呈現出逼真的虛擬立體效果；光雕投影技術（3D Projection Mapping）也被稱為“空間增強現實”，能夠以多種材料和結構表面作為成像介質，對其進行視覺重塑；傳統舞臺、音樂廳的演出空間給音畫交互設計在尺寸和形式上的發揮形成了一定的制約，而投影融合技術（Projection Fusion）可以為復雜環境中的大面積投影提供保障。除了為舞臺設計各類造型的投影屏幕組合，一些主題性的音樂可視化項目直接以名勝和地標作為光雕投影的成像媒介。通常這類成像介質本身即具備獨特的視覺造型和文化內涵，且往往具有豐富的肌理感、巨大的視覺跨度和強烈的形式美感[6]30-34，能夠產生更為強烈的臨場感受，進一步刺激和強化觀眾的視聽聯覺。

三、交互方式

（一）基于時間軸的模擬交互

以迪士尼動畫影片《幻想曲》（1940）為代表的早期音樂動畫，逐步發展成為當代的音樂視頻。在此類音樂動畫的創作中，藝術家和設計師通常以音樂的時間軸作為基礎，制作與之高度同步的視頻動畫。當此類視頻動畫應用在音樂演出時，音樂的演奏與之同步方式類同卡拉OK——演出前設計師或藝術家根據理想的音樂演奏效果預先設計并制作視頻內容，演出時視頻無法變動，演奏者須嚴格把握其表演，以確保音樂能夠和視頻時間軸時刻保持同步。這并不是一種真正的交互方式，但在制作團隊缺乏交互設備和相關技術支持的情況下，這種“假交互”具有無與倫比的可實施性和經濟性，通常能夠準確地傳達藝術家或設計師希望表達的交互理念，通過表演者不斷的練習，甚至能夠呈現出超越真實交互的細膩效果，因此一直被各類演出廣泛采用。

（二）基于即興演繹的影像騎師藝術

由于現場演奏具有即興性，具體的演出進程和效果受到包括觀眾反應在內多方面因素影響。即興演奏難以與成品視覺影像長時間保持同步，音樂動畫式的模擬交互方式勢必會在一定程度上限制即興演出的藝術表現效果。20世紀70年代產生了影像騎師VJ（Video Jockey）這一職業，其對應的VJ藝術在廣義上可以用來描述任何實時操控的視頻表演，主要目的是為現場觀眾提供與音樂表演高度同步的視覺體驗。在許多音樂節舞臺、LIVEHOUSE等音樂演出現場，各類視頻素材由專門的VJ師進行操控，VJ師或是根據演出情況通過程序及時對預設的視覺畫面做出調整，或是根據其專業技能為任意音樂即興制作相應的視覺畫面。這種即興的視覺設計雖然較為主觀，卻同樣能帶來良好的藝術體驗。

（三）基于結構性音頻的視覺程序

結構性音頻MIDI（Musical Instrument Digital Interface）意為樂器數字化接口，是替代數字音頻波形的音樂代碼。區別于常見的mp3、wav等格式的自然音頻，MIDI以音符的數字控制信號來記錄音樂，其傳輸的不是聲音信號，而是音符、控制參數等指令。自1983年MIDI協議1.0版本定制以來，經過近40年的發展MIDI已成為編曲界最廣泛的音樂標準格式。在使用到MIDI系統的音樂演奏中，MIDI系統將演奏者對樂器的各種操作轉換為數字信號，負責視覺設計的藝術家或設計師會將視覺圖像預先寫入程序，藉由實時輸入的MIDI信號中音色、音高、音長等信息觸發程序中相對應的視覺圖像，并結合VJ師的宏觀操控調整，呈現更為出色的音畫交互效果。

（四）基于傳感技術的交互

如同數字化映射將輸入的聲音樣本作為控制圖像的參數，基于傳感技術（Sensing Technology）的交互方式通過設置不同的傳感器，在音樂演出現場實時采集特定對象某一狀態的關鍵數據，并作為控制相應圖像變換的參數輸入預設的視覺程序。包括對表演者動態的數據采集，如樂器演奏的觸后姿勢、樂團指揮的指揮動作，演出中的舞蹈和表演等；對觀眾群體反應的數據采集，如掌聲音量的大小、坐下或站立的姿勢、手中熒光棒的揮舞方向等；對環境狀態的數據采集，如室外光線、溫度、濕度等。雖然目前的主流音樂演出對這種交互方式的運用還十分有限，但可以預見的是，隨著動態捕捉技術（Motion Capture）、體感技術（Somatosensory Technology）、可穿戴智能設備（Wearable Smart Devices）及5G技術等科技的進一步發展和介入，傳感技術必將在音畫交互設計領域大放異彩，使多種感官獲得更高形態的融合。

四、結語

音畫交互設計是一個涉及范圍極廣的學科方向，它通過視聽映射、成像媒介、交互方式等多個維度的協同作用給予觀眾獨特的聯覺體驗，在科藝融合的新時代中具有廣闊的發展空間。藝術家和設計師可以通過對音畫交互設計聯覺表達的探究，挖掘更豐富的藝術內涵，創造更多元的美學風格，探索更深層的藝術理念，促使音畫交互設計形成更加獨特的發展，為后現代文化注入新的生命力。

參考文獻：

[1]吳敏潔.氛圍音樂概念下的音畫交互設計研究[D].杭州： 中國美術學院，2019.

[2]李雨蒙.交互類聲音視覺化的設計表現方法研究[D].大連： 大連理工大學，2019.

[3]徐百鳴.聲音可視化中“音流學”的研究與探索[D].杭州： 中國美術學院，2018.

[4]耿凌艷.音樂可視化設計中的映射探究——以Thayer情緒模式與伊頓色彩理論的對應關系為例[J].裝飾， 2017（7）.

[5]張屹南.音樂可視化設計中的多通道映射模式研究[J].設計藝術研究，2014（4）.

[6]付陽.裝置藝術在展覽中的場域視覺邏輯探究[J].世界美術，2021（1）.

（責任編輯：萬書榮）