“音樂視覺化”概念與設計方法系統(tǒng)研究

文／朱文濤（江南大學 設計學院）

音樂是無形的聲音藝術，也是擅長加工時間信息的藝術，視覺藝術擅長于加工具體的空間和運動信息，兩者有著獨立藝術處理方式。然而，很早人們就發(fā)明可見方式來記錄音樂作品，也不斷嘗試通過視覺形象建立與聽覺體驗一致的感官共鳴。現(xiàn)代科學同樣證實，突出的聲音會自動激活視覺皮層，視覺和聽覺能夠跨通道相互整合[1]。人們探索在空間和運動中“看見”音樂，開啟了“音樂視覺化”廣泛自由的設計與創(chuàng)作空間。

視覺形式描繪音樂是一項復雜任務，其中的關鍵是如何在兩種獨立成熟體系之間建立關聯(lián)，提供視聽合理對應的策略。筆者嘗試引入一種“結構主義”的方法視角。”結構”不僅在于層級關系與多向性的連接，而且各種復雜實踐與現(xiàn)象都是基于深層結構上的意義再造[2]。“結構主義”作為透過表象把握“底層關系”的方法，有助于本文分析音樂視覺化的概念內核，并嘗試建立一個以映射作為底層關系的方法框架。各種音樂的視覺表達，都是這一方法系統(tǒng)內在邏輯上的拓展。

一、概念的邊界：“音樂視覺化”定義

音樂視覺化研究在西方可以追溯數(shù)百年前甚至更久，卻始終沒有形成清晰的學術邊界與定義。牛津藝術實踐研究平臺有一篇文章《關于“音樂視覺化”的形式和越界》（Forms and TransgressionsRegarding“MusicVisualization” ）[3]就對此有過深入探討：“音樂可視化具有很強的藝術性，同時也是知識與學術的研究，模糊的研究邊界使其始終難以定義，卻也形成各種可能性”。“音樂視覺化”概念之不明確來自其在眾多交叉領域的實踐，它是音樂教育與表演的重要組成內容，也推動著視覺藝術在時空觀念上的表達，技術上與工程和數(shù)字技術深度融合，拓展了影像敘事與娛樂的方式，同時也是美學與心理學的綜合感官研究。音樂視覺化在不同領域的研究展開，推動其概念的不斷修正。對于“音樂視覺化”更有效的定義，在于“重新審視其目標本身與研究模式的發(fā)展過程”[3]。因而，我們需要著手回顧兩種藝術在漫長復雜的關聯(lián)歷史中所嘗試解決的問題與目標，從而逐步明晰其概念的邊界。

1.1 功能分野中的概念深化

音樂天生是一種歷時體驗，音符聽見就消失了。人類很早就在尋找捕獲與保存口頭記憶音樂作品的方法，各種文化都出現(xiàn)了符號標記音樂信息的系統(tǒng)視覺形式：樂譜。樂譜是最早的音樂視覺化設計。中國最古老樂譜是在敦煌發(fā)現(xiàn)的由20個“譜字”標示音高的唐代琵琶譜。西方最早樂譜大約發(fā)現(xiàn)在公元1世紀，在古希臘的賽基洛斯（Seikilos）墓志銘的文本上方，刻著一系列字母與點線符號，表示歌唱的音高與時長。西方中世紀流行的紐姆記譜（Neumes）是這種形式的發(fā)展，使用羽毛筆和稀有紙張，配有圖案的精心描繪，有著獨特的審美文化。16世紀左右，“五線譜”記譜法在西方出現(xiàn)，最終發(fā)展為一種現(xiàn)代通用音樂符號（CMN/Common Music Notation）。CMN以通用標準完整地記錄保存了各種音樂信息，帶來音樂的廣泛傳播[4]，確立音樂視覺化最基礎的實用功能。

音樂也是一種實時現(xiàn)場的藝術表演，這讓人們思考視覺除了記錄功能之外，是否能與聽覺一起“同步共時”出現(xiàn)。最早人們嘗試將音樂和色光同步，從18世紀的路易·卡斯特（Louis Bertrand Castel）、19世紀末的華萊士·林明頓（A.Wallace Rimington）到20世紀初的托馬斯·威爾弗雷德（Thomas Wilfred）等人都在探索一種裝置，當按下琴鍵就會觸發(fā)對應的光色投影，統(tǒng)稱為光色樂器（Color Organs）。音樂在視覺上的“實時性”還啟發(fā)了通過“樂譜”進行演奏的設計。19世紀末，人們嘗試一種能演奏的樂譜：“音樂卷”（Music-roll），在一個連續(xù)的紙卷上各種穿孔的位置對應不同音高時長，通過機械裝置讀取這些孔洞來操作鋼琴的自動表演。

探索音樂與客觀形態(tài)的同步，啟示人們深入視聽主體感官上的聯(lián)系。音樂通過聽覺激發(fā)起實時的情緒感知，常常關聯(lián)著人們的肢體與表情，并與視覺產生“共通”的感知效應，人們稱之為“聯(lián)覺”（Synesthesia）。聯(lián)覺理論打破傳統(tǒng)的感官分離，在一種感官中找到另一種感官同等效應的知覺。19世紀末，“聯(lián)覺”體驗在藝術創(chuàng)作中流行，美術家和音樂家都試圖在音樂的音符、和聲、樂章和結構中尋找相似的視覺形式、色彩、空間與運動[5]。1911年， 康定斯基（Wassily Kandinsky）在《藝術的精神》中論述繪畫“聯(lián)覺”的創(chuàng)作：“顏色好比琴鍵，眼睛好比音槌，心靈仿佛是繃滿弦的鋼琴。藝術家就是彈琴的手，它有目的地彈奏各個琴鍵來使人的精神產生各種波瀾和反響。”[6]幾乎同一時期，音樂家斯克里亞賓（Alexander Scriabin）創(chuàng)作了交響樂作品《普羅米修斯：火的詩》（Prometheus:The Poem of Fire），專門實踐了一種從音樂出發(fā)形成“聯(lián)覺”的實時表演，在巨大表演空間中，音樂與光色投影互動交織，2010年重現(xiàn)仍帶給觀眾震撼人心的效果。

從“音樂譜”到“光色音樂表演”，早期的音樂視覺化形成實用與審美的根本分野。此外，兩者在視聽信息的轉化方式上也有所不同，各種樂譜系統(tǒng)建立的是靜態(tài)音樂的視覺符指（Graphic notation），而在“光色樂器”中，出現(xiàn)音樂的“視覺映射”（Visual Map）萌芽和視聽之間連續(xù)變化的動態(tài)對應關系。

1.2 技術背景下的概念外延

20世紀的前半葉與后半葉，分別出現(xiàn)兩種媒介技術：電影技術與數(shù)字信息技術。兩者推動音樂視覺創(chuàng)作觀念和方法上的豐富與成熟。

電影膠卷技術提供了視覺形象在時間維度上的呈現(xiàn)，與音樂的時間性建立同構基礎。一批杰出創(chuàng)作者利用電影媒介表達音樂，例如維京·埃格林（Viking Eggeling）、漢斯·里希特（Hans Richter）、沃爾特魯特曼（Walter Ruttmann）和奧斯卡·費欽格（Oskar Fischinger）。他們改變抽象形狀在逐幀屏幕中的位置，利用膠卷剪輯賦予視覺圖形的運動張力。在電影領域，這種創(chuàng)作稱為“抽象電影”（Abstract Film），而在音樂視覺化領域，也被稱為“視覺音樂”（Visual Music）。理論家布萊恩·埃文斯（Brian Evans）在《視覺音樂基礎》中對這些作品進行定義：“基于時間的視覺圖像，是以一種類似于“絕對音樂”的方式建立了歷時性的架構。”[7]“絕對音樂”是主張消除主題內容的純音樂形式的美學，埃文斯強調“視覺音樂”的音樂動機，是在音樂形式上建構視覺的抽象形式。另一位著名理論家威廉·莫里茨（William Moritz）對“視覺音樂”提出更寬泛的認識。他認為費欽格的作品有著音樂與視覺的雙重動機，在視覺上也有更多具象與敘事因素。正如藝術家斯坦·布拉漢奇（Stan Brakhage）的很多作品是無聲的，但他認為他創(chuàng)作的是一種“視覺音樂”，他并沒有將視覺作為音樂的形式替代，而是創(chuàng)建一種模擬音樂的視覺語言，從視覺動機出發(fā)，實現(xiàn)音樂表現(xiàn)的意圖[8]。利用電影技術的“視覺音樂”，比起之前音樂轉化視覺的創(chuàng)作更具探索空間。

很早人們就利用聲音的物理特征與媒介傳播，建立一種聲音具象化的“音流學”進行研究。隨著20世紀后半葉數(shù)字技術的發(fā)展，視聽感官中聲波與光波的物理特征，可以通過數(shù)字信息進行描述，數(shù)字媒介成為聲音與形象之間建立映射關系最充分的中介，音樂視覺內化為一種“數(shù)據(jù)可視化”。愛德華·塔夫特（Edward Tufte）認為數(shù)據(jù)的可視化可以解放傳統(tǒng)數(shù)據(jù)的密度和維度，接近更為日常真實的空間維度的感知世界[9]。真實世界的聲音在波形、結構以及情感上的特征變化極其豐富，這是傳統(tǒng)CMN通用符號無法涵蓋的。正如丹尼伯格（R.B.Dannenberg）指出， 數(shù)字技術的音樂可視化，將實現(xiàn)人們使用多元化的視覺來映射不同音樂特征，不僅擴展了可視化“樂譜”的范圍，還可以包含更多音樂數(shù)據(jù)的形象呈現(xiàn)與功能分析[10]。例如音樂播放器的可視化插件Milkdrop，可以按照聲音的波形數(shù)據(jù)通過算法創(chuàng)建不同視覺效果。數(shù)字技術也是視覺表達音樂的最好工具，上世紀90年代出現(xiàn)的“影像騎師”（VJ/Video Jockey），延續(xù)早期“色彩樂器”的思路，根據(jù)音樂特征實時創(chuàng)作同步的視覺畫面，源自VJ數(shù)字系統(tǒng)的發(fā)展，基于音頻數(shù)據(jù)算法，通過視覺著色器和特效程序，實現(xiàn)實時的視覺映射，數(shù)字技術在不斷豐富“視覺視覺化”概念的外延。

1.3 概念的構成與分類

從發(fā)展線索梳理，筆者嘗試從兩個維度去認識音樂視覺化概念，其一是實用和審美的功能維度，其二是音樂和視覺的創(chuàng)作動機維度。以兩個維度為坐標軸，形成一個對音樂可視化不同內容的“矩陣分布”，可以將其劃分為4種類型（見圖1），這也大致接近于西方研究者的觀點[3]。

圖1 音樂視覺化概念構成與分類

第一類是“音樂譜”（Musical Score）。這是從音樂動機出發(fā)，滿足記錄分析、演奏、教育等實用功能，包括從聲音物理圖譜以及樂理視覺信息等超越西方原先記譜法局限性的形式。

第二類是“音樂可視化”（Musical Information Visualization）。這是近年來處理音樂數(shù)據(jù)常用術語[11]，從音樂動機出發(fā)，將音樂轉化為數(shù)據(jù)進行可視化，既是對聲音特性與音樂結構的分析，同時也賦予一定抽象審美形式或是交互功能，而具有一定商業(yè)娛樂價值。

第三類是“視覺音樂”（Visual Music）。在創(chuàng)作動機上以構成方法與影像空間手段形成音樂與視覺的平衡，達到埃文斯在《視覺音樂基礎》上提出的“視覺共鳴”（Visual Consonance）的標準[8]。這主要有抽象電影、視覺音樂實時表演等。

第四類是“聲音視像”（Audio-Vision）。這一提法出自法國電影理論家希翁（Michel Chion）[12]，以視覺作為主要創(chuàng)作動機，并不強調音畫完全映射，而是通過音樂來強化視覺體驗，探索新的視覺審美。抽象繪畫、音樂MV以及VJ影像騎師都可以歸于這一類。

音樂視覺化幾種類型之間并沒有明晰界限，而是“光譜式”的漸進連續(xù)。然而，不論動機和功能，不同類型都有共同關鍵內容：視聽完形為一種“映射”關系。音樂視覺化發(fā)展史，也是“視覺映射”方式逐步拓展的過程。“映射”（Map）在形式邏輯與信息可視化中是常用術語，是連接兩個集合元素之間的對應規(guī)則。“視覺映射”是在“符指”基礎上更為豐富、動態(tài)化、結構化的變量對應關系，視覺與音樂通過映射建立同步變化，從而實現(xiàn)完形通感，映射規(guī)則成為音樂視覺化的設計內核。我們將具體著手分析4種音樂視覺化類型各自不同傾向的映射模式（Mapping Mode），分別在圖譜、光色、形狀、空間、風格、情緒上與音樂建立映射邏輯，從而建構起音樂視覺化設計的系統(tǒng)方法。

二、音樂譜：物理與樂理的圖譜

音樂是既美麗又謹嚴的藝術，我們可以從聲音的客觀物理特性與理性的音樂結構出發(fā)，實現(xiàn)兩種視覺映射模式：音樂的物理映射與樂理的映射。這種映射有著完全的符指關系，常常與音樂譜一樣能夠進行音樂編輯，也稱為音樂的物理圖譜與樂理圖譜。

2.1 聲音物理圖譜

17世紀物理學家就正確解釋波的傳播原理：波在一維空間傳播時表現(xiàn)為峰谷波形，在二維平面的傳播表現(xiàn)為圓環(huán)，三維時為球面[13]。音樂的物理圖譜就是基于波動理論，對聲波形態(tài)的視覺模擬，或是聲波通過各種流體介質形成視覺形態(tài)。

聲音的一維傳播可以看作在一根弦線上聲音的震動傳遞，要保證波形不向前傳播停駐在原地持續(xù)發(fā)聲，就需要形成“駐波”（Standing Wave），就是兩列振幅、頻率和波速相同的正弦波迎面相遇疊加在一起。古典樂器都能發(fā)出穩(wěn)定的駐波，以固定長度的發(fā)聲介質進行振動，向前傳播的波在端點反射回來后，在一定條件下與原先向前的波相遇疊加，就形成上下起伏的穩(wěn)定悅耳的駐波圖像。1905年，德國物理學家海因里希·魯本斯(Heinrich Rubens)發(fā)明了以空氣柱為介質的一維系統(tǒng)的“駐波”可視化，稱為“魯本斯管”（Ruben’s Tube），又稱“駐波火焰管”[14]。最初的裝置由一根均勻分布著200個孔的4 m管子組成，末端密封，向管道中泵入易燃氣體；將揚聲器連接到裝置另一端，聲波在管內建立連續(xù)波動的壓力差，氣體從孔中逸出點燃，高壓差的區(qū)域，火焰猛烈燃燒形成波峰，最小壓力點則成為火焰的波谷，“駐波”直觀映射形成火焰起伏的視覺效果。

二維情形下，聲波的物理映射有著更豐富的變化，可分為兩類:一類是在單點振動，由于不同方向的聲波振動分量，通過特定方法產生二維圖像，主要代表為李薩如圖形（Lissajous Figure）；另一類是在有限邊界的二維平面中聲音振動產生的圖像,也被稱為音流學（Cymatics）[15]。

李薩如圖形是由相互垂直方向的兩個簡諧振動聲波，兩者成簡單整數(shù)比關系合成為一種規(guī)則化的曲線圖形。19世紀，這一聲音圖形的數(shù)學原理被發(fā)現(xiàn)，同時進行了可視化的物理實驗， 將兩個附著鏡面的振動音叉放置特定角度，光束經過音叉鏡面，最終光斑在平面上投射出李薩如圖形。美國華裔視覺音樂家陸大衛(wèi)（David Lu）在頻率分量合成基礎上進行拓展，設計了一款稱為Audioscope可視化程序，模擬聲音在二維空間中傳播的細節(jié)形態(tài)。他解釋了技術原理，李薩如圖形中純音繪制為圓形，其半徑是振幅，不同聲音可以看作在純音基礎依次添加分量頻率的聲波，也就是不同圓疊加，以最小圓在圓周循環(huán)的軌跡映射，形成各種聲音映射的環(huán)形圖像（見圖2）。聲音的響亮映射形狀的大小，聲音的純度映射圓環(huán)規(guī)則度。高頻的聲音就會起來很刺眼，因為有更多的頻率分量，而協(xié)調和聲有連續(xù)圓滑的形狀，因為一組和聲意味著音頻彼此的整數(shù)比[16]。Audioscope能夠將數(shù)字和器樂不同音色的物理波形在視覺上清晰地呈現(xiàn)出細節(jié)（見圖2）。

圖2 音色的物理波形

“音流學”的聲音圖譜，最早可以追溯到1680年，由物理學家羅伯特·胡克（Robert Hooke）發(fā)現(xiàn)，18世紀的物理學家音樂家克拉尼（Ernst Chladni）進一步作了實驗。他把細沙撒在薄板上，當聲音傳遞到薄板振動時，薄板上的細沙就會隨著聲波在不同方向上加強和抵消而顯示圖形，不同聲音高低頻率產生各種圖形變化，這個音流學實驗下的圖形就被稱為“克拉尼圖形”。音流學的物理映射方法產生了很多視覺藝術實驗。冰島藝術家比約克(Bj?rk)就曾在專輯Biophilia中設計了水介質生成的克拉尼圖像。英國的音樂人和藝術家Reeps One，將節(jié)奏音樂Beatbox與音流學結合，創(chuàng)作了作品Beatbox Cymatics。新西蘭的奈杰爾·斯坦福（Nigel Stanford）在他的視頻作品Cymatics中探討了電聲器樂在液體、沙、火、磁、電等更多物理介質映射生成的物像見圖3所示。

圖3 Nigel Stanford作品：Cymatics

音樂的物理映射模式最初都來自幾個世紀前科學家研究聲音的物理實驗，目的是呈現(xiàn)聲波傳播的物理原型。如今，物理映射的聲音圖譜已經脫離分析實驗的功用，走向藝術審美的探索和創(chuàng)作中，通過數(shù)字技術以及與自由映射模式結合，音樂的物理映射將會有更多表達形式。

2.2 音樂的樂理圖譜

人類天生有著極為敏感而強大的視覺理解力，以至于我們不需要太多訓練就能對圖形進行分析，相比之下，不熟練的耳朵則無法輕易從多層次的音樂中辨識出復雜的音樂元素。有研究認為，這是由于音樂的抽象與動態(tài)時變在很大程度上無法與視覺同質（Visual Equivalence）[17]。對于視覺作品，普通觀者往往能很容易識別事物特征和全局結構，而沒有過多音樂經驗的聽眾則難以明確一段音樂的主旨和整體架構。音樂最常見的視覺識別方式是樂譜，然而，樂譜往往包含太多豐富細節(jié)，需要大量樂理知識才能理解和分析，也難以對音樂形成整體認知。很多研究者開始嘗試以樂理結構來準確對應視覺構成，建立一種同質“結構關系”的圖譜，讓人們以熟悉的視覺識別方式來掌握音樂的結構和形狀。

一首音樂作品往往是由大量重復與變化的局部來組構，長期以來，音樂家會用一種“AABB”的方式描述音樂全局的重復結構。A與B分別是不同的重復音樂“序列”，這種簡化的符號雖容易理解，但卻忽略了太多細節(jié)。弧形圖法（Arc Diagrams）是一種呈現(xiàn)關聯(lián)結構的圖形繪制方式，可視化藝術家馬丁·瓦登伯格（Martin M.Wattenberg）詳細介紹了這種可視化方法和音樂的應用[18]。基本做法是用圓弧關聯(lián)序列中重復的節(jié)點，弧形連接成對相等的音符串和重復樂段，實現(xiàn)旋律內在重復結構的圖譜。瓦登伯格還開發(fā)了一個叫做“歌曲形狀”（Shape of Song）的數(shù)字作品[19]，可以通過弧形圖法“看到”歌曲的結構形狀。巴赫《哥德堡變奏曲》（Goldberg Variations）的弧形圖（見圖4）表明了該樂曲分為兩個主要部分，每個部分由演奏兩次的長樂段構成，也就是音樂家稱之為“AABB”結構，同時還能看到A段與B段之間松散連接的深層結構。將歌曲的時間軸垂直向下，還能呈現(xiàn)垂珠鏈式的歌曲“形狀”。

圖4 哥德堡變奏曲的弧形

和弦與和聲是不同音程的特定組合，也是音樂進行的基礎結構。雖然不同特質和弦能喚起人們各種音樂體驗和情緒，但大部分人都不能準確識別和弦，就算在樂譜中分析和弦進行也十分困難。利諾伊大學香檳分校的伯格斯特羅姆（Tony Bergstrom）等人開發(fā)了一種對和弦結構的視覺映射方法，叫做“等弦法”（Isochords）[20]（見圖5）。Isochords是將和弦結構標示在一種三角等距的坐標網格中，這種網格是由歐拉發(fā)明的，稱為“Tonnetz”坐標，坐標各點的位置以音程“五度圈”建立映射，以某一點標示根音，左右相鄰的點分別標示純4度和純5度音程，斜上角的點為大6度和大3度，斜下角為小6度和小3度音程，按此規(guī)律向外推演（見圖5a）。大小三和弦等協(xié)調和弦構成正三角與倒三角，而其他和弦都可以在Tonnetz坐標上，由音程關系將各點連接，構成各種點、線與三角的復合形。Isochords將音樂的和聲形象化，稍加訓練的眼睛就可以通過距離和形狀的線索，直觀地識別樂曲的和弦結構(見圖5b)。

圖5 等弦法原理及和弦結構

人們對于音樂風格的認知依賴于經驗與直覺，而風格的形成也來自音樂作品內在豐富的旋律構造。美國一家專注于音樂分析公司Skiptune LCC，利用“切諾夫面孔”（Chernoff Faces） 的可視化方法來呈現(xiàn)各種音樂風格。這是由赫爾曼·切爾諾夫（Herman Chernoff）在1973年提出的一種大數(shù)據(jù)的可視化方法，他使用了18個面部特征變量對各類數(shù)據(jù)進行映射， 最終創(chuàng)建出一張“面孔”[21]。Skiptune擴展到將32種旋律特征映射形成音樂風格的“面孔”[22]，音調模式、休止重復或音高平均動態(tài)變化分別映射到眼球位置、臉部輪廓和相應的鼻部、頭發(fā)形狀等方面（見圖6）。人們天生有著極強的面部辨識能力，而各種音樂的風格差異也在不同“臉”的差別中顯現(xiàn)出來。

圖6 音樂風格“切諾夫面孔”可視化方法

基于音樂形狀、和聲、調性與風格構造的圖譜，能夠在空間中塑造出音樂內在的“相貌”，用于客觀的分析與理解，雖然主要目的不是形成視聽轉化的通感審美，但所有音樂可視化都有某種功能與審美的模糊性，結構映射也有著視覺形式的韻律，發(fā)展出獨特的審美感知。早期先鋒派音樂家科尼利厄斯·卡德（Cornelius Cardew）在1963年創(chuàng)作的樂譜Treatise就是重要一例。音樂家本人熱愛平面設計，通過各種幾何形式構成與聲樂復雜結構建立同構，同時，遵循對視覺形式審美的理解還反用于音樂的二度創(chuàng)作。樂理圖譜也能成為其他映射模式的基礎，Isochords把音樂轉化成某種基礎點線構件，構件可以進一步在色彩和空間上實現(xiàn)動態(tài)變化，發(fā)展出來自和聲結構的各種可能形態(tài)。

三、音樂可視化：形與色的映射

音樂藝術天生具有抽象與時間的特質，“抽象”意味著自由定義其光色形態(tài)，“時間性”則決定主動對視覺變量進行控制。隨著數(shù)字技術發(fā)展，各種音樂信息的提取可以轉化為自由形式的動態(tài)視覺。音樂信息的可視化發(fā)展精確的視聽映射，又強調視聽之間的“聯(lián)覺”想象，這提供更多的主觀創(chuàng)作，但仍需從人們心理感知出發(fā)探索映射規(guī)則的設計，更合理地形成通感效果。

3.1 形態(tài)的映射

當音樂聲響流動，視覺隨之發(fā)生豐富變幻，這通常遵循一種基本的建構方法：（1）根據(jù)音樂的聲音譜或樂譜，提取音樂的要素特征，例如音程、節(jié)奏等；（2）在視覺識別層中選擇某一視覺形態(tài)自由定義所提取的音樂特征，例如音程定義為線條，節(jié)奏定義為圓形，構造定義為圓形背景與線條前景；（3）根據(jù)提取的音樂特征，在視覺定義基礎上選擇視覺的動態(tài)變量，完成基礎映射，例如節(jié)奏強弱映射為圓形大小，音程高低定義為線條長短。這3個步驟建立起視覺映射的基礎邏輯，又釋放其設計的自由，音樂特征可以隨機與視覺變量建立關系，視覺變量控制之外的形態(tài)也可以在視覺審美上調整優(yōu)化。

數(shù)字藝術家羅伯特·克勞奇克（Robert J.Krawczyk）就以一首莫扎特創(chuàng)作的簡單歌曲《小星星》（Twinkle Twinkle Little Star）為例（見圖7），詳細分析如何遵循這一邏輯，完成一個簡單的音樂可視化作品[23]。這首歌曲以鋼琴卷形式顯示為12小節(jié)的3個聲部旋律（高音、低音部與和弦部）。他將音高和節(jié)奏定義為抽象矩形，4拍節(jié)奏定義為固定框架，旋律的音符時值在框架中映射寬度變量，音高則映射矩形高度變量。音樂12小節(jié)旋律映射為一個高低錯落有序的矩形框架。遵循這個思路，克勞奇克啟發(fā)人們去探索“音樂可以是什么樣子的？”可以將音高定義為橢圓、旋律定義為環(huán)圈框架等更復雜獨特的形態(tài)。

圖7 《小星星》從曲譜到視覺映射的邏輯

音樂可視化中對形狀與畫面構成不斷嘗試的設計者首推史蒂芬·馬林諾夫斯基（Stephen Malinowski）。他進行了長達幾十年的音樂可視化實驗，創(chuàng)作了300多部作品，視覺形態(tài)極其多樣，影響深遠，但其設計方法幾乎一致，他將這一設計命名為“音樂動畫機”（MAM/Music Animation Machine）。MNM的設計流程是典型的基礎映射邏輯，也始終遵循音樂與視覺完全同步。首先從Midi樂譜中提取旋律、響度、調性以及樂器聲部等各種音樂特征，然后探索這些特征的視覺定義與相應變量。例如他的肖邦（Chopin）《夜曲（第27號）降D大調》（Nocturne,Opus 27 No.2,D-flat major）可視化（見圖8a），和聲進行映射為由色線連接成多邊形的變化。在形態(tài)定義上，除了各種幾何形和軌跡線，還有羽毛燈絲、半圓新月、射線螺旋線、馬賽克等，然后利用渲染器（數(shù)字形態(tài)繪制的編程軟件）完成具體的視覺變量。2014年他對德彪西《第一號華麗曲》（First Arabesque）的可視化作品（見圖8b）中首次采用不同暈染花片和旋轉的“天堂鳥”形狀，分別映射低音聲部、高音旋律，以及分解和弦。MNM力求音樂特征實時精確再現(xiàn)，目的讓觀眾更直觀理解古典樂曲的動態(tài)結構和變化，但通過豐富視覺變化探索已經形成某種通感審美。

圖8 不同樂曲的可視化

3.2 光色的映射

相對于音樂與形態(tài)更為自由的定義，光色則有著自身完整物理系統(tǒng)，聲音映射光色的邏輯更為嚴謹復雜，也是最早展開研究的映射關系。耳朵對于頻率的靈敏度可以在10個8度音程內，盡管眼睛可以精細地分辨顏色變化，但視覺光譜只有“8個色度”。色彩學家阿邁蒂塔奇（Paul Green-Armytage）認為“用顏色進行編碼，極限的色調數(shù)量是27個，如果再多就難以分辯”[24]。因而，如何將有限的顏色對更多的音程進行定義與編碼成為關鍵內容。歷史上有很多顏色與聲音的映射方案，現(xiàn)代心理學家普拉奇克（Robert Plutchik）擴展了這一研究[25]。他提出以色輪方式將互補色對應對立情緒，通過情緒的混合形成顏色的混合，可以系統(tǒng)性地定義音色、音高、節(jié)奏等音樂特征關系。

在普拉奇克研究基礎上，盧布里亞那大學的研究者克萊門茨（Bojan Klemenc）等人提出完整的旋律與和聲的色彩映射方案[26]。這一方案將音調感知的相似性轉化為色彩感知的相似性。根據(jù)“十二平均律”，8度音程有12音調形成一個循環(huán)，在光譜色輪上也分為12等比例。音調之間的純5度被認為是完美的音程關系，因而從一個選定的音開始，順時針相鄰的音調為純5度，正好將12音調平均分布在色輪上。純5度和純4度的和諧音程在色輪位置上彼此相鄰，顏色上也是近似色，而增4度的不和諧音程為對面互補色（見圖9a）。音調5度圈對應色輪是一個經典思路，還可以完成和弦的色彩映射。和弦是幾個音組合作為一個整體來感知，由此需要定義一組音調的共同顏色。基礎和弦由3度音疊置而成，音調五度圈顯示的是1度、8度、純4度和純5度關系，因而需要做一些修正，在5度間加入3度音程形成3度圈，同樣對應色輪。三和弦的共色由相鄰的3個色相混合成為疊置的3個色點（混合需要電腦對顏色RGB向量進行計算），如C大和弦，Am小和弦、G大和弦都呈現(xiàn)飽和色調的3個色點。除大小三和弦以外都是不協(xié)調和弦，包括增、減及七和弦，可以形成緊張情緒。在色輪中不協(xié)調和弦對應的色相往往是間色或補色，混合成低飽和色，如C和F#、C和C#音程的和弦混合為灰色的色點。

圖9 音樂旋律與和聲色彩映射

樂曲柴可夫斯基的《花之圓舞曲》（Waltz of the Flowers）的可視化中（見圖9b），可以看見D大調的和聲進行映射為黃色主體的虛化形態(tài)，中間的和弦琶音映射為單獨清晰的色點。另一首戈德史密斯的《星際迷航主題曲》（Star Trek Theme）（見圖9c）采用大量調性，映射為一個主色調的穩(wěn)定區(qū)域和區(qū)域之間色調的突然變化，色調變化中的一些很短的灰色意味著是不協(xié)調和弦的使用，然后解決成穩(wěn)定的協(xié)調和聲進行。這一色彩可視化方案能夠直觀地感受到豐富的和聲與旋律變化。

藝術家南希·赫爾曼（Nancy Clearwater Herman）一直對動態(tài)色彩表現(xiàn)音樂充滿熱情。她說“單純的色彩以時序方式與音調同步能夠共同振蕩人們的心靈”[27]，她提出一種“空間的色彩音樂”設計，將每個循環(huán)8度12音高對應不同色相，8度音程高低對應顏色明度亮暗，音符與和弦映射為間隔的彩色光柵，在同心方塊或圓形排列，以頻閃或旋轉顯隱的方式，形成音樂演奏與色彩空間轉換同步。她對格什溫（Gershwi）的歌曲《我們的愛在這里停留》（Our Love is Here to Stay）一段4小節(jié)音樂進行可視化為例（見圖10），一共有9個和弦或單音，分別映射光柵或單色圓形，圓形逐漸由大到小疊加成9個光柵圓圈，圓半徑的長度對應和弦的時值，休止符則以擦除的方式出現(xiàn)，重疊與擦除的光色圓圈不僅準確映射節(jié)奏、和弦和整體調性，更形成色彩空間不斷向內凝聚的視覺效果。

圖10 《我們的愛在這里停留》第一段樂曲的空間顏色表達

四、視覺音樂：空間與鏡頭的設計

音樂可視化通常在平面維度展開，以一種對于音樂流動性的客觀視角，感知或分析音樂的結構與趨態(tài)。然而，通過前后景深運動和鏡頭語言的組織，可以形成代入性的主觀視角，音樂的視覺聯(lián)想在主觀視角中運動變化，如同模擬人們在“觀看”音樂，最早發(fā)源于“抽象電影”，逐漸形成“視覺音樂”。在數(shù)字環(huán)境下，視覺音樂形成更豐富時空變化的體驗，其關鍵就在于空間層級、位置和鏡頭組織與控制的設計。

4.1 模擬音樂的空間結構

“鏡頭運動”的視覺變量能夠充分擴張我們“視野”的空間，在連續(xù)空間中流動地“觀看”，也可以在各種空間中跳躍選擇地“觀看”。以鏡頭組織復雜時空的視覺映射，起源于上世紀初的“抽象電影”。抽象電影強調“非敘事性”（Non-narrative）的形式，形式的本質在于結構，脫離形象符號來組織其結構，就與抽象的音樂建立了同源關系，音樂結構映射為不同屏幕空間中的視覺組織。早期抽象電影創(chuàng)作者漢斯·里希特(Hans Richter)這樣描述：“我繼續(xù)利用矩形銀幕的各個部分，各個部分相互聚攏,或者相互分開。這些矩形不是形式,它們是運動的部分……位置之間的關系變成了被感知的事物，而不是單一或者個別的形式。人不再看見形式或者物體，而是看見一種關系。以這種方式，你看見了一種韻律。”[28]

著名抽象電影大師奧斯卡·費欽格(Oskar Fischinger)不斷研究如何從音樂特征出發(fā)，在連續(xù)幀畫面中建立流暢的空間結構。1938年《光之詩》（An Optical Poem）是他的代表作品，這是弗朗茲·李斯特（Franz Liszt）《匈牙利狂想曲2號》（Hungarian Rhapsody No.2）的視覺化創(chuàng)作，是“視覺藝術和音樂的綜合表達”[29]，對于之后所有從事視覺音樂的創(chuàng)作者都產生影響（見圖11）。費欽格在這部作品中所運用的空間映射方法，可以簡要歸納如下：

圖11 奧斯卡·費欽格作品：《光之詩》

其一，音樂織體結構的變化，映射為不同視覺空間的構造。這個音樂分為交替兩部分，第一部分是莊重陰沉的拉桑（Lassan）曲調，第二部分是躍動歡樂的弗里斯卡（Friska）曲調。拉桑曲調分別在開頭和中段緩慢出現(xiàn)， 主音映射為固定中央的圓，和弦映射為高低并列小圓向內推遠；隨著一段音階模進作為過門，視覺空間迅速運動變化，隨后音樂進入弗里思卡曲調，映射圖形從圓形變?yōu)榉叫危饕艉吐暯惶嬷饾u進入高4度的主旋律，畫面形成水平條塊的躍動，交替顫音形成頻閃的方形背景；之后越來越強勁的高8度盡速音階，映射為飛速向前的水滴形狀，空間也開始從左向右推動，隨著音樂結構豐富，空間也在不斷變化。

其二，可以在不同空間隨時建立新的視聽映射邏輯，這在視覺上產生無限變化的可能，隨著音樂開始，空間由近到遠漸行漸小，建立起聲音與縱深空間的共鳴，主音小調和弦和低音音階映射的大小圓形都以同樣視角在空間中后推；進入弗里斯卡曲調后，形態(tài)上出現(xiàn)方形或三角由小到大，形成空間的前推，表達得更為歡快。

其三，重復的音樂段落可以映射不同空間組織，而同一空間形態(tài)也可以表現(xiàn)不同音樂特征，以視覺審美進行平衡取舍；當音樂第二次進入豐富變奏的弗里斯卡曲調，對應大量3連高音跳躍，費欽格設計了圖形旋轉的空間，其中有重復旋律映射幾種旋轉形式，也有多個旋律對應一個視覺旋轉空間，靈活地處理避免面面俱到，形成更微妙的藝術表達；最后，之前各種圖形與空間交替充滿屏幕，達到音樂和聲的高潮，完成一種視覺結構的呼應。

4.2 數(shù)字空間的音樂動畫

費欽格使用的是逐幀定格技術，鏡頭運動是通過圖形運動來模擬的，空間變化以圖形轉場或固定場景組接為主，隨著電腦動畫技術的發(fā)展， 各種鏡頭運動方式和速度更加流暢，可以形成更豐富的空間映射。1989年，數(shù)字藝術家大衛(wèi)·布羅迪（David Brody）通過電腦動畫嘗試音樂與鏡頭運動的映射，完成他在加州藝術學院的碩士畢業(yè)作品。他曾與朱爾斯·恩格爾（Jules Engel）和威廉·莫里茨（William Moritz）一起工作，兩人都與費欽格關系密切；前者是同代的抽象電影大師，后者是費欽格最主要的研究者[30]，因而，布羅迪在創(chuàng)作上也與費欽格有著直接的繼承關系；但布羅迪在技術上使用了IBM XT臺式電腦和一個叫Cubicomp的早期三維圖形程序來實現(xiàn)視覺圖形的運動，也是最早一批的數(shù)字視覺音樂作品。

這個作品稱為《貝多芬的機械》（Beethoven Machinery）（見 圖12），是以貝多芬作品《F大調第16號弦樂四重奏，135號，第2章》（String Quartet No.16 in F Major Op.135：II Vivace）進行創(chuàng)作，音符樂句與空間鏡頭建立多重映射，整個作品充滿張力。正如他本人所說：“我試圖映射出音樂中強烈的戲劇性的結構基礎——它的旅程感、高潮感和回歸感。”[30]音樂作品有著大量小快板節(jié)奏和切分音符的旋律，布羅迪將音符、樂句與對位和聲的節(jié)奏，在視覺形態(tài)上定義為立體8邊的幾何形及其組合；在視覺運動變量上，一方面定義幾何體的大小、顯隱和位移，另一方面與鏡頭的推拉、搖、移建立映射，兩個層級的運動形成視覺空間不斷擴張。

圖12 大衛(wèi)·布羅迪的數(shù)字作品：《貝多芬的機械》

馬林諾夫斯基也做過此樂曲的MNM設計，可以明顯看出兩個作品在藝術拓展性上的差異。MNM的視覺變量能夠再現(xiàn)音樂信息和重奏結構，而布羅迪的作品全面展現(xiàn)了動人的視覺吸引力。物體與鏡頭運動的雙重組織能夠在音樂的空間映射上形成無限可能性，帶來視覺音樂真正的審美探索。

五、聲音視像：風格、語意與情緒的溝通

對于音樂審美的感知特征，可以按3種思路進行分類：一是音樂風格類型；二是音樂主題語意；三是音樂的情緒體驗。音樂審美特征的視覺化，雖然變化更為復雜，難以形成完全的方法論，但根據(jù)現(xiàn)有的研究材料，從音樂風格、語意和情緒特征出發(fā)，仍可以分別歸納一些通約性的視覺設計方法。

5.1 風格的關聯(lián)

音樂風格的具體類型雖然龐雜，但本質上是一種音樂內在的形式秩序。音樂學家倫納德·邁爾（Leonard B．Meyer）對此總結到“音樂類型風格是一組有限的相互依賴的旋律、節(jié)奏、和聲、音色、織體和形式上的關系和過程”[31]。同一時期、地域與民族的音樂都采用某種共同的形式，音樂風格也是在社會歷史文化中形成共同的認知與表達，因而，音樂也是一種文化關系的外部秩序。從同一社會文化概念出發(fā)，音樂與造型藝術之間完全具有某種風格上的共通性。日本音樂學家山口修在《音樂風格的時空間構造》中指出，音樂能夠與造型藝術一樣從視覺印象進行區(qū)分，證明了風格學在音樂中適用，并闡述了造型藝術與音樂之間的關聯(lián)[32]。20世紀初，整體藝術（Gesamtkunstwerk）的概念出現(xiàn)，很多藝術家嘗試將音樂與各種視覺要素建立起一種完整表達。例如音樂家埃里克·薩蒂（éric Alfred Leslie Satie）與畫家畢加索在1917年共同創(chuàng)作芭蕾舞劇《游行》（Parade），薩蒂音樂偏離古典傳統(tǒng)的簡潔本質與當時同樣先鋒的立體主義建構某種整體性風格。

因而，音樂風格可以推導出一種視覺映射邏輯：首先，基于歷史文化關聯(lián)，對音樂風格進行視覺形態(tài)的定義。例如近代印象派音樂風格以繪畫印象派的光色表達進行定義，上世紀70年代的搖滾音樂風格與迷幻和波普藝術的視覺形態(tài)相關聯(lián)。其次，在視覺的時序變量中實現(xiàn)對音樂風格形式特征的映射。例如爵士音樂的切分節(jié)奏與應答曲式對應視覺的跳躍運動與交替呼應，搖滾樂的重型節(jié)拍和重復動機對應視覺的大小變量和近似形式。從視覺形態(tài)到視覺變量可以建立對音樂風格整體的視覺映射。

建筑設計師揚·亨里克·漢森（Jan Henrik Hansen）特別關注音樂與空間的關系，他認為音樂與空間各自的形式張力可以關聯(lián)在一起，特別是節(jié)奏的律動感可以轉化為三維的空間構成。西方上世紀60年代中期起源的“放克”（Funk）音樂在現(xiàn)音樂中最具有律動風格，因而，他提出“形式追隨放克”（Form Follows Funk）的設計思路[33]。他的代表作品是將上世紀70年代著名德國電子“放克”樂隊“發(fā)電機”（Kraftwerk）的音樂進行視覺化。漢森在視覺形態(tài)上模仿上世紀60年代的歐普藝術，將節(jié)奏定義為發(fā)光的幾何塊格，連續(xù)的低音與“放克”節(jié)奏的組織構成參差錯落的近似空間。“放克”音樂建構為一種視覺奇觀。

以色列藝術家米哈爾·利維（Michal Levy）對爵士名曲《大步流星》（Giant Steps）的視覺（John Coltrane）創(chuàng)作，已成為爵士樂視覺化風格的代表作品（見圖13）。爵士樂有著“搖擺”（Swing）的復雜節(jié)奏，常在某個“呼喚應答”（Call and Reponse）的形式框架內即興變奏。蒙德里安（Piet Cornelies Mondrian）有一幅晚期作品《百老匯的爵士樂》，管樂音色一樣的明亮黃色框架中有閃爍的小塊格，成為對爵士樂著名的視覺詮釋。利維的作品完全采用了“蒙德里安式”的視覺形態(tài)定義，薩克斯管的中低音主旋律映射為冷暖色線條框架，即興快速的高低音階映射為各種顏色的利落方塊。在運動映射上，利維認為“沒有必要發(fā)明新的東西來可視化音樂，只需反復從音樂中找到它們”。她嘗試完全遵循柯川的音樂形式進行形象化構造。《大步流星》創(chuàng)作了一種根音是大3度與增5度（B、G、Eb）和弦相互替代的循環(huán)結構，在這種精巧的對稱模式中進行的即興變化，充分體現(xiàn)爵士樂的曲風。利維將這種對稱呼應的音樂結構，映射為生長線框構造的“建筑”空間，快速搖擺的爵士音階則在空間中“布局裝飾”，最后在首尾的主旋律呼應中，空間逐漸消解。這一作品無論在文化特征或是視覺結構上，都完美地實踐了爵士風格的可視化。

圖13 米哈爾·利維《大步流星》可視化作品的風格映射邏輯

5.2 視聽的語意敘事

音樂表達的語意同樣可以建立豐富的視覺映射。音樂的語意分為兩種：一種是指音樂的音色或樂句所明確的語意。很多古典奏鳴曲中每個樂章都有各自語意主題，現(xiàn)代音樂中常見的聲音采樣也能形成語意；另一種是指非音樂因素的語意，內容往往來自詩歌、故事、觀念與場景等，通常以標題和歌詞的文本方式對音樂主旨進行闡釋[34]。兩種語意的統(tǒng)一是音樂的傳統(tǒng)，維瓦爾第（Antonio Lucio Vivaldi）的巴洛克音樂作品《四季》（Le Quattro Stagioni），4首協(xié)奏曲樂章中反復的樂句主題對應著4首14行詩所描繪的文字語意想象。巴洛克歌劇中，音樂旋律的處理更是對應著詠唱的歌詞，亨德爾（George Friedrich Handel）偉大作品《彌撒亞》（Messiah）歌詞描繪的“高山”“升起”“低落”“彎曲”等景象，對應著旋律的高低起伏內容。現(xiàn)代影像技術的出現(xiàn)，音樂、詩歌和視覺可以建立起更為綜合的映射關聯(lián)，以文字語意描繪作為中介，將音樂的旋律主題轉化為一種視覺敘事。音樂敘事的視覺方法可分為兩步：首先，通過語意文本定義角色形象與敘事動作，其次，通過樂句旋律來實現(xiàn)角色動作的視覺變量。

早期動畫大師麥克拉倫（Norman McLaren）開發(fā)了許多突破技術將音樂與動畫敘事結合，1958年的作品《黑鳥》（La Merle）是一部音畫主題敘事的早期代表作品（見圖14）。這部作品的音樂是一首簡單活潑的法語兒童歌曲，曲式的主題是男女聲問答與和聲，分為8個重復樂段，后一段將前段的某一句進行疊加。歌曲的故事主題是“我的黑鳥”在不斷尋找身體的一部分。麥克拉倫的視覺作品也分為8段敘事結構，用鳥爪、眼睛和鳥喙的分解符號定義歌曲的主角“黑鳥”。第一段，從歌詞“我的黑鳥失去了它的喙”的應答對唱開始，鳥爪、眼睛和鳥喙符號對應著音符時值走入畫面，旋律與休止停頓，對應的是鳥喙逃跑而鳥爪和眼睛抓住它的情節(jié)。之后的數(shù)段都是按歌詞主題對位音樂，變化出各種有趣的情節(jié)，整個動畫視覺元素雖然簡單，但遵循曲式主題到文本語意，共同完成了極其工整精巧的線性視覺敘事。

圖14 歌曲《黑鳥》敘事文本與1958年麥克拉倫作品的敘事映射

5.3 視聽情緒的體驗

音樂情緒體驗的視覺化最為復雜，根本上需解決兩個問題。其一是音樂情緒特征的提取。其方法在于建立一種音樂情緒模型，然后根據(jù)主觀聆聽、樂譜解析或采用計算機模擬程序，在音樂中提取關鍵情緒特征。其二是建立情緒特征與視覺的關聯(lián)映射。人類的情緒表達直接體現(xiàn)在生理的表情和動作上，有研究者使用虛擬角色模擬人類的動作表情來表達音樂的情緒。日本學者后藤真孝和村岡洋一創(chuàng)造了一個虛擬的跳舞小人“Cindy”，能夠根據(jù)實時的音樂情緒做出相應的舞蹈動作[35]。加拿大研究者迪帕拉（S.DiPaola）設計了一個叫“MusicFace”的程序[36]，音樂提取的情感數(shù)據(jù)映射為虛擬人物的面部情緒。然而，更多音樂情緒體驗來自心理感知，內在知覺心理基礎決定了如何感知與設計形式，通過知覺心理的研究，任何外在形式都可以與內在情緒建立某種溝通與共鳴。

依據(jù)上述兩點，本文采用情緒模型與視知覺心理，為解決復雜的音樂情緒映射，提供一種直觀簡潔的思路。本文采用羅伯特·塞耶（Robert E.Thayer）提出的音樂情緒模型[37]，該模型沒有太多情緒描繪的詞簇列表，是一個簡潔周延的四象限模型。塞耶認為情緒的構成因子為兩點:壓力(Stress)和能量(Energy)，由小到大的壓力形成快樂(Happy)到焦慮(Anxious)，由小到大的能量形成平靜(Calm)到積極(Energetic)。壓力和能量兩個維度可將情緒分成4類：滿足(Contentment)，沉郁(Depression)，活力(Exuberance)，瘋狂(Frantic)。上海大學的耿凌艷曾經探討過Thayer情緒模型與伊頓色彩理論的對應關系[38]，為音樂可視化創(chuàng)建情緒與色彩的映射框架。本文也有相似的進路，進一步探討情緒的壓力和能量因素與視覺形式之間可能的關聯(lián)（見圖15），其理論的依據(jù)主要是來自阿恩海姆（Rudolf Arnheim）的視知覺理論和沃爾林夫的風格學。

圖15 Thayer的情緒模型與視知覺之間可能的關聯(lián)

對情緒的壓力與能量都可以視為一種“力”，壓力是外在刺激的力，能量是內在生長的力，阿恩海姆專門對視知覺所產生的“力”進行研究[39]。格式塔心理學家對知覺力的原理，有著相似的結論：每個心理活動領域都趨向于一種最簡單、最平衡和最規(guī)則的組織狀態(tài)[40]。這種心理趨向意味著張力減少，相反，非同質的刺激物會招致緊張力的出現(xiàn)，形成更多視覺上的不平衡與偏離簡單，同時增加張力。在視覺形式中，大量呈現(xiàn)知覺力的緊張與釋放，實際上，音樂的表現(xiàn)力也是如此，和弦進行的基本方式也是從穩(wěn)定和弦再到不穩(wěn)定和弦，最后再到穩(wěn)定和弦的解決。

因此，壓力維度的關鍵在于失衡與平衡，我們可以從沃爾夫林“封閉與開放”的一對形式概念與之對應。沃爾夫林認為，封閉形式具有嚴謹構造與規(guī)則化的特點，追求永恒的效果，而開放形式則相反，追求瞬間的展示[41]。封閉形式也是壓力較小的平衡趨向，在視覺映射上，形態(tài)定義與變量都強調穩(wěn)定準確的對應關系。開放形式是壓力較大的失衡趨向，在視覺映射上，隨著空間鏡頭的變化建立更多視覺定義與隨機的視覺變量。

能量維度的關鍵在于事物本身的簡化程度。阿恩海姆認為有機體通過吸收能量而不斷變化和成長，因而，越趨于簡化的事物內在的能量就偏低。我們可以從沃爾夫林另一個形式概念“清晰與模糊”與之對應。模糊是某種在變化的、生成的東西，不斷形變交疊而具有更大的內在能量，幾何形是清晰和簡化的，具有動力較小穩(wěn)定滿足的內在經驗。

西方古典風格音樂強調作品需要呈現(xiàn)情緒的波動起伏，而之前的巴洛克音樂則更注重單一情感的連續(xù)恒定。我們發(fā)現(xiàn)很多對巴洛克晚期巴赫音樂的視覺化，都非常注重情緒恒定的表達。例如馬林諾夫斯基對于巴赫作品，采用嚴謹固定的映射和清晰簡化的形態(tài)，來體現(xiàn)滿足與平衡的情緒，而他對印象派德彪西音樂就采用更為模糊變化的形態(tài)（見圖8b）。

隨著數(shù)字技術發(fā)展，人們嘗試開發(fā)一種數(shù)字系統(tǒng)能夠完成對音樂作品的實時可視化表演。大致有著兩種思路：一是自動交互的實時系統(tǒng)，多使用Max/MSP開發(fā)程序建立映射，從現(xiàn)場表演中實時提取音樂特征數(shù)據(jù)響應交互圖像；二是用于專業(yè)操控者VJ的軟件系統(tǒng)，VJ采用MIDI音樂，通過預設的映射控件進行自由視覺編輯和實時創(chuàng)作。兩者不僅有差異的設計思路，適合不同風格的音樂，也映射明顯不同的情緒變化。

第一類可視化系統(tǒng)帶來的情緒壓力較小，采用一種“封閉形式”，有著穩(wěn)定準確的映射關系，比較適合交響樂團或古典器樂嚴謹?shù)慕Y構，形成細膩情緒發(fā)展與解決。卡內基梅隆大學的馬爾科·維埃拉（Marco Filipe Gananca Vieira）嘗試開發(fā)這類系統(tǒng)，并用于當?shù)匾魳窌袨榻豁憳穲F作實時可視化表演，觀眾反饋說通過視覺體察了原先并未留意的音樂中很多細膩情感[42]。數(shù)字藝術家馬修·貝恩（Matthew Bain）也擅長設計這類可視化系統(tǒng)（見圖16）[43]。他通過對音樂作品情緒的了解，進行視覺映射的總體架構，封閉的形式很好地平衡了音樂的細節(jié)體驗，音樂情緒能量的推進來自各種粒子特效產生的模糊變化。他的第一個可視化系統(tǒng)作品Arctic Fracture是對音樂劇歌曲《愛是我唯一所求》（All I Ask of You）鋼琴表演的實時可視化，以鋼琴高音和低音旋律流動精準映射各種冰柱和飛濺水瀑，形成完滿平衡與自足的情緒體驗，而音樂情緒逐漸豐富來自重影生長的冰凍視效。

圖16 2008年馬修·貝恩在德州奧斯汀實時可視化表演Arctic Fracture

第二類是VJ操控的可視化系統(tǒng)，采用完全“開放形式”。例如當前流行VJ軟件Resolume，有著強大的實時音畫交互功能，通過硬件控臺操作可以像玩樂器一樣自由控制視覺映射快速剪輯、調用圖層和構圖，隨時控制音樂節(jié)拍速度匹配混合視覺效果（見圖17）。這種視覺映射帶來極不穩(wěn)定的心理刺激，適用強烈壓迫感的電子樂和搖滾樂，通過視覺的清晰簡化到復雜模糊，制造從壓抑到瘋狂的情緒能量。這種映射方式對于音樂調性結構或旋律難以精準，不適應古典音樂、現(xiàn)代輕音樂等舒緩自足的音樂情緒，但傾向形成一種聲音視像，以視覺來主導音樂情緒，營造巨大張力的舞臺音樂效果。

圖17 VJ軟件Resolume與現(xiàn)場演奏控制器APC40MKII配合表演

視知覺力的原理將決定如何選擇視覺形態(tài)與變量，對應不同音樂情緒類型的變化。當然，這只是音樂情緒映射一種簡單的思路框架，音樂情感變化入微，與視覺動態(tài)關聯(lián)后，還有意想不到的聯(lián)覺體驗，在映射關系上有著更多實驗探索的空間。

六、結 語

本文力圖建構一個音樂視覺化的完整設計方法系統(tǒng)，呈現(xiàn)不同設計思路之間的內在關聯(lián)與邏輯。從聽覺藝術的要素特征出發(fā)，可以與各種視覺特征建立映射關系如圖18所示，圖中每個節(jié)點的連接，都意味著相關的映射選擇和方法路徑。“音樂視覺化”包含4種類型，其方法路徑則是由樂譜、圖譜、形色映射、空間映射、風格、語意與情緒映射7種模式構成，前4種模式需要通過視覺定義和視覺變量來建立，可以作為后3種的基礎方法，層級越高的模式包含更多模式的綜合疊加，也意味著更豐富的變化。鏡頭運動拓展了空間動態(tài)的范圍，視聽的風格、語意與情緒在更多元的藝術想象之間促發(fā)關聯(lián)，但最終落實到具體的視覺定義與變量，這也是當前一些音樂實時視覺化數(shù)字系統(tǒng)的模塊設計方式。本文將音畫映射的概念、原理和方法建立嵌合的內在結構，能夠為視聽聯(lián)覺創(chuàng)作提供更多技術與創(chuàng)意思路。

圖18 音樂視覺化映射模式與系統(tǒng)設計方法