可視化圖像在音樂賞析中的應用研究

〔關鍵詞〕音樂賞析；音樂教學；可視化圖像；音樂可視化

音樂賞析是大眾音樂生活和音樂教育中的重要組成。與專業的音樂分析和音樂研究不同，音樂賞析更具普及意義，所面對的對象往往在音樂史或音樂文本分析領域的涉足較淺。在社會性的音樂鑒賞活動中，聽眾通常不具備系統的音樂知識基礎，此時便需要講解者架起作曲家與聽眾之間的橋梁，將樂曲中的精妙之處以一種通俗易懂的方式進行解讀，以便聽眾能夠更好地理解音樂作品的豐富內涵。

然而，音樂的“非語義性”為語言闡釋音樂帶來了難度。音樂和言語的根本不同，帶來了言說音樂的諸多問題——其間充滿著各種不測和疑難，相信音樂學家和音樂著述者都有體會。在傳統的音樂賞析活動中，以音樂與語言相結合的講述為主。在此情況下，聽眾難以真正進入音樂賞析的深層境界，通常只停留于對作品創作相關背景的初步認識，或是對作品進行感性體驗的淺顯層面。

根據相關科學實驗的結果，人類感官對信息的理解程度和刺激的方式不同而產生差異。在信息吸收率方面，視覺為83％，聽覺為11％ ；注意力集中程度方面，視覺為81.7％，聽覺為54.6％ ；記憶保持力（3 天以上）方面，視覺為20％，聽覺為10％，視聽結合為68％。鑒于此，開展可視化軟件技術在音樂賞析中的應用研究是十分必要的。隨著多媒體技術的發展，學者們開始進行計算機技術呈現音樂參數的多方位探索，并嘗試將其與音樂賞析充分結合。較為常見的是通過波形圖、頻譜圖等虛擬圖形來展示音樂的運動軌跡，或是對局部的音樂特征，如速度、力度等放大后進行對比分析，并以圖形方式進行呈現。可視化技術的引入，使得音樂賞析活動一定程度上擺脫了“抽象”談音樂的困境。此外，音樂賞析更具體地指向音樂的個性化特征，引導聽眾關注音樂作品的特殊變化、結構等方面的特點。視覺、聽覺的多重感官調動，也可以幫助聽眾欣賞、理解音樂及其內涵。

一、音樂可視化的定義

音樂可視化，顧名思義即將音樂的運動以視覺的方式進行呈現。從這個角度來看，樂譜的使用也可被視為音樂的可視化方式的一種。但早期使用字母或是簡單符號來標記音高的西方記譜體系，以及中國古代的文字譜、工尺譜，并未具有直接的可視化意義。這是因其在音樂素材與視覺圖像之間仍需進一步轉化，字母與文字在其中主要充當符號。只有在線譜中，符號之間具有高低起伏的相互聯系，才進一步形成音樂的可視化結果。而在當代語境下，音樂可視化更多指向借助計算機技術，將音樂的表面運動或深層次的對比、組織方式等多方面的音樂要素進行視覺上的直觀呈現，以達到化繁為簡的音樂闡釋。需要明確區分的是，在音樂可視化中，視覺要素是作為其中的一部分，而依附于音樂的運動產生的，它無法獨立于聽覺。另一方面，音樂可視化也不同于一般意義上的音樂化的圖像，如音高旋律線條、曲式分析圖示，等等。在音樂可視化的使用過程中，視覺要素的變化是時刻跟隨著音響變化的；換言之，聽覺要素和視覺要素是同時發揮作用，而非一般圖示中所依賴的“心理聽覺”。

在此之下，音樂可視化可分為三個維度，一是最簡單也是最原始的方式，即以線條化的方式對音高旋律做粗略的、模糊的概括，并通過技術手段的使用，使線條的變化起伏與音樂進行相襯；二是借助計算機技術手段，突出某一音樂要素，將一些原本潛藏于整體音響之下的特征抽離出來，并以圖像信息呈現，這些要素往往難以簡單地被聽覺系統感知；三是遵循音樂的原始運動，借助視覺要素將其中的對比、統一等素材進一步放大，使其類似于動態的樂譜。

以上三個維度中，均涉及對音樂特征的提取，這也是對制作音樂可視化圖像的人提出的第一個問題，即應當提取什么樣的音樂特征？在當前主流的音樂可視化圖像中，音高與節奏是首先被提取的特征，其次才是音色、音樂結構、和弦等。以兩種可視化圖像為例，美國作曲家馬利諾夫斯基（StephenMalinowski）于1985 年開發的軟件“音樂動畫機”（Music Animation Machine）便是主要提取音樂的音高和節奏，并通過對不同聲部、織體層次使用差異化的顏色、亮度進行處理，區分不同的結構層次；印第安納大學數字圖書館計劃開發的軟件“音響時間線”（Variation Audio Timeliner）則主要提取音樂的曲式結構特征，并使用不同色塊表示音樂中的段落部分，以此體現每一處局部素材在完整作品中的貫穿或是變形。

由此可見，音樂可視化圖像中提取的音樂特征可以多樣化，并且具有將素材簡單化的傾向。換言之，音樂可視化實際是將音樂的節奏、符號以最直觀的方式呈現出來，使哪怕不具備任何音樂理論知識的人也可以領會音樂內在的運動和變化。音樂可視化架起了音樂復雜的內在特征與一般聽眾之間的橋梁，降低了理解音樂的門檻。

二、音樂可視化的應用現狀

在當前的音樂賞析實踐和音樂研究中，音樂可視化軟件和圖像的運用逐漸增多，將音樂和圖像結合的方法嘗試也越來越多。而從事音樂可視化應用研究的主要有兩類群體，一是音樂創作者與音樂研究者；二是計算機軟件技術的研究者和開發者。這兩類群體在相關研究中的視角差異較大，前一群體關注可視化圖像對于音樂傳播、音樂研究的學術性意義和普及性價值；后一群體則更為關注對于軟件技術的開發和編程語言的研究。

目前，國內主要運用的音樂可視化圖像有以下幾類。一是由前文提到的“音樂動畫機”生成的圖像，如圖1 所示。這種可視化圖像與樂譜類似，主要依靠音高和節奏材料生成，但是樂譜中的線被取消，取而代之的是明確的旋律線條，而且每個音符的長短也不再使用不同的符號表示，而是通過音符形狀的大小差異來進行標記，每個聲部的旋律線條都采取了不同顏色、不同符號的形狀進行呈現。如此一來，音高、節奏的差異都盡可能地在視覺上糅合到了同一信息點中。也就是說，樂譜上每一個音符所具有的高度、長短、聲部特征被集合到了一個符號的大小、形狀、顏色等更具有視覺意義的圖形中。在圖像和音響同步進行變化的過程中，聽覺系統對于音樂的接受與理解，一部分轉移到了視覺系統上，共同完成對音樂的聆聽。

另一類圖像是由前文提到的“音響時間線”生成的圖像，如圖 2所示。這類圖像主要依靠音樂的結構生成，從圖中可以看到，圖上沒有體現出音高、節奏、織體、音色等任何音樂的細節內容，而是以宏觀視角展示音樂的內部結構。在此類圖像中，音樂主題的變化和音樂的段落得以突出，音樂的不同主題、段落可以使用不同顏色的色塊進行表示。如圖中樂句 d（紅色色塊）首次出現在呈示部，當第二次出現在展開部 III時，兩者一致的顏色即可迅速地提醒聽眾 ：這里零散的材料和劇烈變形的根脈源自呈示部中的紅色部分。這類圖像的另一特點是，其中的段落大小與音響的時間流逝為同步的，而非對應樂譜的長度。也就是說，在音樂流動中，樂曲所使用素材的多與少、動與靜等方面的對比，是可以直接在視聽結合中被直接感受的。

另一類常用的可視化圖像是由上海音樂學院楊健教授開發的Vmus圖像，如圖3所示。Vmus圖像具有多種圖像呈示方式，分別對應不同的音樂分析角度，如音符的密集程度、瞬間速度的平均值、音色的差異等。這一類圖像不如前述兩種圖像直觀，但具有更加深入的學術研究價值。在音樂賞析中，這類圖像的可操作性不如前述類型的圖像高，因其需要觀察者具有較系統的音樂理論知識，并且更多關注音樂表演中更為深入的細節問題。也正因如此，這一類圖像在音樂教學和音樂研究的使用較為頻繁。

正如以上幾類音樂可視化圖像所表明的那般，在音樂界，音樂可視化的運用場合集中在兩大領域，一是音樂的研究和分析中，二則是音樂的教學和賞析中。兩種場合的不同決定了對可視化圖像的不同選擇，這也是由于可視化圖形抽取音樂特征的信息差異所造成的。音樂的研究和分析往往要求挖掘樂譜更深層的信息，而音樂的賞析與教學則更需要化繁為簡的音樂圖像。

三、音樂賞析中音樂可視化圖像的差異分析

針對音樂賞析實踐中的音樂可視化使用，筆者在以浙江音樂學院的音樂賞析課堂教學為支點，將可視化圖像的運用推廣至杭州市錢塘區義蓬第二小學、中國美術學院的音樂賞析實踐過程中，結合對網絡平臺上的可視化視頻與一般音樂表演視頻的傳播、反響進行對比分析。在多方位的推廣、研究中，進一步分析了可視化圖像在音樂賞析實踐中的差異。

在浙江音樂學院和中國美術學院等高校的賞析課堂中，可視化圖像主要以“音樂動畫機”圖像和“音響時間線”圖像為主。浙江音樂學院音樂學系副教授李鵬程在面對不同專業的學生時都曾使用兩類圖像輔助教學，并收獲了不錯的教學效果。一方面，學生可以充分參與到音樂可視化圖像的制作過程中，進而加深對音樂作品的深入理解；另一方面，音樂可視化的方式既不同于純粹的聽覺詮釋，也不同于語言文字對音樂的抽象言說，聽眾可以在短時間內深入到對作品的細節理解中，做到“知其然，更知其所以然”。如“音樂動畫機”圖像一定程度上模糊了樂譜的精確對應所帶來的復雜性，以一種較朦朧的方式指示音樂的大致流動，更易于聽眾接受。這類以簡化信息為主的圖像在一般聽眾中的效果更為顯著。在杭州、上海等地的音樂會導賞中，李鵬程就充分運用了可視化圖像進行大眾化的音樂賞析。即使面對龐大且復雜的貝多芬的鋼琴協奏曲和鋼琴奏鳴曲，不足十歲的兒童也能在音樂可視化圖像的幫助下輕松地找到其中音樂素材的對應以及變化。

在小學的音樂賞析課堂上，音樂可視化圖像也收到了良好的成效。2021年至2022年，錢塘區義蓬第二小學音樂教師張杰在以孩童為主要群體的小學音樂賞析課上多次使用“音樂動畫機”和“音響時間線”的圖像輔以講解。圖像的多樣化充分提高了學生的興趣，吸引了學生的注意，并且在課后的問答中，學生對音樂素材的第一印象就是作品的可視化圖像中的顏色或形狀，做到了對具體音樂旋律、節奏的記憶延伸，甚至可以由此出發，展開自己對作品產生整體印象的陳述。（上述內容源自筆者對音樂教師張杰的采訪）當然，面對的對象不同，音樂賞析中可視化圖像的運用方式也有所差異。較為明顯的是，聽眾或是具備一定音樂知識基礎的人可以更為充分地參與到音樂可視化圖像的現場制作中，從而對音樂作品形成更完整的理解；而孩童在音樂可視化圖像制作方面的參與主動性不高，以被動接受為主。

音樂可視化對音樂信息的簡化降低了音樂賞析的知識門檻，為其贏得了更多關注并激發了觀眾的興趣。在音樂賞析實踐中，由于缺乏系統的音樂理論知識，因而接受者比較容易接受簡化的可視化圖像。在音樂賞析中，音樂可視化可以在一定程度上代替主觀性的描述，也可以與言語的描述相結合，說明演奏或者創作是如何達到主觀描述中的那種效果或探究其中的音樂材料如何運用等。在這種情況下，即便是樂理知識薄弱的接受者，也可以理解音樂元素對于情感或是內涵上的差異表達。此外，音樂信息的可視化還具備多種功能，既有觀賞性的，也有說明性、提示性和分析性的。從現狀來 看，當前我國的音樂可視化使用在課堂和音樂廳的導賞中取得了一定成效，但大范圍的推廣仍有待進一步發掘。