音樂可視化的研究進展及其應用實例

王鈞平

（中國音樂學院，北京 100101）

1 音樂可視化的概念

音樂可視化（music visualization）是信息可視化的一個分支，是音樂的一種表達方式。它是以視覺為核心，以音樂為載體，以大眾為訴求對象，借助多種新媒體技術等傳播媒介，通過畫面、影像來詮釋音樂內容的、視聽結合的大眾化傳播方式[1]。它是一種能為理解、分析和比較音樂藝術作品形態的表現力和內外部結構提供直觀視覺呈現的技術[2]。

音樂可視化是一種新的跨領域的技術，涵蓋音樂聲學、數字音頻、動畫、圖像處理、虛擬現實等領域。音樂可視化在對音樂的特征（如波形、頻率、音調、音高、節奏、速度等）進行提取之后映射到相應的可視化效果，這些特征提取出來之后，就可以轉化為視覺的效果。目前，一般的視覺效果都是對音樂在低層特征方面的提取和轉化[3]，Windows Media Player中的可視化效果便是音樂可視化的典型代表，還有Winamp中的插件Milkdrop也可以實現音樂可視化，并且可以自己進行編碼改變圖像的形狀、顏色、位置等。

在可視化過程中涉及到的技術包括音樂信息提取技術、圖像生成技術、主觀評價技術等。音樂信息提取技術主要用于音高、節奏等信息的識別；圖像生成技術將音樂表現要素具體化、形象化、直觀化；主觀評價技術的應用可以統籌兼顧地運用藝術、聲學、技術手段得到親切、舒適、完整、統一的效果，防止顧此失彼。如果是在現場展示一個錄音與擴聲要求較高的音樂可視化作品，不可只依賴人工混響聲，應根據可視化作品的內容、演奏和雜音場所、設備系統等來確定聲音的立體感、聲像群結構動態范圍和各聲源的具體聲音形象等。

2 音樂可視化的分類

音樂可視化目前有幾種分類方法，交互性、實時性、維數角度、體驗感和音頻數據類型等[4]。

（1）交互性

從交互性來分類，可分為非交互式可視化與交互式可視化。當計算機播放某多媒體程序的時候，編程人員可以發出指令控制該程序的運行，而不是程序單方面執行下去，程序在接收到編程人員相應的指令后相應地做出反應，這一過程及行為，稱之為交互。大部分的可視化都是交互式的。

（2）實時性

實時性可以定義為在規定時間內系統的反應能力。按照實時性分類，可以分為硬實時和軟實時[5]。硬實時與軟實時之間最關鍵的差別在于，軟實時只能提供統計意義上的實時。例如，有的應用要求系統在95%的情況下都會確保在規定的時間內完成某個動作，而不一定要求100%。比如，用戶在操作播放機時，只要98%的情況能正常播放，用戶可能就滿意了；而發射衛星、控制核反應堆的應用系統，這些系統的實時性必須達到100%，絕對不允許出現意外。音樂可視化應用基本是軟實時系統。

（3）維數

從維數來分類，可分為二維和三維。目前電影、動畫都在朝著三維方向發展，通過三維技術創造的視覺特效可以帶來非凡的體驗。

（4）體驗感

從體驗感的角度來分類，可分為沉浸式、半沉浸式和非沉浸式三種。沉浸是指精神的全神貫注，從一種精神狀態到另一種精神狀態的發展變化過程，增加對當前事件的情感投入。

（5）音頻數據類型

根據音頻數據的類型，一般可以分為對自然音頻的可視化和對結構性音頻的可視化兩種。MPEG4音頻標準把音頻分為兩類：自然音頻和結構性音頻。自然音頻分為一般性音頻和語音，包括MP3和其他數據壓縮格式的音頻。結構性音頻主要是指MIDI（Musical Instrument Digital Interface）格式的音頻，它主要是由一些指令和參數組成，包括音符及其起音、音高、音色、速度等信息，對于特征提取比較方便。

3 音樂可視化的研究進展

3.1 音樂特征提取

對自然音頻和結構性音頻特征提取方法是不一樣的。為了便于對自然音頻（如WAV、MP3等格式的音頻）的內容分析和特征提取，應對原始音頻數據進行預處理[3]，目前有傅里葉分析、固定窗口等典型的變換方法[2]，在此基礎上，再對其進行特征提取。對于結構性音頻（如MIDI格式的音樂）[6]，由于這類音頻是由一些控制聲卡發聲的指令組成的，很容易從中找到音色、音高、音長等信息的對應位置，然后按其格式的規則進行相應的轉換，即可提取到這些特征。

孫鵬玉在《波形音樂文件特征提取方法的研究》[7]中提出，音樂的特征可以分為基本特征、復雜特征和整體特征三個方面。基本特征包括音符的音高、音長、音強等；復雜特征是由基本特征基礎上分析出來的，包括樂段的音程、節奏、旋律等；而整體特征是由復雜特征分析而來的，包括音樂的情感、曲風等。首先，給出一種音符提取的方法，提高音符提取準確率。通過對WAV格式音樂文件的分析，得到音樂的采樣數據等信息。然后，通過對信號的壓縮、去噪和高斯低通濾波處理，獲得信號的包絡線。接著通過快速傅立葉變換，對包絡線進行峰值檢測，提取出音符。通過對音符的分析，提取出音符的音高、音長、音強等特征。其次，設計了一種劃分小節的方法。根據小節的樂理特征在音樂信號上的表現，設計了一種加窗移動匹配的方法，將小節線提取出來。通過對小節的分析，獲得小節的音高、音長、音強的平均值與穩定性等特征。這是對于自然音頻特征提取的方法。

而對于結構性音頻特征提取，孫鵬玉也提出在以MIDI格式為音樂主要存儲格式的時期，由于可以從音樂文件中直接讀出音符和小節的信息，因此，對音樂進行特征提取研究的重點放在情感特征識別方面。

3.2 情感檢測與情感表達

音樂與情感有非常密切的關系，情感對音樂的理解、欣賞和創作有著重要的影響。

張娜等人在《音樂情感的特征與識別》[8]中寫了運用多元分析法對音樂所包含的情感色彩進行提取與分析，并將測試音樂樣本按照舒緩激越情感特征進行分類，然后從數字信號處理技術角度探討不同類別的音樂所具有的特征，最終使計算機能夠像人一樣識別音樂情感色彩。

中國音樂學院音樂科技系師生在民族樂器的主觀聽覺屬性實驗中[9]，對音樂情感的描述詞進行篩選，然后運用系列范疇法等就每一個評價對象在給定的一組范疇或尺度上進行評價，經過意見分類統計、左側范疇累計人數、累計百分數、p-z轉化等步驟，最終得到數據結果。這次實驗對音樂情感的特征與識別有著重要意義，在民族管弦樂的配器、數據自動標注等方面具有一定應用價值。

音樂是由一連串音符所組成的，每個音符又包含諸如音高、時值、力度等信息；但是音樂情感不是通過單獨的音所表現的，而是通過整體旋律展現的[10]。旋律的進行速度、調式等都會對音樂情感的表現產生影響。

3.3 虛擬現實

隨著社會生產力和科學技術的不斷發展，各行業對虛擬現實技術的需求日益旺盛， 虛擬現實技術也取得了巨大進展，并逐步成為一個新的科學技術領域[11]。音樂可視化的發展伴隨虛擬現實技術的加入更具感染力。

1969年，著名物理學家和教育學家弗蘭克·奧本海默創建了舊金山探索館（“探夢館”），它是一個集視覺、聽覺、觸覺等多感官體驗的互動型科學館，由一座古建筑物改造而成，為今后的博物館研究提供了寶貴參考。美國密尼索尼亞博物館，每隔一段時間會展示不同的主題。其中音樂主題研究的是音樂與樂器之間的發展，展示了美國樂器和音樂理論的發展史。由Golan Levin等人創建的可視化系統“Messa divo-ce”①，將表演者的物理特性和他們表演的虛擬空間的物理特性聯系起來。該系統形象化地表示了現場歌唱者的發聲法，系統中虛擬場景的大小讓表演者感覺到自己也是表演所在的虛擬空間的一部分[3]。

虛擬現實技術增強了音樂可視化作品的力度和感染力。對音樂可視化的發展有著重要影響。

4 音樂可視化的用途

隨著新媒體藝術的發展，技術的不斷完善，音樂可視化為人們享受音樂、理解音樂提供了多種可能。

音樂可視化可以運用到多種領域。酒吧、電子音樂節的表演現場，LED屏幕上的圖像變化與音樂節奏相結合，可以給人以強烈的視覺沖擊。電子游戲中音樂可視化的應用，例如“跳舞的線”，音樂與游戲中的元素結合，提高娛樂性，玩家不僅需要用雙眼來觀察障礙物與陷阱，更需要用雙耳聆聽音樂，旋律與節奏會幫助玩家走得更遠。音樂教育中可以結合音樂可視化，例如，輔助聽障兒童音樂教育，它的目的不僅是彌補特殊兒童聽說能力的缺失，更在于幫助他們通過音樂欣賞嘗試體會正常人能感受到的美好，增強自信和表達、理解能力，釋放不良情緒，改變孤獨、自閉的行為方式[12]，音樂可視化使音樂教學變得更生動有趣，充滿意義。商業中利用音樂可視化技術的音樂噴泉，使噴泉和燈光的變化與音樂同步，噴泉的效果更為生動，例如西湖的音樂噴泉。不管是哪種領域，音樂可視化的發展令人期待。

5 音樂可視化作品

5.1 《Beatbox Cymatics》

《Beatbox Cymatics》的作者是來自英國倫敦世界著名的Beatboxer Reeps One②。Reeps One是Beatbox界的傳奇人物，他率先將Dubstep與Beatbox結合，使得Dubstep在Beatbox中流行開來，他開創了諸多音色，并且多次擔任世界大賽的評委。他不僅是一名優秀的Beatboxer、一名優秀的電子音樂制作人，他還從事美術創作，包括帆布畫和涂鴉。他曾在邁阿密巴塞爾藝術博覽會，倫敦、米蘭和東京設計周等多學科活動中展出他的作品③。

《Beatbox Cymatics》是世界上第一個Beatbox與音樂可視化結合的作品。作品的創作和Reeps One音樂與美術的雙重身份有很大關聯——他對音樂的物理認知以及對美術視覺的感受。

此作品原理是將液體倒在揚聲器的振膜上，液體隨著振膜的振動而振動。將注入液體的大盤子放在揚聲器的頂部，再將攝像機（或者高速攝像機）放在揚聲器的上面，將拍到的畫面進行投影，從而實現Beatbox音樂與液體的實時交互（圖1）。

圖1 《Beatbox Cymatics》音樂可視化

也可以將液體換成粉末，再通過燈光照射，使其產生不同顏色，這樣使Beatbox成為看得見的音樂（圖2～圖4）。

5.2 《Cymatics》

Cymatics是使聲音形象化的過程，基本上借由沙或水等媒介的振動來達成。

Nigel Stanford（又叫John Stanford）是一位來自新西蘭的氛圍音樂家，現居美國紐約④。他不僅受過正規的音樂教育，并且是新西蘭維多利亞大學的一名高材生。他曾嘗試將各種科學器材與樂器結合在一起進行創作，水、鐵磁流體、等離子球、特斯拉線圈等東西都成為他創作時的道具。一首名為《Cymatics》的音樂作品因其蘊含的科技元素而備受關注。

把細沙撒在薄板上，當薄板振動時，薄板上的細沙就會顯示各種各樣的圖形，圖形隨振動頻率而變，這種圖形是由德國物理學家克拉尼（Chladni）發現的，因而命名為克拉尼圖形。用來顯示克拉尼圖形的薄板就稱為克拉尼板。《Cymatics》其中就用到了克拉尼圖形（圖5）。

《Cymatics》的原理是將液體倒在揚聲器的振膜上，液體隨著振膜的振動而振動。揚聲器盤實驗，將注入液體的大盤子放在揚聲器（音頻在50 Hz和100 Hz）的頂部。在經過多項實驗后，選擇冰凍伏特加作為注入液體，因為這種液體帶來的厚重感恰到好處（圖6）。《Beatbox Cymatics》也采用了這種原理。

此原理是將橡膠軟管固定在揚聲器振膜上，揚聲器連接電鼓，鼓被敲擊會形成水柱的曲折變化，在水通過螺旋狀的軟管凍結的瞬間，攝像機以25 Hz的幀速率拍攝，進行記錄（圖7）。

魯本管（Ruben's Tube）實驗，在金屬管內充滿可燃氣體，與揚聲器連接，不同的音頻會形成不同的壓力波，進一步再通過壓力波作用來影像火焰的高低形狀（圖8）。

鐵磁流體實驗，選擇大小合適的磁體，能夠以足夠的速度形成所需刺狀形態（圖9）。在磁場關閉后，通過將液態磁體在盤中的回聲效應，帶動的漣漪詮釋聲音的形狀。

以特拉斯線圈產生的高壓電弧在空氣中的形狀詮釋聲音的形狀，演奏者被特制的全金屬外套包裹（類似等電位服的工作原理），確保人體不會被電傷，同時在鼓棒上纏繞導線來帶動電流，從而形成圖10所示的視覺效果。

5.3 《See Sound》⑤

《See Sound》是藝術家Rama Allen⑥所創作的一件聲音可視化作品，將多個循環的、可視化的元素與人聲結合，組合為一個多媒體雕塑。這些數字圖像都可以被3D打印出來，人們可以在自己的“聲音雕塑”上簽名（圖11）。

圖2 攝像機正在拍攝粉末的振動

圖3 用燈光照射粉末

圖4 Reeps One在舞臺上表演他的作品

圖5 《Cymatics》克拉尼圖形

圖6 水的振動形態

圖7 水流波形的變化

圖8 火焰駐波管

《See Sound》使用雕塑原理、循環測序法、數據可視化和飛行控制原理，創建了一條有體積的軌道圖騰。這個作品的Beatboxer就是Reeps one。《See Sound》打印出了世界上第一個Beatbox聲音雕塑作品。不僅使Beatbox成了看得見的音樂，還使Beatbox成為了摸得著的音樂（圖12）。

圖9 鐵磁流體

圖10 特斯拉線圈實驗

圖11 《See Sound》聲音雕塑

圖12 《See Sound》的制作

圖13 《See Beatbox》

圖14 改變背景顏色

圖15 改變線條顏色

圖16 交互中圖像的變化

圖17 《See Beatbox》的MAX/msp 界面

6 《See Beatbox》作品創作

《See Beatbox》是筆者首次嘗試將Beatbox與可視化結合的作品，目的是為以后研究Beatbox音樂可視化探索出新的方向。

《See Beatbox》通過傳聲器采集聲音，利用Max/msp jitter⑦實時控制圖像變化，包括圖像的位置、長度、寬度、顏色、形狀以及變化的速度等，同時也可通過內置播放器實現音樂與圖像的交互（圖13）。

圖像是預置的線條模板，主要通過一些插件例如ZOOMER（縮放圖像大小）、PANNR（圖像的上下左右變化）、SLIDR（圖像的變化速率）等來改變效果。

圖像的變化效果是可以提前進行調整的。例如顏色，首先可以建立一個erase_color的Patcher，將Patcher連接到圖像，可以改變圖像的背景顏色（圖14）。建立一個mat_emission的Patcher與圖像關聯可以改變線條的顏色（圖15）。傳聲器采集聲音，圖像進行變化（圖16）。

《See Beatbox》的視覺效果從振幅中提取的特征轉化而來，Beatbox輸出的信號不同于正弦波，而是更加離散的脈沖信號，通過傳聲器收集Beatbox的聲音，節奏中節拍變化會使振幅發生變化，與聲音相關聯的插件如ZOOMR的參數就會隨振幅的變化而變化，從而使圖像發生變化，與節奏的變化達成一致。振幅越大，線條就會變得緊湊；反之，線條就會變得分散。圖17所示為《See Beatbox》的MAX/msp界面。

《See Beatbox》在圖像等方面還需完善。后續希望能創作出與中國水墨畫相結合的音樂可視化作品。

7 結語

筆者創作的作品《See Beatbox》不同于《Beatbox Cymatics》，它在圖像變化方面更具有可控性，但是在圖像方面還是相對比較單一，元素較少。

音樂可視化作為新興技術，具有現代社會高端科技的特點，它結合視覺與聽覺作為新一代的藝術語言，給大眾帶來新的感性體驗，雖然還存在諸多難題，但是隨著科學技術的發展，音樂可視化的內涵將更加豐富。

音樂可視化領域與Beatbox音樂可視化的結合對于音樂實踐具有重要意義，為以后研究音樂可視化探索出新的方向，視聽結合的方式為人們了解音樂提供多種可能，同樣也是為了讓有聽覺障礙的人能看到音樂，感受音樂的魅力。

注釋：

① Levin G,Lieberman Z,In-situ Speech Visualization in Real-Time Interactive Installation and Performance, In:Proceedings of the 3rd International Symposium on Non-Photorealistic Animation and Rendering. New York:ACM Press, 2004,7-14.

② Reeps One,英國Beatboxer, 2009年和2010年的UK Beatbox冠軍。 2009年德國柏林舉辦的World Beatbox Championship四強、2012年德國柏林舉辦的World Beatbox Championship四強。

③ http://www.i-element.org/cymatics/

④ Lever, Anna-Marie (1 June 2011). "Inside the brain of a beatboxer". BBC News. Retrieved 9 August 2012.

⑤ 新媒體藝術站微信公眾號文章——《在雕塑界這是最好聽的，在說唱界這是最好看的！》

⑥ Rama Allen, http://www.rama-allen.com/see-soundvoice-reactive-sound-sculpture

⑦ Max/msp jitter是基于C語言的圖形化音樂編輯環境，目前被廣泛地應用于互動音樂、交互藝術、裝置藝術等創作領域。1984年，巴黎聲學及音樂調配研究院IRCAM開發出MAX，實現以編程方式對設備進行控制，結合合成器發送指令，處理MIDI信息等；1999年，基于MAX開發的MSP實現了對音頻的實時控制與處理，升級為MAX/MSP，2003年Jitter正式發布，增加了軟件的視覺設計功能,發展成 Max/msp/jitter.

[1]童卡娜,黃東軍,徐鳴. 音樂可視化及其研究進展[J]. 計算機仿真,2008(01):216-220.

[2]白亮,陳劍赟,老松楊,吳玲達. 音頻內容分析研究[C].中國計算機大會, 2003.

[3]屈天喜,黃東軍,童卡娜. 音樂可視化研究綜述[J]. 計算機科學,2007(09):16-22.

[4]常慧娟. 可視化技術對音樂視覺表現的影響[J]. 現代商貿工業,2016,37(34):490-491.

[5]涂剛. 軟實時系統任務調度算法研究[D]. 華中科技大學,2004.

[6]謝朝宗,田洪霞. 音樂設備數字接口(MIDI)與計算機音樂[M]. 北京:學苑出版社,1995.

[7]孫鵬玉. 波形音樂文件特征提取方法的研究[D]. 遼寧大學,2013.

[8]張娜,孫赟,毛峽. 音樂情感特征分析[A]. 中國科學院自動化研究所、中國自動化學會、中國圖象圖形學會、中國計算機學會、中國中文信息學會、國家自然科學基金委員會、國家863計劃計算機軟硬件技術主題.第一屆中國情感計算及智能交互學術會議論文集[C].中國科學院自動化研究所、中國自動化學會、中國圖象圖形學會、中國計算機學會、中國中文信息學會、國家自然科學基金委員會、國家863計劃計算機軟硬件技術主題,2003:4.

[9]中國音樂學院音樂科技系聽覺主觀實驗報告.

[10]蔣旻雋,周昌樂,黃志剛. 音樂情感的自動識別[J]. 廈門大學學報(自然科學版),2010,49(06):798-802.

[11]趙沁平. 虛擬現實綜述[J]. 中國科學（F輯：信息科學）,2009,39(01):2-46.

[12]柳茗千. 輔助聽障兒童音樂教育的可視化方法研究[J]. 教育教學論壇,2017(01):275-276.