音樂可視化藝術發展研究

盧達均

（東莞市文化館，廣東 東莞523000）

一、引言

音樂作為一種藝術形式，不僅能夠抒發情感、反映社會現實生活，在歷史上還曾有過鼓舞人心、治療疾病的例子，即使是不同國度不同時代的人也可以欣賞。在音樂被譜寫之后，樂器的演奏或人聲的演唱等詮釋方式能夠將其傳達給聽眾，為了能夠使聽眾更全面地體會音樂所表達的情感和思想，創作或傳播者采用了不同的輔助表達方式?？梢暬陌l展為音樂的表達提供了新的方式，使用特定的規則進行解讀，為其產生可復現的視覺效果。

二、音樂可視化的研究內容和現狀

可視化（Visualization）是使用計算機圖形學和圖像處理技術，將數據通過圖形或圖像的方式進行顯示并進行交互處理的理論、方法和技術。音樂可視化（MusicVisualization）是利用可視化的方法，客觀解釋和判斷音樂的表現力和結構，幫助聽眾提供理解、分析、比較音樂。

在應用方面，Windows、MacOSX、Linux 等平臺上都有支持音樂可視化的媒體播放器，也有人使用D3.js 和HTML5 實現了音樂可視化的效果。在可視化過程中涉及到的技術包括音樂信息提取技術、圖像生成技術、主觀評價技術等。音樂信息提取技術主要用于音高、節奏等信息的識別；圖像生成技術將音樂表現要素具體化、形象化、直觀化；主觀評價技術的應用可以統籌兼顧地運用藝術、聲學、技術手段得到親切、舒適、完整、統一的效果，防止顧此失彼。如果是在現場展示一個錄音與擴聲要求較高的音樂可視化作品，不可只依賴人工混響聲，應根據可視化作品的內容、演奏和雜音場所、設備系統等來確定聲音的立體感、聲像群結構動態范圍和各聲源的具體聲音形象等

三、音樂可視化的分類

音樂可視化目前有幾種分類方法，交互性、實時性、維數角度、體驗感和音頻數據類型等。

1.交互性從交互性來分類，可分為非交互式可視化與交互式可視化。當計算機播放某多媒體程序的時候，編程人員可以發出指令控制該程序的運行，而不是程序單方面執行下去，程序在接收到編程人員相應的指令后相應地做出反應，這一過程及行為，稱之為交互。大部分的可視化都是交互式的。

2. 實時性實時性可以定義為在規定時間內系統的反應能力。按照實時性分類，可以分為硬實時和軟實時。硬實時與軟實時之間最關鍵的差別在于，軟實時只能提供統計意義上的實時。

例如，有的應用要求系統在95%的情況下都會確保在規定的時間內完成某個動作，而不一定要求100%。比如，用戶在操作播放機時，只要98%的情況能正常播放，用戶可能就滿意了；而發射衛星、控制核反應堆的應用系統，這些系統的實時性必須達到100%，絕對不允許出現意外。音樂可視化應用基本是軟實時系統。

3.維數從維數來分類，可分為二維和三維。目前電影、動畫都在朝著三維方向發展，通過三維技術創造的視覺特效可以帶來非凡的體驗。

四、音樂可視化的表達方式

音樂可視化按照視覺空間維數，可以分為二維與三維兩類。二維的音樂可視化需要的數據維度低，實現較為簡單，而三維由于表現力強，適合構造復雜對象，主要應用于沉浸感要求高的場合。

在二維的可視化中，靜止的圖像顯示出音頻的兩個維度的參數的關聯，或是對出現的某些結構、文本特征進行挖掘，也有圖像隨時間變化的動態展現。而三維超越了平面空間的維度限制，可以將時間流動疊加到二維所中時間以外的兩個維度上。

除此之外，在現實世界中通過音源的振動，使水、粉末、火焰等產生不同的形狀，也可以作為三維的一種拓展；RTaylor 等人采用虛擬現實實時系統對音樂家演奏的音樂特征進行提取，并映射到虛擬角色的行為中，給人以沉浸感。還有一些較為特殊的表達方式——使用形容詞對音樂中的情感檢測結果進行表達，將音頻與人心理感受相似的色彩名稱、情緒名稱進行分類及匹配。采用能夠引起類似情緒的圖片來標志音頻，也是一種創新。

五、音樂可視化的研究進展

（一）音樂特征提取

對自然音頻和結構性音頻特征提取方法是不一樣的。為了便于對自然音頻（如WAV、MP3 等格式的音頻）的內容分析和特征提取，應對原始音頻數據進行預處理，目前有傅里葉分析、固定窗口等典型的變換方法，在此基礎上，再對其進行特征提取。對于結構性音頻（如MIDI 格式的音樂），由于這類音頻是由一些控制聲卡發聲的指令組成的，很容易從中找到音色、音高、音長等信息的對應位置，然后按其格式的規則進行相應的轉換，即可提取到這些特征。孫鵬玉在《波形音樂文件特征提取方法的研究》中提出，音樂的特征可以分為基本特征、復雜特征和整體特征三個方面。

（二）感檢測與情感表達

音樂與情感有非常密切的關系，情感對音樂的理解、欣賞和創作有著重要的影響。張娜等人在《音樂情感的特征與識別》中寫了運用多元分析法對音樂所包含的情感色彩進行提取與分析，并將測試音樂樣本按照舒緩激越情感特征進行分類，然后從數字信號處理技術角度探討不同類別的音樂所具有的特征，最終使計算機能夠像人一樣識別音樂情感色彩。

（三）虛擬現實

隨著社會生產力和科學技術的不斷發展，各行業對虛擬現實技術的需求日益旺盛，虛擬現實技術也取得了巨大進展，并逐步成為一個新的科學技術領域。音樂可視化的發展伴隨虛擬現實技術的加入更具感染力。1969 年，著名物理學家和教育學家弗蘭克·奧本海默創建了舊金山探索館（“探夢館”），它是一個集視覺、聽覺、觸覺等多感官體驗的互動型科學館，由一座古建筑物改造而成，為今后的博物館研究提供了寶貴參考。美國密尼索尼亞博物館，每隔一段時間會展示不同的主題。

六、音樂可視化研究面臨的挑戰

音樂可視化還處于初期階段，在研究和應用領域都面臨許多問題，在對音樂的理解和可視化技術上都需要進一步的研究，才能使音樂可視化更好地發展。

（一）缺少專業知識

從對音樂的研究方面，音樂可視化的研究人員可能對音樂的專業知識，如音樂學、音樂認知神經科學、音樂心理學等，并沒有足夠的認知，因此在可視化系統的設計與制作中，缺乏專業知識的依托而無法準確捕捉要點。

（二）模式單一

現有的音樂可視化系統分析的內容，對簡單的低層的音樂屬性尚能進行多維體現，但對于語義、情感等高層屬性則只能研究到一維且是靜態的地步。

（三）應用型可視化系統忽視用戶情感體驗

目前很多設計出來供人在聽音樂的過程中加入視覺體驗的可視化系統，是研究人員通過自身對音樂的了解得到的，不同的人對音樂的理解的深度并不相同。另外，部分研究人員對系統設計的完備程度、新鮮程度等的重視程度，超過了刺激使用者內在情感潛能的重視程度，此兩點導致部分可視化系統對于使用者來說是毫無意義的，使用者并不能從中感受到音樂的涵義變得具體或深刻。

七、結語

音樂可視化有別于傳統音樂藝術，開啟了音樂解讀的新時期，是對音樂的描述和理解的新方式。國內外對音樂可視化的理論研究和系統、工具開發都有了很多成果，在音樂分析、音樂教學、游戲娛樂、情感表達等方面具有應用。

目前，對音樂可視化的研究仍舊面臨挑戰，期待隨著科技的發展和理論應用不斷完善，音樂可視化能夠在形式和內涵上更加豐富，應用更加全面。