音樂可視化研究特征選擇及表達方式綜述

黃宗珊 饒志雙

【摘 要】隨著可視化方法和技術的不斷進步，對音頻的可視化逐漸發展。研究者根據不同特征從不同角度觀察分析音頻文件，并使用可視化展示這些特征。本文結合現有的研究，簡要地介紹在音樂可視化中分析的特征以及對這些特征所采用的可視化表達方式。

【關鍵詞】音樂可視化；特征選擇；表達方式

中圖分類號： TP391.42 文獻標識碼： A 文章編號： 2095-2457（2018）05-0211-002

【Abstract】With the continuous progress of visualization methods and technologies， the visualization of audio has been gradually developed. Researchers observe the analysis of audio files from different perspectives based on different characteristics and use visualizations to display these features. This article combines the existing research， briefly introduces the characteristics of the analysis in the visualization of music and the visual representation of these features.

【Key words】Music visualization；Feature selection；Manifestation

0 引言

音樂作為一種藝術形式，不僅能夠抒發情感、反映社會現實生活，在歷史上還曾有過鼓舞人心、治療疾病的例子，即使是不同國度不同時代的人也可以欣賞。在音樂被譜寫之后，樂器的演奏或人聲的演唱等詮釋方式能夠將其傳達給聽眾，為了能夠使聽眾更全面地體會音樂所表達的情感和思想，創作或傳播者采用了不同的輔助表達方式。可視化的發展為音樂的表達提供了新的方式，使用特定的規則進行解讀，為其產生可復現的視覺效果。

1 音樂可視化的研究內容和現狀

可視化（Visualization）是使用計算機圖形學和圖像處理技術，將數據通過圖形或圖像的方式進行顯示并進行交互處理的理論、方法和技術。音樂可視化（Music Visualization）是利用可視化的方法，客觀解釋和判斷音樂的表現力和結構，幫助聽眾提供理解、分析、比較音樂。

對音樂可視化的研究包括了感知模型、特征提取、實時計算、情緒檢測、系統結構、沉浸感的展示、交互式圖形界面以及應用研究等。由于音樂可視化結合了藝術與科學，對研究者有一定的要求，因此在這方面的研究相對并不完善，并且可視化系統的一些使用者無法體會系統所表達的涵義。在應用方面，Windows、Mac OS X、Linux等平臺上都有支持音樂可視化的媒體播放器，也有人使用D3.js和HTML5實現了音樂可視化的效果。

2 音樂可視化的特征選擇

音樂可視化對單個音頻的特征分析分為兩種層面。低層的特征主要為響度、音調、頻率、音色等物理特性，Windows Media Player、Winamp附帶的多種可視化效果就是基于振幅和頻率的；Takayuki Itoh[1]等人為了幫助愛好者了解管弦樂曲，依據不同樂器的樂譜對不同樂器進行區分。高層的特征主要為語義、情感等， S.Zhang等人[2]在情感分析和可視化的基礎上，實現了基于情感信息的MV檢索。對多個音頻文件，E.Pampalk等人[3]對359段音頻基于心理聲學模型估計其相似性，在不需要手動進行流派分類的情況下，根據音樂風格差異建造了音樂島。

3 音樂可視化的表達方式

音樂可視化按照視覺空間維數，可以分為二維與三維兩類。二維的音樂可視化需要的數據維度低，實現較為簡單，而三維由于表現力強，適合構造復雜對象，主要應用于沉浸感要求高的場合。在二維的可視化中，靜止的圖像顯示出音頻的兩個維度的參數的關聯，或是對出現的某些結構、文本特征進行挖掘，也有圖像隨時間變化的動態展現。而三維超越了平面空間的維度限制，可以將時間流動疊加到二維所中時間以外的兩個維度上。除此之外，在現實世界中通過音源的振動，使水、粉末、火焰等產生不同的形狀，也可以作為三維的一種拓展；

R Taylor[4]等人采用虛擬現實實時系統對音樂家演奏的音樂特征進行提取，并映射到虛擬角色的行為中，給人以沉浸感。

還有一些較為特殊的表達方式——使用形容詞對音樂中的情感檢測結果進行表達，將音頻與人心理感受相似的色彩名稱、情緒名稱進行分類及匹配。采用能夠引起類似情緒的圖片來標志音頻，也是一種創新。

4 音樂可視化研究面臨的挑戰

音樂可視化還處于初期階段，在研究和應用領域都面臨許多問題，在對音樂的理解和可視化技術上都需要進一步的研究，才能使音樂可視化更好地發展。

4.1 缺少專業知識

從對音樂的研究方面，音樂可視化的研究人員可能對音樂的專業知識，如音樂學、音樂認知神經科學、音樂心理學等，并沒有足夠的認知，因此在可視化系統的設計與制作中，缺乏專業知識的依托而無法準確捕捉要點。

4.2 模式單一

現有的音樂可視化系統分析的內容，對簡單的低層的音樂屬性尚能進行多維體現，但對于語義、情感等高層屬性則只能研究到一維且是靜態的地步。

4.3 應用型可視化系統忽視用戶情感體驗

目前很多設計出來供人在聽音樂的過程中加入視覺體驗的可視化系統，是研究人員通過自身對音樂的了解得到的，不同的人對音樂的理解的深度并不相同。另外，部分研究人員對系統設計的完備程度、新鮮程度等的重視程度，超過了刺激使用者內在情感潛能的重視程度，此兩點導致部分可視化系統對于使用者來說是毫無意義的，使用者并不能從中感受到音樂的涵義變得具體或深刻。

5 結語

音樂可視化有別于傳統音樂藝術，開啟了音樂解讀的新時期，是對音樂的描述和理解的新方式。國內外對音樂可視化的理論研究和系統、工具開發都有了很多成果，在音樂分析、音樂教學、游戲娛樂、情感表達等方面具有應用。目前對音樂可視化的研究仍舊面臨挑戰，期待隨著科技的發展和理論應用不斷完善，音樂可視化能夠在形式和內涵上更加豐富，應用更加全面。

【參考文獻】

[1]Knowledge Visualization Currents：From Text to Art to Culture | Clc[J].

[2]Zhang S，Huang Q，Jiang S，et al.Affective Visualization and Retrieval for Music Video[J].IEEE Transactions on Multimedia， 2010，12（6）：510-522.

[3]Pampalk E，Rauber A，Merkl D.Content-based organization and visualization of music archives[C]//Tenth ACM International Conference on Multimedia.ACM，2002：570-579.

[4]Taylor R，Torres D，Boulanger P.Using music to interact with a virtual character[C]// Conference on New Interfaces for Musical Expression.National University of Singapore，2005：220-223.