基于音樂情感識別的舞臺燈光控制方法研究

段中興, 嚴潔杰

(1.西安建筑科技大學 信息與控制工程學院，西安 710055；2.西部綠色建筑國家重點實驗室，西安 710055)

0 引言

舞臺燈光是一門藝術，需根據表演內容和實際需要不斷調整，其大都采用電腦燈控臺來設計控制方法，通過燈光與音樂的結合，為觀眾營造一種真實、生動的藝術環境。然而，舞臺燈光系統控制難度大、切換速度快，燈光控制方法設計更是一個難點。在傳統的舞臺燈光設計中，通常需要音樂專家和燈光設計師長時間的合作，在演出前做更多的準備，非常耗時。為解決傳統舞臺燈光表演設計難、效率低等問題，本文研究了基于音樂情感識別的舞臺燈光控制方法，通過音樂情感來控制燈光顏色及燈具的轉動，使人將對音樂的聽覺感受同燈光變化的視覺感受溶為一體，營造出完美的藝術效果。

舞臺燈光控制系統涉及計算機控制技術、數據庫技術、舞美藝術等，是一個多學科交叉的研究領域[1]。音樂情感是音樂的本質特征[2]，音樂情感識別是該系統的基礎，與燈光控制方法的設計有著密不可分的關系。在音樂情感識別領域，如何對情感進行合理的分類是首要的難點，常用方法包括支持向量機[3]、神經網絡[4-5]、模糊分類[6-7]等。文獻[8]曾采用先提取音樂情感中高層特征、再進行分類的思路，進行音樂情感識別，克服了人工分類效率低、速度慢等問題，因此我們采用這個思路進行我們的工作，但是在特征選取以及情感分類算法都與文獻[8]有很大不同。

本文主要由如下幾個部分組成：1)確定MIDI文件的主音軌，提取主要特征數據，建立音樂特征分析模型；2)對音樂特征數據進行分類，建立音樂情感分類模型；3)使音樂情感與燈光動作相匹配，生成燈光控制方法。

1 基于徑向基函數的支持向量機多分類算法

音樂情感分類器的主要任務是構造一個分類函數或者分類模型將未知情感類別的音樂映射到已知情感類別中。本文選用支持向量機(Support Vector Machine，SVM)分類算法，其對于解決小樣本、非線性等一些問題的解決有很大優勢，具有更好的數據泛化性能，是應用最廣泛的音樂情感分類技術之一。

1.1 支持向量機算法

SVM算法在統計學習理論體系基礎之上提出的思維新型機器學習方法，它通過非線性變換將輸入樣本投影到高維空間中，并在空間中尋找最優或廣義最優線性分類的超平面，其柔性邊界的表達式為：

(1)

在公式(1)中，(xi,yi)為訓練樣本，且xi∈Rd是輸入向量，yi∈{-1,1}是輸出向量；φ(xi)為將輸入空間特征空間映射到高維特征空間；ω和b分別為d維空間的權向量和偏置，決定了超平面的位置；ξi為松弛變量；C為懲罰參數，C的大小決定了對離群樣本的重視程度，C越大，越重視。

由于音樂特征數據空間中的分布比較復雜，因此采用基于內核的SVM(非線性)來處理音樂識別問題。引入拉格朗日函數后，將尋優問題轉化為對偶問題描述如下：

(2)

其中:K(xi,x)為核函數，αi為拉格朗日乘子，求解可得α*，b*。

最終得到判別函數f(x)為：

(3)

1.2 模型核函數的選取

在SVM算法中，核函數用于實現樣本低維到高維空間的轉換，對模型的性能有著重要的影響。在本文中，樣本數遠超過特征維數，故選取基于徑向基核函數(Radial Basis Function，RBF)的支持向量機訓練分類器，相較與線性、多項式、Sigmoid等常用核函數，RBF函數具有較寬的收斂域，適應性更廣，優化參數較少，是較為理想的映射核函數。RBF函數公式如下：

(4)

式中，σ為核參數，其定義了單個訓練樣本的影響大小，值越小影響越大，值越大影響越小。

1.3 多分類算法基本思想

本文選用Thayer 的二維情感模型[9-10]，這兩個維度分別是能量和壓力。為了避免情感用語的歧義并減少系統開發的工作量，對模型進行了改進，用四種離散的情感形容詞關聯音樂情感與燈光動作。模型將音樂情感劃分為四類：“興奮的、熱烈的”，“緊張的、生氣的”，“悲傷的、憂郁的”和“放松的、寧靜的”。如圖1所示。

圖1 四類離散情感模型圖

SVM不能直接運用于多類分類。目前解決SVM多類分類問題常用兩種方法：直接法和間接法[11]。直接法通過優化SVM的目標函數和參數，直接求出能夠適用多分類問題的分類函數，但其求解難度大、效率低。間接法是將多類問題歸結為多個兩類問題的思想，通過對多個SVM分類器進行組合，以實現多分類的功能。本文運用間接法，構建完全二叉樹的SVM多類分類模型，根據二維情感，先沿能量軸分為活力、平靜兩類，再沿壓力軸分為悲傷、快樂兩類，如圖2所示。

圖2 SVM多分類器構造示意圖

2 粒子群優化算法及其改進

以RBF為核函數的SVM分類模型中的某些參數難以確定，手動參數調整的準確性不高且不智能。因此，本文選用改進的粒子群算法(particle swarm optimization，PSO)算法以優化懲罰參數C和核參數σ來提高模型準確性。

2.1 粒子群算法

粒子群算法(PSO)最初是受到鳥群覓食這一簡單的社會行為啟發，經過簡化之后而提出的。該算法將每個個體看作搜索空間的“粒子”，每個粒子具有位置和速度屬性，及一個被優化的函數決定的適應度值。算法開始時先從隨機解出發，并在數次迭代中通過跟蹤局部極值和個體極值來更新自己的速度和位置，公式如下：

(5)

Xidk + 1=Xidk+Vidk + 1

(6)

2.2 改進的粒子群算法

由式(5)可知，慣性權重對算法性能有著重要的影響。ω較大時，全局搜索能力變強；而ω較小時，局部搜索能力變強。為了提高PSO算法平衡全局和局部搜索的能力，本文采用自適應權重的慣性權重，其取值與目標函數和適應度函數有關：

(7)

其中，ωmax，ωmin分別為最大和最小慣性系數；F為粒子的適應度函數，Favg，Fmin分別為適應度函數的最小值和平均值。本文在每個二分類器的參數求取時，將五折交叉驗證識別率作為PSO每個粒子的適應度函數：

(8)

由于采用五折交叉驗證方法，故優化的樣本集數目m設置為5，Rk，Wk分別為第k次分類時樣本數據分類正確和錯誤的數目。

3 改進PSO優化的SVM分類算法

為進行音樂情感分類，本文選取平均音高、平均音強、旋律方向等七個音樂特征，輸入基于RBF的完全二叉樹SVM多分類模型訓練分類器，最后用PSO算法優化分類模型的懲罰參數C和核參數σ。具體步驟如下：

4)根據公式(7)設置慣性權值ω；

7)得到體最優值Nid即為模型最佳的參數組合{C,σ}，用于構建SVM最優模型，并用測試樣本來驗證模型分類準確率。

根據上述算法，本文建立音樂情感分類模型，算法流程如圖3所示。

圖3 音樂情感分類算法流程圖

4 基于音樂情感識別的舞臺燈光控制方案

系統首先依據四類基礎情感將MIDI音樂的音樂特征(包括平均音高、平均音強、旋律走向等)進行提取分析，建立音樂情感分類模型，并將燈光動作模型與情感模型相對應，實現燈光情感與音樂情感同步匹配，最后將燈光動作信息以數據庫存儲，發給電腦燈控制臺，控制舞臺燈光的運動方式和顏色變化。

4.1 音樂情感特征分析模型

音樂情感內涵只是通過少數幾種占據重要地位的音樂的特征元素塑造和表達的[12]。影響音樂情感計算的特征主要有調式、音速、節奏、節拍、音高、音強、旋律等。本節主要根據MIDI音樂的相關屬性，確定主音軌的平均音高、平均音強、旋律走向等七個特征來進行音樂特征提取，再對提取的數據進行標準化，建立音樂特征分析模型。特征提取方法如下：

(9)

(10)

(11)

(12)

5)速度Tempo：音樂的速度可以使用音符時長來衡量。單個音符演奏的時長越短，音樂的速度越快，反之，速度越慢，是影響音樂情感的重要特征之一。本文使用音符時長duration來衡量。音符演奏的時長越短，音樂的速度越快，反之，速度越慢，描述如下：

(13)

n為主音軌中所有音符的個數。

6)音符密度NoteBar：音符的密度是指一個小節中音符數量的多少程度。音符密度較小的樂曲通常節奏較慢，而音符密度較大的樂曲通常節奏較快，音符密度也在一定程度上能夠反應出樂曲的情感類型，可用音符個數NoteNumber和音節數BarNumber來表示，描述如下：

(14)

7)旋律方向DirPitch：旋律是音符的序列，在樂譜上呈現為一條起伏不平的波浪線。不同樂曲的音符波浪線在形狀、走勢上的差別，可以從側面反應出不同音樂之間的不同情感。可由音高差Δpitch和音符時長duration來衡量。

(15)

Δpitchi=pitchi+1-pitchi

(16)

4.2 建立燈光表演動作庫

根據文獻[13]可知，在燈光顏色情感的研究中可分為兩大類：暖色光和冷色光，與音樂能量特征有關。為完成舞臺燈光與音樂情感的匹配，本節從燈光顏色、燈光動作兩個方面，建立燈光動作模型，并將其與離散情感模型一一對應，分為四類，如表1所示。

表1 燈光動作模型

4.3 基于音樂情感識別的舞臺燈光控制方法

為實現音樂情感驅動的舞臺燈光控制，本文建立音樂情感分類系統，其基本思想如下：

1)提取音樂的情感特征；

2)建立標準音樂情感分類模型；

3)根據燈光顏色和動作變化建立燈光動作模型；

4)通過通用的離散情感模型，將音樂情感分類結果與舞臺燈光動作相匹配，得到燈光控制方法。

燈光控制原理如圖4所示。

圖4 燈光控制原理圖

5 實驗結果與分析

實驗數據為從midishow網站上下載的231首不同風格的MIDI音樂片段。所有樂曲經過篩選，長度控制在1分鐘之內，這是因為過長的樂曲選段所包含的情感信息可能更多，不利于實驗分類。實驗開始前對所有的樂曲按照四類基礎情感進行人工標記。為減少個人偏好和打分誤差，邀請音樂專業和非音樂專業學生對這些歌曲進行情感打分，對一首歌只有超過一半的人都標記為同一類情感時，才作為實驗數據保留下來。本文從231首樂曲中，選出160首作為訓練集，每種類型對應訓練用的數量均為40首。另外71首作為測試集，其中，“興奮的、熱烈的”有17首，“緊張的、生氣的”有17首，“悲傷的、憂郁的”有19首，“放松的、寧靜的”有18首。

5.1 音樂特征分析

實驗第一步為對音樂特征進行分析。對音樂特征分析有兩個部分:1)音樂特征提取技術；2)特征數據預處理。本文根據前文所述的計算機音樂特征提取技術，用輪廓線法提取數百首MIDI片段的出主旋律，在此基礎上提取出每個片段的音頻持征，包括平均音高、平均音強、音高穩定性、音強穩定性、速度音符、密度、旋律方向這七個特征；之后，為消除指標之間的量綱影響、使各項指標處于同一數量級，本文選用標準差歸一化(Z-score)的方法對原始數據的均值和標準差進行標準化，并存為Excel文件。特征數據標準化后部分結果如表2所示。

表2 音樂特征數據表

5.2 分類認知模型

實驗第二步為將訓練集的MIDI文件的特征向量輸入音樂情感多分類模型，后用改進的粒子群算法進行優化針。并使用一對一的SVM多分類模型[14]、一對多的SVM多分類模型[15]作為對比實驗。為了評估算法的性能，我們的工作中采用了5折交叉驗證法，把數據隨機分為5個分區，其中類的表示形式與完整數據集中的屬性大致相同。在每次運行期間，選擇1個分區進行驗證，而其余部分用于訓練。同樣，該過程重復五次，以便每個分區僅用于訓練一次。

表3為四種SVM多分類器的分類結果對比。

表3 類別分類結果

如表3所示，PSO優化的二叉樹SVM多分類模型相較于其他三種SVM多分類模型有明顯的優勢。

從時間角度來看，時間與決策分類器的數量、求解分類參數的計算量相關。四種多類分類算法中， PSO優化的二叉樹SVM算法由于優化問題求解計算量變大，其訓練時間稍長于二叉樹SVM算法，但是由于分類器數量少，得到分類最優參數后測試時間最短，所以較優于其它3種算法。

從分類精度角度來看，分類精度與求解決策最優超平面的準確性有關。由于引入PSO算法，通過多次迭代尋找到了懲罰參數C和核參數σ的最優解，使模型參數調整的準確性、智能性都有所提高，所以分類精度明顯優于其它3種算法。

5.3 PSO優化算法進行參數尋優試驗

SVM分類模型包含3個分類器，須利用PSO算法對3組懲罰參數和核參數進行優化。首先設置PSO算法的種群規模為20，初始化粒子的位置和速度即為{C,σ}，最大迭代次數為100，設置局部加速度因子系數c1為1.5，全局加速度因子的系數c2為1.7。通過5折交叉驗證的方法，5次迭代后求取5次平均交叉驗證識別率，提高了算法的可靠性，減小了核函數參數誤差。圖5為優化后的改進PSO優化的二叉樹支持向量機的粒子群適應度收斂曲線圖。

圖5 適應度收斂曲線

如圖5所示，隨著進化次數的增加，平均適應度為75%～90%，驗證了PSO的優化性能，說明了模型的核參數變化對分類模型準確性的影響。該試驗通過PSO尋優得到的3組{C,σ}參數{5.1682,1.0614},{3.2581,0.6702},{6.3011,1.0372}。

綜上，本文提出的改進的PSO優化的二叉樹SVM算法具有較明顯的時間優勢，較高的分類精度。驗證了改進的PSO優化的二叉樹SVM算法分類器的準確性和快速性，且整體性能稍優于其他3種算法。如果分類類別較多時，使用本文思路構建的多層SVM分類模型相較于其他兩種結構的分類模型而言，所需要SVM分類器的個數明顯減少，所以的分類時間也會明顯縮短，因此該優化方法適用于類別數較多、分類實時性要求較高的場合。

5.4 燈光控制方案的實現

基于音樂情感識別的燈光控制分為舞臺燈光情感匹配模塊和舞臺燈光控制模塊。

在舞臺燈光情感匹配模塊，本文使用Matlab編寫了音樂情感識別程序，將音樂基本特征作為輸入，情感識別結果作為輸出，結果有[1,1]、[-1,1]、[-1,-1]、[1,-1]，其對應情感為“興奮的、熱烈的”、“緊張的、生氣的”、“悲傷的、憂郁的”和“放松的、寧靜的”，根據表1可對應相應的燈光控制方案。以《春節序曲》為例，首先提取樂曲基本特征并做標準化處理，生成情感特征向量x={0.7755,0.0639,0.9805,0.7612,0.3474,0.8427,0.6277}；然后將情感特征向量x通過情感識別模型得到識別結果，輸出為y=[1,1]，對應圖2可知，經第一層分類器后輸出結果為y1=1，判定為“快樂”，經第二層分類器后輸出結果為y2=1，判定為“活力”，對應情感類型為興奮的、熱烈的；最后根據表1可選擇燈光控制方案4，即燈光顏色為黃色、燈光動作為左右快速搖擺，并生成燈光控制方法存入Excel表格。

表4為部分樂曲燈光控制方案表。

表4 燈光控制方案表

在舞臺燈光控制模塊，本文將燈光控制方法通過計算機軟件模擬照明控制臺，將控制方案轉換為DMX512信號，并利用市場上常見的MCSWEUSB-DMX舞臺燈光控制器，通過與計算機的USB接口相連，從而實現電腦燈光控制平臺與現場舞臺燈具的連接。如圖6所示，本文利用Freestyler和Easy View軟件作為燈光控制方案演示平臺，模擬舞臺使用四個射燈來簡單表示燈光動作。

圖6 燈光控制效果圖

6 結束語

本文先通過提取MIDI音樂的平均音高、平均音強、旋律方向等基本特征，設計情感模型將音樂分為四類基礎情感，再與燈光動作一一匹配，建立基于音樂情感識別的舞臺燈光控制模型。

在構建情感分類模型時，根據情感模型的特點構建了一個完全二叉樹SVM多分類器，分別沿能量軸和壓力軸對音樂情感進行識別，相較于其他兩種對比模型，該方法有效地減少了分類時間。最后對粒子群算法做出改進，并將其用于分類器的參數尋優過程，雖然參數尋優算法增長了訓練時間，但是對分類精度有著明顯的提升，并且模型對于測試集的分類時間最短、分類精度最高。在未來研究中，該方法對于離散情感多分類模型及音樂實時情感識別模型有著重要意義。