基于實時識別焦慮情緒的音樂重構

沙文青，郭濱，王宏旭，白雪梅，張晨潔

（長春理工大學 電子信息工程學院，長春 130022）

近年來，隨著社會的發展，人們的生活節奏越來越快，許多人都會產生負面情緒，焦慮就是較典型的負面狀態之一，長期處于焦慮狀態會對自身的健康產生嚴重的影響。音樂療法作為緩解負面情緒的有效工具，被人們廣泛接受。但是傳統的音樂療法存在以下幾個問題：一是對患者的情緒定位不明確；二是不同的人對同一首音樂會有不同的感受，音樂治療師很難準確把握每一個人的情感反饋；三是由于樂曲多而雜，在有限的時間里，治療師很難簡化樂曲的同時提高改善效果。研究人員嘗試使用生物反饋技術，如腦電圖（EEG）來衡量音樂治療的效果，因為它能敏感地、客觀地反映人們的情緒。

Vangu Kitoko等人發現高壓受試者的β水平活動增加[6]；Leiden University等人發現SW/FW（慢波/快波）與焦慮呈負相關[8]；Bos利用傅里葉變換得到腦電信號在不同頻段的能量比可以作為表征情緒的特征[10]。盧英俊、戴麗麗等人發現通過分析α頻段的腦電功率和重心功率表明在中國古典音樂、中國搖滾音樂、中國流行音樂和班得瑞音樂的音樂干預下，中國古典音樂最能緩解悲傷情緒，中國搖滾樂緩解效果最差[1]；付丹等人選擇了120名患有輕度焦慮癥的大一新生為研究對象，隨機分為音樂治療組合和音樂治療結合生物反饋組，八周治療后發現音樂治療結合生物反饋組更能緩解焦慮情緒[2]；Syed Syahril等人研究發現可以使用α峰值頻率來量化個體所經歷的快樂程度[4]。

本研究設計實驗獲得焦慮情緒的腦電信號，通過分析beta與alpha的單位時間內的功率比的波動變化來量化焦慮情緒，探究實時區分焦慮狀態和平靜狀態的條件進行焦慮情緒的識別。

1 情緒識別理論分析及實驗方法

1.1 情緒識別理論分析

EEG信號是一種隨機性很強的非平穩微弱信號，極易受到各種噪聲的干擾，比如工頻干擾、眼電等，為了讓提取的特征更加準確，在特征提取之前要對腦電信號進行預處理，即去噪。希爾伯特-黃變換（HHT）中的經驗模態分解（EMD）方法可以根據信號的實際情況，自適應地分解信號。Fast ICA能夠較快的收斂于最佳分解狀態，所以可以將兩種方法相結合，引入到腦電信號的去偽跡的研究中。數據預處理之后，可以得到比較純凈的腦電信號。

根據頻率范圍，腦電波被分為如下：β波（13～35Hz）、α波（8～13Hz）、θ波（4～8Hz）和δ波（0.16～4Hz），腦電信號在不同頻帶上表現出的不同特征可以用來判斷一個人的精神狀態特征。α波與人們的放松有關，高阿爾法活動與低腦活動有關。β波是一種高頻腦波，主要與心理警戒狀態相關，即測量β/α波可以反映人們的情緒，當比值降低時，人們處于消極負面的情緒狀態，當比值升高時，人們處于較活躍的狀態。

設計切比雪夫濾波器提取腦電信號的四種節律，即利用kaiserord函數獲取濾波器參數，然后在N+1階kaiser窗口下使用fir帶通濾波器進行濾波，得到腦電信號的四種節律。

1.2 焦慮情緒誘導實驗設計

本文采取情景設計誘導情緒的實驗方法，具體是選擇10名被試者，年齡均為19-24周歲，其中5名為男性，5名女性。被試者身體健康，視力正常，無神經性疾病歷史，并在實驗前一周未服用過任何藥物。設計一個英語課堂，被試者需佩戴便攜式3IT_EHV1腦電帽坐在一間教室里，老師在上課期間會對被試者提出不同的問題。由被試者回答，并且老師根據回答內容給出評分，被試者通常會因此出現焦慮的情緒，最終分數最低的人需要表演一個節目，這是為了增強被試者回答問題前的焦慮感。課堂結束之后，會對十位被試人員詢問上課過程中情緒的變化，尤其是在老師提出問題之后，被試者心理狀態的變化。腦電信號由便攜式腦電帽來采集，該設備是由8通道OpenBCI_V3腦電板以及配套的GUI數據分析軟件組成。如圖1所示，深色點和灰色點都為腦電采集點，深色為本設備選擇的采集點。

圖1 OpenBCI 8通道（①、②、③、④、⑤、⑥、⑦、⑧通道分別為Fp1、Fp2、C3、C4、P7、P8、O1、O2）

1.3 結果分析

有關研究表明大腦右額葉腦區與情緒狀態之間的相互作用比較明顯，因此選擇Fp2通道的腦電信號進行去躁和腦電節律提取，濾波結果示例如圖2所示。提取節律之后，根據公式計算alpha波和beta波單位時間內的功率，并計算兩者之間的功率比，觀察功率比的波動變化。

圖2 其中四位被試者的alpha波和beta波功率比

對腦電信號進行分析之后，發現被試人員在老師提出問題之后的alpha波與beta波的功率比均出現不同程度的降低，如圖3所示（橢圓部分比值降低），從對被試者后續調查可知，被試者表示在老師提出問題之后均出現了不同程度的焦慮情緒，由此看出，焦慮情緒會使alpha波與beta波的功率比降低，即alpha波與beta波的單位時間功率比的變化可以作為實時判決焦慮狀態的依據。分析被試者腦電的alpha和beta功率比，探究識別焦慮情緒的閾值范圍如表1所示。

表1 平靜狀態和焦慮狀態alpha和beta功率之比

根據表1中所示每個狀態獲得的歸一化平均值確定分辨平靜和焦慮狀態功率比的閾值范圍。如表2所示。

表2 閾值范圍

2 音樂庫的構建與音樂重構

上一章節得出識別焦慮狀態和平靜狀態下的alpha波和beta波功率比的閾值范圍。本章節設計實驗對焦慮情緒進行改善，然后基于腦電波變化反饋提取對被試者有效的音樂片段，然后根據音樂作曲的基本理論知識和相關算法對音樂片段進行重新組合，創作新的音樂。

2.1 音樂分類原理

2.1.1 音樂特征提取

雖然音樂信號是一種長時非平穩時變信號，但在很短的時間內可以看作是平穩的、時不變的信號，所以在音樂信號進行處理前必須進行分幀[13]，即對音樂信號進行加窗處理。由于要對音樂片段進行實時分類，所以分類算法的計算不能很復雜，特征向量不能過多，所以選用相對容易的時域特征進行特征向量的選擇。幀能量譜排列的緊密程度可以區分出音樂的節奏快慢，幀能量譜可以區分出音樂節奏的強弱[12]。所以本文采用幀能量（FE）和幀能量比（FER）兩個特征向量來進行實時的音樂分類。

（1）幀能量

幀能量特征反應了音樂信號所含能量隨時間變化的進程，而音樂信號的能量隨時間的變化程度比較明顯。離散后的音樂信號x(n)的第i幀能量FE(i)定義為：

式中，winlen是一幀的長度

（2）幀能量比

幀能量比表示相鄰兩幀之間的幀能量的比值，同時也是重要的短時時域特征，它能夠反映音樂信號能量的起伏變化。FER(i)的計算公式為：

其中，FEi和FEi+1均不能為零。

2.1.2 音樂分類

BP（Back Propagation）神經網絡是典型的多層網絡，由神經元構成。它分為輸入層、隱藏層和輸出層。由于神經網絡訓練要求數量精煉，所以使用幀能量和幀能量比為實驗特征進行訓練。訓練BP神經網絡時則使用MATLAB自帶神經網絡工具箱中的BP網絡的構建函數newff、訓練算法則使用了學習率可變的動量BP算法（traingdx）、學習函數使用learngdm。

2.2 音樂重構原理

算法作曲（Algorithmic Composition）或稱自動作曲（Automated Composition）是為了按照一定的規則將多個音樂片段組成一個有機整體的一系列的規則集合[23]。算法作曲并不一定需要利用計算機來創作，有關研究發現，莫扎特曾經運用過隨機組合的方式來進行音樂模塊創作“Musical Dice Game”，并取得了比較好的效果。因此本文首先對所保存的音樂片段按照風格進行分類，其次在每個類別中，利用馬爾可夫鏈學習音樂片段，構建以音符為狀態空間的馬爾可夫模型，來組合音樂片段，創造新的音樂。

馬爾可夫鏈是一個非確定性狀態機，系統處于某種特定狀態的概率僅取決于其以前的狀態以及這些狀態之間轉換的概率。

音樂在時間上的變化通過音符體現，這主要表現在音符的音高和時值的變化，可以把這種變化看作是旋律隨時間的運動，從一個音符狀態運動到另一個音符狀態，即可以通過狀態轉換表來描述。實驗表明，通過計算和利用音符轉換的概率，可以創建聽起來像給定樣式的音樂片段。更確切地說，給定一組音樂素材（通常是樂譜或MIDI文件）可以計算連續音符之間的轉換概率。通過使用這些概率分布生成音符，產生新的音樂。本文通過學習音樂片段，生成狀態轉換表，得出組合音樂片段的最佳順序。

音符具有兩種基本屬性：音高和時值，音符狀態的變化包括音符音高狀態的變化和音符時值狀態的變化。在五線譜中，音符是一個黑色橢圓形的記號，它寫在哪一條線（或間）上，就表示應該發出那一條線（或間）的音高。為了表示音符發音時間的長短即時值，音符有幾種不同的形狀，常見的有五種：全音符、二分音符、四分音符、八分音符、十六分音符。

隱馬爾可夫模型是一種時域上的統計模型，在HMM中，每一個狀態代表一個可觀察的事件，觀察到的事件是狀態的隨機函數，因此該模型是一雙重隨機過程，其中狀態轉移過程是不可觀測（隱蔽）的（馬爾可夫鏈）。一個隱馬爾可夫模型（HMM）是由五元組來描述的，即λ=（N,M,A,B,π），其中：

X={x1,…xN}：隱含狀態，N為模型狀態個數。

Y={y1,…yN}：觀察符號集合，M為每個狀態對應的可能觀測符號數。

A={aij},aij=P(qt=Sj|qt-1=Si)：狀態轉移概率矩陣。

B={bj(k)},bj(k)=P(Ot=vk|qt=Sj),1≤j≤N,1≤k≤M：給定狀態下，觀察值概率分布矩陣。

π={πi},πi=P(q1=Si),πi≥0：初始狀態概率分布。

在一個HMM模型里，可以描述一個未知的隱含狀態在已知的觀察狀態下的狀態轉移過程。也就是在模型的各參數已知的情況下，給定觀察序列O=o1,o2,…,ot，計算與序列O相對應的最佳狀態序列Q=q1,q2,…qt，也就是HMM中的解碼問題。所求的Q應當在某個準則下是“最優”的，因此也稱Q為最優路徑，解碼問題即是確定最優路徑的問題。

維特比算法（Viterbi algorithm）是一種動態規劃算法，經常被應用于隱馬爾科夫模型的解碼問題中，它可以簡單地描述為一種通過網格找到最可能路徑的算法，在本文中指給定一個觀察序列和HMM模型參數，有效選擇“最優”狀態序列，以“最好地解釋”觀察序列。

設狀態空間為X，初始狀態xi的概率為πi，狀態轉移概率矩陣為A，觀察值概率分布矩陣為B，觀察得到的輸出為o1,o2,…,ot，則產生觀察結果的最有可能的狀態序列q1,q2,…,qt可由公式（3）和公式（4）遞推得到：

式中，前t個最終狀態為xi的觀測結果最有可能對應的狀態序列的概率。通過保存向后指針記下在公式（4）中的狀態可以獲得維特比路徑。另外設計一個函數Ptr(xi,t)，進行路徑回溯。由此可得到式（5）：

根據Viterbi算法，可以利用系統已知的觀察狀態，推斷出最有可能的隱含狀態，即下一個最可能的音符狀態。

綜上所述，已經可以確定HMM的隱含狀態包含待學習音樂中的單個音符。根據本文定義，定義音符為隱含狀態，音符發音時間的長短（時值）為觀察狀態。那么觀察值概率分布矩陣就是統計一個音符在待學習音樂中所有可能的時值，以及它們出現的頻率。

分別需要確定狀態轉移概率矩陣、觀察值概率分布矩陣以及初始概率矩陣這3個參數。在確定了模型的隱含狀態之后，可以統計出所有音符狀態在待學習音樂片段中出現的次數。統計一個狀態（音符）后所有的可能狀態以及這些狀態出現的頻率作為狀態之間的轉移概率矩陣。如式（6）：

其中，1≤j≤n，n為當前狀態Si所有可能的下一個狀態的個數，N(Sk|Si)是當前狀態Si的下一個狀態Sk出現的次數，若某些狀態后面沒有出現過另一個狀態則視作兩者之間轉移概率為零。例如圖3，在“CDEDCDEFG”中，狀態“C”并不會跳轉到狀態“E”。那么由狀態“C”到狀態“E”的轉移概率記為零。

圖3 CDEDCDEFG的音符轉移概率。

觀察值概率分布矩陣，是從某個隱含狀態到某個觀察狀態的概率。定義音符為隱含狀態，音符所對應的時值為觀察狀態。那么觀察值概率分布矩陣就是統計一個音符在待學習的音樂片段中所有可能的時值，以及它們出現的頻率。計算公式與狀態轉移概率矩陣相似，如式（7）：

其中，1≤k≤n，n為當前狀態qi所有可能對應時值的個數，N(oi|qi）是當前狀態qi對應時值為oi出現的次數。

初始狀態矩陣分布決定模型的初始狀態。本文分別統計每個待學習音樂片段中所有音符出現的次數。則某一音符的初始概率為式（8）：

其中，1≤i≤n，n為模型狀態空間大小，N(qi)為狀態qi在學習樣本中出現的次數。某一狀態的初始概率與其在樣本集中出現的頻率成正比，反映出這一狀態在此樣本集中的表現規律。

應用隱馬爾科夫鏈學習每種音樂類別下的音樂片段，根據音樂片段中相鄰音符的聯系，確定初始概率矩陣、狀態轉移矩陣和觀察值概率分布矩陣。

本文樂曲編碼采用MIDI實數編碼，編碼范圍為0-127，編碼與音符一一對應，在程序中，采用midilinfo函數計算單個音符的開始時間和結束時間，并將兩者之差記為該音符的時值，通過實驗結果可知，古典音樂的音符編碼范圍在30到90之間，如圖4譜例所示，譜例為一個音樂片段里的音符構成情況。一段音樂最終會被編碼成一個矩陣。例如式（9）

其中，矩陣第一行為音高，第二行為時值。

圖4 “Tear”片段的音符編碼圖4 音樂片段的音符編碼

2.3 設計實驗流程

實驗選擇30名面臨畢業考試的大學生，其情緒因為考試壓力而處于很焦慮的狀態，因為不能確定哪種音樂對被試者影響比較大，所以選擇了一些古典音樂、搖滾音樂、R&B音樂三種不同風格的純音樂來影響受試者的情緒，分析腦電信號的變化。

首先讓受試者聆聽不同的音樂，同時記錄受試者的EEG信號，利用Fast Ica和HHT算法開始去除眼電等偽跡的工作，并且進行特征提取，對情緒狀態進行識別。如果某個時間段的情緒狀態變好表明與此時對應的音樂片段起作用了，建立三個音樂子庫，隨之將此音樂片段截取下來進行分類，保存到各自對應的音樂子庫。

2.4 結果分析

腦電處理結果示例：某位受試者聆聽《D小調幻想曲》alpha與beta波單位時間功率比變化如圖5所示。

圖5 聆聽《D小調幻想曲》的腦電變化

從上圖可以看出，橢圓部分功率比變大，即alpha波功率增大，beta波功率減小，表示受試者情緒逐漸放松，則將與此時間段相對應的音樂片段截取并保存下來，N個由此而來的音樂片段組成了一個音樂庫。

實驗訓練過程選擇60首音樂進行訓練，訓練過程如圖6所示。

圖6 BP訓練過程

然后每種風格各選200首音樂（共600首）進行測試。實驗結果如表3所示。

表3 BP神經網絡分類準確率

從表3可以看出，三種風格的正確率均在80%以上。

3 作曲實例

圖7給出了基于HMM，將古典音樂庫中的一些音樂片段連接起來的一個實例，共有439秒。由于音樂的五線譜占用篇幅較多，本文則用midi編碼的方式呈現組合的音樂。

圖7 音樂重組

4 結論

針對傳統音樂治療方法存在的問題，本文通過設計實驗獲得能夠實時識別焦慮情緒的特征向量的閾值范圍，實現對焦慮情緒的精準識別，精準把握每位人員的情緒變化，接著在對焦慮人員進行音樂治療的過程中，基于腦電的實時反饋，獲得對被試者有用的音樂片段，分析音樂特征，對所保存的音樂片段進行分類，在每個獨立音樂類（古典音樂、搖滾、R&B）中，通過計算音樂片段里的各音符之間的轉換概率，找到連接音樂片段的最佳順序，組合成新的音樂。基于焦慮腦電反饋的音樂重組，不僅增加了音樂治療的曲目，而且和原始音樂相比，重組的音樂對患者來說更有針對性，有利于對焦慮患者情緒的改善，可以達更好的效果，為音樂治療領域的發展提供了新的途徑。