面向本科教育的語音情感識別實驗設計與實現

唐閨臣 梁瑞宇 王 杰

（1.南京工程學院通信工程學院，江蘇 南京 211167；2.廣州大學機械與電氣工程學院，廣東 廣州 510006）

語音信號處理是用數字信號處理技術和語音學知識對語音信號進行處理的一門新興學科，是一門理論性強、實用面廣、內容新、難度大的交叉學科［1］［2］。語音信號處理作為信息處理專業的一門重要的專業課，所涉及的理論知識較多。從應用方面來說，包括語音增強、語音編碼、語音合成、語音識別、說話人識別、情感識別［3］、語音隱藏、聲源定位等。圍繞著這些應用，該課程還會涉及一些相關理論，如矢量量化、隱馬爾科夫模型、高斯混合模型，支撐向量機等。因此，如何激發學生的學習興趣，讓學生從枯燥的理論中走出來，是提升課堂教學質量的關鍵。

當今世界科技水平高速發展，人們也對計算機提出了更多要求。在人機交互系統中，語音情感識別已成為關鍵技術之一，對語音信號的情感分析，使得人機交互更加流暢［4］。智能人機交互系統通過對操作者的情感進行分析，可以更主動、更準確的去完成操作者的指示，并實時調整對話的方式，使交流變得更加友好、和諧和智能。此外，在單調的、高強度的任務中，執行人員的某些負面情緒監測具有使用價值，有效的識別這些負面情緒，有助于提高個體認知和工作效率，減少影響認知和工作能力的因素。因此，對語音信號情感識別的研究具有重要意義。

目前，很多高校語音信號處理的授課時間在32到48學時之間。在短暫的課堂授課時間內，要想使學生對各種應用有所了解，并從中選擇一到兩種進行深入研究是一件非常困難的事。為此，很多高校都會增加實驗環節，讓學生對課堂內容進行鞏固和吸收［5］［6］。目前，語音信號處理實驗主要以MATLAB仿真為主［7］，其目的在于快速幫助學生理解理論知識。

為此，綜合目前語音研究的熱點問題以及語音信號處理的教學現狀，本文以語音情感識別實驗為例，以MATLAB為實驗平臺，介紹了面向本科教育的語音實驗的設計與實現。在前期基礎實驗的基礎上，語音情感識別實驗分為特征提取，模式識別算法兩大部分，通過原理講解，實例參考，過程解析，由淺入深地引導學生完成整個實驗過程。實驗效果顯示，相比于枯燥的理論實驗，有一定應用背景的實驗更能激發學生的學習熱情，提升教學質量。

一、語音信號處理課程設置

針對語音信號處理的重點內容，以48學時課程為例，將語音信號處理課程設置為理論教學（36課時）、實驗教學（12課時）和綜合課題三個組成部分。理論教學注重培養學生基本問題的分析方法，從而掌握基本的語音信號處理的理論與概念。教學形式多樣，包括網上學習、課外閱讀、大型作業、主題調查、讀書報告、分組討論等。對語音信號的原理與方法，課堂教學盡可能用簡明、通俗的語言，以深入淺出、通俗易懂的方式講解，并借助Flash動畫、語音樣本等形式展現出來。

語音實驗共包含6種。1.語音采集與預處理實驗。開設目的：讓學生了解MATLAB采集語音信號的原理及常用命令，熟練掌握基于MATLAB的語音文件的創建與讀寫等基本操作，學會使用Plot命令來顯示語音信號波形并掌握基本的標注方法，掌握語音信號的預處理方法。2.語音信號時域特征分析實驗。實驗目的：讓學生了解語音信號分幀與加窗的重要性和必要性，掌握常用的窗函數和加窗分幀處理的原理，能編程實現分幀函數并恢復，掌握短時時域分析的一些參數計算方法，了解短時傅里葉變換的原理并編程實現短時傅里葉函數，了解語譜圖的意義和表現方法并編程實現。3.倒譜分析與MFCC系數實驗。開設目的：讓學生了解語音信號倒譜分析的意義，掌握語音信號倒譜和復倒譜分析的原理，編程實現倒譜和復倒譜計算函數。4.語音端點檢測實驗。開設目的：讓學生了解線性預測分析在語音信號處理中的重要性和必要性，掌握線性預測分析的基本思想，掌握MATLAB進行線性預測分析的流程。5.語音基音周期檢測實驗。開設目的：讓學生了解語音端點檢測的重要性和必要性，掌握基于雙門限法、相關法、譜熵法、比例法的語音端點檢測原理，編程實現基于雙門限法、相關法、譜熵法、比例法的語音端點檢測函數。6.語音信號處理應用實驗。開設目的：讓學生了解K近鄰分類算法的原理，掌握基于K近鄰分類算法的情感識別基本過程，應用MATLAB實現基于K近鄰分類算法的情感識別。

這6種實驗中前5種以偏重基礎為主，并不涉及明確的語音信號處理應用背景；第6個實驗以應用為主，注重培養學生的動手能力。這樣設置的目的是既讓學生掌握語音信號處理的基本方法，又注意培養學生的研究興趣。下面以語音信號處理中的語音情感分析應用實驗為例，介紹語音實驗的設置。

二、語音情感分析原理

（一）特征提取

根據語音信號具有短時平穩性，可以對語音信號進行處理提取所需的特征參數。對語音信號進行加窗分幀處理，能夠有效利用語音信號的短時平穩性進行特征提取和分析。加窗即把原始的語音信號與特定的窗函數相乘得到加窗語音信號。

重要的與情感相關的語音特征有很多種，主要包括基音頻率、共振峰、美爾倒譜系數（MFCC）等。這些都是重要的語音特征，在語音增強［8］、語音編碼、語音合成、語音識別、說話人識別［9］、情感識別、語音隱藏、聲源定位等領域都有著廣泛而重要的應用，尤其對漢語更是如此。基音周期是語音信號處理中描述激勵源的重要參數之一。人在發濁音時，氣流通過聲門使聲帶產生張弛振蕩式振動，產生一股準周期脈沖氣流，這一氣流激勵聲道就產生濁音，又稱有聲語音，它攜帶著語音中的大部分能量。這種聲帶振動的頻率稱為基頻，相應的周期就稱為基音周期。目前的基音檢測算法主要有自相關函數法、平均幅度差函數法、倒譜法，以及在以上算法基礎上的一些改進算法。

而共振峰是指在聲音的頻譜中能量相對集中的一些區域，共振峰不但是音質的決定因素，而且反映了聲道（共振腔）的物理特征。共振峰的本義是指聲腔的共鳴頻率。與基音提取相似，共振峰估計也被許多問題所困擾，包括虛假峰值、共振峰合并、高基音語音等，其主要求法包括倒譜法和LPC法等。

MFCC是從Mel頻率刻度域中提取出的倒譜參數，可以通過人耳的聽覺原理對其進行分析。它與聲音頻率的具體關系可近似表示為：

其中，f表示聲音頻率，單位為Hz。

MFCC的提取過程為：1.對原始語音信號進行分幀加窗預處理；2.將預處理后的信號進行離散傅里葉變換（DFT），從而得到語音幀的短時頻譜；3.將短時頻譜的幅度值通過Mel濾波器組進行加權濾波處理；4.對Mel濾波器組的全部輸出值進行一個求對數計算；5.將經過求對數計算后得到的值進行離散余弦變換（DCT），從而得到MFCC。

綜合幾種常用的語音特征，本實驗選擇的各種特征如表1所示。

表1 語音情感特征構成

（二）情感分類算法

考慮到學生的知識點和課時較短的問題，實驗須選用一些易于實現和理解的算法。為此，實驗選擇了K近鄰（k-Nearest Neighbor，KNN）分類算法用來情感識別。

K近鄰（k-Nearest Neighbor，KNN）分類算法，是一種較為簡單直觀的分類方法［10］，但在語音情感識別中表現出的性能卻很好。KNN分類器的分類思想是：給定一個在特征空間中的待分類的樣本，如果其附近的K個最鄰近的樣本中的大多數屬于某一個類別，那么當前待分類的樣本也屬于這個類別。在KNN分類器中，樣本點附近的K個近鄰都是已經正確分類的對象。在分類決策上只依據最鄰近的一個或者幾個樣本的類別信息來決定待分類的樣本應該歸屬的類別。KNN分類器雖然原理上也依賴于極限定理，但在實際分類中，僅同少量的相鄰樣本有關，而不是靠計算類別所在特征空間區域。因此對于類別域交叉重疊較多的分類問題來說，KNN方法具有優勢。

設待分類樣本的特征參數為X，已知類別的訓練樣本集樣本的特征參數集為{X1,X2,X3,…,Xn}；對于待測樣本X，計算其與{X1,X2,X3,…,Xn}中每一樣本的歐式距離D(X,Xl),l=1,2,…,n，即：

其中，N代表特征向量的維數。min{D(X,Xl)}稱為X的最近鄰，而將D(X,Xl)從小到大排列后的前K個值稱為X的K近鄰。分析K近鄰中屬于哪一類別的個數最多，則將X歸于該類。

KNN算法大致可分為如下四步。

（1）由特征提取函數提取訓練樣本的特征向量，構成訓練樣本特征向量集合{X1,X2,X3,…,Xn}。

（2）設定算法中K的值。K值的確定沒有一個統一的方法（根據具體問題選取的K值可能有較大的區別）。一般方法是先確定一個初始值，然后根據實驗結果不斷調試，最終達到最優。

（3）利用特征向量提取函數提取待測樣本的特征向量X，并計算X與{X1,X2,X3,…,Xn}中每一樣本的歐式距離D(X,Xl),l=1,2,…,n。

（4）統計D(X,Xl),l=1,2,…,n中K個最近鄰的類別信息，給出X的分類結果。

實際程序中，我們將訓練樣本集的特征提取與待測樣本的特征提出合并一起，得到總特征向量集合，然后劃分出訓練樣本集和待測樣本集，以提高測試時的效率。

三、實驗設置

為了突出實驗效果，實驗選擇了情感研究比較著名的數據庫——柏林數據庫。柏林數據庫在語音情感識別領域使用廣泛，許多語音情感識別研究成果均在柏林庫上進行驗證。它包含了生氣、無聊、厭惡、恐懼、喜悅、中性和悲傷等語音情感類別，情感語音樣本采用表演的方式獲得，并由初期的語料錄制以及后期的人耳辨別測試最終保存了不到500句質量較高的語料樣本構成柏林語音情感庫。實驗選取柏林庫中五類情感每種情感各50個樣本共250個樣本作為實驗用的情感語料庫。其中125句為訓練樣本，其余125句為待測樣本。

整個實驗的思路：編寫特征提取函數→提取語音文件的特征向量→實現KNN分類算法→給出識別結果。

具體實驗步驟：1.根據編寫好的特征提取函數，提取相應情感語音的特征向量并保存成各自的mat文件，將這些mat文件放入到與主程序相同的路徑下；2.根據算法原理編寫主程序，主程序功能包括構建訓練樣本集和待測樣本集，設定K值實現KNN算法以及顯示識別結果；3.運行主程序，分析實驗結果，并選取不同的K值多次測試，對比各自的分類效果，大致確定最優的K值。

說明：1.程序中首先將同文件下的不同情感的mat文件讀入工作區，將這些情感特征分成待測類和識別類；2.k值的選取可根據使用情況多次試驗調整。

四、總結

針對目前語音信號處理課程偏重于理論教學的現狀，為適應目前情感識別研究的熱點，本文研究并設計了語音情感識別實驗。實驗提取了常用的語音特征，并采用易學的KNN算法在通用的數據庫上進行實驗驗證。研究顯示，面向應用的語音實驗設置，可以有效提高學生的學習熱情，改善學生的學習效果。