相空間重構在語音情感識別中的研究

葉吉祥，陳 鑫

長沙理工大學 計算機與通信工程學院，長沙 410114

相空間重構在語音情感識別中的研究

葉吉祥，陳 鑫

長沙理工大學 計算機與通信工程學院，長沙 410114

1 引言

語音情感識別是情感計算的重要組成部分，是基于語音信號產生機理的基礎上，通過準確提取語音信號中的情感特征參數，并利用這些參數進行模式識別從而確定被測試對象本身的情感狀態的一門新興技術。它反映的是計算機通過獲取的信息判斷操作者或對話者的情感狀態的能力[1]。

有效的情感特征選擇和提取是語音情感識別過程中的重要步驟，目前傳統的情感特征參數，如基頻、能量、速率、倒譜系數[2]以及基于Teager的能量算子[3]等都能在一定的范圍內區分某些情感狀態，然而人類發聲系統在產生不同語音時的生理結構以及激勵方式都不盡相同，因此語音信號的產生實則是一個相當復雜的非平穩、非線性的過程，其中存在一定的混沌性[4]，而傳統的語音特征大都是建立于確定的線性系統理論而提出的，缺少對語音信號本身混沌機制的表征。

相空間重構是從混沌時間序列中提取有效信息的重要手段，已經逐漸應用于生活中的諸多領域[5-7]，文獻[8]通過主分量分析方法對重構后的語音數據進行增強處理，本文在現有的研究成果基礎上，將相空間重構理論進一步引入到語音情感識別中，分別將喜悅、憤怒、悲傷、平靜四種基本情感的語音信號進行相空間重構處理，并提取了Kolmogorov熵和關聯維作為新的語音情感特征參數，以此來分析不同語音情感間的差異。情感識別的實驗數據顯示，新參數的引入，提高了情感識別的準確性和針對性，為傳統的語音情感識別性能的改進提供了新的參考。

2 語音序列的相空間重構及混沌特征參數的測定方法

關聯維反映的是一個集合占有的空間的密集程度，Kolmogorov熵則能較好地反應系統本身信息產生的頻率和信息損失速率。相空間重構是非線性動力學分析的第一步，目前常用的是Takens等提出的坐標延遲重構法[9]，該方法的本質在于通過一維的時間序列{x(n)}的不同時間延遲τ來構造m維的相空間矢量：

該方法中嵌入維m和延遲時間τ是兩個關鍵的技術參數，實際應用中的時間序列都是有噪的有限長的序列，參數不能任意取值，否則會對重構的相空間的品質產生重要影響。

2.1 相空間重構時延遲時間τ的確定

延遲時間τ的選取直接關系到重構后的相空間中吸引子的質量，如果太小，則矢量 x(i)中的任意兩分量在數值上會十分接近，導致辨識度不高；如果τ的取值過大，則兩坐標又完全獨立，吸引子的軌跡在兩方向上的投影毫無相關性可言，基于此，本文引入信息理論中的互信息的概念求取延遲時間。定義：

s代表語音信號時間序列x(t)，q代表延遲時間序列x(t+τ)，根據互信息的定義，有：

其中，I(Q，S)單位為比特/消息，Psq(si，qi)為si和qi聯合分布概率。顯然用互相關的概念將原始序列和延遲后的時間序列聯系之后，I(Q，S)則是與延遲時間τ有關的函數，它的大小可以表征在確定序列 x(t)的前提下，x(t+τ)的預測情況。顯然當其值為零時，表示延遲序列完全不可以預測，即二者毫無關系。而其值取最小值時，則表示x(t)和x(t+τ)最大可能上的不相關，因此重構時，使用I(Q，S)的第一個極小值作為最優的延遲時間。

2.2 關聯維和Kolmogorov熵測定方法

本文結合G-P算法[10]求取語音信號的Kolmogorov熵和關聯維，假定已經測出的如下一組實驗數據（時間序列）為：s1，s2，…，si，…，其中si是第i時刻測試的值。

步驟1把實驗測試到的數據進行分組，例如，取m= 10為一組，即：S1S2…S10為第一組，記為 y1，以此類推，繼續劃分下去可以得到 y1y2…

現在將分組后的任意兩者之間的差值的絕對值記為ri，j=|yi-yj|，yi和 yj分別表示第i和第 j組的數據。

步驟2假設取某定值r為參考標準，與在步驟1中求得的一系列r作比對，半徑大于r的ri，j的個數記為Nup(r)，ri，j的總數目記為N(r)，設參數C(r)=Nup(r)/N(r)，采用關聯積分函數的表達方式：

Np是由時間序列重構的相空間矢量個數，θ(x)為Heaviside函數。

當r足夠小，嵌入維m也趨于穩定時Kolmogorov熵的定義為：

3 語音情感數據庫

實驗所使用的樣本數據來源于北航情感語音數據庫（http：//www.ee.buaa.edu.cn/oldeeweb/html/zykj/teachers/mx/news/22.html），該數據庫是由15人錄制（7男8女），該數據庫主要包含了7種情感和20句錄音腳本，其數據庫的錄制步驟參閱了國家相關的發明專利，具有較好的情感自由度，沒有包含明顯的特定情感的傾向，根據情感空間理論，喜悅、憤怒、悲傷和平靜分別在評估二維坐標系中的四個象限中[11]，因此本文選取這四種有代表性的情感進行相關的識別實驗，并從每種情感中選取40句作為訓練樣本，30句作為測試樣本進行相關的識別實驗。

4 語音情感信號的相空間重構分析

4.1 語音信號的相空間重構分析

識別實驗是在Matlab仿真平臺上進行的。按照相空間重構的構建方法，先對語音信號進行相關的預處理，然后利用互信息的相關理論求取延遲時間τ。然后用已求的τ對語音信號時間序列進行關聯維和Kolmogorov熵的提取。

圖1是根據互信息的概念求取語音信號進行相空間重構時獲得較為合適的延遲時間，從圖中可看出當延遲時間大于10后基本趨于穩定，說明能夠把語音信號作為混沌信號進行分析并進行相關的相空間重構。圖2是根據GP算法計算的關聯積分雙對數曲線擬合圖，圖3是根據嵌入維數m不斷增加后關聯維的分布圖，從圖中看到當m增加到一定值，關聯維也趨于一個穩定值，這說明語音信號本身作為混沌信號進行處理時，是可以提取相對應的混沌特性參數的。因此僅僅用線性特征來衡量語音信號顯然是不全面的，最后得到的Kolmogorov熵分布圖如圖4所示。

圖1 互信息法求延遲時間τ

圖2 lnC(r)～lnC(r，m)關系圖

圖3 關聯維～m關系圖

圖4 Kolmogorov熵～m關系圖

4.2 語音信號情感狀態的相空間重構分析

從以上分析可知，語音信號是能夠進行重構并進行相關混沌特征參數提取的，現研究相空間重構后的語音信號在不同語音情感上的分布特質。分別對情感語音數據庫中20句話在不同情感狀態下的語音信號進行相空間重構，并提取相對應的關聯維和Kolmogorov熵。通過比較實驗發現：（1）同類情感狀態下的不同語句提取出的混沌特征參數基本類似。（2）20句話中的每一句話在不同情感狀態下得出的相關參數基本相同。基于此，可以先對同一句話在不同情感狀態下表現出的特征參數進行研究分析。

圖5為語音庫中的某一語句（錄音語句編號8，語句內容：AC米蘭贏球了）在不同情感狀態下的關聯維的結果分布圖。圖中對關聯維進行比較發現，憤怒的變化范圍較大，說明該狀態下的語音信號在單位體積范圍內含有的吸引子密集，混沌特性強烈。悲傷和平靜狀態下關聯維區域穩定的速率較快，說明這兩種信號的混沌特性最弱。四類情感的關聯維曲線彼此分離，且具有較明顯差異，說明這四類情感在含有吸引子的混沌細節上具有一定差異。

圖5 同一句話不同情感狀態下關聯維的分布圖

最后得到不同情感狀態下Kolmogorov熵（以下簡稱K熵）的分布曲線如圖6所示，從圖中可以看出，同樣的語句在采用不同情感表達時，K熵的值呈現明顯的不同，K熵是用來度量信號損失速率和產生信號頻率的一個特征參數。憤怒和悲傷狀態下的信號的熵值較大，說明在語句本身相同的情況下，這兩種信號產生的過程較為復雜，且波動強烈，信息損失率較大，信號產生的頻率不連貫。喜悅和平靜狀態下熵值偏小，說明信號產生相對連續，這與日常生活中的生活經驗相契合。

圖6 同一句話在不同情感狀態下的K熵分布圖

通過以上分析比較發現，混沌特征參數的差異與語音情感類別的轉換有著較強的聯系，也的確可以反映不同語音情感產生的非線性機理，因此可以作為語音情感識別新的重要特征參數。

5 語音情感識別結果分析

5.1 實驗步驟與方法

為了研究新的混沌特征參數對語音情感識別的效果影響，同時提取了傳統的語音情感特征（韻律特征、音質特征等），如表1所示。

表1 語音情感傳統特征和相空間重構特征

情感識別的分類器采用基于統計學習理論的支持向量機技術[12]（SVM），使用“一對一”的多類模式識別算法，選用的徑向基函數為：

5.2 實驗結論及分析

為了檢測新的特征參數對語音情感識別的效果，進行相關的對比實驗，實驗根據特征選取的組成不同設計了以下三種方案：

方案1單獨使用相空間重構特征關聯維和K熵進行識別。

方案2單獨使用傳統的語音特征參數（基頻、短時能量、過零率等）進行識別。

方案3結合傳統聲學特征和相空間重構特征參數進行識別。

三種不同方案得到識別率的結果如表2和表3所示。

表2 采用關聯維和Kolmogorov熵時各種情感狀態的識別率 （%）

表3 采用不同結合方案的特征參數時各種情感狀態的識別率 （%）

從表2、表3中可以看到，相空間重構后的混沌特征參數對識別憤怒、喜悅的識別效果都較為滿意，尤其是憤怒狀態，識別率達到了88.6%，比僅僅使用聲學特征進行判斷高了15.3個百分點，但悲傷和平靜兩種情感的識別率偏低，這是因為這兩種情感表征出的混沌特征較為相似，因此在識別的過程中，部分悲傷樣本被誤判為平靜。但同時也可以看出，混沌特征參數對區分感情激烈的狀態（憤怒和喜悅）有較好的區分度。

由表3可看出，單獨使用傳統聲學特征參數平均識別率只有72.5%，使用混沌特征參數后，識別率有了小幅提高，說明了語音信號在一定程度上存在著混沌機制，但暴露出了僅僅依靠混沌特征不能較好區分某些情感狀態的弊端。例如對平靜和悲傷兩種情感進行了一些錯誤的識別，方案3則將傳統聲學特征和兩個混沌特征參數進行較好融合的工作，平均識別率達到了84.8%，與上兩者方案相比，識別率分別提高了12.3%和9.3%。也說明了相對于用單一混沌特征參數進行識別，將二者結合能更好地刻畫語音信號的非線性產生機理，且能夠將容易混淆的情感進行較好的區分。最后將語音混沌特征參數與傳統語音聲學特征進行相互融合和補充，更能有效完整地刻畫語音信號含有的情感信息的本質特征。

6 結論

本文設計了一種基于相空間重構理論的語音情感識別方法，提出用關聯維和Kolmogorov熵來表征語音情感特征的新思路，通過對語音信號相空間重構來更為有效而全面地衡量情感狀態，通過SVM對提取的特征進行訓練和識別表明，重構后的語音信號提取的特征參數，有效地提高了情感識別率。實驗證明，新的特征參數針對憤怒和喜悅兩種不易區分的情感狀態有明顯的識別效果，較好地解決了其他參數將其混淆的狀況。今后將考慮在關聯維和Kolmogorov熵基礎上，更為詳細地研究重構后的語音信號，以期許找尋針對不同情感更為有區分度的特征參數。

[1]林奕琳，韋崗，楊康才.語音情感識別的研究進展[J].電路與系統學報，2007，12（1）：90-96.

[2]蔣丹寧，蔡蓮紅.基于語音聲學特征的情感信息識別[J].清華大學學報，2006，46（1）：86-89.

[3]Gao H，Chen S，Su G.Emotion classification of Mandarin speech based on TEO nonlinear features[C]//Proceedings of the 8th ACIS International Conference on Software Engineering，Artificial Intelligence，Networking，and Parallel/Distributed Computing，2007.

[4]Thompson C，Mulpur A，Mehta V.Transition to chaos in acoustically driven flow（acoustic stream）[J].The Journal of the Acoustical Society of America，1991，90.

[5]Sun Dan，Meng Jun，Guan Yufan，et al.Inverter faults diagnosis in PMSM DTC drive using reconstructive phase space and fuzzy clustering[J].Proceedings of the CSEE，2007，27（16）：49-53.

[6]Chiang T C.Times series dynamics of short-time interest：evidence from eurocurrency markets[J].Journal of Intl Financial Markets，Institution and Money，1997（7）：201-220.

[7]李銀山，李欣業，劉波.分岔混沌非線性振動及其在工程中的應用[J].河北工業大學學報，2004，33（2）：96-100.

[8]許春卿.基于相空間重構的語音增強研究[D].天津：天津大學，2007.

[9]Takens F.Dynamical systems and turbulence[C]//Rand D A，Young L S.Lecture Notes in Mathematics.Berlin：Springer，1981，898：366-381.

[10]Grassberger P.Characterization of strange attractor[J].Physical Review Letters，1983，50（5）：346-349.

[11]Russell J A.A circumflex model of affect[J].Personality and Social Psychology，1980，39：1167-1178.

[12]LIBSVM：a library for support vector machines[EB/OL]. [2012-09-20].http：//www.csie.ntu.edu.tw/～cjlin/libsvm/index.html.

YE Jixiang,CHEN Xin

College of Computer and Communication Engineering,Changsha University of Science and Technology,Changsha 410114,China

In order to express the sound emotion state totally,make up the inadequate of emotional conventional linear argument at depicting different types of character sentiments,this paper takes the phase space reconstruction theory into the sound emotional identification,by analyzing chaotic features on the different sound emotional states,proposes correlation dimension and Kolmogorov entropy as emotional characteristic parameters,combines with traditional voice acoustic features and uses Support Vector Machine（SVM）for speech emotion recognition.The results show that recognition accuracy is improved through using chaotic characteristic parameters,providing a new research approach for speech emotion recognition.

phase space reconstruction;Kolmogorov entropy;correlation dimension;emotion recognition

為了更為全面地表征語音情感狀態，彌補線性情感特征參數在刻畫不同情感類型上的不足，將相空間重構理論引入語音情感識別中來，通過分析不同情感狀態下的混沌特征，提取Kolmogorov熵和關聯維作為新的情感特征參數，并結合傳統語音特征使用支持向量機（SVM）進行語音情感識別。實驗結果表明，通過引入混沌參數，與傳統物理特征進行識別的方案相比，準確率有了一定的提高，為語音情感的識別提供了一個新的研究途徑。

相空間重構；Kolmogorov熵；關聯維；情感識別

A

TP391

10.3778/j.issn.1002-8331.1302-0053

YE Jixiang,CHEN Xin.Speech emotion recognition based on phase space reconstruction.Computer Engineering and Applications,2014,50（24）：218-221.

湖南省自然科學基金重點項目（No.10jj2050）。

葉吉祥（1963—），男，博士，教授，主要研究方向：人工智能、語音情感計算；陳鑫（1988—），男，碩士研究生，主要研究方向：語音情感識別。E-mail：huyebowen@163.com

2013-02-06

2013-04-09

1002-8331（2014）24-0218-04

CNKI網絡優先出版：2013-05-21，http∶//www.cnki.net/kcms/detail/11.2127.TP.20130521.1030.011.html