多種生理信號的采集及其在情緒分析中應用

聶春燕，賀　方，佐藤禮華

(1．長春大學 電子信息工程學院，長春 1300222；2．長春理工大學 電子信息工程學院，長春 130022；3．大阪電氣通信大學 綜合信息學部，四條畷市清瀧 大阪府 575-0063)

?

多種生理信號的采集及其在情緒分析中應用

聶春燕1，賀方2，佐藤禮華3

(1．長春大學 電子信息工程學院，長春 1300222；2．長春理工大學 電子信息工程學院，長春 130022；3．大阪電氣通信大學 綜合信息學部，四條畷市清瀧 大阪府 575-0063)

摘要：利用實驗室現有設備采集測試者在4種情緒(Joy、Anger、Sadness、Pleasure)下的3種生理信號(心電、皮電及呼吸)。在此基礎上，基于相關算法對采集的生理信號提取混沌特征值。以混沌特征作為模式識別的特征參數，采用C5.0決策樹進行情緒識別。研究結果表明在情緒識別方面，基于3種生理信號比1種生理信號具有更高的識別率。

關鍵詞：生理信號；混沌特征；情緒分析；決策樹

在心理康復訓練時，為了能夠準確掌握被試者的生理和心理狀況，需要對被試者的各種生理信號進行實時觀測和分析，從而擬定相應的治療計劃，安排合適的訓練手段，有助于患者恢復健康。因此，研究不同情感下人的生理信號的變化，對預測和治療抑郁癥以及動態評價人體健康狀態具有一定意義。生理信號是一種生物特征信號，主觀無法控制其變化。當人情緒出現波動時，生理信號也相應改變，所以生理信號能夠表達當前真實的情緒。采用非線性混沌理論進行情緒識別是近年來研究的熱點，基于混沌特征的模式識別為情緒分析的研究提供一種新方法。

1情緒類型及素材的選擇

文中選擇常用的4種情緒狀態，分別是高興(Joy)、憤怒(Anger)、悲傷(Sadness)、愉快(Pleasure)，基本定義[1]如表1：

表1　4種情緒的定義

在采集數據之前，應盡量讓被試者保持平靜狀態。首先被試者觀看4種不同類型視頻，情感誘發視頻素材如表2所示。利用多導生理記錄儀對被試者進行測試，采集實時生理信號數據。視頻觀看階段，在情緒反應較強烈時，在Acqknowledge軟件操作界面按F1鍵實時標記，以此作為評估情緒的一個依據。生理信號數據采集的流程如圖1所示。

最后階段，將誘發情緒的每種電影分別剪輯為10段，這樣每種情緒對應10個樣本。

表2　情感誘發視頻素材

圖1　生理信號數據采集基本流程

2實驗儀器及數據采集

生理信號數據采集需要一套MP150多導生理記錄儀，兩臺電腦，其中一臺連接多導生理記錄儀，顯示采集的實時生理信號數據，另一臺用于被試者觀看情緒誘發素材視頻。

2.1MP150多導生理記錄儀

美國Biopac公司生產的MP150多導生理記錄儀是電腦化多導生理記錄儀，可同時測量心電、呼吸、皮膚電導、眼電、腸胃電等多種生理參數。MP150硬件性能參數有16個模擬數據采集通道，可以實現同時采集16種生理信號，實時采樣頻率最高為400KHz，并且可以聯網工作。

2.2MP150硬件連接與設置

實驗室現有MP150多導生理記錄儀的ECG、SC、RSP模塊，以下將采集3種生理信號，即心電、呼吸及皮電信號，各模塊連接示意如圖2所示。

圖2　MP150多導生理記錄儀

圖2最左邊是MP150主機模塊，作用是給采集模塊供電，以及實現采集模塊與電腦的連接，保證電腦能夠實時監測數據的采集。將主機插上電源，用交叉網線將主機和PC機連接起來。通電狀態下POWER燈顯示為綠色。RSPEC-R模塊完成RSP信號和ECG信號的采集，MP150有16個模擬數據輸入通道，在設置RSP和ECG采集通道時，只需注意選擇的通道彼此不占用對方通道即互不沖突即可，并且保證各個信號的采集通道處于打開狀態。PPGED-R模塊實現SC信號的采集，SC通道只需注意不能與RSP和ECG通道相同，可以在剩下的14個通道里任意選擇。

下一步，被試者佩戴采集相應生理信號的裝置，被試者心電和呼吸信號的采集裝置佩戴示意圖如圖3所示。ECG信號采用3導聯方式采集，將3張貼片電極分別置于胸腔左下第五肋與第四肋間，紅色正極導線連接；鎖骨下方劍突處，白色負極導線連接；遠離心臟的右腹部，黑色地線連接。被試者在不同情緒下，心臟跳動情況不同，在胸腔部位產生電位差，從而得到ECG信號。RSP信號的采集是在呼吸綁帶連接好后，將其綁于胸腔近膈肌高度處，微緊，確保被試者不會有約束感。被試者在不同情緒下胸腔收縮和擴張程度不同，呼吸綁帶的拉伸度也隨之變化，通過內置傳感器轉化為電信號傳輸到采集系統里，從而獲得RSP信號。

圖3　ECG和RSP信號采集裝置佩戴示意圖

被試者皮電采集裝置佩戴示意圖如圖4所示，SC信號的采集通過PPGED-R模塊實現，采用3導聯的方式采集，一般選擇中指、無名指以及小拇指的指尖作為采集信號點。中指接紅色正極，無名指接白色負極，而小拇指接黑色地線。被試者在不同情緒下，手指皮膚導電性不同，產生的電位差也不同，電位差的變化就是皮電信號。

圖4　SC信號采集裝置佩戴示意圖

2.3Acqknowledge軟件設置

硬件部分設置成功后，再設置相配套軟件的參數。Acqknowledge軟件是MP150采集與分析系統的上位機軟件。這款軟件是基于硬件MP150多導生理采集系統開發的，最多能顯示60個通道，可對采集的數據進行數字濾波、傅利葉變換等，而且能夠計算數據的最大值，最小值，心率，斜率等參數，能夠自由設定存儲時刻，重復次數，可用EXCEL進行統計計算，數據資料可作為WINDOWS文件長期保存。

打開Acqknowledge軟件后，對3種生理信號的采樣頻率均設置為500Hz，對硬件模塊上的通道選擇在軟件上做同樣的設置， RSPEC-R模塊通道設置如圖5所示。

圖5　RSPEC-R模塊通道設置

RSPEC-R模塊和PPGED-R模塊通道設置完成后，軟件操作界面如圖6所示。

圖6　Acqknowledge軟件操作界面示意圖

3混沌特征的選取

文中基于生理信號的混沌特征進行情緒模式識別。混沌特征很多，但本文選取最大Lyapunov指數、關聯維、盒子維、信息熵、近似熵及復雜度，提取這6種特征的方法分別是wolf法計算最大Lyapunov指數，G-P算法計算關聯維，DBC算法計算盒子維，用定義計算信息熵和近似熵及L-Z復雜度。

3.1最大Lyapunov指數

Lyapunov指數表示初始條件對混沌運動影響大小的參量，是定量描述混沌系統的重要參數。Wolf指出用相軌線、相平面、相體積等方法直接演化去估算Lyapunov指數，這種方法叫做Wolf法[2]。

3.2關聯維

關聯維是系統中相點之間的相關度，是混沌非線性系統一個十分關鍵的特征參量。P.Grassberger基于延遲嵌入空間的思路，構造了G-P算法來求取關聯維[3]。該算法實現簡單、原理易懂。

3.3盒子維

盒子維描述時間序列的復雜性和不規則性，能夠方便的用計算機完成，使用范圍較寬泛。1994年，N. Sarkar和B. Chaudhuri提出了計算盒子維的DBC(Differential Box Couting)算法[4]。該算法快速、方便、精確。

3.4信息熵

信息熵描述系統整體的不確定性，對分析混沌序列有著實際的意義。信息熵代表信源的不確定度，即無序性，系統愈混亂，信息熵的值愈大；反之，系統是有序的，其值愈小[5]。

3.5近似熵

近似熵是非負數，系統的復雜性愈高，近似熵的值愈大；反之復雜性愈低，其值愈小。

3.6復雜度

1976年，Lempel和J.Ziv根據Kolmogorov的定義提出了具體計算復雜度的算法，叫做L-Z復雜度(L-Z Complexity)[6]。復雜度能定量描述簡單、復雜等信號，提供時間序列的定量分析方法，在生理信號分析中引發了極大的關注。

文中對3種生理信號求取每個樣本的混沌特征參數。由于每個生理信號對應6種混沌特征，所以總共獲取18個參數，分別是ECG信號的最大Lyapunov指數、關聯維、盒子維、信息熵、近似熵和復雜度，SC信號的最大Lyapunov指數、關聯維、盒子維、信息熵、近似熵和復雜度，RSP信號的最大Lyapunov指數、關聯維、盒子維、信息熵、近似熵和復雜度，最后組成樣本的混沌特征矩陣。

4數據的分析

利用相應算法對實際采集到的3種生理信號數據分別提取6種混沌特征，得到了18個混沌特征參量，將提取的混沌參數構造Excel表格。Excel表格如表3所示，總共有41行、19列，前18列是這3種生理信號的18個混沌特征參量屬性，第19列是類別Emotion，每種情緒對應10個樣本數據，總共行數為41。

表3　Excel混沌參數表格構造

文中采用的C5.0決策樹算法[7]基于軟件Clementine[8]來實現情緒識別，利用Clementine軟件平臺，建立數據流模型，輸出矩陣如圖7所示。

圖7　矩陣輸出

圖7表明對anger情緒正確識別的樣本數有8個，其中有1個錯判為joy，1個錯判為sadness；對joy情緒正確識別的樣本數有9個，有1個錯判為sadness；對pleasure情緒正確識別的樣本數是6，有2個錯判為joy，2個錯判為sadness；對sadness情緒正確識別的樣本數有8個，有2個錯判為joy。

結合圖7，再根據：

表4　不同情緒的識別率

3種生理信號對不同情緒(joy、anger、sadness、pleasure)識別的C5.0部分決策樹如圖8所示。

圖8　C5.0決策樹

5結語

文中采集實際的生理信號數據，將基于混沌特征參數的模式識別方法應用于情緒識別分析中。研究結果表明，融合3種生理信號的混沌特征去識別不同情緒的正確率比基于單一一種生理信號的情緒識別率要高，同時，對不同情緒有一定差異，分別為：Joy-90%，Anger-80%，Sadness-80%，Pleasure-60%。若提高識別率還需要增加采集樣本數量，如采用加入EMG信號樣本以及增加情緒誘發視頻素材等方法。

參考文獻：

[1]劉月華.典型生理信號綜合測量及情緒識別研究[D]. 上海：上海交通大學,2011.

[2]Alan Wolf, Jack B. Swift, Harry L.Swinney.Time-Delay Systems: Lyapunov Functionals[M].Boston:Birkhauser, 2012:215-224.

[3]Grassberger P, Procaccia I. Characterization of strange attractors[J].Phys Rev Lett,1983,50(5):346-349.

[4]Chaudhuri B, Sarkar N. Texture image classification using multi fractal dimension[J]. Journal of Marine Science and Application,2003(2):76-81.

[5]杜春梅,崔建國,田豐. 二維相空間中肌電信息熵的計算[J]. 控制工程,2006,13(增刊):107-109.

[6]Diaz,Josep. Algorithms and Complexity[C].7th International Conference, Italy 2010, 26-28.

[7]白秀蓮,巴雅爾,哈斯其其格. 基于C5.0的遙感影像決策樹分類實驗研究[J].遙感技術與應用,2014,29(2):338-343.

[8]岳小婷. 數據挖掘工具CLEMENTINE應用[J]. 牡丹江大學學報,2007,16(4):103-105.

責任編輯：程艷艷

Collection of Many Kinds of Physiological Signals and Its Application in Emotion Analysis

NIE Chunyan1，HE Fang2， SATO Reika3

(1．College of Electronic Information Engineering，Changchun University，Changchun 130022，China；2. School of Electronics and Information Engineering，Changchun University of Science and Technology，Changchun 130022，China；3. Faculty of Information Science and Arts, Osaka Electro-Communication University, Shijonawateshi 575-0063， Japan)

Abstract：Three kinds of physiological signals (ECG, SC and RSP) of one subject are collected under four kinds of emotions such as joy, anger, sadness and pleasure by using an existing equipment in the laboratory. On this basis, chaotic characteristic values are extracted from the collected physiological signals based on the relevant algorithms. C5.0 decision tree is used to make emotion recognition by taking chaotic characteristics as the characteristic parameters of pattern recognition. The research results show the recognition rate with three kinds of physiological signals is higher more than that with one kind of physiological signal in emotional recognition.

Keywords：physiological signal； chaos characteristics； emotion analysis； decision tree

收稿日期：2016-03-28

基金項目：教育部“春暉計劃”科研項目(Z2014136)；吉林省教育廳規劃課題(2014LY502L20)

作者簡介：聶春燕(1966-)，女，吉林四平人，教授，博士，主要從事信號檢測與處理、混沌理論及其應用、虛擬儀器等方面研究。

中圖分類號：TP391.4

文獻標志碼：A

文章編號：1009-3907(2016)06-0044-06