基于PSO-kNN算法與多生理參數的壓力狀態下情緒識別

孫洪央，徐祖洋，王靜，雷沛，吳開杰，

柴新禹上海交通大學生物醫學工程學院，上海市，200240

0 引言

此文中壓力為心理壓力的簡稱，指人們發現真實或想象的事情超出自己意料之外時的生理和精神上的綜合反映[1]。長期的壓力會導致人體對疾病的敏感性增加，從而誘發多種疾病[2]。情緒與壓力狀態之間存在著極為顯著的相關關系。壓力狀態下會誘發多種情緒，包括興奮、恐懼和厭煩等[3]。而情緒作為一種心理感受，通常通過語言、語調、面部表情、行為姿態、呼吸等身體表現來表達[4]。生理信號是由人的自主神經系統和內分泌系統控制的[5]，更能客觀真實的反映出人們當時的情緒狀態和心理感受。

通過生理信號變化反映特定情緒的“情感計算”理論，最早由美國麻省理工學院的Picard教授[6]提出，從生理信號中提取特征來進行情感識別的可行性[7]。國內外其他研究小組在此領域也做了大量工作，取得了一些成果：美國中佛羅里達大學的Nasoz等[8]分別采用k近鄰（k Nearest Neighbour,kNN）、判別函數分析（Discriminant Function Analysis,DFA）及Marquardt反向傳播（Marquardt Backpropagation,MBP）算法；韓國延世大學的Kim等[9]采用支持向量機（Support Vector Machine,SVM）算法；德國奧格斯堡大學計算科學研究所著重比較了不同的特征選擇方法和分類器相結合的識別效果[10]。我國情感計算研究起步較晚，其中西南交通大學的劉光遠團隊采用多種特征提取、選擇方法與分類器相結合的方法對奧格斯堡大學的情感數據樣本開展了情緒識別效果的比較研究[11-12]。

通過生理信號識別反映一定壓力狀態下的情緒變化以及內在心理壓力程度，為客觀評價心理狀態并輔助被測人群及時調整應激狀態提供了一種有效手段。Zhai等[13]采用SVM算法，Setz等[14]通過DFA和SVM算法分別進行分類。目前，國內外針對壓力狀態下的情感計算研究相對較少，特別是針對不同壓力程度下的情感計算研究。本文將粒子群（Particle Swarm Optimization,PSO）算法與kNN算法相結合，基于多種生理信號參數對壓力狀態下的情緒體驗進行了識別研究。通過智能算法與去除情感基線結合的方法，最高識別率達到80%以上，提高了傳統多生理信號的情緒狀態識別方法的正確率，為探索壓力狀態下情緒與多種生理信號的關系提供了一定依據。

1 壓力狀態下情緒識別研究方法

本研究首先設計了壓力狀態下的不同情緒及緊張情緒程度誘發實驗，并實時采集多個被試特定情緒狀態下的心率、呼吸率、皮膚阻抗、血氧飽和度、脈率、血壓等六種生理信號參數。通過對這些生理數據進行預處理及特征提取，結合實驗主觀體驗問卷結果，采用PSO-kNN算法對實驗樣本數據進行特征選擇和分類，最終建立壓力狀態下的情緒識別模型。

1.1 粒子群算法（Particle Swarm Optimization,PSO）

情緒識別研究的核心為特征選擇與分類算法的選擇。情緒相關生理信號的特征選擇本質上是一種組合優化問題。PSO算法源于鳥群覓食的行為研究，是一種新的全局優化進化算法。其基本原理是每個優化問題的潛在解都是搜索空間中的一個粒子，所有粒子都有一個由被優化的函數決定的適應值，同時，還有一個速度決定他們發展的方向和距離，然后粒子們就追隨當前的最優粒子在解空間中搜索。該算法概念簡明、實現方便、收斂速度快、參數設置少，受特征維數變化影響小，是一種高效的搜索優化算法。因此，本文采用粒子群算法對生理特征進行特征優化選擇。

PSO算法描述如下：

假設特征總數為D個，種群個體有m個，則第i個粒子的速度為Vi=(vi1，vi2，vi3，…，viD)T其位置為Xi=(xi1，xi2，xi3，…，xiD)T，而位置的值就是問題的一個解。將第i個粒子的位置值代入適應度函數就可以得到第i個粒子的適應值。通過比較適應值，可以得到當前第i個粒子所經歷的最優位置為Pbesti=(pbesti1，pbesti2，pbesti3，…，pbestiD)T，通過比較所有粒子可以得到整個種群的最優位置為Gbest=(gbest1，gbest2，gbest3，…，gbestD)T。這樣就可以通過以下兩個公式得到下一代的粒子，如此反復，最終得到一個滿意的解。

其中w是慣性權重因子，一般取0.4～0.9；C1和C2為學習因子，一般取C1=C2=2；rand1()和rand2() 是0到1之間的隨機向量。過大的慣性權重可以加大粒子的飛行速度，有利于跳出局部極值，較小的慣性權重可以減小粒子的飛行速度，使得粒子在局部進行搜索，更快達到算法收斂。根據式（3）讓慣性權重隨著迭代次數線性遞減的算法進行權重調整，可以使粒子在開始階段進行全局搜索，隨著迭代次數的增加在局部進行搜索，更快達到算法收斂。

wmax為慣性權重最大值，wmin為慣性權重最小值，Tmax為最大迭代次數，T為當前迭代次數。本文參數初始值的設置采用慣性權重法[15]，將w初始化為常數0.729，C1=C2=1.494。為防止粒子飛出搜索空間，一般取太大會飛離最好解，太小會陷入局部最優。

1.2 k近鄰算法（k Nearest Neighbour,kNN）

kNN是一種成熟而簡單的分類算法，能充分利用整個情緒樣本的生理特征。kNN算法的描述如下，如果一個樣本在特征空間中的數個最相似（即特征空間中最鄰近）的樣本中的大多數屬于某一個類別，則該樣本也屬于這個類別。kNN算法中，所選擇的鄰居都是已經正確分類的訓練集對象。該方法在定類決策上只依據最鄰近的一個或者幾個樣本的類別來決定待分樣本所屬的類別，本文設置近鄰參數為1。

1.3 PSO-kNN算法

將PSO優化算法與kNN算法相結合，不僅可以優化選擇特征，提高kNN的分類正確率，同時還能盡可能降低所選的特征數。在PSO-kNN算法中，當一個粒子能夠使分類器產生的分類精度越高，同時選出的特征數目越少，它的適應值就應該越高。評價各粒子的適應度函數為f(x)，f(x)越大，適應能力越強，適應度函數可定義為：

其中，RMSE為均方根誤差，Features為樣本特征子集數，Factor為平衡因子。

本文將PSO-kNN算法用于壓力狀態下生理信號特征選擇和情緒分類，具體步驟如下：

Step1 設計粒子，用一個二進制位串來表示，每一個二進制位對應生理信號特征集中的一個特征，該位為1表示對應的特征入選特征子集，該位為0則表示對應的特征不在選出的特征子集中；

Step2 初始化粒子群，即隨機設定每個粒子的初始位置Xi和初始速度Vi；

Step3 用kNN算法進行學習和訓練，測試并記錄分類精度及選擇特征數量。根據式(4)計算粒子適應度；

Step4 對每個粒子，將適應度函數值f(xi)與自身的最優值f(pbesti)進行比較，如果f(xi)＜f(pbesti)，則用適應值取代前一輪的優化值，用新的粒子取代前一輪的粒子；

Step5 將每個粒子的最好適應值f(xi)與所有粒子的最優適應值f(pbesti)進行比較。如果f(xi)＜f(pbesti)，則用該粒子的最好適應值取代原有全局最好適應值，同時保存粒子的當前狀態；

Step6 根據PSO的模型式(1)、(2)，更新粒子的速度和位置，產生新種群Xi+1，速度調整規則如下：當vi＞Vmax時，vi=Vmax；當vi≤-Vmax時，vi=-Vmax；

Step7 更新慣性因子w；

Step8 更新粒子的二進制位；

Step9 檢查結束條件。若滿足，則結束尋優，返回當前最優的特征子集及分類精度；否則增加迭代次數，使迭代次數T=T+1，轉至Step3。設定的結束條件為尋優達到最大迭代次數Tmax或評價值小于給定精度。

2 情緒誘發實驗

2.1 實驗材料

不同情緒誘發實驗中，采用佛羅里達大學NIMH情緒與注意研究中心的國際情感誘發圖片庫（International Affective Picture System,IAPS[16]）作為壓力狀態下不同情緒誘發實驗的主要素材，該圖片庫中的圖片經由大量被試進行效價值和喚醒度評估，具有較高的信度。圖片庫中效價值和喚醒度的分值范圍為1～9，1表示效價值和喚醒度很低，9表示效價值和喚醒度很高，本文選擇IAPS中不同分值效價值和喚醒度的圖片來誘發不同的情緒，如表1所示。壓力狀態下不同緊張情緒程度的誘發實驗采用不同位數加減心算任務進行誘發。

表1 IAPS四種情緒誘發圖片素材效價值與喚醒度Tab.1 The valence and arousal of four kinds of emotion-induced pictures in IAPS

2.2 實驗被試

實驗被試共14人（男8人，女6人），來自上海交通大學，年齡22周歲～27周歲。身心健康、視覺聽覺正常，過往無精神及神經性疾病史，且自愿參與實驗。實驗前4小時內未參與劇烈運動，實驗前一周內未使用任何藥品。實驗開始之前，使每位被試充分了解實驗目的和過程，并進行抗壓能力問卷測試，均具有一定的抗壓能力。整個實驗嚴格遵守赫爾辛基宣言（Declaration of Helsinki）。

2.3 實驗設備

情緒誘發素材呈現采用高性能計算機系統(Intel(R) CoreTMi5-2310 CPU @2.90 GHz，4 GB DDR3 RAM，聯想，中國；17英寸專業顯示屏，300 cd/m2，分辨率為1280×768，垂直刷新率為75 Hz)。圖片及心算題目呈現屏幕與被試距離約50 cm。生理信號的檢測與記錄基于實驗室自主研發的便攜式多生理參數采集設備，可采集心電、心率、呼吸率、皮膚阻抗、血氧飽和度、脈率、血壓等多種生理信號參數。其中，儀器心率監測范圍在30 bpm～240 bpm，誤差≤2%，呼吸率誤差≤5%，皮膚阻抗誤差≤3%，血氧誤差≤2%，脈率誤差≤3%，血壓誤差在±1.3 kPa(10 mmHg)以內。

2.4 實驗過程

實驗一：不同視覺刺激下的情緒誘發采用十張同一類型情緒誘發圖片，每張圖片呈現12 s，整個過程持續2 min。被試在每次幻燈片播放結束后進行2 min的情緒平復，并對該組圖片誘發的情緒進行評估。正式實驗開始前，每位被試進行一組預實驗，使被試熟悉整個實驗流程及實驗環境。預實驗圖片亦來自IAPS。

實驗二：不同難度任務下的緊張情緒程度誘發壓力狀態下緊張情緒程度誘發采用具有不同難度級別的兩位數、三位數、四位數的加減法心算任務[17]。每道題目呈現時間為5 s，共125 s。被試被告知在規定時間內盡量正確完成所有題目，如果獲得95%及以上正確率將獲得額外獎勵。每組題目間被試有2 min的休息時間用于情緒平復。在三組心算任務完成后，要求被試對三組任務誘發的緊張程度進行主觀評價。正式實驗開始前，同樣進行一組預實驗以使被試熟悉整個實驗流程。

2.5 實驗數據處理

通過不同情緒與不同難度任務下的緊張情緒程度誘發實驗，獲得14位被試共98個生理信號樣本數據。依據被試的主觀問卷，最后共甄選出有效生理信號樣本數據89個。其中，平靜情緒樣本數據14個，恐懼情緒樣本數據10個，興奮情緒樣本數據12個，厭煩情緒樣本數據11個，低緊張程度下樣本數據14個，適中緊張程度下樣本數據14個，高緊張程度下樣本數據14個。為了消除被試個體間生理數據差異，本文將所獲得的恐懼、興奮、厭煩、低緊張程度、適中緊張程度、高緊張程度下的樣本數據減去每位被試平靜情緒狀態下基線生理數據，得到去除基線生理樣本數據，即33個三類情緒樣本數據，42個三種緊張程度樣本數據。完成數據的預處理后，根據表2對各類生理信號數據樣本進行特征提取，最終得到33個特征。

表2 六種生理信號提取的特征Tab.2 Feature selection of six physiological signals

3 實驗結果與分析

基于多生理信號的壓力狀態下情緒識別算法采用Matlab實現。針對壓力狀態下的三種情緒進行分類識別，將33個三類情緒樣本中的21個樣本子集作為訓練集，其余12個樣本子集作為測試集。對去除基線生理數據的樣本和未去除基線生理數據的樣本分別進行訓練、測試，得到識別結果如表3所示。ALL指包含BP、HR、RR、PR、SpO2、SC的生理信號集合。

表3 生理信號及其特征組合對壓力狀態下三類情緒狀態的識別結果Tab.3 The classification of three stress emotions by physiological signals and their features’ combination

對壓力狀態下的緊張程度進行識別，將42個緊張程度樣本數據集中的30個樣本子集作為訓練集，將剩余12個樣本子集作為測試集。對去除基線生理數據的樣本和未去除基線生理數據的樣本分別進行訓練、測試，得到識別結果如表4所示。

表4 生理信號及特征組合對壓力狀態下三種緊張程度的識別結果Tab.4 The classification of three tension degrees by physiological signals and their features’ combination

本研究采用了信效度較高的IAPS圖片系統來設計情緒誘發實驗，通過實驗中被試主觀問卷評價，所誘發的特定情緒具有更高的可靠性。如表3與表4所示，通過PSO-kNN算法對情緒相關生理數據進行識別，三類不同情緒的平均識別率為75%，三種不同緊張程度的平均識別率為83.33%。其中，去除基線生理信號樣本的識別率均高于相應未去除基線的結果。說明通過去除基線生理信號消除個體間生理信號的差異，能夠有效提高壓力狀態下的情緒識別效果。同時，由結果可以看出，優化選擇后的多種生理信號特征組合比單一生理信號特征更能提高識別算法的識別效果。在多次樣本訓練中，舒張壓、心率最大值最小值差和脈率最小值這三種特征均被多次選入三類情緒識別的最優子集特征，表明這三種生理信號特征對壓力狀態下的多類情緒識別具有重要意義；在三種緊張程度識別訓練結果中，心率方差、心率最大值和呼吸率方差特征多次被選中，說明這三種生理信號特征有助于壓力狀態下緊張情緒程度的識別。與Nasoz等人直接采用kNN算法識別結果相比，本文結合去除基線情感及PSO算法對多種生理信號的多種特征進行優化選擇后，再用kNN分類能得到更好的識別效果。

4 總結與展望

本文采用IAPS圖片視覺刺激與心算任務實驗實現三類情緒和三種壓力程度的誘發，建立起情緒相關生理信號樣本庫。通過PSO特征優化找到了有效識別壓力情緒的六種特征向量，并利用kNN算法實現了壓力狀態下的情感計算與壓力程度識別。實驗結果表明，采用PSO-kNN算法針對三種情緒的識別有效率達到75%，壓力程度的識別率達到83.33%。通過基線去除及PSO特征優化，與傳統的未進行特征優化選擇的kNN相比，具有更好的識別效果。為情感計算研究中生理信號處理及模式識別算法研究提供一定的參考。

未來的工作將在實驗室環境下進一步擴展壓力狀態下的情緒相關多生理數據樣本，研究更為有效的特征提取算法及最優特征組合，從而更加完善壓力狀態下基于多生理信號的情緒識模型。并將情緒識別模型推廣到實際應用中，如運動員賽前緊張情緒程度識別等。

[1] Parker H.Stress Management[M].Delhi,IND:Global Media,2007.

[2]Kiecolt-Glaser JK,McGuire L,Robles TF,et al.Psychoneuroimmunology:psychological influences on immune function and health[J].J Consult Clin Psychol,2002,70(3):537.

[3]Lazarus RS.Stress and emotion:A new synthesis[M]New York:Springer Publishing Company,2006.

[4]Cowie R,Douglas-Cowie E,Tsapatsoulis N,et al.Emotion recognition in human-computer interaction[J].IEEE Signal Proc Mag,2001,18(1):32-80.

[5]Kreibig SD.Autonomic nervous system activity in emotion:A review[J].Biol Psychol,2010,84(3):394-421.

[6] Picard RW.Affective computing[M].Cambridge:The MIT Press,1997.

[7]Picard RW,Vyzas E,Healey J.Toward machine emotional intelligence:Analysis of affective physiological state[J].IEEE T Pattern Anal Mach Intell,2001,23(10):1175-1191.

[8]Nasoz F,Alvarez K,Lisetti CL,et al.Emotion recognition from physiological signals using wireless sensors for presence technologies[J].Cogn Technol Work,2004,6(1):4-14.

[9]Kim KH,Bang S,Kim S.Emotion recognition system using shortterm monitoring of physiological signals[J].Med Biol Eng Comput,2004,42(3):419-427.

[10]Wagner J,Kim J,André E.From physiological signals to emotions:Implementing and comparing selected methods for feature extraction and classification[C].ICME 2005.

[11]牛曉偉,劉光遠.基于遺傳算法的生理信號情感識別[J].西南大學學報 (自然科學版),2007,(9):026-030.

[12]林時來,劉光遠,張慧玲.蟻群算法在呼吸信號情感識別中的應用研究[J].計算機工程與應用,2011,47(2):169-172.

[13]Zhai J,Barreto A.Stress detection in computer users based on digital signal processing of noninvasive physiological variables[C].EMBS'28,2006.

[14]Setz C,Arnrich B,Schumm J,La Marca R,Troster G,Ehlert U.Discriminating stress from cognitive load using a wearable EDA device[J].IEEE T Inf Technol Biomed,2010,14(2):410-417.

[15]Eberhart RC,Shi Y.Comparing inertia weights and constriction factors in particle swarm optimization[C].Proc Cong Evol Comput,2000.

[16]Lang PJ,Bradley MM,Cuthbert.International affective picture system (IAPS):Affective ratings of pictures and instruction manualR].Technical Report A-8,2008.

[17]黃志劍,王魏芳,楊健梅.緊張狀態下優秀運動員動態心理特征分析[J].武漢體育學院學報,2006,40(3):33-37.