在線學習環境中基于眼動特征情感識別研究

陶小梅，陳心怡

(1.桂林理工大學 信息科學與工程學院，廣西 桂林 541004；2.桂林理工大學 廣西嵌入式技術與智能系統重點實驗室，廣西 桂林 541004)

0 引 言

隨著計算機技術、人工智能技術的快速發展，情感識別作為模式識別的一部分逐漸受到廣泛關注。情感識別利用計算機分析輸入的情感信息，選取與情感相關的特征值，建立輸入特征與情感的模型，實現對情感的分類，從而使計算機能感知、識別和理解人的情感并做出相應的回應。慕課(massive open online course，MOOC)，即大規模開放在線課程，是一種新興的借助現代信息技術與學科教育融合而成的在線課程模式。MOOC學習中，在線觀看教學視頻是基本的學習方式，但該方式存在明顯的“情感缺失”問題。觀看教學視頻過程中學習者產生負向情感狀態時，感受不到及時的情感關懷和認知支持，學習者的興趣就會受到挫折，教學效果會大大減弱。在學習者在線觀看教學視頻的過程中及時識別其情感狀態是解決“情感缺失”的首要問題，而情感計算技術為解決該問題提供了有效的技術支持。

該文探討了e-Learning中情感識別主要方法以及目前研究中存在的問題，及e-Learning環境中使用眼動指標進行情感識別的可行性。對常用的眼動指標進行分類，列出了每項眼動指標表達的含義以及反映的情感狀態；回顧了當前在e-Learning環境中使用眼動特征對學習過程的相關研究；對應用在疲勞檢測、醫療健康、人機交互等更廣泛的相關領域中的眼動特征進行分析，對可借鑒至MOOC學習環境下情感識別的眼動特征進行匯總。最后為下一步如何采用眼動特征進行情感識別研究提出相關思考和建議。

1 在線學習中的情感識別

針對e-Learning環境中存在的“情感缺失”問題，本節對以心理學為依據的，情感識別技術為核心的，利用計算機技術、網絡通信技術和眼動追蹤技術來實施在線學習情感識別的相關研究進行介紹并分析。關于情感識別的研究目前主要是通過語音[1-2]、生理信號[3-4]、文本[5]、人臉表情[6-7]、姿態[8]等特征進行情感分類。但是在視頻學習的場景中，采集生理信號會影響學習者的學習。由于在觀看視頻的過程中沒有交互，因此也不會產生語音和文本數據。而且學生觀看視頻時產生的顯著表情較少，僅根據臉部表情識別將拒識很多無顯著表情的情感狀態。目前基于眼動信息的情感分類相關研究較少，實現的情感分類有限。

目前在線學習環境中的情感識別研究主要面臨以下問題和挑戰：(1)由于在線視頻學習環境中能獲取到的數據模態有限，顯著表情出現的頻率低，很多在宏觀表情識別中取得良好效果的經典方法不能完全適應，需有針對性地研究新的方法以滿足識別準確率和執行效率的要求。(2)由于實驗室采集的數據單一，缺乏數據多樣性,與真實場景存在較大差異，樣本提供者年齡、文化背景分布不均勻，而且數據庫中的情感分類標準不統一。(3)已有在線視頻學習情感狀態識別的研究結果多是在固定實驗條件下，對有限數量的特定人群分析獲得，當環境改變或對象隨機時，難以泛化，識別效果明顯變差。

在視頻學習中學習者的眼動信息較豐富，且可以通過非入侵方式的眼動追蹤技術獲取眼動數據，不會干擾學習過程。隨著眼動追蹤技術的普及，眼動數據可視化在理論和應用方面得到快速發展。眼動數據可視化4種主要可視化方法:掃描路徑法、熱區圖法、感興趣區法和三維空間法[9]。Steven[10]提出通過眼部圖像特征分類快樂，憤怒，驚訝，中性，眼睛閉合五種情感，平均準確率70%，可見眼動信號蘊藏豐富的情感信息，實驗表明眼動的時空特征是視覺信息提取過程中的生理和行為表現，能真實反映學習者的心理狀態。因此該文將對在e-Learning環境中使用眼動指標進行情感識別作進一步的探討。

2 眼動特征與學習情感

2.1 眼動特征描述

眼動有三種基本方式：注視，眼跳和追隨運動。注視是人獲取信息的主要方式。眼跳是注視點或注視方位的突然改變，該過程中無法獲取清晰的成像。眼跳幾乎不獲取任何信息[11]。追隨運動是眼睛跟隨物體移動，眼睛始終注視著物體。Jakob等[12]認為單一的眼動指標不足以判斷人的情緒，但是多種眼動指標結合可以達到準確率80%的情緒識別。同時眼動指標可能會受到實驗中的光照、情緒等因素影響而產生變化。眼動追蹤技術可以記錄人眼球運動在時間和空間上的數據，這些數據包括：注視時間、注視次數、注視位置、注視點軌跡圖，眼跳潛伏期、回視次數、瞳孔大小、眼跳方向及距離等指標[13]。鄭玉瑋等[14]將眼動指標分為三種維度：時間、空間和數。時間維度是指在時間維度測量眼球運動，空間維度是指在空間維度(如：位置、距離、方向、序列等)測量眼球運動，數維度是把眼動測量建立在數或頻率的基礎上。上述眼動指標中注視時間、眼跳潛伏期屬于時間維度，注視點軌跡圖、注視位置、眼跳方向和眼跳距離屬于空間維度，注視次數和回視次數屬于數維度。

常用的眼動特征主要有瞳孔類、眨眼類、注視類和掃視類四類指標，具體定義、常用指標以及反映的情感狀態具體整理如表1所示。

2.2 眼動與學習

由于學習中產生的情感狀態與學生參與度、認知負荷程度等相關聯，因此對在e-Learning環境中使用眼動特征對學習過程的研究進行綜述，主要有以下五類：(1)參與度；(2)認知負荷程度；(3)情感狀態分類；(4)認知風格；(5)學習行為和意圖。

參與度是判斷學習成果的顯著標志。Elatlassi等[20]提出使用腦電信號和眼動指標對在線學習環境中學生的參與度進行建模，選取了瞳孔擴張、注視持續時間、掃視路徑、瞳孔直徑等眼動指標，結果表明高參與度和低參與度狀態下學生的眼動指標和腦電都存在顯著差異。Yue Zhao等[21]采集注視時間、掃視時間、掃視次數等指標用有監督的機器學習算法基于注視特征分析走神行為，走神識別精確率最高可達到80%。該研究驗證了注視數據和學習者的思想走神之間存在強關聯，使用眼動追蹤設備檢測走神是可行的。

表1 常用的眼動指標

認知負荷是指一個人在工作記憶中所使用的腦力勞動量。研究者認為眼動數據能反映學生在學習過程中對信息的加工程度和認知負荷程度。Jie Xu[22]研究了在執行算術任務時，瞳孔反應在不同認知過程階段的特征，并提出用瞳孔大小和皮膚電進行認知工作量測量的細粒度方法。使用決策樹算法把認知負荷程度分成4種程度，得到的最高分類準確率達72.4%。

情感狀態分類是指將學習過程中產生的情感狀態進行分類，如感興趣、無聊、困惑等。分析學習者的情感有助于提升學習體驗。李小偉等[23]通過對眼跳幅度和次數、瞳孔大小等眼動特征進行提取，使用最近鄰算法識別學習負面情緒，最高準確率達到81%。Charoenpit等[24]認為眼動和學習情感有著密切的聯系，選取注視次數，注視持續時間，注視點，注視長度，瞳孔大小作為眼動特征。使用PPT作為刺激材料并劃分出學習區域和非學習區域，通過計算兩個區域的注視次數比率，注視時間比率和瞳孔直徑比率判別學生在學習過程中的情感狀態(感興趣和無聊)。C.Calvi[25]開發了一個應用在e-Learning環境的原型系統e5Learning，利用瞳孔信息，注視持續時間和眨眼速率識別學生處在何種情感狀態下，是否理解還是高工作負荷或疲勞。

認知風格是指用戶瀏覽時更關注圖片和視頻還是更關注文字。Nikos Tsianos等[26]通過分析學習者瀏覽網頁時的眼動軌跡圖等探究學生在e-Learning系統中的認知風格，研究發現部分用戶更關注圖片和視頻，部分更偏向關注文字。Haolin Wei等[27]使用IView X Red眼動追蹤系統記錄學生在瀏覽網頁時的注視次數等指標。通過眼動軌跡圖發現某些區域學生的注視頻率高。研究基于這些眼動數據找到學生的興趣區域實現個性化推送教學材料。Ismail EL Haddioui等[28]使用眼動追蹤儀記錄掃視次數、掃視路徑長度等特征，統計學生在一個算法課程網頁中每個區域的注視持續時間，分析得學生的認知風格，興趣區域和注意力焦點。Ismail認為還可以對眼動數據進一步分析疲勞和困惑程度。雖然該實驗沒有實際的評估精確率，但一定程度上表明了用眼動特征判斷認知風格的有效性。

眼動指標還可用于探索學生的學習行為和意圖。Jiayue Yi等[29]把講座視頻作為刺激材料，要求被試完成閱讀文本圖表，尋找物體和聽一段音頻材料這三個任務。采用注視持續時間，前一次注視的位移，當前注視的位移三個眼動特征分析學生的學習行為和意圖，使用隱馬爾可夫模型分類器把學生眼部移動分為掃視，搜索，閑置三類，并分別達到了81%，80%，95%的準確率。Maja Pivec等[30]提出了一個適用于在線學習環境的利用眼動追蹤實現內容追蹤的框架，使用Tobii眼動儀采集學生處理文本時的掃視速率、眨眼速度和比率三類眼動指標結合眼瞼的開放程度，來識別學生的學習行為是瀏覽，搜索，學習還是跳過。

上述研究的分類、眼動特征和識別算法如表2所示。

對表2進行分析可以看出注視和掃視類指標常用于檢測學習者的參與度、學習行為和意圖。眼動追蹤圖常用于探究學習認知風格，結合注視掃視類指標可以得到興趣區域等。瞳孔大小和注視率都可判斷認知負荷程度。由于認知負荷、參與度、疲勞程度與情感狀態均有關聯，可以考慮采取多種眼動指標結合實現對具體學習情感狀態進行準確分類。上述研究中采用的機器學習方法包括神經網絡、隱馬爾可夫模型、支持向量機和樸素貝葉斯分類器等。線性支持向量機和樸素貝葉斯分類器在小數據集上的方差較小，適用于訓練規模小的分類。神經網絡算法通常能獲得比較好的分類性能，但是需要大量的輸入數據并進行一定量的學習才能達到效果。

表2 相關研究文獻眼動特征列表

2.3 眼動在其他領域的應用

眼動特征除了應用在e-Learning中，在疲勞檢測、醫療健康、人機交互等領域也被廣泛使用。疲勞駕駛檢測中如嚴榮慧等[32]利用瞳孔直徑均值、平均眨眼時間和注視比率三種特征值構成的眼動特征向量，使用BP網絡檢測疲勞準確率達80%以上。于興玲等[33]在檢測駕駛員疲勞狀態時，考察了眼睛閉合面積的減小程度、持續閉合的時間、閉合頻率來判斷眼睛疲勞狀態。眼動信號可以作為腦電信號進行情感識別的有效的補充信息，用在監測、診斷和預防精神疾病等電子醫療領域。常使用認知測試來評估中樞神經系統出現損傷時的缺陷。因此有研究利用眼動特征分類認知負荷程度。Siyuan Chena等人使用FaceLAB 4眼動儀記錄受試者的瞳孔大小，眨眼次數，眨眼持續時間，注視和掃視次數及掃視時間，利用高斯混合模型進行認知負荷分類，達到70%的精確率[34]。人機交互中人類產生的意圖影響視覺過程，并表現在眼球運動中。李森等[35]利用眼動指標測量人機交互狀態下人的情感，最終選定注視點分散均值、掃視率、掃視平均幅度、掃視平均速度、瞳孔最值等八個眼動指標進行情感預測。實驗結果表明使用眼動指標預測用戶進行網頁交互時情感的有效性。

參考上述研究，疲勞駕駛檢測方法中眼睛閉合類的指標可以用于學習疲勞檢測，除此之外，瞳孔直徑均值和標準偏差，平均眨眼時間，眼睛持續閉合的時間、閉合頻率、注視點分散均值、掃視時間最值、掃視平均幅度等眼動指標可以借鑒到e-Learning環境中用于識別更多的學習情感以及提高識別準確率，促進e-Learning系統的發展。

3 結束語

眼動的時空特征是視覺信息提取過程中的生理和行為表現，與人的心理活動有著直接或間接的關系，因此眼動特征能真實地反映學習者當時的情感等心理狀態，計算機能基于視覺技術通過眼動信息識別學習者的情感。但是以上研究工作中采用的特征選擇方法較簡單，其完備性和相關性都需要進一步研究，分類器的選擇也未見系統的比較研究；并且研究的場景均不是針對視頻學習環境下學習者的情感狀態研究設計的實驗任務。視頻學習環境中的學習任務類型較復雜，包括視覺任務和聽覺任務，并且認知狀態也會對眼動造成影響。目前研究所構建的眼動特征與情感狀態之間的模型在視頻學習環境下是否適用，是否有更適合視頻學習環境情感分類的眼動特征集，是否有更好的分類器選擇策略，如何構建更完備層次更合理的特征指標體系，以及眼動與情感狀態的關聯關系等問題仍需要進一步研究。