面向在線學習的多模態情感計算研究

薛耀鋒 楊金朋 郭威 李卓瑋

摘要：隨著計算機網絡技術和多媒體技術的快速發展，在線學習憑借其突破時間和空間限制的優勢，越來越受到教育工作者和學習者的青睞，但是在線學習過程中學習者情感交互缺失的弊端也是教育研究中亟待解決的問題。針對此研究困境，在已有情感交互研究的基礎上，結合情感計算理論，該研究提出了面向在線學習的多模態情感計算模型。該模型包括在線學習中學習者的情感數據收集、情感數據處理與分析、情感數據可視化以及在線學習反饋與干預等四個模塊。基于此模型，研發了情感計算原型系統，通過記錄和分析在線學習者臉部表情、語音和文本等信息，實現在線學習過程中的情感測量。在線學習實驗中，通過比較和分析情感計算原型系統的測量記錄，驗證了該系統的可行性和有效性。

關鍵詞：情感計算;在線學習;情感模型;多模態;學習干預

中圖分類號：G434 文獻標識碼：A

一、引言

隨著信息技術在教育領域的不斷應用，教育模式和教育方法不斷發生變革。在線學習以其獨特的時空優勢成為當代眾多學習者的選擇。隨著可汗學院、慕課、網易云課堂等進入大眾視野，在線學習平臺如雨后春筍般相繼涌出。但因其缺乏師生與人機之間的情感交互，導致在線學習者的情感得不到及時回應。很多文獻研究表明，情感計算已成為在線學習研究中的重要課題。情感計算在教育中的應用可以使用戶更舒適的進行情感交流。

針對在線學習過程中，學習者情感交互缺失的問題，本研究設計了面向在線學習的多模態情感計算模型，旨在實時記錄與測量學習者的學習情感，并根據對學習情感的分析，給予學習者恰當的學習反饋與學習干預，從而提升學習者在線學習的學習效果。該模型在識別學習者的臉部表情、眼睛、姿態、語音和文本等情感信息的基礎上，對學習者情感數據進行可視化處理，以便在線學習者和學習平臺教學管理人員可以實時、直觀地跟蹤學習者的情感狀態，從而為在線學習者提供過程性、總結性學習反饋與多種學習干預措施。基于此模型，我們開發了在線學習情感計算原型系統。該系統綜合了人臉表情識別、語音識別和文本識別等三種技術分析在線學習者的實時情感狀態。相較于使用單一識別技術的情感計算系統，本文所提出的系統具有更好的抗干擾性。

本研究的開展在現有的在線學習情感交互研究的基礎上，提出了較為完整的面向在線學習的多模態情感計算模型，將情感計算在在線學習中的應用過程劃分為學習情感測量、學習情感分析、情感數據可視化和在線學習反饋與干預四個環節，并且基于此模型研發了情感計算原型系統，通過實驗檢驗在線學習過程中的情感計算，驗證了該系統的有效性。

二、基于情感計算的在線學習系統理論支撐

近年來，情感計算在教育、認知科學等各大領域逐步受到重視。相關研究結果表明，積極的學習情感能夠提高學習者的創造性水平、記憶以及推理能力等，進而提高在線學習者的學習效率。為了進一步研究人類情感的識別問題，國內外學者提出了多種情感建模方法，并基于認知生理學以及腦科學等多領域研究奠定情感計算的理論基礎。

（一）情感模型

情感模型的建立可以使我們更容易理解情感產生的機制。目前國內外已有多種典型的情感模型，比如Picard等提出的隱馬爾科夫模型、Onony等提出的OCC（Onony，Clore，Collins）模型、Roseman等提出的基于事件評價的情感模型、Plutchik提出的情感三維模式、魏哲華等基于人工心理學提出的狀態空間情感模型、王巍等基于隱馬爾可夫模型的改進模型以及Russell等提出的環形情感模型等。Pieard等提出的隱馬爾科夫情感模型，其核心思想是人在任何時刻都會有一種情感狀態，在不同時刻的情感狀態能夠以一定的概率進行轉換。由于隱馬爾科夫模型可能會因為情境變化而有所不同，所以不同情感狀態的轉變概率也會因為情境、主體和客體等的不同而發生改變。學習情感是特定情境下的一類情感狀態集，其變化狀態符合Picard的情感原型。本文以Picard的隱馬爾科夫情感模型為基礎，結合對學習情感特點的分析，提出了學習情感的隱馬爾科夫模型（如圖1所示）。伴隨著學習過程的進行，不同學習情感狀態以一定的概率進行轉變，概率值會因學習情境、外界刺激和主體內部控制等多種因素發生變化。

（二）情感類別

學習情感是特定情境下的情感集合，實現在線學習情感計算的研究，首先要明確研究的情感類別及其特征描述。在情感研究中，不同的學者提出了很多情感類型，其中包括最常見的四種基本情感：害怕、生氣、悲傷和開心和Ekman等提出的6中基本情感：高興、驚訝、厭煩、悲傷、恐懼和憤怒，以及Plutchik提出的8種基本情感：害怕、生氣、悲傷、開心、厭惡、信任、預期和驚訝。在學習情感研究中，北京師范大學孫波教授團隊提出了7種基本學習情感類型：高興、驚訝、厭煩、困惑、疲勞、專注及自信。本文在前者研究的基礎上，結合對在線學習者的情感狀態特征分析，以Plutehik和Ekman的情感理論為基礎，將基本學習情感分為6類，分別是：高興、驚奇、中性、生氣、疲勞和困惑。

（三）情感識別

美國麻省理工學院的Picard教授提出，情感計算的流程一般包括情感數據獲取、情感特征提取、情感特征分類以及情感識別四大部分。單一情感識別方法一般包括基于人臉表情、或語音語調、或文本信息、或肢體行為或生理信號識別。人臉表情多是基于人的面部動作進行識別;語音主要通過對人的音質、韻律等聲音特征的提取以及分析上下語義等識別;文本識別主要通過關鍵詞模糊匹配、詞匯關聯以及語義理解等技術實現;人的肢體行為（托下巴、擦眼、撓頭、身體前傾等）可以作為肢體情感識別的關鍵特征。

（四）神經生理學

情感識別的關鍵是找出人們的情感和生理狀態之間的聯系。人類情感由大腦的情感中樞控制，當情感產生與變化時，機體的腦垂體、腎上腺以及甲狀腺會分泌特定的激素，同時與情感相關的神經化學物質也會發生相應的變化。機體產生的情感生理信號相較于人類外顯的情感行為，基本不受人主觀因素的影響，因而能夠更精確、客觀的反映人類真實的情感。

隨著可穿戴設備在學習、生活中的逐步應用，在線學習者的生理信號獲取成為可能。通過提取、分析生理信號特征，能夠識別多種情感。

三、基于多模態情感計算的在線學習模型

將情感計算嵌入到在線學習系統中，可以在一定程度上提高在線學習者的學習效率。本文從在線學習者角度出發，結合情感數據的采集、處理、分析與可視化，設計了如下頁圖2所示的面向在線學習的多模態情感計算研究模型。該模型強調學習情感變化路徑對于學習干預的重要性，認為學習干預的存在形式應多種多樣，以適應在線學習者的不同學習風格。

面向在線學習的多模態情感計算研究模型包括以下幾個模塊：

1.情感數據收集模塊：在線學習過程中，學習者的學習情感可以通過多種方式反映出來。傳統課堂教學中，教師可以通過學習者的面部表情、眼神交流、說話的音量音調、講話內容以及身體姿態來確定學習者實時的情感狀態。在當代技術和軟硬件設備的支持下，能夠收集在線學習者全方位的情感數據：深度攝像頭技術不僅能夠識別流媒體的彩色和灰度信息，還可以獲得其深度數據，從而方便地采集到在線學習者的身體姿態和面部表情數據。人在一定的條件下，會做很多無意識的活動，而在進行在線學習時，頭部和手臂動作在一定程度上也能反映當前學習者的情感狀態;眼神狀態主要是通過眼動儀等設備進行采集，采集的數據包括在線學習者的眼睛焦點等;通過學習終端自帶的錄音設備能夠采集在線學習者的語音數據;在線學習者的文本輸入內容，既可以通過在線學習系統后臺實時監測、記錄下每個學生的活動軌跡及文本信息，也可以通過爬蟲等技術獲取。而比較容易被忽略的是在線學習者的生理情感數據，一般來說當人處于愉悅、悲傷或其它情感時，心率等生理信號就會發生一定的變化，而基于可穿戴設備能夠對這些數據進行實時的收集。近幾年來，可穿戴設備的快速發展，也為基于生理信號的情感計算提供可能。

2.情感數據處理與分析模塊：根據情感數據的來源，綜合多種途徑對在線學習者情感數據進行分析與處理。目前在線課程學習者的情感識別大多是采用單一識別技術，其識別精度存在提高空間。為了能夠更準確地識別在線學習者的情感類型，本文提出了基于多情感識別技術的情感類型識別方法，即綜合人的面部表情、眼部狀態、人體姿態、語言和文本等多種情感特征識別在線學習者情感類型。

3.學習情感數據可視化模塊：情感數據可視化模塊可以幫助學習者、教師及相關教育人員更直觀地了解學習者的學習情感狀態。基于單個學習者某時間學習情感數據的可視化圖像，可以直觀地觀察該學習者在該時間段每個節點的學習狀態以及整體的情感變化狀態，從而了解其學習困難點與整體學習效果，提供個性化服務支持;基于多個學習者學習同一資源的情感數據可視化圖像，可以直觀了解該學習團體的情感認知變化，從而在對學習資源的教學實用性進行分析與評價的基礎上，調整教學策略以適應學習者整體認知狀態。

4.學習反饋與干預模塊：學習干預是將情感計算嵌入到在線學習系統的最終目的。很多文獻中都采用情感助手（情緒助手1的形式實現在線學習中的人機交互，情感助手存在的形式多種多樣，比如以文本對話框、虛擬人物表情變化等形式出現，增強學習者學習情感交互體驗。本文根據干預出現的時間，將學習干預分為過程性干預和總結性干預。過程性干預是根據學習情感變化路徑，在學習過程中實施的干預。理論上來說，每條學習情感路徑，都應該有相對應的學習干預策略。但鑒于實際的可操作性，可以將基于多種學習路徑的學習情感分為三種：積極情感、消極情感和中性情感。根據不同學習情感實施相應的學習干預，比如積極學習情感給予獎賞或不作為、消極情感給予鼓勵，而對長時間處于消極情緒的學習者中斷其原有學習路徑并給予補償性（替代性）學習資源。總結性干預是在階段性學習結束后進行的干預，它主要是通過兩種方式實現：一是對教學資源、教學策略等的更替，來適應學習者之后的學習;二是對學習者進行生理、心理上的教育，它既可以來自虛擬教師，也可以來自現實中的教師、家長和學習同伴。無論是過程性干預還是總結性干預，干預形式都不是一層不變的，它們既可以是文本框和虛擬人物的提示信息，也可以是現實世界的分享交流。

四、原型系統設計與開發

為了驗證本文所提出的模型的可行性，我們設計和開發了面向在線學習的多模態情感計算原型系統。該原型系統綜合了人臉面部表情識別、在線語音情感識別、文本情感識別三種方式對在線學習者6種基本情感進行了研究分析。除了學生登陸等基本模塊外此原型系統包含四個模塊：在線學習者數據采集模塊、情感識別模塊、情感數據可視化模塊和輔助學習反饋/干預模塊。原型系統的結構框架如圖3所示。

1.在線學習者數據采集模塊：該模塊主要實現了對在線學習者的情感數據采集功能。此模塊借助深度攝像頭、語音輸入輸出設備等捕捉在線學習者的臉部表情和語音信息，基于爬蟲技術采集在線學習者在平臺發布的文本信息。

2.情感識別模塊：原型系統的人臉表情識別是基于深度攝像頭獲取人臉面部運動單元，從而提取情感特征并進行隋感分類;文本情感分析是通過在線文本與情感詞匯庫模糊匹配技術實現;語音情感是基于在線學習者發表的語音內容等進行識別。基于文本、語音及人臉表情情感識別結果，計算在線學習者最終情感。

3.情感數據可視化模塊：數據可視化能夠更直觀的反映在線學習者的情感變化狀態。圖4是一位在線學習者的情感數據可視化顯示圖。由圖4可以看出，除中性情感狀態外，該學習者的大部分時間的情感狀態。雖然存在短時間的學習疲勞期和困惑期，但總體而言，該學習者在進行在線學習時，情感狀態良好。

4.輔助學習反饋/干預模塊：反饋與干預是面向在線學習的多模態情感計算系統最重要的部分。理想的輔助學習反饋/干預模塊應該針對不同學習風格的在線學習者提供個性化的學習支持服務。鑒于系統開發等方面的因素，本文設計了兩種學習反饋/干預形式：第一種是在階段性學習過程中進行干預，根據每個在線學習者的實時學習情感可視化分析，提供含有文本和圖片因子的個性化提醒服務;第二種是在階段性學習過程結束后，針對在線學習者的學習情感狀態分析，在線學習平臺智能推送補償性學習資源與測試服務。

最后，為了分析該原型系統的可行性和有效性，我們借助知名慕課平臺的在線學習課程開展了實驗研究。實驗過程中，34名志愿者參與了測試，測試人次為643，實驗人員對志愿者進行情感觀察和記錄，同時使用多模態情感計算原型系統捕捉、記錄、分析被試的學習情感。學習結束后，實驗員和多模態情感計算原型系統分別同步采集到242022條情感記錄。圖4所示是多模態情感計算原型系統記錄的一位被試人員的學習情感數據隨時間變化的可視化折線圖。在對其中21名志愿者，測試人次為630的測試記錄結果進行分析，對比實驗人員的觀察記錄，原型系統的平均識別正確率接近84.33%，如下頁圖5所示。其中高興和驚奇等積極學習情感正確率較高，疲勞、困惑等消極學習情感識別率相對較低。我們分析可能的原因是，積極情感外顯的表現比較明顯，而消極情感表現形式往往各有不同且變化幅度較小。

五、總結與展望

目前基于情感計算的在線學習系統開發較其理論研究相對比較匱乏，而將理論轉化為實踐是發揮其價值至關重要的一步。本文在大量文獻研究的基礎上，設計了基于隋感計算的在線學習系統模型，并在此基礎上開發了其原型系統，并通過實際測試分析了系統的可行性和有效性，為之后在線學習和情感計算的研究人員提供參考。但是，本研究仍然存在一定的不足和需要完善的地方。本研究提出的基于情感計算的在線學習系統模型描述了情感計算在在線學習中應用的完整過程，包括情感測量、情感分析、情感數據可視化和學習干預。在實驗過程中所研發的多模態情感計算原型系統已初步具備情感測量、情感分析和情感數據可視化的功能，但是在語音情感識別、文本情感識別、學習干預等模塊和環節，尚需進一步與在線學習平臺進行整合，從而構建完整的基于情感計算的在線學習系統。本研究將針對目前存在的不足之處，繼續開展相關研究工作。隨著在線學習平臺的廣泛應用和教育大數據應用技術的不斷發展，在線學習者的學習情感將會被更準確地識別和追蹤。基于情感計算的在線學習平臺將為學習者提供更加個性化、全方位的學習服務，實現智慧教育的理想目標。

收稿日期：2017年6月2日

責任編輯：趙云建