情感計算教育應用的多維透視

葉俊民 周 進 李 超

(1.華中師范大學 計算機學院，湖北武漢 430079； 2.華中師范大學 教育信息技術學院，湖北武漢 430079)

一、研究背景與設計

情感是個體對特定情境的體驗與反饋，并在個體行為、認知、思維及決策中起著重要作用(Neophytou, 2013)。美國麻省理工學院皮卡德教授1997年首次提出情感計算概念，指出其目的是實現計算機識別、理解、表達和反饋人類情感，是人機交互研究的重要方向(Picard, 1997)。在教育領域，情感計算是當前研究最為活躍的課題之一(Poria et al., 2017)，尤其在人工智能技術的推動下，將學習情感視為教育研究的核心要素已成為一種趨勢(Jiménez et al., 2018; Ninaus et al., 2019)。綜觀國內，學者圍繞學習情感識別及其應用展開了探討(江波等, 2018; 馮翔等, 2019; 盧宇等, 2020; 朱珂等, 2020)，但情感計算教育研究與實踐尚處于探索階段，對其認識和理解還不充分。

鑒于此，本研究以“affective computing” AND(education OR learning)為主題詞從Web of Science核心合集數據庫進行檢索。鑒于情感計算自2010年才被廣泛應用于教育研究(Wu et al., 2016)，因而檢索時間限定為2010—2020年，共有87篇文獻被納入樣本數據。然后，研究者采用內容分析方法，從理論基礎、測量方法、系統開發、應用場景及實踐價值五個維度透視該主題的最新研究進展，并展望情感分析教育應用的發展趨勢，思考推進我國情感計算教育實踐的建議，以期為推進我國相關研究與實踐提供借鑒與啟示。

二、結果分析

(一)理論基礎

鑒于情感的復雜性與模糊性，心理學家尚未就情感定義達成共識。在教育研究中，明確情感類型是設計情感識別方法與教學干預的基礎。文獻梳理發現，學習情感主要涉及三類：基本情感、維度情感和學業情感。基本情感包含普遍公認的六種情感類型，即恐懼、生氣、厭惡、快樂、悲傷與驚訝，其他情感被認為是這六種基本情感的組合(Darwin & Ekman, 2002)。維度情感是從不同維度映射的情感類型，即情感本身是個多維結構。如羅素(Russell, 1980)提出的包含喚醒(arousal)和價態(valence)的二維情感模型；學者在其基礎上增加了六種基本情感，提出由愉悅和喚醒兩個相互正交的維度構成的情感循環模型 (Fernández-Caballero et al., 2016)，其中每個維度的取值極限構成一個圓，所添加的六種基本情感分布在模型圈的邊界；坎布里亞等提出了通過標簽及四個獨立但同時存在的情感維度來表示情感狀態的漏斗模型，其中漏斗的豎軸表示情感的極性強度，且情感的衰減過程呈指數分布 (Cambria et al., 2012)；學業情感是與學生的認知、動機和社會交互關聯的情感狀態，包括成就情緒、認知情緒、主題情感和社會情感四類(Zhang et al., 2020)。其中，成就情緒與學習活動和表現有關；認知情緒是在處理新的、非常規的任務時由認知問題引發；主題情緒與課程主題相關；社會情緒與師生互動和集體學習相關。在情感計算教育應用中，常用的理論基礎有控制-價值理論、認知情感理論、OCC模型和情感動力模型。

1.控制-價值理論

成就情緒的控制-價值理論( control-value theory，CVT)是情感計算教育研究使用頻率最高的基礎理論。該理論提供了理解學習成就和所經歷情感的綜合框架，并分析其前因與結果(Pekrun, 2006)。控制價值理論確定了學習活動的兩種重要評估，即控制評估與價值評估。控制評估是學習者對學習活動和結果感知的可控性判斷，價值評估描述學習者對任務或結果的價值判斷。控制-價值理論還認為，情感以認知資源、動機、學習策略和自我調節為中介影響學習結果。例如，有研究以控制-價值理論為基礎，探討在線討論中情感表達與動機、情感感知及學習結果(包括行為投入、認知投入、學業成就)之間的關系，結果發現情感表達能顯著預測學業成就(Kim & Ketenci, 2020)。

2.認知情感理論

多媒體學習的認知情感理論(CATLM)以梅耶(Mayer, 2005)的多媒體學習認知理論為基礎，將動機與元認知作為多媒體學習的中介，并整合多媒體學習中情感與認知過程而形成(Moreno, 2006)。該理論認為，多媒體學習材料的視覺設計具有認知和情感功能：一方面支持學習者對材料的認知加工，另一方面影響學習者的態度與動機。有學者嘗試通過設計多媒體學習材料的顏色和形狀，激發學習者的積極情感(Plass et al., 2014)。實驗結果發現，學習材料的圓形設計能激發積極的學習情感，與暖色結合設計能促進學習理解。認知情感理論還指出，學習者特征是影響多媒體學習和情感的重要因素，包括先前知識、認知風格、能力與人格特質、元認知和自我調節能力。有研究基于認知情感理論探討實驗誘導的情緒對多媒體學習的影響，并考察學生特征在其中的調節作用(Knoerzer et al., 2016)。結果表明，消極情感比積極情感能帶來更好的學習效果，認知資源(工作記憶能力、先前知識)能顯著預測學習結果。

3.OCC模型

OCC模型(Ortony et al., 1990)描述了基于不同認知評價標準觸發情感的機制，其評價標準包括事件結果、主體行為與客體感知，并根據觸發原因與強度以樹狀結構圖的方式將情感分為22類。由于提供了基于規則的情感生成機制，OCC模型通過計算機可以有效推理各類情感，因此被廣泛應用于人工智能等領域。例如，在智能學習系統設計中選擇OCC模型的事件結果評價標準，采用貝葉斯網絡算法對學習情感進行推理及預測(Daouas & Lejmi, 2018)，結果顯示，智能學習系統的情感識別準確度達到83.75%。

4.情感動力模型

情感動力模型(model of affect dynamics)揭示了深度學習中學習者認知與情感的復雜關系(D’Mello & Graesser, 2012)。該模型認為，當學習者面臨學習障礙時，其認知會從平衡轉向失衡，這一過程會觸發學習情感的動態轉換，而認知失衡恢復到平衡狀態是學生進行深度學習的關鍵。其中，困惑是學習的關鍵情感指標，若困惑情緒得不到解決，則會轉變為挫折與無聊情緒，進而影響學習效果。但如果學生能自己調節困惑情緒，其認知也會達到平衡狀態，并繼續投入到學習活動或任務中。鑒于困惑情緒對促進學習投入與深層次理解的重要價值，阿格爾等(Arguel et al., 2017)依據情感動力模型，提出了學習過程的最佳困惑期(zone of optimal confusion)概念，并總結了困惑情緒的識別方法，以促進交互式學習環境的設計。還有研究以情感動力模型為基礎，探討智能導師系統中學習者情感、認知與元認知的關系(Taub et al., 2019)。研究結果發現，學習者的挫折情緒能顯著預測認知投入。總的來說，情感動力模型闡述了學習過程中情感與認知的交互關系，為教學設計與干預提供了理論依據。

(二)測量方法

1.心理測量

心理測量以學習者自我報告為主，通過量表測量學習過程中的情感體驗。其中，學業情緒量表應用最廣泛，也是接受度最高的 (Pekrun et al., 2005)。如在基于增強現實的學習活動中，利用學習情緒量表測量學習者的情緒變化(Harley et al., 2020)。學業情緒量表也可以進行適當的改編，以適用于具體情境，比如，可以應用改編后的數學學業情緒量表(Achievement Emotion Questionnaire in Mathematics, AEQ-M)，探討數學課程的學習動機、數學成就情緒與認知過程(Kim et al., 2014)，或者采用改編的在線學習情緒量表(E-Learning Academic Emotions Scale, E-AES)，探討在線學習環境中學業情緒在自我調節學習與學業控制中的作用(You & Kang, 2014)。

此外，應用頻率較高的情緒量表還有積極消極情緒量表(Positive and Negative Affective Schedule, PANAS)與自我評定量表(Self-Assessment Manikin, SAM)。積極消極情緒量表(Watson et al., 1988)由積極情緒和消極情緒兩個子量表構成，每個子量表包含10道測量條目，具備易于管理、簡單、可靠等優點，因而許多研究采用該量表測量學習者的情感狀態。比如，研究人員采用該量表測量可視化系統中學習情緒的變化(Lacave et al., 2020)。自我評定量表(Bradley & Lang, 1994)包括價態、喚醒及主導(dominance)三個子量表，采用9點李克特量表，其得分范圍為-4到4。有研究利用該量表測量學生在觀看教學視頻后的情感狀態，以探討教學視頻對學習者情感及學習結果的影響(Beege et al., 2018)。

2.行為測量

人類行為反應在一定程度上表征了內在情感及其變化。相關技術工具(如攝像頭、麥克風)可以采集學生學習過程的行為數據，實現對學習情感的客觀分析。現階段，研究者多使用面部表情、文本信息、語音特征、手勢與姿態動作來測量學習情感。

面部表情識別技術是對視頻圖像中面部(包括嘴巴、眼睛與眉毛)動作進行分析，并依據相關編碼系統(如Facial Action Coding System, FACS)建立面部表情與學習情感的映射關系。近年來，許多工具可用于識別面部表情，如FaceReader、Microsoft Emotion Recognition API、Affdex SDK等。有學者利用攝像頭每隔10秒采集學生的面部圖像，并使用微軟表情識別接口實現面部圖像的情感挖掘，分析學生情感的動態變化規律(Tonguc & Ozkara, 2020)。結果發現，課堂教學中不同階段的情緒變化存在差異，而學生的困惑與厭惡情緒沒有顯著變化。除上述課堂教學環境外，特殊教育(Chu et al., 2018)與在線教育(Marchand & Gutierrez, 2012)中的面部表情識別技術也表現出巨大發展潛力和良好的應用效果。

文本情感分析是自然語言處理領域的重要研究課題，它通過對文本信息分析挖掘用戶對特定主題或事件的態度或觀點(Liu, 2012)。常用的情感分析方法包括基于詞匯方法、機器學習方法與混合方法。現階段，許多研究利用機器學習自動挖掘學生的文本情感信息。如有研究利用機器學習對大規模評論信息進行情感挖掘，以預測學習者對MOOC課程的滿意度(Hew et al., 2020)。該研究通過爬蟲工具采集249門MOOC課程評論，利用梯度提升樹(GBT)算法進行主題分類及情感計算。研究結果發現，課程教師、課程時間安排、教學內容與學習評價能顯著預測學生滿意度，這對MOOC課程的設計與優化具有啟示意義。另外，深度學習算法也常用于文本情感信息分類，其分類效果優于傳統機器學習(Onan, 2020a)。

人類通過捕獲語音信息感知情緒的動態變化，而語音情感識別技術借助計算機從語音信號中提取相關特征(包括聲學特征、語言特征、上下文信息與混合特征)，建立與人類情感的聯系(Imani & Montazer, 2019)。一般而言，語音情感識別過程包括語音數據采集、語音特征提取和語音情感分類。在游戲化學習環境中，有學者通過語音情感識別技術分析學習者的情感狀態，干預學習情緒。結果發現，學習者的消極情緒轉變為積極情緒的速度變快，且學習效果明顯改善(Lara et al., 2018)。

心理學研究表明，身體姿態與手勢很大程度上反映了情感狀態，是情感識別的重要特征來源(Poria et al., 2017)。現階段，姿態與手勢的情感識別主要基于圖像分析，即通過對頭部、手臂與身體的運動數據建模，刻畫學習者的情感狀態。與面部表情數據采集類似，姿態與手勢的數據采集也通過攝像頭，因此相關研究通常結合面部與姿態數據進行情感挖掘。如有研究通過整合面部表情、手勢與身體姿態數據，實現自動檢測課堂環境下學生的情感狀態(Ashwin & Guddeti, 2020)。該研究利用攝像頭采集課堂教學中學生的圖像數據，采用卷積神經網絡模型(CNN)對三種情感(投入、無聊及中立)狀態進行自動分類。結果顯示，該方法的情感識別準確度為70%。

3.生理測量

生理信息是身體受到刺激時中樞神經系統表達的基本反應，其作用主要是調節身體機能(Shoumy et al., 2020)。常用的生理信號包括腦電圖、心電圖、肌電圖、皮膚電、心率等。生理信號能客觀反映人類身體的動態變化，因而常被用于學習情感研究及實踐中。有研究通過EMWave工具監測學習者的心率變化識別情感狀態，以評估多媒體材料對視覺型與言語型學習者的情緒及學習表現的影響(Chen & Sun, 2012)。實驗結果發現，基于視頻的多媒體材料為言語型學習者帶來了最佳學習效果與積極情感。類似的，測量學生醫學診斷模擬系統中的皮膚電反應水平，可探討醫學教育中學生的生理喚醒、情感調節與學業表現間的關系(Harley et al., 2019)。研究發現，學習者更高水平的生理喚醒對學習表現有顯著預測作用，且在情緒調節中所使用的重評策略顯著高于抑制策略。此外，許多研究結合不同的生理信號探究學生的情感與認知過程，如利用眼動、心率和腦電波數據分析學習者的注意力、情感體驗及認知負荷，比較數字化游戲與靜態數字化學習材料對學習效果的影響(Wu et al., 2020)。結果表明，數字化學習游戲顯著提升了學習者的注意力及情感體驗。

(三)系統開發

在教育領域中，許多研究試圖運用情感計算技術開發能識別學習者情感狀態并及時給予反饋與調節的智能系統，以提高學習體驗與人機交互水平。情感識別是相關系統開發的基礎，有研究依據OCC模型構建學習情感識別系統(Daouas & Lejmi, 2018)。該系統結合在線學習相關事件，采用貝葉斯網絡算法進行情感識別。結果發現，情感識別的準確度達83.75%。還有研究者開發了多模態情感識別系統(Ray & Chakrabarti, 2016)，采用決策級融合策略，結合面部表情與生理信號(心率、皮膚電、血壓)識別學習者的情感狀態。實驗結果發現，學習情感識別的總體準確度達71.83%。

情感教學系統也被稱為情感導學系統(Affective Tutoring System，ATS)，其目的是模仿學習者的學習過程，有效地理解與適應其情感狀態。有學者構建了包含感知層、認知層與行為層的情感導師系統(Ammar et al., 2010)。其中，感知層捕獲和提取面部表情(圖像采集和面部跟蹤)，并通過情感智能體加以分類；認知層主要分析和診斷學習者的情感狀態；行為層根據實際情感狀態，對教學行為進行決策。還有研究在面部表情識別的基礎上融合文本語義分析構建情感導學系統(Wang & Lin, 2018)，該系統在情感識別模塊的基礎上，采用交互智能體為學生提供情感反饋，并向教師實時呈現學習者的學習狀態與學習評估結果，幫助教師開展教學輔導(見圖1)。實驗表明，該系統能顯著提升學生的學習效果。

圖1 情感導學系統(Wang & Lin, 2018)

通常情況下，消極情緒會影響學生的學習效果，需要教師有針對性地緩解和調節學生的負面情緒。依據學習情感狀態，構建情感調節系統也是現階段關注的重要課題。有研究通過設計與開發情感調節系統，并對交互文本進行情感識別，結合學習者的人格特質，向消極情緒的學習者推薦合適的調節策略(包括專家引導、同伴幫助及教學輔導)，緩解其負面情感(Qin et al., 2014)。結果表明，所構建的消極情緒調節系統可以為學習者帶來更強的滿足感，是降低學習者消極情緒可行而有效的方法。

(四)應用場景

情感計算作為教育人工智能研究的重要領域，可對各類信息進行情感分析與建模。在信息技術與教育深度融合的背景下，技術豐富型學習環境會生成各類數據，涵蓋交互行為、生理反饋、系統日志等。情感計算教育應用會因場景與數據類型不同而產生差異。

1.智能導師系統

智能導師系統是推進教育智能化發展的重要突破口。如何提高智能導師系統的交互水平是關鍵，情感計算是解決該問題的著力點。在學習者與AutoTutor交互的過程中，研究者利用傳感器采集腦電波、肌電圖和皮膚電信號，利用機器學習算法對情感數據進行處理(AlZoubi et al., 2012)。結果發現，K最近鄰與線性貝葉斯分類算法的識別率最高，且單通道與三通道的情感分析效果高于雙通道。類似的，有研究比較了MetaTutor智能導師系統的面部表情與皮膚電在情感識別效果上的差異，研究表明，面部表情的情感識別效果優于皮膚電信息(Harley et al., 2015)。以上研究對甄選智能導師系統的情感識別與分析方法具有啟示意義。此外，為提高智能導師系統的情感交互體驗，有研究也嘗試在智能導師系統中增加交互智能體。令人意外的是，交互智能體雖然提高了學生的學習成績，但對學習情感沒有顯著影響(Rodrigo et al., 2012)。

2.在線學習平臺

長期以來，“情感缺位”是在線學習平臺發展的瓶頸。在線學習與面對面學習中，情感對學習過程的影響存在差異。有研究采用多元回歸方法分析在線混合課程情境下的情感表達、感知動機、感知情緒與學習結果(行為投入、認知投入及學業表現)之間的關系(Kim & Ketenci, 2020)。研究發現，感知動機與感知情緒對學習結果沒有顯著影響，但恐懼情緒對學業表現有顯著的預測作用。在MOOC論壇中，有研究者通過采集論壇帖子信息，利用機器學習算法自動檢測成就情緒，并運用生存分析方法解釋情緒對輟學的影響(Xing et al., 2019)。結果表明，學習者的消極激活情緒對MOOC輟學有顯著影響，而表達和暴露的積極激活情緒對課程學習沒有任何影響。

3.教育游戲

教育游戲是提升學生學習動機與學習效果的有效方式。在學習過程中，教育游戲會引發各類學習情緒。有研究通過準實驗設計探究七年級學生在游戲化學習過程中的情緒與學習結果的關系(Cheng et al., 2020)。結果表明，與經歷消極情緒的學生相比，經歷積極情緒的學生取得了更好的學習效果。研究還發現，隨著游戲化學習時間的推移，兩類學生的學習效果沒有顯著差異。換句話說，隨著教育游戲時間的延長，學習過程中學生情緒的作用逐步減弱。此外，教育游戲能增加學生的情感投入(Ninaus et al., 2019)，進而促進學習交互(Sabourin & Lester, 2014)。

4.增強現實與虛擬現實

增強現實(AR)與虛擬現實(VR)是基于多通道數據實現實時仿真與交互的前沿技術，其教育應用能提高學生的沉浸感與學習體驗，具有無法比擬的價值潛能。虛擬現實可以提高學生的參與度和學習動機，但其影響學習情感的機制尚不清楚。有研究調查了虛擬現實仿真系統中學習情感變化的潛在機制，發現虛擬現實系統的沉浸感可以顯著預測臨場感與積極情緒(Makransky & Lilleholt, 2018)。在移動環境中使用智能設備生成與渲染的增強現實被認為是移動增強現實(MAR)，而智能終端的普及也極大地推動了其教育應用。研究表明，移動增強現實與教育游戲結合能激發學生的學習動機與好奇心，增強學習情感投入與改善學習體驗(López-Faican & Jaen, 2020)。另外，在自閉癥兒童的情感技能培養上，研究者通過虛擬現實技術模擬學習與社交場景，發現虛擬現實系統能顯著改善自閉癥兒童的情感表達與社交技能(Ip et al., 2018)。

5.教育機器人

元分析結果表明，教育機器人有助于提升學生的學習效果(周進等, 2019; 單俊豪等， 2019)。在教學實踐中，教育機器人的角色通常包括導師、同伴及被指導者。為提高教育機器人的智能交互性，有研究采用強化學習(RL)構建自適應角色轉換模型，從而依據學生情感狀態與學習過程實現機器人角色的自動轉換(Chen et al., 2020)。該研究通過攝像機采集兒童學習詞匯過程中的面部表情數據，運用Affdex SDK自動識別學生的情感狀態，并結合學習行為來自適應切換Tega機器人所扮演的角色。研究結果發現，作為導師和同伴的教育機器人可以促進學生的深度學習，而作為被指導的教育機器人能提升學生的情感投入。該研究所提出的自適應角色轉換策略對設計與開發智能學習工具(比如教育機器人、教育智能體、智能學習助手等)具有借鑒意義。

6.課堂環境

課堂環境是智慧校園與智慧教室建設的重要抓手，是促進信息技術與教育深度融合的主陣地。相較于在線學習環境，課堂環境的數據采集是推進課堂信息化變革的難點。為降低數據采集時對學生的干擾與侵入性，盡可能收集真實情境的學習數據，研究者通常運用攝像頭采集學生的面部表情、手勢、身體姿態等行為數據，以分析學生的情感狀態及學習投入(Ashwin & Guddeti, 2020)。有研究利用攝像頭采集高中生課堂協作學習的面部表情，以識別協作學習中的意見領袖(Dindar et al., 2020)。結果表明，基于面部表情識別的方法是檢測意見領袖的可行方法，其結果為解釋協作學習的社會交互與情感變化提供了基礎。類似的，有研究探討了大學課堂環境下學生情感的自動識別方法及應用(Tonguc & Ozkara, 2020)，幫助教師實時掌握課堂教學中學生的情感投入，及時優化教學策略。

(五)實踐價值

情緒會分散學生注意力影響學習，若對其加以管理與調節，將對學生思考和決策發揮重要作用(Cleveland-Innes & Campbell, 2012)。情感計算通過挖掘教學實踐的學習情感及其變化過程，實現賦能學業預測、學習交互、教學干預與教學評價。

1.學業預測

學業預測是實現學習預警及風險防范的基礎，然而，僅從行為數據角度進行學業預測仍存局限。鑒于學生的學習情感與學業表現顯著相關(Jarrell et al., 2017)，本研究認為將情感作為核心指標可以增長學業預測效果。如在線學習社區中，結構化數據(如作業完成情況、出勤、點擊次數等)預測學業失敗的能力有限，有學者嘗試結合情感計算對非結構化數據(如自我評論)進行情感分析來提升預測效果(Yu et al., 2018)。實驗研究表明，相比于結構化數據的學業預測，結合情感分析的早期學業預測的準確度提升了14%，該發現對調整和優化學業預測系統具有重要意義。

2.學習交互

交互是學習過程中典型的行為特征，而應用情感計算可促進學生與系統、教師的交互。在系統交互中，有研究基于學習者面部情感識別，利用智能體(agent)促進學生與智能導師系統的交互，通過系統可用性量表(SUS)評估，發現學習者的滿意度較高(Lin et al., 2012)。一項針對59名5-7歲兒童詞匯學習的研究中(Chen et al., 2020)，通過對兒童面部表情識別并將結果實時傳遞給教育機器人，來促進學生與教育機器人的語音交互。結果發現，兒童詞匯學習效果得到明顯改善。情感計算還能促進學生與教師及資源的交互，它通過表情反應分析系統(ERRA)識別學生在多媒體學習中的情感變化，來賦能師生交互及社會交互(Hung et al., 2017)。

3.教學干預

文獻梳理發現，基于情感計算實現教學干預的方式包括過程干預與情感干預。在學習過程中，自動詢問、情境設置與資源推薦是常用的干預策略。比如，通過系統自動詢問的方式采集學生情緒，實現對具體教學問題的實時指導。研究結果發現，干預后學生的情感狀態及行為狀態有明顯的改善(Aslan, 2018)；在計算機支持的學習環境中，教師設置相互矛盾的信息、設備故障和錯誤反饋等問題情境來激發困惑情緒，促進學生的深層次學習與主動探索(Lehman et al., 2012)。針對學習過程中暴露的情感狀態，研究者可以運用相關工具或可視化反饋進行調節。比如，有研究通過應答器來激活學生的積極情緒，結果發現該方法能提升學習動機(Buil et al., 2016)。在協作學習中，研究人員采用S-Reg工具收集學生的自我報告情感，以交通信號燈的形式反饋小組學習情感(J?rvenoja et al., 2020)。結果表明，在具有挑戰性的學習活動中，S-Reg工具可以通過平衡情緒和動機來調節協作學習。

4.教學評價

教學評價是教育機構改進教學質量的重要信息來源，而從學生情感的角度開展教學評價是值得探索的方向。面對大規模數據集，有研究采用深度學習與機器學習算法對154000條課程評論進行情感分析(Onan, 2020b)。結果發現，運用深度學習進行情感分析的效果優于機器學習，準確度最高達到98.29%，這為大規模的自動教學評價提供了啟示。類似的，在MOOC環境下，有研究采集課程評論與課程元數據(課程時間安排、課程專業、課程持續時間等)挖掘學生的課程情感傾向(Hew et al., 2020)，研究結果為MOOC機構及從業者優化課程設計提供了證據支持。還有研究者在課堂環境下，利用面部表情進行情感建模，實現對課堂教學的自動評價(Pan et al., 2018)。

三、結論與討論

學習情感是教育研究不可忽視的要素，情感計算為探索學習情感的作用機制提供了技術支持。融合情感計算，創新教育應用，已成為智能教育研究與實踐的重要趨勢。

(一)推動認知與情感融合，重構學習理論基礎

在學習過程中，認知加工并非學習者唯一的內部活動。許多研究者呼吁擴展學習理論，納入情感加工的作用(Pekrun, 2006; Renkl & Atkinson, 2007)。近年來，學習理論和實踐的重大轉變，是從認知研究轉變為將情感與認知充分融合(Sinha et al., 2015)，認為社會實踐、認知變化和情感行為是知識建構與知識創造的關鍵組成部分(Baker et al., 2013)。換句話說，學習理論正重新審視情感因素在認知加工和學習中的核心價值，并積極推動情感與認知的融合。在機器智能時代，教育研究一方面要結合神經科學，積極探索學習過程中情緒對記憶與認知加工的腦科學機制，為融合情感與認知提供科學依據；另一方面學習活動設計與智能學習環境構建要有效地喚醒學生情感體驗，合理引導其認知注意力分配，控制學習者情緒負荷處于其自身調節能力范圍內。因此，未來要依據科學證據與教育實踐結果，充分考慮學習情感的核心作用，豐富與重構已有學習理論。

(二)整合情感測量方法，實現多模態情感計算

在梳理三類情感測量方法文獻的基礎上，本研究總結了心理測量、行為測量與生理測量的優缺點(見表一)。可以發現，各類方法都存在不同維度的優劣勢。隨著深度學習技術的發展及傳感設備的廣泛應用，學習情感研究采用客觀測量與多模態方法已成為趨勢，如利用計算機視覺整合面部表情、手勢與身體姿態進行情感挖掘；運用傳感器結合腦電、皮膚電與心率信號分析學生情感變化。相較于單模態數據的情感分析，基于多模態數據的情感識別表現出更優的性能，其平均準確度提升了9.83%(D’mello & Kory, 2015)。未來要圍繞多模態情感計算開展實踐探索，核心任務是降低測量方法的侵入性，探尋合適的情感特征及其融合策略，分析情感反應的內因。

表一 情感測量方法比較

(三)提升系統嵌入能力，賦能平臺情感檢測與調節

根據上述分析，本研究認為情感計算系統的開發遵循“情感表征-數據采集-情感建模-系統應用”的思路，即首先依據相關理論確定所關聯的情感類型，明確情感表征的數據通道；利用情感測量方法或工具采集特定通道的情感數據；隨后根據數據模態與關聯性建立數據融合策略，并在此基礎上利用機器學習建立情感模型；最后在教育實踐中應用、評估及優化系統。未來，情感計算系統開發應具有低侵入性、多模態數據整合、實時反饋及可視化呈現的特點，即結合教育場景采用低侵入性的情感信息采集策略，通過多模態數據融合方法，實現情感數據的實時反饋，并以可視化方式呈現結果。在教育人工智能的背景下，學習平臺或系統具備情緒檢測與監控能力已成為發展趨勢(Yadegaridehkordi et al., 2019)，因而提升情感計算系統的嵌入能力迫在眉睫：通過將系統進行模塊化開發及封裝，實現與現有平臺對接，提升平臺的智能交互及情感體驗。

(四)拓展情感計算的教育應用，助力教育創新變革

情感計算已應用于多種教育場景。未來，要鞏固和優化已有教育應用與實踐，但更重要的是突破“路燈效應”，積極推動情感計算的教育應用從線上學習走向線下學習、從計算機支持的學習環境到課堂學習環境。換句話說，研究者要擺脫對計算機或在線環境的過度依賴，即情感計算教育應用要以實際需求為導向，在真實的教育情境中提升學習體驗與學習效果。因此，未來研究應專注于從真實學習環境中采集多源數據，以拓展情感計算的教育應用。比如，在大規模課堂教學或講座中，利用攝像頭與計算機視覺實時分析課堂氛圍，幫助教師及時調整教學策略。情感計算在其中主要解決大規模課堂教學中，教師無法關注到每位學生學習狀態的困境。類似的，后疫情期的在線學習，可通過采集多源數據(面部表情、文本信息、身體姿態等)識別學習者的情感狀態，提升學習體驗與優化教學設計，助力在線教育的創新變革。

(五)探索教育實踐潛能，凸顯情感計算的應用價值

從情感與認知不可分割的角度講，融合學習情感的教育研究才是完整的實踐探索，即教育實踐要充分整合和探索學習情感的潛能，凸顯情感計算的實踐價值。對管理者而言，決策制定要結合大數據分析和情感計算技術，挖掘學生對教學、生活與學校管理的態度與反饋，真實掌握學生的現實需求，輔助制定科學嚴謹的教育決策。換句話說，未來研究者應加強三方面研究：一要利用情感計算挖掘學習過程中的潛在規律與發生機制，比如學習的行為-認知-情感演化規律；二要探索教學過程中的學習情感影響因素及可能的結果，在此基礎上制定情感干預策略，尤其是針對負面情感加以調節；三要發揮決策過程中情感因素的核心作用，提升數據決策與數據治理的科學性。

四、思 考

情感計算作為教育人工智能的關鍵技術，是當前研究關注的重要方向。本研究通過梳理國外情感計算教育應用的最新進展，總結了未來研究的發展趨勢，思考并給出了推進我國情感計算教育研究與實踐的相關建議。

(一)加強理論研究與宏觀設計，夯實教育創新基礎

推進我國情感計算教育應用，需創新理論研究：一方面依據教育場景明確學習情感類型。比如，消極情緒(如困惑)在復雜學習過程中是有益于學習的(D’Mello et al., 2014)，相較于積極情緒可能會帶來更好的學習效果(Knoerzer et al., 2016)，因此需根據教育場景明確學習情感類型，實現有針對性的學習干預；另一方面要創新理論基礎，消除情感與認知處于割裂狀態而導致的學習理論缺乏對情感因素的考量。比如，在多媒體學習中，有研究發現，學習情感對認知加工存在顯著影響，繼而基于梅耶的認知加工理論(Mayer, 2005)創新發展，提出了多媒體學習認知情感理論(Moreno, 2006)。情感計算涉及的教育場景(智能導師系統、在線學習平臺等)與學習方式(如自我調節學習)，需要進行宏觀設計與系統研究，構建其理論支撐。

(二)加大關鍵技術攻關，提升產品研發質量

學習情感計算包括多種測量方法，各種方法存在不同層面的技術難點，尤其是行為數據和生理信號處理方法。如對面部表情識別，環境光、攝像機圖像質量、學生身高和坐姿等都會對數據分析造成干擾，而學生聽課時用手捂住嘴或臉，或伸展身體等行為會對情感分析造成障礙。可以說，上述現象引發的技術難點，是不可回避且亟需解決的。這些問題的解決，需要跨學科、多領域協同合作，針對痛點問題加大技術攻關力度。另外，情感計算需以工具、平臺、系統等產品形式加快落地實踐，能成為學校與一線教師“可用、能用、實用”的利器。所研發的產品需具備易接入、交互強、可視化表達等特點。可以預見，這些產品的市場前景極為廣闊。

(三)開展常態化教育實踐，拓展教育應用邊界

相較于其他領域，我國教育實踐忽視學習情感的問題較為突出，這是導致情感計算教育研究與實踐緩慢的重要原因，因此建議加快構建“政產學研”實踐共同體，推動常態化情感計算教育實踐，即通過政府購買服務的形式，企業提供技術支持與產品服務，高校或研究機構提供理論指導，各類學校開展常態化教育探索。更重要的是，教育實踐要拓展教育應用邊界。根據不同應用情境(個人環境、班級環境及學校環境)和教育階段(學前教育、基礎教育、高等教育、特殊教育及職業教育)，整合情感計算技術挖掘其潛在影響及規律，是未來發展的重要方向。比如，特殊教育領域可借助情感計算增強特殊兒童與學習系統的交互，培養情感技能。因此，積極拓展教育應用的價值潛能，是我國未來情感計算教育應用的重要內容。

(四)重視倫理問題，規避教育應用的算法風險

作為教育人工智能領域的關鍵技術，情感計算教育應用的倫理問題不容小覷。教育實踐中，要防止對學習者情感數據的濫用，這需要政策法規的約束。其次，教育機器的情感智能達到一定水平后，會引發何種倫理挑戰，值得從倫理角度加以探討。從技術層面講，對行為數據與生理信號的情感建模需依賴機器學習算法，而算法本身存在黑箱、偏見及鴻溝問題(譚維智, 2019)，導致教育問題與分析結果面臨簡約化與形式化的風險。未來的研究，要加強發展可解釋性算法，提升情感建模的透明性；教育實踐要擺脫對算法的過度依賴，強化教師在結果分析與教學決策中的核心作用；管理層面要健全對算法與產品的審核機制，明確產品開發者的主體責任等，以此規避情感計算教育應用的潛在隱患。