學(xué)習(xí)情感計算研究

摘 要：情感計算為感知與理解學(xué)習(xí)者情感、增強情感交互、促進(jìn)人機協(xié)同提供了技術(shù)支撐。近年來，圍繞學(xué)習(xí)情感計算的研究迅速增加，但缺乏對相關(guān)研究理論基礎(chǔ)、技術(shù)方法和應(yīng)用場景的系統(tǒng)梳理與總結(jié)。鑒于此，本研究采用系統(tǒng)性文獻(xiàn)綜述法對國際上發(fā)表的該主題研究進(jìn)行內(nèi)容分析，旨在為我國學(xué)者開展相關(guān)研究提供更多的實踐參考。分析發(fā)現(xiàn)，學(xué)習(xí)情感計算研究以離散型情感理論為主，基本情感理論是研究焦點；情感測量的數(shù)據(jù)來源豐富，多模態(tài)情感識別成為研究趨勢；情感測量方法以機器學(xué)習(xí)技術(shù)為主，支持向量機和卷積神經(jīng)網(wǎng)絡(luò)是應(yīng)用最多的兩種算法；學(xué)習(xí)情感計算的應(yīng)用場景單一，以在線學(xué)習(xí)場景為主。今后我國學(xué)者在開展相關(guān)研究時，需要重視情感理論的情景化、數(shù)據(jù)的多源化、方法的多樣化、應(yīng)用場景的豐富化，拓展學(xué)習(xí)情感計算研究的深度和廣度。

關(guān)鍵詞：情感計算；系統(tǒng)性文獻(xiàn)綜述；情感測量方法

中圖分類號：G4 文獻(xiàn)標(biāo)志碼：A 文章編號：2096-0069（2024）01-0001-09

引言

美國麻省理工學(xué)院的羅莎琳德·賴特·皮卡德（Rosalind Wright Picard）[1]于1997年首次提出情感計算的概念，旨在通過賦予計算機識別、理解、表達(dá)和適應(yīng)人情感的能力來構(gòu)建和諧的人機環(huán)境，從而使計算機具有更高、更全面的智能。情感計算的提出為感知與分析學(xué)習(xí)者情感、增強情感交互、促進(jìn)人機協(xié)同等方面提供了技術(shù)支撐，進(jìn)而為促進(jìn)教育智能化、個性化發(fā)展帶來了全新的可能。

圍繞情感計算技術(shù)如何助力教育，國內(nèi)外學(xué)者開展了多樣化探索，相關(guān)研究層出不窮。如古萊·通古克（Guray Tonguc）等[2]通過調(diào)用微軟情感識別接口識別學(xué)生的基本情感，進(jìn)而探究了學(xué)生在上課過程中的情感狀態(tài)變化。此外，研究主題還包括關(guān)注學(xué)習(xí)者情感識別的技術(shù)實現(xiàn)、為在線學(xué)習(xí)者提供實時的情感支持、基于學(xué)習(xí)者的情感狀態(tài)推薦學(xué)習(xí)資源、根據(jù)學(xué)習(xí)情感分析學(xué)生的投入水平等。由此可見，學(xué)習(xí)情感計算受到的關(guān)注越來越多，研究趨于豐富與多元。但總體來看，這些研究與實踐處于探索階段，仍存在諸多不足，這極大地限制了情感計算在教育領(lǐng)域的應(yīng)用與拓展。

因此，本文對已有研究從情感理論/模型、數(shù)據(jù)源、情感測量方法、應(yīng)用場景等維度進(jìn)行編碼分析，旨在分析情感計算技術(shù)在教育領(lǐng)域的發(fā)展現(xiàn)狀與不足，揭示情感計算技術(shù)在教育領(lǐng)域的應(yīng)用重點，希冀為我國學(xué)者開展學(xué)習(xí)情感計算研究提供借鑒依據(jù)與創(chuàng)新基礎(chǔ)。

一、研究設(shè)計

（一）研究問題

為了解國內(nèi)外關(guān)于學(xué)習(xí)情感計算的研究現(xiàn)狀，本研究對公開發(fā)表的文獻(xiàn)進(jìn)行統(tǒng)計分析，致力于回答以下幾個問題：（1）該領(lǐng)域研究使用的情感理論/模型有哪些？（2）測量學(xué)習(xí)情感所使用的數(shù)據(jù)通道有哪些？（3）訓(xùn)練情感識別模型的數(shù)據(jù)集有哪些？（4）使用的情感識別方法有哪些？（5）學(xué)習(xí)情感計算研究重點關(guān)注的教育場景有哪些？

（二）研究方法

本文采用系統(tǒng)性文獻(xiàn)綜述法開展研究。系統(tǒng)性文獻(xiàn)綜述法是指研究者采用多種檢索和分析技術(shù)在不同數(shù)據(jù)庫中獲取文獻(xiàn)，全面地梳理某一專題的研究現(xiàn)狀和進(jìn)展，并對研究結(jié)果進(jìn)行客觀評價和系統(tǒng)整合的一種標(biāo)準(zhǔn)化研究方法。該方法的優(yōu)勢在于克服了傳統(tǒng)文獻(xiàn)綜述的不足，如主觀性和偏見性等問題。

（三）研究步驟

1.文獻(xiàn)檢索策略

為了檢索得到2010年以來學(xué)習(xí)情感計算的相關(guān)研究，本文根據(jù)確定的研究問題，以“情感計算/情感識別/情感檢測/情緒分析”，“學(xué)生/學(xué)習(xí)者”等為關(guān)鍵詞，中間使用“并且”布爾運算符，在4個國際權(quán)威數(shù)據(jù)庫（Web of Science、ScienceDirect、IEEE Explore和Springer Link）中進(jìn)行標(biāo)題精確檢索，時間范圍限定為2010年1月1日以后，最終獲得381篇文獻(xiàn)，刪除重復(fù)文獻(xiàn)后得到357篇文獻(xiàn)。

2.文獻(xiàn)篩選標(biāo)準(zhǔn)

為了精準(zhǔn)呈現(xiàn)情感計算技術(shù)在教育領(lǐng)域的應(yīng)用情況，獲得準(zhǔn)確、可靠的分析結(jié)果，本研究對得到的357篇文獻(xiàn)設(shè)定了相應(yīng)的納入和排除標(biāo)準(zhǔn)（見表1）。其中1-4條是為了保證文獻(xiàn)樣本的權(quán)威性和準(zhǔn)確性而普遍采用的篩選標(biāo)準(zhǔn)；第5條是為了限定文獻(xiàn)的發(fā)表時間；第6、7條為了篩選得到使用特定研究方法的實證類研究；第8、9條旨在將文獻(xiàn)的研究主題聚焦于情感技術(shù)在教育領(lǐng)域的應(yīng)用。

3.文獻(xiàn)篩選過程

本研究嚴(yán)格遵循系統(tǒng)性文獻(xiàn)綜述的研究步驟，通過檢索、篩選、合格和納入4個階段對學(xué)習(xí)情感計算的相關(guān)文獻(xiàn)進(jìn)行篩選，最終獲得符合條件的論文127篇。具體的文獻(xiàn)篩選流程如圖1（見下頁）所示。針對最終納入的127篇文獻(xiàn)，本研究從年份、情感理論/模型、情感測量通道、測量方法、情感數(shù)據(jù)集、情感狀態(tài)分類等維度對其進(jìn)行編碼分析。

二、研究結(jié)果

（一）情感理論/模型

表2（見下頁）總結(jié)了所選文獻(xiàn)中使用的情感理論/模型及其頻次。這些情感理論可分為離散型情感理論和維度型情感理論兩種。離散情感理論認(rèn)為人的情感包括若干個基本的情感類型，其他復(fù)雜情感均可以由這些基本情感組合而成。目前應(yīng)用最廣泛的是由心理學(xué)家保羅·艾克曼（Paul Ekman）[3]提出的基本情感理論。此外，他和華萊士V.弗里森（Wallace V. Friesen）等[4]創(chuàng)制了面部行為編碼系統(tǒng)，描繪了不同臉部肌肉動作與不同表情的對應(yīng)關(guān)系。在本研究的樣本文獻(xiàn)中，有51篇文獻(xiàn)（40.2%）以基本情感類型進(jìn)行情感識別研究，有4篇文獻(xiàn)（3.1%）使用了面部行為編碼系統(tǒng)。2002年，萊因哈德·佩克倫（Reinhard Pekrun）[5]首次提出了學(xué)業(yè)情緒，他將與課堂教學(xué)、學(xué)業(yè)學(xué)習(xí)和學(xué)業(yè)成就等直接相關(guān)的各種情緒稱為學(xué)業(yè)情緒。此后，他又提出了學(xué)業(yè)情緒的控制-價值理論。經(jīng)統(tǒng)計發(fā)現(xiàn)，有17篇文獻(xiàn)（13.4%）探究了以學(xué)習(xí)為中心的學(xué)業(yè)情感。對離散的情感類型進(jìn)行統(tǒng)計，發(fā)現(xiàn)在113篇文獻(xiàn)中共有30多個不同的情感描述詞，其中，研究頻次最高的情感類型如圖2所示。

離散型情感描述方法簡單、直觀，但是它不能反映情感強度信息，也難以對復(fù)雜的組合情感進(jìn)行有效度量，因此研究者提出了多種維度情感模型。維度空間論將人類情感分為多個相互獨立的維度，利用情感空間中不同的位置代表不同的情感狀態(tài)。基于維度情感模型進(jìn)行學(xué)習(xí)情感計算研究的文獻(xiàn)較少，僅分別有8篇和1篇文獻(xiàn)以羅素的圓環(huán)模型和PAD模型為理論基礎(chǔ)[6-7]。

（二）情感測量的數(shù)據(jù)源

本研究篩選出的127篇文獻(xiàn)使用了視頻、語音、腦電、心率、文本和日志數(shù)據(jù)等多種不同來源的數(shù)據(jù)，這些數(shù)據(jù)源根據(jù)采集方式和獲取途徑的不同可分為4種，分別是行為信號、生理信號、日志數(shù)據(jù)和文本。

行為信號是指人們不需要借助工具和設(shè)備就可以觀察到的特征，通常包括語音、面部表情、身體姿態(tài)、眼動等。由于行為信號具有非侵入、花費少、易被人們接受的特性，因此使用行為信號進(jìn)行學(xué)習(xí)者情感識別的研究最多。經(jīng)統(tǒng)計發(fā)現(xiàn)，有89篇文獻(xiàn)中使用了面部視頻，11篇文獻(xiàn)中使用了語音信號，3篇文獻(xiàn)中提取了身體姿態(tài)特征，4篇文獻(xiàn)中使用了手勢，1篇文獻(xiàn)中收集了眼動數(shù)據(jù)。

生理信號不同于行為信號，需要借助一些測量工具接觸個體才能檢測出生理指標(biāo)的波動情況，常用的觀測指標(biāo)包括腦電、皮膚電和心率變化等。人們通常很難有意識地控制生理信號的變化，因此使用生理數(shù)據(jù)估計人們的情緒狀態(tài)更加精準(zhǔn)。2010年后，研究人員傾向于采集不同的生理信號來識別學(xué)習(xí)者的情緒狀態(tài)。然而，生理信號的測量需要專門的傳感器，采集過程復(fù)雜，難以大范圍使用，而且采集時需要傳感器接觸到個體，這個過程容易干擾學(xué)習(xí)者。因此，基于生理信號進(jìn)行學(xué)習(xí)者情緒識別與分析的研究并不多。經(jīng)統(tǒng)計，在使用生理信號的研究中，使用腦電和心率的僅2篇，使用皮膚電的有3篇。

文本信息通常是指學(xué)習(xí)者在線上學(xué)習(xí)平臺的評論、與同伴間的對話、教學(xué)評價等。早期研究以粗粒度的情感分析為主，著重關(guān)注句子或篇章蘊含的正性、中性、負(fù)性情緒。近年來，研究者對情感標(biāo)簽進(jìn)行細(xì)化，將情感劃分為更多的類別。細(xì)粒度的情緒識別對情緒識別模型的構(gòu)建提出了更大的挑戰(zhàn)。在21篇基于文本信息的學(xué)習(xí)者情緒分析研究中，7篇文獻(xiàn)屬于粗粒度情緒分析研究，4篇將情緒細(xì)分為非常積極、積極、中性、消極和非常消極5類，10篇識別了具體的情緒類別。此外，有4篇文獻(xiàn)使用了學(xué)習(xí)者與智能導(dǎo)師系統(tǒng)、學(xué)習(xí)平臺交互時產(chǎn)生的行為、反饋、響應(yīng)時間等日志數(shù)據(jù)。

為了克服單通道數(shù)據(jù)的局限性，研究者通過融合多模態(tài)數(shù)據(jù)提升學(xué)習(xí)情感計算的準(zhǔn)確率。樣本文獻(xiàn)中有15項研究使用了多模態(tài)數(shù)據(jù)，其中，融合音視頻數(shù)據(jù)表征學(xué)習(xí)者情感信息的研究最多，共有8篇，使用面部表情、身體姿態(tài)和手勢的研究有3篇，使用多種生理信號的研究有2篇，使用面部圖像和文本的研究有2篇。

圖3顯示了不同年份使用不同模態(tài)的數(shù)據(jù)進(jìn)行情感測量的文獻(xiàn)數(shù)。可以看出，早期通過客觀數(shù)據(jù)分析學(xué)習(xí)者情感的研究還比較少，數(shù)據(jù)來源也比較單一，主要以視覺信息為主，同時也有少量研究使用了文本信息和多模態(tài)數(shù)據(jù)。近幾年，情感測量的數(shù)據(jù)來源越來越豐富，不但使用視覺信息的研究急劇增加，而且有更多研究逐漸關(guān)注語音、文本、日志文件等通道的數(shù)據(jù)，試圖從不同的角度探究學(xué)習(xí)者的情感狀態(tài)。

（三）情感數(shù)據(jù)集

情感識別任務(wù)的準(zhǔn)確性很大程度依賴于訓(xùn)練數(shù)據(jù)集的質(zhì)量。用于開發(fā)情感識別技術(shù)的數(shù)據(jù)集包括公共數(shù)據(jù)集和自建數(shù)據(jù)集。公共數(shù)據(jù)集是開源的，可免費下載，自建數(shù)據(jù)集是基于特定任務(wù)而構(gòu)建，由于隱私政策和道德規(guī)范，不能公開共享。經(jīng)統(tǒng)計發(fā)現(xiàn)，調(diào)用開源情緒識別接口的研究有17篇（13.4%），使用有公共數(shù)據(jù)集的研究有43篇（33.8%），使用自建數(shù)據(jù)集的研究有50篇（39.3%）。

如圖4所示，公開情感數(shù)據(jù)集的內(nèi)容以面部圖像或視頻居多，使用頻次較多的面部情感數(shù)據(jù)集包括：人臉表情識別數(shù)據(jù)集（18篇）、擴展的科恩-卡納德數(shù)據(jù)集（8篇）、日本女性面部表情數(shù)據(jù)集（7篇）、在線環(huán)境中的情感狀態(tài)數(shù)據(jù)集（3篇）。其他模態(tài)的公共數(shù)據(jù)集極少。由于大多數(shù)公共數(shù)據(jù)集基于基本情感進(jìn)行標(biāo)注，因此其包含的情感類型并非都適用于學(xué)習(xí)場景。于是，一些研究人員針對學(xué)習(xí)情感的特殊性，結(jié)合特定研究任務(wù)、情景自建了學(xué)習(xí)情感數(shù)據(jù)集。在樣本研究中，自建數(shù)據(jù)集的標(biāo)注對象以文本和面部視頻為主。一些學(xué)者針對線上或線下學(xué)習(xí)場景，描述了數(shù)據(jù)集的構(gòu)建過程，并驗證了數(shù)據(jù)集的有效性。例如，孫波等[9]以普通教室為采集場景構(gòu)建的北京師范大學(xué)大型自發(fā)視覺表達(dá)數(shù)據(jù)庫中，共有2117個圖像序列，包含11種課堂情感行為。2020年，阿什溫·T·S（Ashwin T S）等[10]為線上和線下課堂學(xué)習(xí)建立了一個更全面的情感數(shù)據(jù)庫，不僅包含6種基本情感，同時還包括多種有意義的學(xué)業(yè)情感，但該數(shù)據(jù)庫中的被試全部來自印度。

（四）學(xué)習(xí)情感識別方法

除了高質(zhì)量的數(shù)據(jù)集，算法的選擇對于情感識別任務(wù)的準(zhǔn)確性也有很大影響。總體來看，情感識別方法包括傳統(tǒng)機器學(xué)習(xí)和深度學(xué)習(xí)技術(shù)。對樣本文獻(xiàn)的研究方法進(jìn)行統(tǒng)計分析后發(fā)現(xiàn)，58篇文獻(xiàn)（45.7%）中應(yīng)用了深度學(xué)習(xí)技術(shù)，22篇文獻(xiàn)（17.3%）應(yīng)用了傳統(tǒng)的機器學(xué)習(xí)技術(shù)，11篇文獻(xiàn)（8.6%）同時應(yīng)用了傳統(tǒng)機器學(xué)習(xí)和深度學(xué)習(xí)技術(shù)。

傳統(tǒng)的機器學(xué)習(xí)方法基于特征提取得到的信息構(gòu)建分類器，常用的算法包括支持向量機、K近鄰、樸素貝葉斯、決策樹、隨機森林、邏輯回歸、分類與回歸樹等。這些機器學(xué)習(xí)算法可以通過機器學(xué)習(xí)工具箱調(diào)用，例如懷卡托智能分析環(huán)境、計算機表情識別工具箱，剩余大部分研究使用了開源機器學(xué)習(xí)庫。圖5（a）（見下頁）所示為不同傳統(tǒng)機器學(xué)習(xí)算法的使用頻次統(tǒng)計結(jié)果，可以發(fā)現(xiàn)：支持向量機的使用頻次最高，K近鄰、樸素貝葉斯和決策樹的使用頻次相對較多，但隨機森林、邏輯回歸和分類與回歸樹等算法的使用頻次較少。

隨著深度學(xué)習(xí)技術(shù)的發(fā)展，基于深度學(xué)習(xí)的情感識別研究展現(xiàn)了其優(yōu)越性。端對端的學(xué)習(xí)過程不僅簡化了傳統(tǒng)機器學(xué)習(xí)識別情感任務(wù)的流程，而且層次化的特征提取過程賦予深度神經(jīng)網(wǎng)絡(luò)強大的學(xué)習(xí)能力，可以從原始圖像提取高層次的抽象特征。因此，近年來，有更多的情感識別研究選擇使用深度學(xué)習(xí)方法。如圖5（b）（見下頁）所示，52篇文獻(xiàn)中應(yīng)用了經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)，15篇文獻(xiàn)中應(yīng)用了長短期記憶網(wǎng)絡(luò)，多層感知機、模糊神經(jīng)網(wǎng)絡(luò)、深度置信網(wǎng)絡(luò)、反向傳播神經(jīng)網(wǎng)絡(luò)等算法的應(yīng)用較少。

（五）情感計算教育應(yīng)用場景

學(xué)習(xí)情感計算研究關(guān)注的場景包括在線學(xué)習(xí)環(huán)境（n=52，40.9%）、智慧學(xué)習(xí)環(huán)境（n=20，15.7%）和智能導(dǎo)師系統(tǒng)（n=13，10.2%），也有少數(shù)研究關(guān)注游戲化學(xué)習(xí)等情景（n=3，2.4%）。在線學(xué)習(xí)環(huán)境中，學(xué)習(xí)者與教師時空分離，導(dǎo)致教師無法及時地了解學(xué)生在學(xué)習(xí)過程中的情感變化。將情感計算技術(shù)應(yīng)用于在線學(xué)習(xí)平臺，基于捕獲的學(xué)習(xí)者數(shù)據(jù)自動識別并分析其情感狀態(tài)，以在必要時給予情感支持，對提高學(xué)習(xí)者的學(xué)習(xí)體驗具有重要作用。智慧學(xué)習(xí)環(huán)境為促進(jìn)學(xué)習(xí)者的個性化發(fā)展、提高學(xué)習(xí)者的投入水平提供了重要保障[11]。智能教室的存儲管理系統(tǒng)能夠自動采集分析學(xué)習(xí)過程數(shù)據(jù)，以支持教師動態(tài)、即時地診斷學(xué)習(xí)投入。智能導(dǎo)師系統(tǒng)通過人工智能技術(shù)模擬人類輔導(dǎo)行為，為學(xué)習(xí)者提供自適應(yīng)的交互反饋。情感計算為提高智能導(dǎo)師系統(tǒng)的交互水平、開展精準(zhǔn)教學(xué)提供了技術(shù)支持。奧馬爾·阿爾佐比（Omar ALZoubi）等[12]在研究學(xué)習(xí)者與智能導(dǎo)師系統(tǒng)交互時，通過傳感器采集肌電、腦電和皮膚電等生理信號，然后使用機器學(xué)習(xí)技術(shù)對數(shù)據(jù)進(jìn)行處理，結(jié)果表明樸素貝葉斯和K近鄰算法的識別效果更好。游戲化學(xué)習(xí)是將游戲化體驗方式與機制應(yīng)用于學(xué)習(xí)過程中，它是提升學(xué)生學(xué)習(xí)動機的有效方式。在游戲平臺嵌入情感識別模型，實時采集學(xué)習(xí)者的面部表情等數(shù)據(jù)進(jìn)行情感分析，從而觸發(fā)反饋以增強學(xué)生的情感體驗。

三、結(jié)論與啟示

（一）研究結(jié)論

本文采用系統(tǒng)性文獻(xiàn)綜述法，篩選得到127篇學(xué)習(xí)情感計算研究。從情感理論/模型、情感測量數(shù)據(jù)源、情感數(shù)據(jù)集、情感識別方法和應(yīng)用場景等幾個方面進(jìn)行了系統(tǒng)性分析，研究結(jié)論如下：

1.從理論基礎(chǔ)來看，目前針對學(xué)習(xí)情境并沒有一個統(tǒng)一的情感理論，大多數(shù)文獻(xiàn)采用基本情感理論作為研究基礎(chǔ)，該理論將人類的基本情感分為6種（快樂、驚訝、悲傷、憤怒、厭惡和恐懼）。由于一些學(xué)者認(rèn)為有些基本情感很難被學(xué)習(xí)者體驗到，因此部分學(xué)者探究了以學(xué)習(xí)為中心的學(xué)業(yè)情感。然而，研究人員對于學(xué)業(yè)情感沒有統(tǒng)一的定義，不同研究中對于學(xué)業(yè)情感的劃分差異較大。另外，僅有少數(shù)文獻(xiàn)中使用了維度情感模型。

2.從數(shù)據(jù)來源看，情感測量通道包括行為信號（面部表情、語音、手勢、身體姿態(tài)等）、生理信號（腦電、心率、皮膚電等）、文本和日志數(shù)據(jù)。因為視覺信號具有包含的情感信息豐富、易采集、采集過程無擾等優(yōu)點，所以被更多的研究者使用。早期研究以單一通道數(shù)據(jù)來源為主，近年來，隨著多模態(tài)分析方法的提出，基于多模態(tài)的情感識別研究逐年增多。

3.從情感數(shù)據(jù)集構(gòu)建來看，目前用于學(xué)習(xí)者情感識別模型訓(xùn)練的數(shù)據(jù)主要來自以6種基本情感作為標(biāo)注的公開數(shù)據(jù)集。雖然有較多文獻(xiàn)中通過自建數(shù)據(jù)集訓(xùn)練情感識別模型，但這些數(shù)據(jù)集主要針對特定任務(wù)和場景構(gòu)建，適用范圍小，而且由于隱私和學(xué)術(shù)道德規(guī)范的要求，大多數(shù)據(jù)集并未公開。因此，構(gòu)建多場景、多模態(tài)的開源數(shù)據(jù)集是未來開展學(xué)習(xí)者情感分析的重要基礎(chǔ)。

4.從測量方法來看，目前學(xué)習(xí)者情感識別主要以深度學(xué)習(xí)方法為主，在一些小樣本或數(shù)據(jù)量較少的研究中則使用了傳統(tǒng)機器學(xué)習(xí)方法。其中，卷積神經(jīng)網(wǎng)絡(luò)和支持向量機是應(yīng)用頻次最高的兩種算法。隨著智能技術(shù)的發(fā)展及多模態(tài)數(shù)據(jù)集的構(gòu)建，基于深度學(xué)習(xí)技術(shù)進(jìn)行多模態(tài)學(xué)習(xí)情感計算將成為今后的重點研究方向。

5.從應(yīng)用場景來看，目前情感計算技術(shù)在教育中的應(yīng)用場景比較單一，現(xiàn)有研究主要圍繞在線學(xué)習(xí)場景、智能導(dǎo)師系統(tǒng)和智慧學(xué)習(xí)環(huán)境開展，而對于游戲化學(xué)習(xí)、協(xié)作學(xué)習(xí)等場景鮮有研究。

（二）研究啟示

根據(jù)本研究對學(xué)習(xí)情感計算研究的分析結(jié)果，今后開展該主題研究的應(yīng)從以下幾個方面著力。

1.重視情感計算理論研究，夯實教育創(chuàng)新基礎(chǔ)

情感理論是推動學(xué)習(xí)情感計算研究的基礎(chǔ)。在實際研究中，首先需要重視情感理論與教育場景的適切性，依據(jù)學(xué)習(xí)情景確定學(xué)習(xí)者體驗的情感類型，這有利于準(zhǔn)確識別學(xué)生的情感狀態(tài)，提供有針對性的學(xué)習(xí)干預(yù)。其次，結(jié)合維度情感模型，加強學(xué)習(xí)者情感在維度空間中的分析，這樣不僅可以表示具體的情感類型，而且可以描述情感的正負(fù)性及對應(yīng)的情感強度，便于進(jìn)一步探究情感演變過程。最后，要重視理論創(chuàng)新研究，將情緒與認(rèn)知聯(lián)系起來，重構(gòu)理論基礎(chǔ)。

2.推動情感數(shù)據(jù)集構(gòu)建，促進(jìn)智能教育發(fā)展

機器學(xué)習(xí)算法需要大量的數(shù)據(jù)驅(qū)動模型訓(xùn)練，訓(xùn)練數(shù)據(jù)集的大小和質(zhì)量直接決定模型的性能和泛化能力。因此，學(xué)習(xí)者情感識別研究離不開高質(zhì)量情感數(shù)據(jù)集的支撐。已有研究主要基于根據(jù)人類基本情感構(gòu)建的開源數(shù)據(jù)集開展，而針對學(xué)習(xí)場景的情感數(shù)據(jù)集非常匱乏，這與情感計算技術(shù)的發(fā)展現(xiàn)狀極其不匹配。針對此種情況，學(xué)者以不同教育情景的數(shù)據(jù)集構(gòu)建為主題開展了一些研究，具體內(nèi)容包括確定情感類型、明確情感表征的數(shù)據(jù)通道、描述數(shù)據(jù)采集與標(biāo)注過程，以及基于機器學(xué)習(xí)進(jìn)行數(shù)據(jù)集評估。但是，這些研究的被試多為成年人或外國人，且樣本量較少、數(shù)據(jù)采集場景單一，基本僅包含圖像這一種模態(tài)的數(shù)據(jù)，很難滿足深度學(xué)習(xí)和實際應(yīng)用的需求。再加上隱私保護(hù)等原因，很難獲取其他單位的數(shù)據(jù)集。因此，為了推進(jìn)情感計算在教育中的應(yīng)用研究，構(gòu)建多場景、多模態(tài)的大規(guī)模公開數(shù)據(jù)集刻不容緩。

3.整合情感識別方法，實現(xiàn)多模態(tài)情感計算

心理學(xué)家阿爾伯特·梅赫拉比安（Albert Mehrabian）指出，情感表達(dá)=55%的面部表情+38%的聲音+7%的言語表達(dá)。這說明情緒信息的表達(dá)渠道十分豐富，不同模態(tài)的數(shù)據(jù)之間可以相互補充，表征更全面的信息。隨著人工智能技術(shù)的蓬勃發(fā)展，以及可穿戴設(shè)備的普及，利用視頻、語音、文本、日志數(shù)據(jù)和生理信號等多模態(tài)數(shù)據(jù)預(yù)測和分析學(xué)習(xí)者的情感狀態(tài)將成為重要的發(fā)展趨勢。近幾年，研究者開始嘗試融合不同通道的數(shù)據(jù)，使用機器學(xué)習(xí)技術(shù)訓(xùn)練情感識別模型。但需要注意的是，目前研究者所開展的多模態(tài)情感分析研究仍處于探索階段，對于多模態(tài)數(shù)據(jù)采集、多源數(shù)據(jù)匯聚與對齊、數(shù)據(jù)標(biāo)注，以及多模態(tài)數(shù)據(jù)融合仍需要作進(jìn)一步探究。為了解決以上問題，教育工作者需要加強與計算機、人工智能等領(lǐng)域研究者的合作，發(fā)揮各自優(yōu)勢，共同推進(jìn)多模態(tài)情感識別研究。

4.拓展情感計算教育應(yīng)用，開展常態(tài)化教育實踐

情感計算已經(jīng)應(yīng)用于多種教育場景，但多數(shù)研究是為了解決在線學(xué)習(xí)中的“情感缺失”問題而開展的，受“路燈效應(yīng)”的影響，其應(yīng)用范圍十分受限。在未來的研究中，需要擺脫對在線環(huán)境和計算機支持的學(xué)習(xí)環(huán)境的依賴，注重從真實課堂中采集學(xué)習(xí)過程數(shù)據(jù)，基于學(xué)習(xí)者的面部表情、頭部姿態(tài)、身體姿勢等檢測以學(xué)習(xí)為中心的情感。情感計算在線下課堂環(huán)境的應(yīng)用，有助于教師了解每位學(xué)生的情感投入變化，從而及時調(diào)整教學(xué)策略。同時，重視在協(xié)作學(xué)習(xí)、翻轉(zhuǎn)課堂、以及游戲化學(xué)習(xí)等情境中開展相關(guān)研究與實踐，以進(jìn)一步拓展情感計算教育應(yīng)用場景。

參考文獻(xiàn)

[1]PICARD R W. Affective computing [M]. Cambridge： MIT Press， 1997.

[2]TONGUC G， OZKARA B O. Automatic recognition of student emotions from facial expressions during a lecture [J]. Computer amp; Education， 2020， 148（2）： 103797.

[3]EKMAN P. An argument for basic emotions [J]. Cognition amp; Emotion， 1992， 6（3/4）： 169-200.

[4]EKMAN P， FRIESEN W V. Facial action coding system （facs）： a technique for the measurement of facial actions [J]. Rivista Di Psichiatria， 1978， 47（2）： 126-138.

[5]PEKRUN R. The control-value theory of achievement emotions： assumptions， corollaries， and implications for educational research and practice [J]. Educational Psychology Review， 2006， 18（4）： 315-341.

[6]RUSSELL J A. A circumplex model of affect [J]. Journal of Personality and Social Psychology， 1980， 39（6）： 1161-1178.

[7]MEHRABIAN A. Pleasure-arousal-dominance： a general framework for describing and measuring individual differences in temperament [J]. Current Psychology， 1996， 14（4）： 261-292.

[8]PLUTCHIK R. A general psychoevolutionary theory of emotion." Theories of Emotion[M]. Academic Press，1980： 3-33.

[9]WEI Q L， SUN B， HE J， et al. BNU-LSVED 2.0： spontaneous multimodal student affect database with multi-dimensional labels [J]. Signal Processing： Image Communication， 2017， 59： 168-181.

[10]ASHWIN T S， GUDDETI R M R. Affective database for e-learning and classroom environments using Indian students’faces， hand gestures and body postures [J]. Future Generation Computer Systems， 2020， 108： 334-348.

[11]徐振國， 王悅， 趙春雨. 智慧學(xué)習(xí)環(huán)境下學(xué)習(xí)投入的影響因素研究 [J]. 數(shù)字教育， 2022， 8（6）： 29-37.

[12]ALZOUBI O， MELLO S K， CALVO R A. Detecting naturalistic expressions of nonbasic affect using physiological signals [J]. IEEE Transactions on Affective Computing， 2012， 3（3）： 298-310.

（責(zé)任編輯 李強）

Learning Affective Computing Research

—A Systematic Literature Review Based on International Studies

Xu Yaping1， Li Yanyan1， Li Xin2， Zheng Yaqian1， Tang Xiren3

（1. School of Educational Technology， Beijing Normal University， Beijing， China 100875;

2. School of Smart Education， Jiangsu Normal University， Xuzhou， Jiangsu， China 221116;

3. School of Educational Technology， South China Normal University， Guangzhou， Guangdong， China 510631）

Abstract： Affective computing provides technical support for sensing and understanding learners’ emotions， enhancing emotional interaction， and promoting human-computer collaboration. Research related to learning affective computing has increased rapidly in recent years， but there is a lack of systematic compilation and summarization of the theoretical foundations， technical approaches， and application scenarios. In view of this， this study adopts a systematic literature review method to analyze the content of the internationally published studies on the related topic， aiming to provide more practical references for scholars in China to carry out related research. It is found that the research on learning affective computing is dominated by discrete affective theory， and the basic affective theory is the focus; the data sources of affective measurement are rich， and multimodal affective recognition has become a research trend; the affective measurement methods are dominated by machine learning techniques， and support vector machine and convolutional neural network are the two most applied algorithms; the application scenarios of learning affective computing are single， which are dominated by online learning ones. In the future， when scholars in China carry out related research， they need to pay attention to the contextualization of emotion theory， the multi-source of data， diversification of methods， and enrichment of application scenarios， so as to promote the depth and breadth of the research on learning affective computing.

Key words： Affective computing; Systematic literature review; Affective measures