基于人工智能表情識別與差異分析的游戲化學習投入狀態研究*

張 露 胡若楠 雷 悅 尚俊杰

基于人工智能表情識別與差異分析的游戲化學習投入狀態研究*

張 露1胡若楠2雷 悅3尚俊杰4

（1．北京郵電大學 網絡教育學院，北京 100876；2．華東師范大學 教師教育學院，上海 200062；3．倫敦大學學院 教育學院，英國倫敦 999020；4．北京大學 教育學院學習科學實驗室，北京 100871）

當前，游戲化學習憑借其增強學習動機的優勢，受到教育領域的廣泛關注，學習投入作為學生在游戲化學習中取得優異學業表現的關鍵因素，已成為當下研究者關注的重點方向，然而傳統問卷調查方法在分析游戲化學習中的學習投入方面仍存在局限性。為了更加客觀、準確、高效地探究游戲化學習中的學習投入狀態，文章首先梳理了該領域的研究現狀；然后，文章對學生的面部表情進行視頻記錄，并基于面部表情分析和K-means聚類方法，發現學生呈現了三種不同類型的情緒狀態，即快樂學習型、憤怒焦慮型、認真謹慎型；最后，文章為探析不同情感投入類型下的差異性特征，對過程中的表情數據、游戲后臺數據與學業成績進行關聯分析，發現快樂學習型和認真謹慎型的學生在分數概念性知識的后測中有較好的成績表現。文章通過研究游戲化學習中的學生情緒狀態類型及其差異特征，旨在為分析學習投入狀態與認知表現的關系提供線索。

學習投入；游戲化學習；人工智能；表情識別；聚類分析

學習投入作為影響學業成就的關鍵因素之一，在學生的學習過程中扮演著重要角色。研究表明，改善學習投入狀態有助于增強學生的心理健康，提高學業成績，并實現學習目標[1][2]。相反，如果學生在情感層面和認知層面缺乏學習投入，他們的學習精力和時間將減少，面對挫折時更容易放棄[3]。當前，游戲化學習在激發學習動機、提升學業表現方面的優勢已得到諸多研究證據的支持，游戲化學習中的學習投入也被認為是預測學業成就的重要因素[4]。獲取并追蹤游戲化學習過程中的學習投入狀態，對不同類型的學習投入及其特征進行分析，將為設計游戲化學習中的個性化學習支持、提升游戲化學習的干預效果提供重要依據。然而，目前相關研究主要使用問卷量表進行學習投入的測量，鮮有研究分析過程性的學習投入狀態。隨著技術的不斷更迭，研究者發現基于人工智能的表情識別技術能夠更加客觀、準確地捕捉學生在學習過程中的即時情緒反應，并自動、省時地處理海量數據，這為分析學習投入狀態提供了有效工具[5]。基于此，本研究嘗試收集學生的面部表情數據、游戲行為數據和學業成績，并借助自動化表情識別技術，識別每名學生的表情類型及其出現比例。通過表情聚類分析得到學生在游戲化學習中的情感投入類型，繼而挖掘不同情感投入類型下學生的認知投入差異。為此，本研究主要關注以下兩個問題：①學生在游戲化學習過程中的情感投入包含哪些類型？②不同情感投入類型的學生在認知投入方面體現了怎樣的差異性特征？

一 游戲化學習中的學習投入研究現狀

學習投入作為學生在學習過程中付出的精力和努力，被認為是影響其學業成就的關鍵因素之一[6]。當前普遍認為學習投入的內涵涉及三個方面，包括行為投入、情感投入和認知投入。而在游戲化學習研究領域，針對學習投入主要探討情感投入和認知投入兩個維度[7]。因此，本研究涉及的學習投入概念主要涵蓋學生在學習過程中的情感投入和認知投入，其中情感投入涉及學生投射在游戲過程中，通過面部表情表征的情緒狀態；認知投入是指學生在學習過程中的認知努力，通過過程性的行為正確率及結果性的認知結果反映。為分析游戲化學習中的情感投入類型及其帶來的認知投入差異，本研究將首先梳理游戲化學習中的學習投入研究現狀，分析常用的學習投入測量方法有何不足，以及已有游戲化學習中的認知投入和情感投入有何種關系。

1 學習投入的測量方法

目前，研究者大多采用問卷調查、觀察法、質性訪談等方法進行學習投入的測量，其中應用較為廣泛的是問卷調查，這種方法側重于測量學習投入相關的享受感、興趣、動機和觀點[8][9]。觀察法指通過觀察游戲過程和分析游戲日志，來捕捉學生在學習過程的認知和情感投入[10]，該方法的過程是首先進行視頻錄制，然后對學生的身體姿態、語言、注意力狀態進行編碼，進而收集有關學生投入程度的信息[11]。質性訪談則可以幫助研究人員了解學生的學習投入，如分析學生在線學習投入的影響因素[12]。雖然問卷調查和質性訪談非常便捷且易于分析，但學生在學習過程中的投入狀態與學習結束后的報告反饋會存在差異；同時，實際的客觀學習過程與主觀的反饋之間也有所不同，這兩種差異會阻礙研究者接近學生學習投入的真實狀態。基于視頻的觀察法似乎具有一定的客觀性，但其分析過程非常耗時，并容易受到研究人員主觀意識影響。基于以上分析不難發現，當前較多采用的學習投入測量方法在測評上存在一定的局限性，難以實時、客觀且自動化地捕捉、追蹤學生的學習投入狀態，因此如何有效、客觀地評估新興數字技術對學習投入的影響，依然是一個具有挑戰性的研究問題。

2 游戲化學習中的學習投入

游戲化學習對激發學生的學習投入具有積極影響，主要體現在情感投入和認知投入方面[13]。其中，在情感投入方面，研究者發現游戲的娛樂特征可以使學生享受“高密度且順暢”的學習過程，沉浸其中甚至感受不到時間的流逝[14]。相較于非游戲化學習，在游戲化學習任務中學生能夠體驗到更豐富的情緒狀態，即產生更高的情感投入[15]。在認知投入方面，研究者發現，與傳統教育方式相比，游戲化學習能使學生獲得更高水平的學業表現和記憶保持效果[16]，并且綜合了電子游戲化設計和非電子游戲化設計的設計比非電子游戲化設計更能提升學生的認知投入水平[17]。此外，游戲化學習方式在激勵持續行為和投入方面的潛力也得到了相關研究的支持[18]。

在情感投入與認知投入的關系方面，研究發現情感投入主要發生于學生對游戲挑戰的反思和行動中，認知投入主要體現在游戲的問題解決過程中[19]，學生在游戲化學習中的情感投入水平越高，其任務表現就越專注，即認知投入越高[20]。也有研究發現，游戲化學習中的學習投入作為中介變量或調節變量影響學習感知和游戲體驗，如針對高中光學物理游戲的研究發現，學習投入是挑戰感知和學習感知的中介變量[21]；另一項針對商業模擬游戲的研究發現，學習投入部分調節了教學支持感知和游戲體驗之間的關系[22]。可見，已有研究多關注游戲化學習對學習投入的提升，以及情感投入和認知投入的關系，較少探究不同情感投入狀態下的認知投入差異。

綜上可知，問卷調查、觀察法、質性訪談等方法對研究學生的學習投入存在局限性，而基于人工智能的表情識別技術在分析學習投入方面具有優勢。但是，游戲化學習研究較少關注不同情感投入下的認知投入差異。因此，本研究將嘗試應用人工智能新技術，以表情識別技術發現游戲化學習中的情感投入類型，并分析不同情感投入類型下的認知投入差異。

二 研究設計

1 研究對象

本研究采用隨機抽樣的方式，選取北京市順義區某公立小學的60名學生進行游戲實驗，其中四年級學生35人、五年級學生25人。這兩個年級的學生均已經在三年級建立了對分數的基本認識，會讀寫分數，理解分數的意義，能夠完成本研究所選取的分數數學游戲中的任務。在為期5天的實驗過程中，所有學生每天玩20分鐘數學游戲Run Fraction，該游戲旨在提高學生的分數概念性知識水平。

2 研究過程

本研究首先對學生進行了分數概念性知識的前測，然后為探究面部表情分析情感投入類型，使用電腦攝像頭對學生玩游戲的面部表情進行全程記錄，為后續的識別與聚類提供數據基礎。同時，為分析不同情感投入類型的學生在認知投入和學業成績上的差異，本研究利用游戲數據庫獲取學生的游戲操作行為記錄。在實驗結束后，對學生的分數概念性知識進行后測。

3 游戲選擇

數學游戲Run Fraction是北京大學學習科學實驗室從跨學科視角，基于認知神經科學、教育學、心理學等領域的相關研究成果設計開發的一款數學游戲，旨在提高小學生的分數概念性知識水平，且被證明可以促進學生對分數的理解[23]。該游戲設計的理論基礎具體包括具身認知理論和認知神經科學領域的三重編碼模型，同時參考小學數學課程標準進行分數表征和內容模塊的設計。該游戲以數軸作為核心認知輔助工具，學生需要操縱游戲化身的前進方向和速度，以根據任務要求正確撞擊數軸墻的位置。

4 研究技術與工具

（1）基于人工智能的表情識別技術

人工智能技術在面部表情識別領域經歷了廣泛的探索和研究，其中卷積神經網絡（Convolutional Neural Network，CNN）、循環神經網絡（Recurrent Neural Network，RNN）以及長短期記憶網絡（Long Short-Term Memory，LSTM）等深度學習技術已廣泛運用于表情識別。深度學習的主要優勢之一是自動特征提取，其能夠從表情圖像中自動提取特征，而無須手動設計特征提取器，這提高了面部表情識別的效率和準確性。同時，深度學習在處理多樣化的面部表情變化方面表現出色，這使其在實際應用中具備了魯棒性和可靠性。鑒于目前CNN架構是分析學生學習投入狀態的主流模型[24]，對于識別低像素面部圖片優勢明顯，也被廣泛應用于計算機視覺任務，因此本研究采用CNN的擴展和改進模型——全卷積神經網絡模型（Fully Convolutional Network，FCN）進行面部表情圖像的識別和標注，具體用到4組殘差深度可分離卷積的方法[25]，該方法的特點是模型參數量少、運算速度快。此外，本研究采用在自動化面部表情識別探討學習行為的相關研究中普遍使用的面部表情數據庫（Facial Expression Recognition，FER）作為訓練數據庫[26][27]；同時，還采用Ekman[28]提出的基礎表情分類方法，該方法被認為適用于分析不同文化背景的人臉表情，具體的表情分類流程為：首先，提取圖像中人類表情的情感特征因素；然后，依據Ekman[29]的表情分類方法，將面部表情分為7類，即生氣、厭惡、悲傷、快樂、中性、驚訝、恐懼；最后，將數據庫每個圖像的面部表情都劃歸到上述類別之一。為評估算法的識別正確率，本研究從錄制的視頻隨機抽取了100張圖片與FER中的表情圖片進行人工匹配，并將結果與算法的識別結果進行比對，發現本研究的表情識別正確率約為75%，這與相關的技術有效性研究結果一致[30][31]。

具體而言，從每名學生5個玩游戲的表情視頻中（實驗周期為5天，每天20分鐘），隨機選擇兩個進行逐幀的面部表情分析，共得到360萬幀視頻圖像。圖1展示了某學生的視頻分析結果，每個小圖中，橫軸表示時間，以3秒為一個統計單位；縱軸表示幀數，其中每一根豎線代表在3秒時間內（75幀中）該表情或動作出現的幀數。將每種表情出現的幀數除以視頻有效識別出的總幀數，可以得到每個視頻中每種表情的出現比例；再對每名學生兩個視頻的每種表情比例取平均值，可以得到每名學生每種表情的比例值，部分結果如表1所示。例如，編號為1的學生，其憤怒表情的出現比例是0.84%，厭惡是0.14%，恐懼是0.11%，快樂是0.32%，難過是5.72%，驚訝是0.39%，而中性是92.48%。

圖1 某學生的視頻分析結果（以每幀為分析單位，以每3秒為統計單位）

表1 學生各種表情的出現比例值部分結果（以下為四舍五入結果）

（2）聚類分析方法

基于以上面部表情技術所獲取的60名學生面部表情頻率數據，本研究采用聚類分析方法探究了學生面部表情數據的結構特征。基于數學方法，聚類分析根據研究樣本的相似性將其劃分為若干類，使每個類別內部的樣本相似性盡可能高，同時不同類別之間的樣本相似性盡可能低。聚類分析是機器學習數據挖掘方法中的一種，由于聚類的數目和結構都不是預先假定好的，因此其屬于無監督學習方法，無須人工標注就可以自動化處理，同時可以避免人為主觀性和傾向性，相對更加客觀地對數據進行分類。

通過聚類分析，本研究依據每名學生在玩Run Fraction過程中除中性表情以外6種表情的出現頻率，對具有相似情緒表情特征的學生進行分組，進而分析不同類型學生的情緒狀態差異。首先通過K-means算法中的最優K值確定聚類的個數，具體可以采用手肘法和輪廓系數法。在手肘法中，核心指標是誤差平方和（Sum of the Squared Error，SSE），其計算如公式（1）所示。其中，C表示第個簇，是C中的樣本，m是C中所有樣本的均值，是所有樣本的聚類誤差之和。值越低，說明聚類效果越好。

隨著聚類數的增加，樣本劃分會更加精細，每個簇內部更加密集，也將隨之減小。但當小于真實聚類數時，的增大會引起迅速減小；當大于真實聚類數時，的增大所引起的減小速度會變慢，因而曲線斜率的轉折點就是最佳值。圖2中的曲線表示在K-means方法聚類下，60名學生的表情數據不同值對應的值變化。由圖2可知，當大于3時，隨著的增加，值降低速度減緩，因此3是最佳聚類數。

圖2 不同K值對應的SSE值變化

圖3 樣本輪廓系數隨聚類組數的變化

作為評估聚類效果的指標，輪廓系數（Silhouette Coefficient）最早由Rousseeuw[32]于1986年提出，被廣泛用來評價基于相同原始數據的不同聚類結果，其計算如公式（2）所示。其中，表示第個樣本的輪廓系數，表示樣本到同簇其他樣本的平均距離，()表示樣本到非本身所在簇的所有樣本的平均距離。的取值在-1～1之間，值越大，說明聚類效果越好，因為越小，越大，表示到同簇樣本的距離近，而到其他簇樣本的距離遠。所有樣本的均值為聚類結果的輪廓系數。

圖3展示了在-means方法聚類下，60名學生表情數據的聚類結果輪廓系數隨值的變化情況，當=3時，輪廓系數最大，表明采用-means方法對60名學生表情數據聚類成三類最為合理。

（3）分數概念性知識水平紙筆測試

除分析過程性的表情數據以獲知情感投入外，本研究還將學生的學業成果（結果性的認知結果）作為反映認知投入的結果進行測評分析。為測量學生的分數概念性知識水平，參考國外相關研究的測評方法[33]，本研究的測試題目主要來自于三大權威題庫，包括美國國家教育進展測評（National Assessments of Educational Progress，NAEP）、國際數學與科學趨勢評估（Trends in International Mathematics and Science Study，TIMSS）以及加州標準測試（California Standard Test）。其中，第一類題目主要考察的知識為“分數與圖形”，共15道題，每題1分；第二類題目考察的知識是“分數與數軸”，共15道，每題1分；第三類題目考察的知識是“分數比較大小”，共17道，每題1分。前測、后測所用題目相同，以選擇題和填空題的方式呈現，滿分為47分。

三 研究結果

1 游戲化學習過程中的情感投入類型

基于以上表情分析技術和聚類分析方法，游戲化學習中的學生可以按照表情數據分為三類，結果及比例如圖4所示，可見三類學生的表情差異比較明顯。

（a）快樂學習型（48.30%）（b）憤怒焦慮型（11.70%）（c）認真謹慎型（40%）

①第一類學生的快樂（6.62%）和驚訝（1.14%）兩種積極表情的出現頻率明顯高于其他學生，同時難過（20.80%）、憤怒（2.82%）和厭惡（0.38%）三種負面表情和另外兩組相比出現較少，恐懼（1.24%）和其他兩組差別不大。這類學生在玩分數游戲的過程中，積極表情最多，負面情緒最少，因此被命名為快樂學習型。

②第二類學生和其他兩組相比，憤怒（36.50%）表情的比例非常高，同時恐懼的比例也較高（1.23%），而難過（23.6%）、厭惡（0.18%）、快樂（3.90%）和驚訝（0.26%）四種表情，同其他兩組相比均處于較低水平。這一組學生在玩游戲過程中，表現出了較多的憤怒和恐懼情緒，潛在原因是游戲難度對這類學生的認知水平有較大挑戰，使他們在游戲中感受到了比較多的焦慮情緒，因而將這一組命名為憤怒焦慮型。

③第三類學生和另外兩類相比，在玩游戲的過程中表現出了較多的難過（55.80%）和厭惡（1.18%）表情，快樂（3.39%）和驚訝（0.12%）這兩種積極表情的出現頻率是最低的，恐懼（0.85%）和憤怒（6.67%）兩種表情和其他兩組相比沒有明顯差異。依據對表情圖片的觀察，程序將抿嘴、皺眉等面部動作識別為難過表情，這與相關研究的識別結果一致[34]。結合這類學生的表情視頻發現，這類學生在玩分數游戲過程中大多仔細思考，嚴肅認真，以致有些患得患失。已有研究指出，當學生面對壓力時，會表現出更多的難過表情[35]，難過的面部表情通常與深思熟慮、內省、認真思考有關[36]，因此本研究將該類學生命名為認真謹慎型。

2 不同情感投入類型學生在認知投入上的差異性特征

除研究情感投入外，本研究對三類學生的認知投入差異進行了分析。通過對學生的表情數據進行聚類分析，將60名學生分類成三組，即快樂學習型、憤怒焦慮型和認真謹慎型。以這三組分類為視角，可以進一步挖掘學生的學業表現及游戲任務正確率，識別三類學生在認知投入方面的差異。

圖5 三種情緒表達類型學生的相關測試成績

本研究首先從前測、后測分數概念性知識測試成績中，提取三類學生的原始分數（絕對成績）以直接反映學生在測試中的表現；然后計算每類平均分以及每名學生的Z分數[（個人分數-班級均值）/標準差]，以更準確地反映學生在考試中的相對水平；最后用后測平均分減去前測平均分獲得進步分數（提高成績）。三種情緒表達類型學生的相關測試成績如圖5所示，可以發現，三組學生在進行游戲化學習干預后，成績都有不同程度的提高。經單因素方差分析，發現三組學生的后測成績均值（F=5.776，=.005）和后測Z分數均值（F=5.089，=.009）存在顯著差異。事后檢驗顯示，快樂學習型、認真謹慎型學生的后測成績均值和后測Z分數均值都顯著高于憤怒焦慮型學生（＜0.05）；而快樂學習型和認真謹慎型學生的后測成績（=.257）、后測Z分數（=.291）、進步分數均無顯著差異（=.559）。憤怒焦慮型學生的前測排名較為靠后，在經過游戲化學習之后，后測排名更加靠后了。

為了進一步探究不同情緒表達類型學生的認知投入特征，本研究對游戲后臺數據庫進行數據挖掘，統計了學生在游戲的每一關第一次玩的正確率（過程性的行為正確率），結果發現成績排名較為靠后的憤怒焦慮型學生在游戲初始階段的正確率低于另外兩類學生，這與前測反映出的較為靠后的成績排名結果一致，但整體上呈逐步上升趨勢。而從游戲第10關開始一直到第20關，憤怒焦慮型學生均能夠實現和快樂學習型、認真謹慎型學生相近的正確率。

四 討論與分析

本研究發現學生在玩分數游戲Run Fraction的過程中，展示了三類不同的情緒特征，即快樂學習型、憤怒焦慮型、認真謹慎型。對快樂學習型學生而言，在游戲中有很多積極情緒的體驗；對于憤怒焦慮型學生而言，由于游戲對認知水平提出了一定的挑戰，因此激發了其更多憤怒的情緒體驗；認真謹慎型學生有較多的難過和厭惡情緒，以皺眉和抿嘴為代表的難過表情呈現了該類學生認真思考的投入狀態。

在此基礎上，本研究進一步發現，情緒狀態表達為快樂學習型、認真謹慎型的學生在分數概念性知識的后測中有較好的成績表現，成績排名也有提高，這說明游戲化學習環境中的積極情緒和適度的壓力狀態有助于學習。盡管目前的研究傾向于認為積極情緒比消極情緒更能帶來學習表現的提升[37]，但情緒帶來的影響也會隨學習時間和材料的不同而產生變化，因此需要結合所處的學習環境對情緒所帶來的影響做進一步分析[38]，如在數學問題解決中，適度的壓力和焦慮情緒可以提高工作記憶和策略選擇效果，更好地提升問題解決能力[39]，這與本研究結果相一致。憤怒焦慮型學生的前測成績較低，后測成績和后測成績Z分數都顯著低于其他兩類學生，這類學生憤怒不安的情緒狀態意味著教育游戲的認知任務對其認知負荷提出了極大挑戰，在充滿競爭和挑戰的游戲化學習環境中，他們需要付出更多認知努力才能勝任游戲任務。已有研究使用腦電圖技術測量了憤怒情緒與前額葉腦活動之間的關系，發現憤怒情緒會增加認知負荷，影響認知和情緒調節能力[40]，這也支持了本研究的結果。通過對游戲后臺數據進行挖掘，本研究發現憤怒焦慮型學生在游戲中的正確率呈上升趨勢，與其他兩類學生的正確率差異縮小。然而，需要關注的是這類學生在游戲認知成果向正式學習遷移的過程中會遇到一定的困難，這意味著他們需要一定的教師輔助或其他干預，以實現游戲認知成果向正式學習的順利遷移。

五 結語

本研究一方面對游戲化學習過程中的情感特征進行分析，為進一步探究教育游戲設計策略提供了思路，如教育游戲可以借助情感計算等相關技術實時監測學生情緒，為學生提供個性化的動態認知支持；另一方面，在應用人工智能技術開展學習投入分析上也提供了方法上的突破，對情緒數據與認知數據、過程性數據與結果性數據的關聯分析有助于研究者獲得學習過程的多維信息。但是本研究也存在一定的局限性，如本研究基于表情數據與相關研究結論進行命名，另外，由于研究設計和客觀條件的限制，未對第三類以難過、厭惡表情居多的學生進行后續訪談，以確認其真實的游戲體驗感受。對此，后續未來研究可以結合多模態數據，使用腦電、訪談等方法進一步挖掘情緒與學習投入狀態的關系。

[1]Huen J M, Lai E S, Shum A K, et al. Evaluation of a digital game-based learning program for enhancing youth mental health: A structural equation modeling of the program effectiveness[J]. JMIR Mental Health, 2016,(4):e46.

[2][7]Abdul Jabbar A I, Felicia P. Gameplay engagement and learning in game-based learning[J]. Review of Educational Research, 2015,(4):740-779.

[3]Wang M, Eccles J S. Adolescent behavioral, emotional, and cognitive engagement trajectories in school and their differential relations to educational success[J]. Journal of Research on Adolescence, 2012,(1):31-39.

[4]Chen C H, Law V, Huang K. The roles of engagement and competition on learner’s performance and motivation in game-based science learning[J]. Educational Technology Research and Development, 2019,67:1003-1024.

[5]Mohamad Nezami O, Jamshid Lou P, Karami M. ShEMO: A large-scale validated database for Persian speech emotion detection[J]. Language Resources and Evaluation, 2019,53:1-16.

[6][14]Tongu? G, Ozkara B O. Automatic recognition of student emotions from facial expressions during a lecture[J]. Computers & Education, 2020,148:103797.

[8]Peng M Y, Wang R, Liu F, et al. Multi-engagement, learning approach and student learning outcomes: Evidence from taiwanese private university[J]. Universal Journal of Educational Research, 2017,(7):1137-1144.

[9]Ke F, Xie K, Xie Y. Game-based learning engagement: A theory- and data-driven exploration[J]. British Journal of Educational Technology, 2016,(6):1183-1201.

[10]Emblen-Perry K. Enhancing student engagement in business sustainability through games[J]. International Journal of Sustainability in Higher Education, 2018,(5):858-876.

[11][21]Fredricks J A, Blumenfeld P C, Paris A H. School engagement: Potential of the concept, state of the evidence[J]. Review of Educational Research, 2004,(1):59-109.

[12]汪雅霜,蔡檬檬.同屏為何不同頻:碩士研究生在線學習投入度影響因素的質性研究[J].學位與研究生教育,2023,(5):68-78.

[13]Bossavit B, Parsons S. Outcomes for design and learning when teenagers with autism codesign a serious game: A pilot study[J]. Journal of Computer Assisted Learning, 2018,(3):293-305.

[15]Ninaus M, Greipl S, Kiili K, et al. Increased emotional engagement in game-based learning- A machine learning approach on facial emotion detection data[J]. Computers & Education, 2019,142:103641.

[16]Hamari J, Shernoff D J, Rowe E, et al. Challenging games help students learn: An empirical study on engagement, flow and immersion in game-based learning[J]. Computers in Human Behavior, 2016,54:170-179.

[17]Qiao S, Yeung S, Zainuddin Z, et al. Examining the effects of mixed and non‐digital gamification on students’ learning performance, cognitive engagement and course satisfaction[J]. British Journal of Educational Technology, 2023,(1):394-413.

[18]Hartt M, Hosseini H, Mostafapour M. Game on: Exploring the effectiveness of game-based learning[J]. Planning Practice & Research, 2020,(5):589-604.

[19]Contreras-Espinosa R S, Gomez J L E. How could the use of game elements help students’ affective and cognitive engagement during game play?[J]. Journal of Information Technology Research(JITR), 2020,(1):17-29.

[20]Chen C H, Law V, Huang K. Adaptive scaffolding and engagement in digital game-based learning[J]. Educational Technology Research and Development, 2023,71:1-14.

[22][33]H?yng M. Encouraging gameful experience in digital game-based learning: A double-mediation model of perceived instructional support, group engagement, and flow[J]. Computers & Education, 2022,179:104408.

[23]張露,胡若楠,曾嘉靈,等.學習科學視角的分數游戲設計與應用研究[J].中國遠程教育,2022,(3):68-75.

[24][26]Thomas C, Sarma K A V P, Gajula S S, et al. Automatic prediction of presentation style and student engagement from videos[J]. Computers and Education: Artificial Intelligence, 2022,3:100079.

[25]Gogate U, Parate A, Sah S, et al. Real time emotion recognition and gender classification[A]. 2020 International Conference on Smart Innovations in Design, Environment, Management, Planning and Computing (ICSIDEMPC)[C]. Aurangabad, India: IEEE, 2020:138-143.

[27]Dantas A C, DO Nascimento M Z. Recognition of emotions for people with autism: An approach to improve skills[J]. International Journal of Computer Games Technology, 2022,2022:1-21.

[28][29]Ekman P. An argument for basic emotions[J]. Cognition & Emotion, 1992,(3-4):169-200.

[30]Li S, Deng W, Du J P. Reliable crowdsourcing and deep locality-preserving learning for expression recognition in the wild[A]. 2017 IEEE Conference on Computer Vision and Pattern Recognition[C]. Honolulu, HI, USA: IEEE, 2017:2852-2861.

[31]Jiang P, Liu G, Wang Q, et al. Accurate and reliable facial expression recognition using advanced softmax loss with fixed weights[J]. IEEE Signal Processing Letters, 2020,27:725-729.

[32]Rousseeuw P J. Silhouettes: A graphical aid to the interpretation and validation of cluster analysis[J]. Journal of Computational and Applied Mathematics, 1987,20:53-65.

[34]Fuchs L S, Schumacher R F, Long J, et al. Improving at-risk learners’ understanding of fractions[J]. Journal of Educational Psychology, 2013,(3):683-700.

[35]Pereira H A, De Souza A F, De Menezes C S. Obtaining evidence of learning in digital games through a deep learning neural network to classify facial expressions of the players[A]. 2018 IEEE Frontiers in Education Conference (FIE)[C]. San Jose, CA, USA: IEEE, 2018:1-8.

[36]Krumhuber E G, Kappas A, Manstead A S. Effects of dynamic aspects of facial expressions: A review[J]. Emotion Review, 2013,(1),41-46.

[37]Chang C-C, Yang S-T. Learners’ positive and negative emotion, various cognitive processing, and cognitive effectiveness and efficiency in situated task-centered digital game-based learning with different scaffolds[J]. Interactive Learning Environments, 2023,(2):1-20.

[38]Tan J, Mao J, Jiang Y, et al. The influence of academic emotions on learning effects: A systematic review[J]. International Journal of Environmental Research and Public Health, 2021,(18):9678.

[39]Beilock S L, Decaro M S. From poor performance to success under stress: Working memory, strategy selection, and mathematical problem solving under pressure[J]. Journal of Experimental Psychology: Learning, Memory, and Cognition, 2007,(6):983-998.

[40]Harmon-Jones E, Sigelman J. State anger and prefrontal brain activity: Evidence that insult-related relative left-prefrontal activation is associated with experienced anger and aggression[J]. Journal of Personality and Social Psychology, 2001,(5):797-803.

Research on Game-based Learning Engagement State Based on Artificial Intelligence Facial Expression Recognition and Differential Analysis

ZHANG Lu1HU Ruo-nan2LEI Yue3SHANG Jun-jie4

At present, game-based learning has attracted wide attention in the educational field due to its advantages of enhancing learning motivation and improving academic performance. Learning engagement, as a key factor for students to achieve excellent academic performance in game-based learning, has become the focus of current researchers. However, traditional questionnaire survey methods still have limitations in analyzing learning engagement in game-based learning. In order to explore the learning engagement state in game-based learning more objectively, accurately and efficiently, this paper firstly reviewed the current research status in this field. Then, the paper made video recording of the students’ facial expressions, and students’ three distinct emotional states were identified, namely, joyful learning type, angry and anxious type, and diligent and cautious type based on facial expression analysis and K-means clustering. Finally, in order to explore the differential characteristics of these emotional engagement types, a correlation analysis was conducted between facial expression data and background game data in the process and academic performance. It was found that joyful learning type and diligent and cautious type of students performed better in the post-test of conceptual knowledge. By studying learners’ emotional states of in game-based learning, this paper aimed to provide insights for analyzing the relationship between learning engagement and cognitive performance.

learning engagement; game-based learning; artificial intelligence; facial expression recognition; clustering analysis

G40-057

A

1009—8097（2023）12—0089—11

10.3969/j.issn.1009-8097.2023.12.009

本文受2023年度教育部人文社會科學研究規劃青年基金項目“面向漢語二語語篇理解的在線虛擬情境學習體驗的模型構建與評價研究”（項目編號：23YJCZH295）資助。

張露，講師，博士，研究方向為游戲化學習、學習科學與技術設計研究，郵箱為zhanglu1176@163.com。

2023年5月26日

編輯：小時