基于多維連續情感識別的在線學習風險預警

摘" 要：在線教學的教師由于缺乏與學生的情感交互無法像傳統面對面課堂那樣及時預測學業成績以提前進行干預。為此，建立基于情感分析的在線教學學業風險預測方法。首先，通過獲取效價—喚醒度—控制性（Valence-Arousal-Dominance， VAD）多維情感參數來獲得更全面精細的情感信息。其次，利用正交卷積神經網絡進行多維情感參數識別。最后，選用多個經典回歸模型進行學業成績和學業風險預測實驗，最終選出最適合預測學術風險的模型。實驗結果表明，采用正交化卷積約束的神經網絡和未進行約束的模型相比，情感參數預測準確性提升；在預測學術成就上引入VAD情感參數比僅使用認知數據的預測準確度明顯提升；ADA_RF_EXP模型在最終成績預測和失敗風險警示方面表現最佳。

關鍵詞：面部表情識別；情感計算；智能教學系統；學業風險預警系統

中圖分類號：TP391.4" 文獻標識碼：A" 文章編號：2096-4706（2024）11-0130-06

Online Learning Risk Early Warning Based on Multi-dimensional Continuous Emotion Recognition

HUO Yi

（Teachers' College of Beijing Union University， Beijing" 100011， China）

Abstract： Online teaching teachers are unable to predict academic performance in a timely manner and intervene in advance like traditional face-to-face classrooms due to a lack of emotional interaction with students. To this end， it establishes an online teaching academic risk prediction method based on sentiment analysis. Firstly， by obtaining the multidimensional emotional parameters of Valence-Arousal-Dominance （VAD）， more comprehensive and detailed emotional information can be obtained. Secondly， it uses orthogonal convolutional neural networks for multi-dimensional emotion parameter recognition. Finally， multiple classic regression models are selected for academic performance and academic risk prediction experiments， and the most suitable model for predicting academic risk is ultimately selected. The experimental results show that compared with the unconstrained model， the neural network with orthogonal convolutional constraints improves the accuracy of emotion parameter prediction. The introduction of VAD emotional parameters in predicting academic achievements significantly improves the accuracy of prediction compared to using only cognitive data. The ADA-RF-EXP model performs the best in predicting final grades and warning of failure risks.

Keywords： facial expression recognition; Affective Computing; intelligent teaching system; academic risk early warning system

0" 引" 言

隨著人工智能和大數據技術的快速發展，智能在線教育變得非常流行[1]。它提供一個無處不在的學習環境，讓人們可在任意時間、任何地點使用任一終端設備進行在線學習[2]。這促進了知識的傳播，更為有效地分發了高質量的教育資源，為高質量平等教育做出了巨大的貢獻。此外，全球新冠疫情的突然爆發成為在線教育的催化劑，促使其快速穩步發展[3-5]。然而，教師在在線教育場景中很難像在面對面課堂一樣，能夠實時感知到學生的情感狀態，預見他們的學業成就，并及時就教學內容和教學策略做出相應的調整。學生希望在在線學習中體驗與傳統課堂環境中類似的情感交流。因此，在智能在線教學系統中引入實時、全面的情感檢測工具具有極其重要的意義和價值。

目前，情感測量主要有兩種方法：第一種是離散情感類別，如憤怒、厭惡、緊張、喜悅、悲傷、驚訝和中立七種基本情緒[5]。第二種是從多個維度進行連續值量化。Mollahosseini [6]以連續形式將情緒表達在價值（V）和喚起（A）二維空間中。然而，Mehrabian發現，僅憑價值（V）和喚起（A）是無法完全表達情感信息的。他建議增加支配（D，支配—服從）并通過研究證明采用VAD三個維度可以有效解釋人類情感，為人類情感提供全面系統的量化方案。實際上，上述離散情感類別都位于VAD三維空間中，這也表明后者是更加全面和準確的情感量化方式。

在在線教育場景中，預測學生的學術成績并及早識別出存在學業失敗風險的學生是至關重要的。事實上，教育中的早期警告系統（Early Warning System， EWS）已經存在，但目前主要依賴于認知評估[7]，基于情感狀態的研究相對較少。然而，認知和情感是心理活動的兩個關鍵方面，在學習過程中同時存在，相互影響和相互作用，即：積極的情緒可以促進認知的內化和傳遞，而認知狀態也可以影響情感。因此，引入情感信息可以更加全面地理解學生的學習狀態，這激發了學者們將情感檢測納入學術成就預測研究的動力。

總之，該研究的三個貢獻如下：一是，通過引入情感狀態，為教師提供一種行之有效的學生學術失敗預測方法，這對于自適應教學來說既實用又方便，終將提高在線教學的效果。二是，提供一種多維情感測量方法即VAD，以滿足學生對綜合情感量化的需求，滿足回歸模型向量化輸入數據的要求。三是，利用實際教學數據測試回歸模型，以選擇最適合學術成績預測的機器學習模型。

1" 研究現狀分析

1.1" 在線學習場景的情感測量

“使計算機能夠識別用戶情緒”的想法是由人工智能之父、麻省理工學院的教授Minsky [8]率先提出的，他強調情緒是實現計算機智能化的關鍵因素。隨后，Picard教授[9]在1997年明確定義了情感計算的概念，指出情感計算涉及與情感相關因素的計算，這些情感可以被觸發，或者是能夠影響和決定情感變化。之后，神經科學家發現情緒在人類認知和決策中起著重要作用。因此，Pekrun等人[10]提出了學習情緒的定義，即與學校學習、課堂教學活動和學習成果密切相關的情緒。他們提出，學習者可能會因學習順利而感到快樂，而在面對學習中未能解決的困難時感到焦慮。

從獲取學生情感數據的角度來看，一些人利用調查問卷、腦電圖（EEG）和心率[11]來收集與學生情緒相關的生理信息。然而，調查問卷缺乏客觀性，而腦電圖和心率的獲取需要特定設備，使它們難以在普通學習場景中實現。此外，心理學家認為情緒由7%的語言、38%的聲音和55%的面部表情組成[6]，其中面部表情是學生感受最自然、最真實的反映，也很容易獲取。

因此，情緒量化主要有兩種方式。第一種是離散的情緒類別，比如上文提及的七種標準情緒。第二種是從多個維度進行連續量化。Mehrabian [12]提出并證明了三維VAD量化可以更加全面有效地解釋人類的情緒[13]。

然而，當前的系統普遍采用離散情緒類別的量化[6]，忽略了從多個維度如V（Valence）、A（Arousal）、D（Dominance）進行分析，未來智能教育環境需要從更多的角度來感知情緒。因此，本研究將立足可以滿足未來智能教育需求的情緒量化方法，進行VAD情感測量方法研究。

1.2" 在線學習的風險預警研究

人工智能（Artificial Intelligence， AI）技術的迅猛發展，使它有機會下沉到大眾使用的移動設備上提供預警功用，如智能手表可以檢測心率，智能手機可以預警用戶是否感染COVID-19新冠病毒[14]。在教育場景中，早期預警系統（EWS）可以提前識別出有學業風險的學生，并警告教師提前進行干預，預防風險的發生。在風險檢測類別方面：包含面對面課程及在線課程的退課率或退學率，以及期末考核的不及格率。在研究方向方面：有的EWS系統重在定義能識別風險條件的預測模型，有的EWS系統重在預警可視化設計。在干預機制方面：根據風險級別的不同，分為系統自動給學生發送信息和教師與學生進行面對面談話等。在風險預測模型的數據獲取方面：現有EWS預警系統主要是基于認知數據進行風險檢測，如：學生對在線學習資源的訪問、在線練習的質量，以及其他持續的在線學習行為，這些行為確實與學業成績和及格率緊密相關。并且這類工具已經表明EWS學業風險預警系統在課程質量、實時監控、學生滿意度方面具有明顯的優勢[14]。但是仍有可能會因為代刷學習資源或代做練習等誠信問題而影響評價的客觀真實性，而通過面部表情獲取的情感參數是更客觀真實的，也能反映在線學習者的認知狀態。然而，目前國內的EWS風險預警系統普遍缺乏情感指標參與。國外最新研究表明，在新冠疫情期間，智能終端設備可以通過檢測大學生情感狀態來預警輟學率，也可檢測大學生神經系統疾病的發生[14]。通過識別學生的面部情感參數，不僅可以預警學業風險，還可以幫助學生建立積極的情感狀態。因此，將在線學習者的情感指標引入學業風險預警條件預測模型，可進一步提升預測結果的客觀真實性。

1.3" 學業成績回歸分析模型

Ridge嶺回歸是一種正則化技術，用于解決線性回歸中的多重共線性問題[15]。它向線性回歸目標函數添加一個懲罰項，該懲罰項是系數的平方值乘以正則化參數的總和。正則化參數抑制了大的系數值，防止過擬合，并在特征數量大于觀測數量時提供相應的解決方案。

Lasso套索回歸也是線性回歸的正則化技術。其關鍵區別在于懲罰項，該項是系數的絕對值乘以正則化參數的總和[16]。Lasso具有特征選擇屬性，傾向于將一些系數收縮到零。這使得它在變量選擇和處理包含許多不相關或冗余特征的數據集時非常有用。

Elastic Net彈性網絡是一種將嶺回歸和套索懲罰結合起來的正則化技術。它向線性回歸目標函數添加了L1和L2懲罰的線性組合[17]。這種組合由兩個正則化參數控制：alpha（類似于嶺回歸）和L1_ratio（L1和L2懲罰之間的混合比例）。在處理相關特征時彈性網絡尤其有用。

在ADA_RF_EXP模型中，基本估計器是隨機森林，它是一組決策樹的集成。AdaBoost為錯誤分類的實例分配權重，重點糾正之前弱學習器所做的錯誤分類[18]。AdaBoost是一種集成學習技術，將多個弱學習器組合起來形成一個強學習器。AdaBoost與隨機森林的結合有助于創建一個強大且準確的預測模型。

2" VAD情感檢測與學業風險預測

2.1" VAD情感檢測方法

這一部分介紹了正交正則化[19]，以提取更多樣化和富有表現力的情感特征。使用三個獨立的回歸網絡分別訓練和預測VAD值。每個網絡都是由17個卷積層和1個全連接層組成的ResNet-18，最后輸出的是一個表示V、A或D的神經元。每個網絡的輸入是面部表情圖像，回歸計算輸出的VAD實數值與標注的VAD值作為損失函數的輸入。為了實現更好的預測性能，在每個網絡的幾個卷積層上強制實施正交化卷積來提取更多樣化和富有表現力的特征[20]。因此，總體目標損失函數由常規回歸損失和正交卷積損失組成。將λ＞0表示為正交正則化損失的權重，那么整體損失函數L定義為式（1），其中Ltask為面部表情識別任務的常規損失，而Lorth為正交正則化損失。

L = Ltask + λ Lorth" " " " " " " " " " " " "（1）

2.2" 基于VAD多維情感信息的學業風險預測

本研究在在線學習環境下探索了一個學術成績預測和風險預警模型，如圖1所示。從底部到頂部有三個步驟：首先，機器學習模型的學術成績預測模型實現回歸來預測最終學術成績，其中包括嶺回歸、Lasso回歸、彈性網絡（EN）和ADA_RF_EXP回歸。其次，它根據第一步的結果預測學術不及格情況。最后，生成學術成績和不及格風險的結果。基于回歸分析的學業成績預測模型定義為式（2）：

Y = F （x; w）" " " " " " " " " " " " " "（2）

其中，x為輸入的學習行為數據或學習和情感數據，Y為輸出的學術成績，F為回歸模型，w為模型參數。在訓練過程中，w將從訓練數據集中生成。在測試過程中，它將被用作模型參數計算測試數據集的結果。

為了驗證引入VAD情感數據可以提高學業成績預測準確性的假設，進行了兩個實驗。第一個實驗僅僅通過學習行為數據產生最終成績和不及格風險預警，而第二個實驗同時使用學習和VAD情感數據生成預測的學業成績。因此，根據兩種方法的預測準確性來比較它們的預測結果。另外，Ridge嶺回歸、Lasso回歸、EN彈性網絡和ADA_RF_EXP代表了經典的回歸分析算法，每種算法都有其自身的優勢，應根據數據的特性和回歸任務的具體目標適當選擇。本研究應用上述四種回歸模型分別進行了學業成績預測，根據它們的預測結果來確定最適合用于學術成績預測的回歸模型。

2.3" 度量工具

對于評估回歸模型，均方誤差（MSE）是連續域中的常用測量指標[6]。最終成績預測的準確性通過均方誤差和標準誤差進行評估，其定義如下：

（3）

Standard error =" " " " " （4）

這些度量指標旨在驗證學業成績預測結果的準確性。另一方面，學習風險預測結果分為兩類：“有風險”或“無風險”，因此使用與分類相關的度量指標——準確率（Accuracy）來衡量預警模型的有效性。

3" 實驗測試

3.1" 實驗環境

系統的硬件包括Intel Xeon E5-2678 v3 CPU、64G RAM，以及具有24 GB內存的NVIDIA 3090 Ti GPU。操作系統為Windows 10，GPU驅動版本為537.13，CUDA版本為11.8，CUDNN版本為8.2.0.53，編程平臺為PyTorch和PyCharm。正交卷積神經網絡使用RMSE（均方根誤差）損失函數和隨機梯度下降進行訓練，批大小為64，輸出的VAD是實值連續值。初始學習率設置為0.01，并且每10 000次迭代就縮小為原來的1/10。總的Epoch為120。在這些配置下，訓練時間約為2小時，實驗結果如下。

3.2" VAD多維連續情感檢測

將基于提出的正交卷積神經網絡的VAD預測性能與未進行正交正則化的預測性能進行比較。結果如表1至表3所示。很明顯，在注釋數據集上，除了驗證集在D維度的預測結果外，具有正交化約束的ResNet-18回歸模型在驗證集和測試集中對VAD三個維度的預測都具有更好的準確性。

將基于正交化卷積神經網絡[21]的情感分類實驗結果結合起來，可以得出結論：在訓練用于分類或回歸的卷積神經網絡時，將正交正則化約束應用于特定層可以增強網絡的能力，實現更好的計算效率和性能。通過從面部表情圖像中獲取三個VAD維度的信息，獲得的情感信息將更加豐富、多樣和全面。這對學業評價和風險預警方面VAD預測性能的提升具有重要意義。

3.3" 學業成績預測

本研究對僅基于學習數據以及同時使用學習和VAD情感狀態的學術成績預測（包括最終成績和學業不及格風險的預測）進行了實驗。實驗數據包括學習過程數據和情感狀態數據，前者來自實際課堂教學，包括預測試情況，即所有學生加入課堂之前的GPA成績，以及12堂課的測驗成績，它們被定義為學習行為數據。后者來自所有學生的面部表情圖像，并被標記為VAD情感狀態。

首先，進行僅基于認知學習數據的學術成績預測。采用四種回歸模型（即嶺回歸、Lasso回歸、EN彈性網絡和ADA_RF_EXP）進行學習結果的預測。它們對最終成績預測結果的均方誤差（MSE）和標準誤差（std error）分別在圖2（a）和（b）中展示。為了比較各種模型的預測準確性，每個模型的均方誤差和標準誤差都在圖2中進行了展示。

由圖2（a）可以看出，同時使用學習行為數據和VAD情感數據預測學業成績的均方誤差（MSE）在四種回歸預測模型上的結果都表明：僅使用學習行為數據的預測結果的均方誤差（MSE）要低于同時使用學習行為數據和VAD情感數據的預測結果。同樣地，圖2（b）說明同時使用學習行為數據和VAD情感數據預測的標準差（std error）更低。進一步地，在四種回歸模型中，無論是僅使用學習行為數據進行的學業預測，還是同時使用了學業和情感數據進行學業預測，ADA_RF_EXP都具有最小的預測均方誤差（MSE），所以在學業成績預測上相比其他三種回歸模型效果更好。

3.4" 學業風險預警

首先，學業失敗（不及格）被定義為少于85分。然后，以85分為標準將預測的學業成績分為不及格和及格，與真實成績生成的是否及格信息進行對比計算，并采用準確率（Accuracy）來衡量，這些指標顯示在圖3中。結果顯示，在Ridge、Lasso和EN模型上，使用情感數據與不使用情感數據進行學業風險預測的準確性均為0.67；僅在ADA_RF_EXP模型上，使用情感數據進行風險預測的準確性（0.83）高于不使用情感數據的風險預測結果，比不使用情感數據的風險預測結果準確性高0.16。因此，ADA_RF_EXP也是學業風險預測效果最佳的回歸模型，這與其在圖2學業成績預測中的表現一致。因此，該實驗結果可以驗證研究假設：通過將VAD情感信息引入學習行為數據，可以提高學業成績預測與學業失敗風險預測的準確性。

4" 結" 論

本研究的主要內容包括多維連續情感測量和基于情感參數的在線學習風險預警。在情感檢測方面，當前系統幾乎完全使用離散情感類別（如憤怒、厭惡、緊張、喜悅、悲傷、驚訝和中立）進行量化，但卻忽視了從愉悅度（V）、喚醒度（A）、控制性（D）多維空間進行分析的情況。然而，未來智能教育系統需要從更全面和富有表現力的角度量化情感。因此，當前的情感量化方法難以滿足智能情感交互中情感評估的要求。進一步地，本研究通過正交化卷積建立更準確地VAD計算網絡模型，并提供了具有更高準確性的VAD多維情感參數測量工具。在學業風險預警方面，目前已有的預警系統主要基于學業行為數據進行預測，忽略了學習情緒；然而，認知和情感在學習過程中同時存在，并相互影響和相互作用。因此本研究引入多維連續的情感信息進行學業成績預測和風險預警，通過實驗證明，引入VAD情感信息可以提升預測的準確性。在學業成績預測模型方面，本研究采用四個經典的回歸學習模型分別進行學業成績預測和風險預警，并選擇預測準確性最高的ADA_RF_EXP回歸模型作為學業風險預警模型。

參考文獻：

[1] LU Y. Artificial Intelligence： a Survey on Evolution， Models， Applications and Future Trends [J].Journal of Management Analytics，2019，6（1）1-29.

[2] SHAPSOUGH S Y，ZUALKERNAN I A .A Generic IoT Architecture for Ubiquitous Context-Aware Learning [J].IEEE Transactions on Learning Technologies，2020，13（3）：449-464.

[3] AMPONSAH S，BEKELE T A. Exploring Strategies for Including Visually Impaired Students in Online Learning [J].Education and Information Technologies，2022，28：9355-9377.

[4] CLARK A E，NONG H F，ZHU H J，et al. Compensating for Academic Loss： Online Learning and Student Performance during the COVID-19 Pandemic [J/OL].China Economic Review，2021，68[2024-02-15].https：//doi.org/10.1016/j.chieco.2021.101629.

[5] WOLF M A，PIZANIS A，FISCHER G，et al. COVID-19： a Catalyst for the Digitization of Surgical Teaching at a German University Hospital [J/OL].BMC Medical Education，2022[2024-02-16].https：//bmcmededuc.biomedcentral.com/articles/10.1186/s12909-022-03362-2.

[6] MOLLAHOSSEINI A，HASANI B，MAHOOR M H. AffectNet： A Database for Facial Expression， Valence， and Arousal Computing in the Wild [J].IEEE Transactions on Affective Computing，2019，10（1）：18-31.

[7] CASEY K，AZCONA D. Utilizing Student Activity Patterns to Predict Performance [J/OL].International Journal of Educational Technology in Higher Education，2017，14（1）[2024-02-05].http：//educationaltechnologyjournal.springeropen.com/articles/10.1186/s41239-017-0044-3#citeas.

[8] MINSKY M. The Society of Mind [M].New York：Simon amp; Schuster，1988.

[9] PICARD R W. Affective Computing [M].Massachusetts：The MIT Press，2000.

[10] PEKRUN R. Progress and Open Problems in Educational Emotion Research [J].Learning and Instruction，2005，15（5）：497-506.

[11] SAHA P，KUNJU A K A，MAJID M，et al. Novel Multimodal Emotion Detection Method Using Electroencephalogram and Electrocardiogram Signals [J/OL].Biomedical Signal Processing and Control，2024，92[2024-02-06].https：//doi.org/10.1016/j.bspc.2024.106002.

[12] MEHRABIAN A，RUSSELL J A. An Approach to Environmental Psychology [M].Massachusetts：Massachusetts Institute of Technology，1974.

[13] MEHRABIAN A. Basic Dimensions for a General Psychological Theory [M].Cambridge：Oelgeschlager， Gunn amp; Hain，1980.

[14] ACM TechNews [EB/OL].[2024-02-10].https：//technews.acm.org/current.cfm.

[15] BAI Q H，YIN X L，WANG J，et al. Prediction Model of Minimum Temperature Inside Solar Greenhouse in Central Hexi Corridor Based on Ridge Regression [J].Journal of Agriculture，2023，13（5）：96-100.

[16] XU B W，LI B X，TIAN S Y.Glass Classification and Identification Based on Lasso Regression and K-means Clustering [J/OL].Highlights in Science， Engineering and Technology，2023[2024-02-08].https：//www.semanticscholar.org/paper/Glass-classification-and-identification-based-on-Xu-Li/bdfaf68ab1a4f1c8df3f9a129200c7ba0ae53780.

[17] ALAMEER A，GHAZAEI G，DEGENAAR P，et al. Object Recognition With an Elastic Net-Regularized Hierarchical MAX Model of the Visual Cortex [J].IEEE Signal Processing Letters，2016，23（8）：1062-1066.

[18] TOOCHAEI M R，MOEINI F.Evaluating the Performance of Ensemble Classifiers in Stock Returns Prediction Using Effective Features [J/OL].Expert Systems with Applications，2023，213[2024-02-07].https：//doi.org/10.1016/j.eswa.2022.119186.

[19] XIE D，XIONG J，PU S L. All You Need is Beyond a Good Init： Exploring Better Solution for Training Extremely Deep Convolutional Neural Networks with Orthonormality and Modulation [C]//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Honolulu：IEEE，2017：5075-5084.

[20] WANG J Y，CHEN Y B，CHAKRABORTY R，et al. Orthogonal Convolutional Neural Networks [C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.Seattle：IEEE，2020：11502-11512.

[21] HUO Y，ZHANG L. OCFER-Net： Recognizing Facial Expression in Online Learning System [C]//Proceedings of the 2022 International Conference on Advanced Visual Interfaces.New York：Association for Computing Machinery，2022：1-3.

作者簡介：霍奕（1982—），女，漢族，河北石家莊人，講師，博士，研究方向：人工智能、計算機視覺、模式識別。

收稿日期：2024-04-10

基金項目：教育部人文社會科學研究項目（23YJE880001）