基于多模態(tài)數(shù)據(jù)的在線學(xué)習(xí)認(rèn)知負(fù)荷評估

摘要：近年來，認(rèn)知負(fù)荷過載成為影響在線學(xué)習(xí)效果的一個重要因素。為解決此問題，文章聚焦在線學(xué)習(xí)認(rèn)知負(fù)荷評估，首先設(shè)計了基于多模態(tài)數(shù)據(jù)的在線學(xué)習(xí)認(rèn)知負(fù)荷評估研究框架，包含多模態(tài)數(shù)據(jù)采集、多模態(tài)特征提取和評估模型構(gòu)建三個部分。接著，文章通過實驗，采集學(xué)習(xí)者在特定在線學(xué)習(xí)環(huán)境下的多模態(tài)數(shù)據(jù)，提取人臉表情特征、眼動追蹤指標(biāo)特征和腦電信號特征，構(gòu)建在線學(xué)習(xí)認(rèn)知負(fù)荷評估模型。之后，文章對評估模型的準(zhǔn)確性進行驗證，發(fā)現(xiàn)在五種機器學(xué)習(xí)算法模型中，KNN模型的綜合性能最佳，故將此模型作為最終的在線學(xué)習(xí)認(rèn)知評估模型；同時，文章對多模態(tài)數(shù)據(jù)進行了分析，發(fā)現(xiàn)多模態(tài)融合方法在認(rèn)知負(fù)荷評估上具有優(yōu)越性。文章構(gòu)建的評估模型可賦能在線學(xué)習(xí)平臺實現(xiàn)認(rèn)知負(fù)荷的實時評估，進而實現(xiàn)基于認(rèn)知負(fù)荷的個性化學(xué)習(xí)，增強學(xué)習(xí)動機，提升學(xué)習(xí)效果，促進在線教育質(zhì)量提升。

關(guān)鍵詞：多模態(tài)數(shù)據(jù)；在線學(xué)習(xí)；認(rèn)知負(fù)荷；人臉表情；眼動追蹤；腦電信號

【中圖分類號】G40-057 【文獻標(biāo)識碼】A 【論文編號】1009—8097（2024）03—0079—10 【DOI】10.3969/j.issn.1009-8097.2024.03.008

引言

21世紀(jì)以來，隨著互聯(lián)網(wǎng)、多媒體等技術(shù)的飛速發(fā)展，在線學(xué)習(xí)逐漸普及。通常來說，在線學(xué)習(xí)可以分為同步的直播課堂和異步的視頻學(xué)習(xí)兩種形式[1]。本研究聚焦異步的在線學(xué)習(xí)環(huán)境，故下文提到的“在線學(xué)習(xí)”均指基于多媒體資源的異步在線學(xué)習(xí)。

當(dāng)人處于學(xué)習(xí)或任務(wù)情境中時，如果大腦中認(rèn)知資源的消耗超過自身的認(rèn)知能力，就會產(chǎn)生認(rèn)知負(fù)荷[2]。在線學(xué)習(xí)能夠突破時空限制，具有高度的靈活性[3]，并且能夠通過互聯(lián)網(wǎng)獲得大量的信息和資源——雖然這為學(xué)習(xí)者開展個性化學(xué)習(xí)提供了有力支持，但也帶來了資源和信息篩選、處理的困擾；同時，在線學(xué)習(xí)缺少教師的監(jiān)管，需要學(xué)習(xí)者自主有效管理時間，這使得在線學(xué)習(xí)具有挑戰(zhàn)性并存在認(rèn)知負(fù)荷過載的情況，進而影響學(xué)習(xí)效果與學(xué)習(xí)體驗[4]。

認(rèn)知負(fù)荷過高或過低都會影響學(xué)習(xí)者最終的學(xué)習(xí)效果，因此進行學(xué)習(xí)過程中的認(rèn)知負(fù)荷評估十分重要——其不僅可以幫助教師了解學(xué)習(xí)者的學(xué)習(xí)狀態(tài)，還可以優(yōu)化教學(xué)活動的開展，提高學(xué)習(xí)效果，具有重要的實踐意義[5]。但是，傳統(tǒng)的評估方式因其主觀性和事后評價的性質(zhì)，并不適用于在線學(xué)習(xí)。隨著技術(shù)的發(fā)展，基于多種客觀數(shù)據(jù)構(gòu)建評估模型的方法開始涌現(xiàn)，而且多種模態(tài)數(shù)據(jù)之間信息互補，使多模態(tài)評估模型的性能會比單模態(tài)評估模型更優(yōu)。基于此，本研究嘗試設(shè)計基于多模態(tài)數(shù)據(jù)的在線學(xué)習(xí)認(rèn)知負(fù)荷評估研究框架并依托該框架構(gòu)建評估模型，以期為在線學(xué)習(xí)環(huán)境下的認(rèn)知負(fù)荷評估提供一種新的可行性方法。

一 相關(guān)研究

1 認(rèn)知負(fù)荷評估

針對認(rèn)知負(fù)荷評估的研究起源于20世紀(jì)，評估方法以量表為主——這些量表的應(yīng)用都是基于這樣一個前提——人可以對自己在認(rèn)知過程中的認(rèn)知資源消耗進行評級，且這種認(rèn)知資源的消耗與任務(wù)的難度、心理努力、時間壓力等因素有關(guān)[6]。常見的量表有CH（Cooper-Harper）量表[7]、WP（the Workload Profile Index Ratings）量表[8]、NASA-TLX（National Aeronautics and Space Administration-Task Load Index）量表[9]等。其中，CH量表是被試直接對整體的自我認(rèn)知負(fù)荷進行評分，分值越高，說明認(rèn)知負(fù)荷越高；而WP量表和NASA-TLX量表是從其他多個維度間接評估認(rèn)知負(fù)荷，通過對不同維度的權(quán)重進行加權(quán)計算得到認(rèn)知負(fù)荷的大小。這些量表雖然得到了廣泛的應(yīng)用，但因其都屬于事后的主觀評價方法，學(xué)習(xí)者完成學(xué)習(xí)任務(wù)之后需要進行回憶并借助量表自我報告認(rèn)知負(fù)荷，這樣的主觀評價方法所得到的結(jié)果易受環(huán)境、主觀態(tài)度等因素的影響[10]，且無法進行實時評估，因此并不適用于在線學(xué)習(xí)環(huán)境。基于此，本研究選擇使用將認(rèn)知負(fù)荷評估量表與傳感器技術(shù)相結(jié)合的方法[11]，以有效提升認(rèn)知負(fù)荷評估的準(zhǔn)確性與有效性。

2 基于多模態(tài)數(shù)據(jù)的認(rèn)知負(fù)荷評估

在認(rèn)知負(fù)荷評估研究領(lǐng)域，隨著各種傳感器技術(shù)的成熟、應(yīng)用成本的降低，越來越多的研究者嘗試使用多模態(tài)數(shù)據(jù)來評估認(rèn)知負(fù)荷。相較于單模態(tài)數(shù)據(jù)，基于多模態(tài)數(shù)據(jù)的評估方法具有更高的魯棒性和抗噪聲能力[12]。目前，諸如表情、眼動追蹤、腦電信號等單模態(tài)數(shù)據(jù)已被用于認(rèn)知負(fù)荷評估，且因不同模態(tài)數(shù)據(jù)之間可以實現(xiàn)信息互補，故能得到更準(zhǔn)確的評估結(jié)果[13]。例如，Trisitichoke等[14]發(fā)現(xiàn)面部表情與感知可理解性高度相關(guān)，這表明面部表情可用來評估與語言理解有關(guān)的認(rèn)知負(fù)荷。眼動追蹤技術(shù)可通過采集學(xué)習(xí)過程中的注視、掃視、瞳孔變化等眼動行為數(shù)據(jù)來評估認(rèn)知負(fù)荷，如薛耀鋒等[15]結(jié)合注視時間、注視點個數(shù)、瞳孔直徑等指標(biāo)構(gòu)建了基于眼動追蹤技術(shù)的在線學(xué)習(xí)認(rèn)知負(fù)荷量化模型，并通過實驗驗證了量化模型的可行性和準(zhǔn)確性。認(rèn)知負(fù)荷與大腦緊密相關(guān)，且腦電信號與認(rèn)知負(fù)荷具有很高的同步性[16]，因此使用腦電信號來評估認(rèn)知負(fù)荷也成為一個常見的研究思路。例如，Zhao等[17]通過提取腦電信號不同頻段上的功率譜密度特征，對無人機操縱者的認(rèn)知負(fù)荷進行了評估。參考上述研究成果，本研究選擇應(yīng)用由人臉表情、眼動追蹤、腦電信號組成的多模態(tài)數(shù)據(jù)，來對在線學(xué)習(xí)認(rèn)知負(fù)荷進行評估。

二 研究框架設(shè)計

參考多模態(tài)數(shù)據(jù)的相關(guān)應(yīng)用研究[18][19][20]，從中汲取實驗設(shè)計、數(shù)據(jù)處理等方面的經(jīng)驗，本研究設(shè)計了基于多模態(tài)數(shù)據(jù)的在線學(xué)習(xí)認(rèn)知負(fù)荷評估研究框架。該框架包含多模態(tài)數(shù)據(jù)采集、多模態(tài)特征提取、評估模型構(gòu)建三個部分，具體如圖1所示。

1 多模態(tài)數(shù)據(jù)采集

本研究使用攝像頭、腦電儀、眼動儀采集學(xué)習(xí)者在學(xué)習(xí)過程中的多模態(tài)數(shù)據(jù)。每當(dāng)學(xué)習(xí)者完成一個階段的學(xué)習(xí)任務(wù)，就通過“Paas認(rèn)知負(fù)荷量表”自我報告認(rèn)知負(fù)荷[21]。該量表簡單易用且信效度高[22]，其結(jié)果將作為標(biāo)簽與多模態(tài)數(shù)據(jù)共同構(gòu)成數(shù)據(jù)集，并用于評估模型的構(gòu)建。

2 多模態(tài)特征提取

（1）人臉表情特征提取

人的表情中蘊含著豐富的情感信息。分析人的情感，有助于挖掘情感與學(xué)習(xí)動機、學(xué)習(xí)風(fēng)格、認(rèn)知之間的關(guān)系，并揭示情感對學(xué)習(xí)成效的影響[23]。基于Boucher等[24]、Plutchik等[25]提出的情感理論，本研究根據(jù)在線學(xué)習(xí)環(huán)境中學(xué)習(xí)者的情感特點，將學(xué)習(xí)者的情感分為開心、驚訝、中性、專注、困惑、厭煩六類。之后，研究人員在學(xué)習(xí)過程中借助攝像頭實時記錄學(xué)習(xí)者的面部，并采用人臉表情識別技術(shù)對學(xué)習(xí)者實時的情感進行分類、編碼，完成人臉表情特征的提取。

（2）眼動追蹤指標(biāo)提取

眼動數(shù)據(jù)能夠?qū)W(xué)習(xí)者的注意力分布與認(rèn)知過程進行量化，有助于理解人的學(xué)習(xí)行為和認(rèn)知規(guī)律[26]。基于此，研究人員首先借助眼動儀記錄學(xué)習(xí)者的眼動追蹤數(shù)據(jù)，并根據(jù)學(xué)習(xí)材料中不同元素的排版設(shè)計劃分出不同的興趣域，如文本、圖片等。之后，研究人員在不同的興趣域內(nèi)分別計算眼動追蹤指標(biāo)，以獲得學(xué)習(xí)者在不同元素上的注意力分配情況。本研究記錄的眼動追蹤指標(biāo)主要包括：全屏幕范圍內(nèi)的注視點數(shù)量、注視時長、左眼瞳孔平均直徑、左眼瞳孔直徑標(biāo)準(zhǔn)差、右眼瞳孔平均直徑和右眼瞳孔直徑標(biāo)準(zhǔn)差。

（3）腦電信號特征提取

腦電信號也叫腦電圖（Electroencephalogram，EEG），是一種通過在頭皮上放置若干個電極來采集并記錄大腦活動時腦電信號變化的方法[27]。腦電信號經(jīng)過濾波可分解成五個不同頻段的信號，分別是Delta波（0.5～4Hz）、Theta波（4～7Hz）、Alpha波（8～12Hz）、Beta波（13～30Hz）、Gamma波（＞30Hz）[28]。其中，Delta波在人處于深度睡眠時較為活躍，Theta波經(jīng)常出現(xiàn)于做夢、疲勞、深度放松或冥想的時候，Alpha波經(jīng)常在人處于清醒且較為放松的狀態(tài)下出現(xiàn)，Beta波在人注意力集中時較為活躍，Gamma波則會在大腦進行高級的認(rèn)知活動時出現(xiàn)。

通過腦電儀獲取的腦電信號往往會帶有心電、肌電、眼電和工頻干擾等偽跡[29]，因此需要進行預(yù)處理。研究人員首先使用凹陷濾波去除50Hz的交流電工頻干擾，同時使用0.1～50Hz的帶通濾波去除低頻的心電偽跡與高頻的肌電偽跡，隨后采用獨立成分分析法去除眼電偽跡。

針對已去除偽跡的腦電信號Xall，研究人員使用不同的帶通濾波將其分解成Delta波、Theta波、Alpha波、Beta波、Gamma波五個不同頻段的信號，記為Xb，分別提取其時域特征和頻域特征[30]。時域特征是針對腦電信號計算的統(tǒng)計學(xué)特征，主要包括均值、標(biāo)準(zhǔn)差、最大值、最小值、一階差分絕對值的均值、二階差分絕對值的均值，相關(guān)的計算公式如表1所示。頻域特征是使用Welch法將原來的時序信息轉(zhuǎn)換成頻域上的信息[31]，主要包括絕對功率譜密度和相對功率譜密度，相關(guān)的計算公式如表2所示。

3 評估模型構(gòu)建

（1）多模態(tài)數(shù)據(jù)融合

多模態(tài)數(shù)據(jù)融合策略主要有三種：數(shù)據(jù)級融合、特征級融合、決策級融合[32]。其中，數(shù)據(jù)級融合是將不同數(shù)據(jù)源的原始數(shù)據(jù)合并成一個數(shù)據(jù)集，然后再進行分析、建模、決策等；特征級融合是先提取不同模態(tài)的數(shù)據(jù)特征，然后將這些數(shù)據(jù)特征拼接成一個完整的特征向量，最終用于評估模型的構(gòu)建；決策級融合則是針對每個模態(tài)單獨建立子模型，然后根據(jù)每個子模型的輸出結(jié)果進行決策。考慮到特征級融合策略能夠盡量保留原始數(shù)據(jù)中的信息，且不同模態(tài)的數(shù)據(jù)之間可以實現(xiàn)充分的信息互補，因此本研究選擇采用特征級融合策略來進行評估模型的構(gòu)建。

（2）模型訓(xùn)練與驗證

留出法是一種常見的模型驗證方法，是指將數(shù)據(jù)集劃分為訓(xùn)練集和驗證集，將訓(xùn)練集用于訓(xùn)練評估模型以調(diào)整參數(shù)、驗證集用于評估模型的泛化能力。本研究將學(xué)習(xí)者自我報告的認(rèn)知負(fù)荷作為標(biāo)簽，與多模態(tài)數(shù)據(jù)共同組成數(shù)據(jù)集，并采用留出法對數(shù)據(jù)集進行劃分：將70%的數(shù)據(jù)用于模型訓(xùn)練，另外30%用于模型驗證。在進行留出法數(shù)據(jù)劃分之前，需要對多模態(tài)數(shù)據(jù)進行預(yù)處理，包括標(biāo)準(zhǔn)化和主成分分析降維，以統(tǒng)一數(shù)據(jù)的數(shù)量級、降低其復(fù)雜度。評估模型的構(gòu)建選擇使用多種機器學(xué)習(xí)算法，并根據(jù)認(rèn)知負(fù)荷等級評估結(jié)果得到最優(yōu)模型。

三 實驗設(shè)計

1 實驗對象

本研究以華東地區(qū)H大學(xué)教育類專業(yè)的在讀本科生為研究對象。但是，實驗要求實驗對象的裸眼或矯正視力為1.0，以確保眼動數(shù)據(jù)的正常采集；另外，所有被試參與實驗前需得到充足的休息和放松，不能以過度緊張、疲憊等負(fù)面狀態(tài)參與實驗，以保證實驗時腦電信號的順利采集。最終，共有288名被試參加了本次實驗。

2 實驗材料與工具

本研究使用MOOC平臺上的“大學(xué)英語詞匯解析”課程作為實驗材料，被試在電腦上每完成一個視頻的學(xué)習(xí)，就需要通過“Paas認(rèn)知負(fù)荷量表”自我報告認(rèn)知負(fù)荷。本研究結(jié)合該量表的兩個維度（即任務(wù)難度、心理努力），設(shè)計了兩個問題：①你認(rèn)為剛才的單詞難度如何？②記住并理解剛才的單詞，你付出了多少努力？

3 實驗環(huán)境

本研究的實驗設(shè)備為一臺聯(lián)想筆記本電腦、一臺Tobii T120眼動儀、一個攝像頭和一個基于OpenBCI生物傳感器套件開發(fā)的16通道腦電儀。其中，眼動儀作為外接顯示屏，可在呈現(xiàn)實驗材料的同時采集眼動數(shù)據(jù)。實驗在一個舒適、安靜的環(huán)境中進行，確保被試不會受到干擾。

4 實驗準(zhǔn)備

①數(shù)據(jù)采集：在被試進行“大學(xué)英語詞匯解析”課程學(xué)習(xí)的同時，攝像頭對被試的面部表情進行記錄、保存，眼動儀全程記錄被試的眼動數(shù)據(jù)，腦電儀采集被試的腦電信號，Paas認(rèn)知負(fù)荷量表用于記錄被試每完成一個視頻學(xué)習(xí)后的認(rèn)知負(fù)荷。

②特征提取：包括使用表情識別技術(shù)識別被試的面部表情，并統(tǒng)計每種表情出現(xiàn)的次數(shù)；分別在全屏幕范圍、三種不同的興趣域計算眼動追蹤指標(biāo)；腦電信號被分解成5個不同的頻段，分別計算每個頻段的時域和頻域特征，結(jié)果如表3所示。其中，三種不同的興趣域是根據(jù)學(xué)習(xí)材料中各元素的排版設(shè)計對眼動追蹤數(shù)據(jù)進行劃分的結(jié)果，分別是圖片區(qū)域，單詞拼寫、音標(biāo)和詞性區(qū)域，單詞釋義和例句區(qū)域，故每個興趣域需分別計算對應(yīng)的6個眼動追蹤指標(biāo)。三種模態(tài)的原始數(shù)據(jù)經(jīng)特征提取得到的整體特征，被用于后續(xù)的數(shù)據(jù)分析與評估模型構(gòu)建。

③模型構(gòu)建：首先，采用特征級融合策略，對人臉表情、眼動追蹤和腦電信號三種模態(tài)數(shù)據(jù)進行融合。接著，對多模態(tài)數(shù)據(jù)進行標(biāo)準(zhǔn)化、降維操作等預(yù)處理。然后，采用留出法，按照7：3的比例將多模態(tài)數(shù)據(jù)劃分為訓(xùn)練集與驗證集。其中，訓(xùn)練集的數(shù)據(jù)用于計算模型參數(shù)使其達到最佳的擬合效果，而驗證集的數(shù)據(jù)則用于檢驗訓(xùn)練后模型的有效性。最后，使用貝葉斯網(wǎng)絡(luò)（Bayes）、隨機森林（RF）、線性判別分析（LDA）、支持向量機（SVM）、K近鄰（KNN）五種不同的機器學(xué)習(xí)算法進行評估模型構(gòu)建，再分別進行模型的訓(xùn)練與驗證，并根據(jù)驗證結(jié)果進行認(rèn)知負(fù)荷等級評估，選擇性能最優(yōu)的模型作為最終的在線學(xué)習(xí)認(rèn)知負(fù)荷評估模型。

四 研究分析

1 模型性能驗證

經(jīng)統(tǒng)計，本研究共獲得人臉表情數(shù)據(jù)17.28萬條、眼動追蹤數(shù)據(jù)34.56萬條、腦電信號數(shù)據(jù)144萬條。三種模態(tài)數(shù)據(jù)經(jīng)過特征提取，組成特征矩陣。同時，原始的認(rèn)知負(fù)荷按其取值范圍被等量劃分為低、中、高三個等級，作為認(rèn)知負(fù)荷標(biāo)簽用于后續(xù)的數(shù)據(jù)分析和評估模型構(gòu)建。本研究將五種機器學(xué)習(xí)算法模型在驗證集上的評估準(zhǔn)確率進行對比，結(jié)果如表4所示。可以看出，KNN模型的綜合性能最佳，不僅整體認(rèn)知負(fù)荷準(zhǔn)確率達到86.2%，而且其低、中、高三個等級的認(rèn)知負(fù)荷準(zhǔn)確率均為80%以上。因此，本研究將KNN模型作為最終的在線學(xué)習(xí)認(rèn)知評估模型。

2 各模態(tài)數(shù)據(jù)分析

為理解各模態(tài)數(shù)據(jù)對五種機器學(xué)習(xí)算法模型評估結(jié)果的影響，本研究對五種機器學(xué)習(xí)算法模型中不同模態(tài)數(shù)據(jù)的準(zhǔn)確率及其平均值進行了對比，結(jié)果如表5所示。可以看出，腦電信號對五種機器學(xué)習(xí)算法模型評估結(jié)果的影響最大（平均值最高，為75.85%），其次是眼動追蹤（平均值次之，為61.15%），人臉表情的影響最小（平均值最低，為53.36%）。可見，相較于人臉表情和眼動追蹤，腦電信號與認(rèn)知負(fù)荷之間的聯(lián)系更加密切。但是，多模態(tài)數(shù)據(jù)的平均值大于任何一種單模態(tài)數(shù)據(jù)，由此驗證了多模態(tài)融合方法在認(rèn)知負(fù)荷評估上具有優(yōu)越性。

①人臉表情數(shù)據(jù)分析：本實驗中人臉表情數(shù)據(jù)的統(tǒng)計結(jié)果顯示，無論認(rèn)知負(fù)荷的等級如何，出現(xiàn)次數(shù)相對最多的是中性表情，其次是專注表情，同時出現(xiàn)了較少的困惑表情和開心表情，而驚訝表情和厭煩表情沒有出現(xiàn)，具體如圖2所示。究其原因，可能在于單詞的學(xué)習(xí)時間較短且學(xué)習(xí)目標(biāo)明確，所以被試的面部表情變化不大。進一步觀察可以發(fā)現(xiàn)，認(rèn)知負(fù)荷越高，被試出現(xiàn)的中性表情越少，但出現(xiàn)的專注表情越多，且困惑表情也會隨著認(rèn)知負(fù)荷的增加而增多。由此可見，使用情感識別可以實現(xiàn)對在線學(xué)習(xí)者情感和學(xué)習(xí)狀態(tài)的感知[33]。但要注意的是，本研究中被試的面部表情變化并不大，且部分被試會出現(xiàn)分心、走神的情況，此時人臉表情就成為了在線學(xué)習(xí)認(rèn)識負(fù)荷評估的干擾因素，需要從其他模態(tài)數(shù)據(jù)中獲得可以互補的信息。

②眼動追蹤指標(biāo)分析：本實驗對不同興趣域內(nèi)的眼動追蹤指標(biāo)與認(rèn)知負(fù)荷進行了相關(guān)分析，結(jié)果如表6所示。在所有的眼動追蹤指標(biāo)中，注視點數(shù)量、注視時長與認(rèn)知負(fù)荷之間具有相對更高的相關(guān)性，說明注視行為與認(rèn)知負(fù)荷的聯(lián)系更密切，此結(jié)論與Mutlu-Bayraktar等[34]的研究一致。而瞳孔直徑相關(guān)的指標(biāo)與認(rèn)知負(fù)荷的相關(guān)性較弱且并不顯著，其原因可能在于人的瞳孔極其敏感、不穩(wěn)定，容易受到光線強度、生理反應(yīng)等因素的影響[35]。另外，圖片區(qū)域的注視點數(shù)量、注視時長與認(rèn)知負(fù)荷顯著負(fù)相關(guān)，而單詞拼寫、音標(biāo)和詞性區(qū)域的注視點數(shù)量、注視時長與認(rèn)知負(fù)荷顯著正相關(guān)，說明認(rèn)知負(fù)荷越低時視覺注意會更多地分配在圖片區(qū)域、反之會更多地分配在單詞拼寫、音標(biāo)和詞性區(qū)域。由此可見，眼動追蹤指標(biāo)可以反映學(xué)習(xí)者的視覺注意分配與學(xué)習(xí)努力程度。基于此，為避免學(xué)習(xí)者認(rèn)知負(fù)荷過載情況的發(fā)生，教師在進行學(xué)習(xí)資源設(shè)計時可以為較難學(xué)習(xí)的學(xué)習(xí)材料配以有助于理解的圖片，以有效降低學(xué)習(xí)者的認(rèn)知負(fù)荷[36]。

③腦電信號數(shù)據(jù)分析：本實驗中腦電信號數(shù)據(jù)的相關(guān)統(tǒng)計結(jié)果顯示，腦電信號在不同認(rèn)知負(fù)荷等級下的激活模式不盡相同，如圖3所示。整體來說，在第0秒學(xué)習(xí)材料出現(xiàn)時，大腦開始受到刺激，腦電信號隨著大腦的認(rèn)知活動做出反應(yīng)。在第4～10秒時，無論處于哪一種認(rèn)知負(fù)荷等級，大腦的額葉區(qū)域都出現(xiàn)了相對較強的腦電信號，而在顳葉、頂葉、枕葉的腦電信號相對較弱。但當(dāng)學(xué)習(xí)即將結(jié)束時，額葉的腦電信號逐漸減弱，而枕葉的腦電信號會相對增強，并且認(rèn)知負(fù)荷的等級越高，這種對比就越明顯。上述分析結(jié)果再次說明了腦電信號與認(rèn)知負(fù)荷之間存在密切的聯(lián)系，而額葉的腦電信號與人的各種認(rèn)知活動、工作記憶等相關(guān)[37]，因此學(xué)習(xí)材料的難度應(yīng)考慮認(rèn)知負(fù)荷的管理水平，以減輕大腦的負(fù)擔(dān)。

五 結(jié)語

本研究設(shè)計了基于多模態(tài)數(shù)據(jù)的在線學(xué)習(xí)認(rèn)知負(fù)荷評估研究框架，并依托此框架構(gòu)建了基于人臉表情、眼動追蹤、腦電信號三種模態(tài)數(shù)據(jù)的評估模型。通過對比五種機器學(xué)習(xí)算法模型在驗證集上的評估準(zhǔn)確率，本研究將綜合性能最佳的KNN模型作為最終的在線學(xué)習(xí)認(rèn)知評估模型。另外，本研究通過多模態(tài)數(shù)據(jù)分析，發(fā)現(xiàn)基于多模態(tài)數(shù)據(jù)的評估模型在性能上優(yōu)于任何一種單模態(tài)評估模型，由此證明了多模態(tài)融合方法在認(rèn)知負(fù)荷評估上具有優(yōu)越性。

本研究提出的在線學(xué)習(xí)認(rèn)知負(fù)荷評估模型可賦能在線學(xué)習(xí)平臺，對學(xué)習(xí)者的認(rèn)知負(fù)荷進行實時評估，進而根據(jù)學(xué)習(xí)者的認(rèn)知負(fù)荷自動調(diào)整學(xué)習(xí)材料的難度，讓學(xué)習(xí)內(nèi)容既有挑戰(zhàn)又在學(xué)習(xí)者的學(xué)習(xí)能力范圍之內(nèi)，從而增強學(xué)習(xí)動機，提升學(xué)習(xí)效果。同時，在線學(xué)習(xí)過程中產(chǎn)生的認(rèn)知負(fù)荷評估數(shù)據(jù)對于后續(xù)教育研究也有一定的價值，可幫助研究人員或教師了解學(xué)習(xí)者的認(rèn)知負(fù)荷變化情況，并作為課程優(yōu)化的依據(jù)。后續(xù)研究將通過實踐應(yīng)用完善在線學(xué)習(xí)認(rèn)知負(fù)荷評估模型，使其性能更佳、效率更高、計算成本更低；同時，要設(shè)計不同的在線學(xué)習(xí)情境、學(xué)習(xí)主題，擴大實驗規(guī)模，以增強評估模型的泛化能力，并進一步提升其普適性和準(zhǔn)確性。

————————

參考文獻

[1]Chen N， Ko H， Kinshuk， et al. A model for synchronous learning using the Internet[J]. Innovations in Education and Teaching International， 2005，（2）：181-194.

[2]Sweller J. Cognitive load during problem solving： Effects on learning[J]. Cognitive Science， 1988，（2）：257-285.

[3]武法提，賴松，高姝睿，等.聯(lián)合面部線索與眼動特征的在線學(xué)習(xí)專注度識別[J].中國電化教育，2022，（11）：37-44.

[4]Chen C Y， Pedersen S， Murphy K L. Learners’ perceived information overload in online learning via computer-mediated communication[J]. Research in Learning Technology， 2011，（2）：101-116.

[5][6][11][22]王國華，聶勝欣，薛瑞鑫.多媒體學(xué)習(xí)中的認(rèn)知負(fù)荷：測量方法與技術(shù)縱覽[J].電化教育研究，2022，（4）：19-25、54.

[7]Cooper G. Cognitive load theory as an aid for instructional design[J]. Australasian Journal of Educational Technology， 1990，（2）：108-113.

[8]Tsang P S， Velazquez V L. Diagnosticity and multidimensional subjective workload ratings[J]. Ergonomics， 1996，（3）：358-381.

[9]Hart S G. Nasa-task load index （NASA-TLX）： 20 years later[J]. Proceedings of the Human Factors and Ergonomics Society Annual Meeting， 2006，（9）：904-908.

[10]許子明，牛一帆，溫旭云，等.基于腦電信號的認(rèn)知負(fù)荷評估綜述[J].航天醫(yī)學(xué)與醫(yī)學(xué)工程，2021，（4）：339-348.

[12]Debie E， Rojas R F， Fidock J， et al. Multimodal fusion for objective assessment of cognitive workload： A review[J]. IEEE Transactions on Cybernetics， 2019，（3）：1542-1555

[13]王一巖，鄭永和.多模態(tài)數(shù)據(jù)融合：破解智能教育關(guān)鍵問題的核心驅(qū)動力[J].現(xiàn)代遠(yuǎn)程教育研究，2022，（2）：93-102.

[14]Trisitichoke T， Ando S， Saito D， et al. Analysis of native listeners’ facial microexpressions while shadowing non-native speech—Potential of shadowers’ facial expressions for comprehensibility prediction[A]. Interspeech 2019[C]. Austria： International Speech Communication Association， 2019：1861-1865.

[15][20]薛耀鋒，李卓瑋.基于眼動追蹤技術(shù)的在線學(xué)習(xí)認(rèn)知負(fù)荷量化模型研究[J].現(xiàn)代教育技術(shù)，2019，（7）：59-65.

[16]王小明.認(rèn)知負(fù)荷測量中的三大問題：構(gòu)念、觀察指標(biāo)與解釋[J].全球教育展望，2021，（6）：50-66.

[17]Zhao Y， Yang X， Wang Y， et al. EEG assessment of driving cognitive distraction caused by central control information[A]. 14th International Conference on Applied Human Factors and Ergonomics （AHFE 2023）[C]. USA： AHFE Open Acces， 2023：131-121.

[18]孫波，劉永娜，陳玖冰，等.智慧學(xué)習(xí)環(huán)境中基于面部表情的情感分析[J].現(xiàn)代遠(yuǎn)程教育研究，2015，（2）：96-103.

[19]陳波，陸天易，于泠，等.基于多模態(tài)數(shù)據(jù)的精準(zhǔn)在線測試模型[J].現(xiàn)代教育技術(shù)，2023，（4）：92-100.

[21]Paas F G. Training strategies for attaining transfer of problem-solving skill in statistics： A cognitive-load approach[J]. Journal of Educational Psychology， 1992，（4）：429-434.

[23]Yadegaridehkordi E， Noor N F B M， Ayub M N B， et al. Affective computing in education： A systematic review and future research[J]. Computers amp; Education， 2019，142：103649.

[24]Boucher J D， Ekman P. Facial areas and emotional information[J]. Journal of Communication， 1975，（2）：21-29.

[25]Plutchik R， Kellerman H. Theories of emotion[M].USA： Academic Press， 1980：3-33.

[26]張琪，楊玲玉.e-Learning環(huán)境學(xué)習(xí)測量研究進展與趨勢——基于眼動應(yīng)用視角[J].中國電化教育，2016，（11）：68-73.

[27]陳澤龍，謝康寧.腦電EEG信號的分析分類方法[A].中國醫(yī)學(xué)裝備大會暨2019醫(yī)學(xué)裝備展覽會論文匯編[C].北京：《中國醫(yī)學(xué)裝備》雜志社，2019：8.

[28]Zhang B， Chai C， Yin Z， et al. Design and implementation of an EEG-based learning-style recognition mechanism[J]. Brain Sciences， 2021，（5）：613.

[29]朱佳俊，林挺宇，張恒運，等.腦電波分析及處理綜述[J].智能計算機與應(yīng)用，2021，（2）：123-128.

[30]劉偉楠，劉燕，佟寶同，等.基于功率譜的睡眠中癲癇發(fā)作預(yù)測[J].生物醫(yī)學(xué)工程學(xué)雜志，2018，（3）：329-336.

[31]Welch P. The use of fast fourier transform for the estimation of power spectra： A method based on time averaging over short， modified periodograms[J]. IEEE Transactions on Audio and Electroacoustics， 1967，（2）：70-73.

[32]Muszynski M， Tian L， Lai C， et al. Recognizing induced emotions of movie audiences from multimodal Information[J]. IEEE Transactions on Affective Computing， 2021，（1）：36-52.

[33]Wang S. Online learning behavior analysis based on image emotion recognition[J]. Traitement Du Signal， 2021，（3）：865-873.

[34]Mutlu-Bayraktar D， Ozel P， Altindis F， et al. Relationship between objective and subjective cognitive load measurements in multimedia learning[J]. Interactive Learning Environments， 2023，（3）：1322-1334.

[35]Fei X， Zhang Y， Kong D， et al. Quantitative model study of the psychological recovery benefit of landscape environment based on eye movement tracking technology[J]. Sustainability， 2023，（14）：11250.

[36]Kaplan-Rakowski R， Lin L， Wojdynski T. Learning vocabulary using 2D pictures is more effective than using immersive 3D stereoscopic pictures[J]. International Journal of Human-Computer Interaction， 2022，（4）：299-308.

[37]Garcia-Alvarez L， Gomar J J， Sousa A， et al. Breadth and depth of working memory and executive function compromises in mild cognitive impairment and their relationships to frontal lobe morphometry and functional competence[J]. Alzheimer’s amp; Dementia： Diagnosis， Assessment amp; Disease Monitoring， 2019，（1）：170-179.

Cognitive Load Assessment of Online Learning Based on Multimodal Data

XUE Yao-Feng1，2""" WANG Kun1""" QIU Yi-Sheng1""" ZHU Fang-Qing1

（1. Department of Educational Information Technology， East China Normal University， Shanghai， China 200062; 2. Shanghai Engineering Research Center of Digital Education Equipment， East China Normal University， Shanghai， China 200062）

Abstract： In recent years， cognitive overload has become an important factor affecting the online learning effectiveness. To address this issue， this paper focused on the cognitive load assessment of online learning， and firstly designed a research framework of cognitive load assessment of online learning based on multimodal data， which included three parts of multimodal data collection， multimodal feature extraction， and assessment model construction. Subsequently， this paper collected multimodal data from learners in a specific online learning environment through experiments， extracted facial expression features， eye-tracking indicator features， and electroencephalogram （EEG） signal features， and constructed the cognitive load assessment model of online learning. Afterwards， the accuracy of the assessment model was validated， and it was found that among five machine learning algorithm models， the KNN model had the best overall performance， thus making it the final cognitive load assessment model of online learning. At the same time， the multimodal data were analyzed， and it was found that the multimodal fusion method had superiority in cognitive load assessment. The assessment model constructed in this paper can empower online learning platforms to achieve real-time assessment of cognitive load， thereby realizing personalized learning based on cognitive load， enhancing learning motivations and promoting learning outcomes， and improving the quality of online education.

Keywords： multimodal data; online learning; cognitive load; facial expression; eye-tracking; EEG signal

————————

*基金項目：本文為2022年度上海市自然科學(xué)基金面上項目“基于多模態(tài)數(shù)據(jù)融合的在線學(xué)習(xí)認(rèn)知模型及優(yōu)化研究”（項目編號：22ZR1421300）的階段性研究成果。

作者簡介：薛耀鋒，副研究員，博士，研究方向為智能教育，郵箱為yfxue@deit.ecnu.edu.cn。

收稿日期：2023年8月19日

編輯：小米