基于多模態生理信號的學習專注度識別

摘要：學習專注度與學習表現密切相關，是影響學習質量的重要因素。學生的生理信號能夠客觀反映學習專注度，但當下借助生理信號識別學習專注度的研究較少。基于此，文章首先通過便攜式腕帶采集46位中學生在線學習時的多模態生理信號；然后，文章利用交叉驗證提供可靠的學習專注度標簽，并對多模態生理信號進行數據預處理、特征提取與特征選擇，獲得了15個有效特征，據此構建學習專注度識別模型，結果表明決策樹的識別效果最好；最后，文章從標簽的可靠性、特征的有效性、模型的可用性等方面對研究結果進行了總結和反思。文章通過學習專注度識別研究，旨在為教師的教學決策提供有效支持，從而促進教學質量的提升。

關鍵詞：在線學習；學習專注度；多模態生理信號；專注度識別

【中圖分類號】G40-057 【文獻標識碼】A 【論文編號】1009—8097（2023）06—0101—08"【DOI】10.3969/j.issn.1009-8097.2023.06.011

引言

如今，以人工智能為核心的智能技術正在推動人類教育向智能教育階段轉型和演進，這為教與學全過程提供了個性化數據采集和智能化分析的能力，蓄積了解決教與學問題的起步動能，如研究人員開始使用多來源多模態數據自動分析學習者的學習情緒、學習專注度等多元微觀特征^[1]，試圖深度理解學習過程，提升學習者的學習質量。其中，學習專注度反映學習者聚焦于學習任務的注意集中程度，是決定學習表現的關鍵因素^[2]。先前研究已經指出，較高的注意集中程度有利于大腦中的信息處理和編碼，便于學習者更準確地回憶學習到的內容^[3]，從而獲得更好的學習成效^[4]。因此，及時識別學習專注度至關重要，可以作為學習者自我調節和教師實施教學調整與干預決策的依據，進而促進學習者學習和教師教學。

相比于面對面學習，在線學習具有靈活化、個性化的優勢，但時空分離的條件讓教師難以及時監控學習者，而學習者在沒有教師監督的情況下很可能會難以集中注意力，進而導致學習效率低下并影響教學效率^[5]。特別地，中小學生在線學習缺乏專注度的現象尤為嚴重^[6]，這導致學習效果不夠理想，故在線學習專注度的識別問題亟待解決。而隨著新技術在教育中的逐步應用，越來越多的研究人員使用學習者的外部表現來自動識別學習專注度。相較于日志、視頻等外部表現，未經訓練的學習者通常無法控制其生理信號（尤其是與自主神經系統相關聯的生理信號）的波動，因此生理信號具有難以偽造的優勢，能夠更加客觀地反映學習者真實的學習專注度。更重要的是，多模態生理信號具有相互補充的特點，促使學習專注度建模走出數據類型單一與數量不足的桎梏，從而更精準地識別學習專注度。綜上，本研究面向在線學習場景，以中學生為研究對象，將目前廣泛使用的智能腕帶無感式、伴隨式采集的過程性多模態生理信號作為數據來源，再以交叉驗證的方式提供可靠的學習專注度標簽，并分別從多模態生理信號中提取可理解的特征，借助傳統機器學習方法構建基于多模態生理信號的學習專注度識別模型。通過探究使用多模態生理信號識別學習專注度的可行性，本研究期望為自動分析與識別學習專注度的研究提供參考，進一步為在真實學習環境中開展相關的應用實踐提供可能。

一 相關研究

生理信號是人作為生物體的自發反應，不易受到學習者主觀意識的影響，故具有很好的科學性、準確性與客觀性，但是對應的數據感知設備具有不同程度的侵入性，極易對學習者造成明顯影響。隨著輕量級的便攜式生理信號傳感器的出現，便攜式可穿戴設備的侵入性逐漸降低，允許更加自然地模擬學習者的真實學習過程，以及伴隨式采集學習者的過程性外部生理表現。當前，在基于外部生理表現的學習專注度識別研究中，使用較為廣泛的生理信號是腦電信號（Electroencephalogram，EEG）與心電信號（Electrocardiogram，ECG）。雖然大量研究均表明使用EEG識別學習專注度是可行的并體現出一定的信效度^[7][8]，但即便是輕量級的便攜式EEG感知設備也具有較強的侵入性，因為長時間佩戴易引發頭部不適。與之類似，ECG感知設備也不能滿足無感式采集的要求，故它們不能被應用于常態化的學習場景。

值得注意的是，ECG的關鍵特征是心率變異性（Heart Rate Variability，HRV），指的是心臟兩次搏動間隔時間的變異性，其被證明是衡量專注度的重要指標^[9][10]。HRV可通過光電容積脈搏波（Photoplethysmography，PPG）的連續脈沖周期間期變化來計算。目前，PPG檢測技術能夠被集成到腕帶、手環等便攜式可穿戴設備中，從而實現PPG信號的無感式、伴隨式采集，因此研究人員開始使用PPG信號來識別學習者的專注度。如Li等^[11]提供了關于機器學習的在線視頻，要求被試佩戴單通道頭帶與腕帶并按照實驗要求依次完成學習任務。不同于以往的專注度標簽標注，他們使用EEG表征的數值將專注度標注為三個等級（0～20為低，20～80為中，80～100為高）^[12]，以10秒鐘為時間間隔（2秒鐘為滑動窗口）提取相應的時域特征、頻域特征與非線性特征，再通過隨機森林構建學習專注度評估模型，優化參數后平均準確率達到69%。他們將該結果以分析報告的形式及時呈現在學習儀表盤中，為教與學的改善提供了支持依據。

通過上述分析可知，脈搏數據對學習專注度的識別精度在可接受范圍內，且相應的感知設備擁有便攜與非侵入的特性，故具有很好的應用前景，但當下仍缺乏使用體現HRV變化的生理信號來識別學習專注度的研究。更不幸的是，現有研究均采用單一方式標注學習專注度標簽，這種沒有經過相互印證的標簽很可能會嚴重降低學習專注度數據集的質量，而多種標注方式的組合互證在一定程度上具有互補性，故經過交叉檢驗的標簽更加可靠與科學。此外，由于單一模態數據容易造成路燈效應，產生對學習過程的偏見，而多模態數據具有互補優越性，可以增強對學習過程的理解，因此與單模態生理信號相比，結合脈搏數據、溫度數據、皮膚電等多模態生理信號來識別學習專注度可能會顯著提高預測性能。綜上，本研究將聯合使用多種標注方式提供學習專注度標簽，并以通過多模態生理信號建立學習專注度識別模型為目的開展實驗。

二 研究準備

1"實驗場景

由于視頻是在線學習的主要呈現形式，故本研究將聚焦視頻學習場景。其中，實驗環境為教室，室內光照包括穩定的普通日光燈與透過窗戶的自然光，所需的實驗設備總共有四類：希沃電子白板、Intel RealSense D455深度攝像機、Empatica E4腕帶和內置ThinkGear AM芯片的頭帶。

2"實驗對象

本研究在2021年向重慶某中學的七年級和八年級學生（此時九年級的初三學生正忙于準備中考沖刺，故未將他們考慮在內）隨機發放“實驗意見征詢單”，將通過家長簽字同意的目標學生作為被試，共有46名（年齡13±1），含女生19人、男生27人，他們均未系統學習過本研究提供的實驗材料。所有被試均為右利手，視力或矯正視力以及聽力正常，身體健康。

3"實驗材料

考慮到具有科學趣味的視頻學習材料更能激發中學生的學習興趣，故本研究選擇地理學科中有關水循環的知識，并將國家資源中小學網絡云平臺（網址：https：//ykt.eduyun.cn/）中的兩段“水循環”教學視頻作為學習材料。其中，每段教學視頻的時長約20分鐘，在視頻切換時休息時間為5分鐘，故總學習時長約45分鐘，該時長能夠確保被試出現不專注狀態，以便減少人為飾演或偽裝的影響，有助于提高學習專注度識別模型的魯棒性。

4"流程設計

本研究對標注流程進行了設計：實驗開始前，被試需要了解注意事項，并佩戴腕帶與頭帶設備，隨即采集5分鐘平靜狀態下的生理信號，作為基線測試；實驗開始后，被試觀看學習視頻，其自發產生的計算機視覺數據和生理數據通過攝像頭、腕帶與頭帶伴隨式采集；實驗結束后，被試觀看自身具有明顯視覺行為表達的學習錄像片段（做筆記、打哈欠、手撐頭、揉眼睛、向后靠、趴桌子、看屏幕、看筆記等典型動作）及其對應的教學視頻片段，并通過李克特五點量表對自身的學習專注度進行打分，即以自陳方式添加自標注標簽；隨后，5名具有一定教學經驗的第三方觀察人員借助ELAN"6.1標注工具觀看上述學習錄像片段（時長在10秒～120秒之間，其中，10秒鐘的時長已被證明是第三方觀察人員能直觀理解視頻語義的最短時間尺度^[13]），并通過五點李克特量表對被試的學習專注度進行打分，即以他人評價的方式添加他標注標簽。

三 研究過程與結果

1"標簽評價

在完成實驗數據采集后，本研究通過原標注、自標注與他標注分別提供學習專注度標簽：①原標注指頭帶輸出的專注度數值（范圍為0～100），根據eSense的相關參數，[0，"40）、[40，"60]、（60，"100]分別對應低、中、高標簽；②自標注指自我報告的專注度數值（范圍為1～5），[1，"2.33）、[2.33，"3.66]、（3.66，"5]分別對應三類標簽；③他標注指第三方觀察的專注度數值，由于無法對各觀察人員的標注值做出價值判斷，故本研究去掉了最小和最大的標注值，使用剩下三個標注值的平均數來表征，三類標簽的劃分與自標注相同。為了確保標簽具有良好的質量，本研究采用Kappa檢驗評價標簽的一致性，結果如表1所示。可知，在第一次三方檢驗中，原標注、自標注與他標注之間的一致性程度在可接受范圍內，但還沒有達到預期，這可能是每一種標注方式固有的缺陷導致的。于是，本研究以人工觀察的方式剔除一些明顯帶有歧義或差異過大的學習專注度標簽，在第二次三方檢驗中，三種標注方式之間的一致性程度均有增強，如Fleiss Kappa系數從0.588提高到0.705，該結果明顯達到了預期，這表明過濾后的學習專注度標簽具有較高的可靠性。

2"數據預處理

在剔除低信效度的標注值后，本研究基于投票方式給每一個樣本賦予學習專注度標簽，并踢除生理信號缺失率超過60%的樣本，最終獲得194個有效樣本（高標簽占35.05%，中標簽占43.30%，低標簽占21.65%）。除了學習專注度標簽，每個樣本均包含Empatica E4腕帶記錄的四種生理信號：心跳間期（Inter-Beat Intervals，IBI）、血液容積脈搏波（Blood Volume Pulse，BVP）、皮膚電活動（Electrodermal Activity，EDA）與皮膚溫度（Skin Temperature，SKT）。為了減少采集階段記錄的偽影和干擾，本研究根據相關文獻對生理信號進行單獨濾波，例如使用插值法補充IBI的缺失值，并通過偽影校正法進行正確的重建；考慮到腕帶的傳感器很有可能受到電子噪聲的干擾，因此使用64赫茲和4赫茲的陷波器分別過濾BVP和SKT的工頻噪聲；EDA是微電流，極容易受到手腕運動、汗液滲出等干擾因素（電極與皮膚之間的接觸變化^[14]）的影響，故使用高斯低通濾波器（窗口大小為40點、Sigma為400毫秒）去除偽影和噪音。

3 特征提取

經過數據預處理后，結合文獻調研與實際情況，本研究從IBI、BVP、EDA與SKT中分別構建有意義的度量特征。例如，IBI的時域特征通過Kubios"HRV Standard軟件提取；BVP、EDA與SKT的相關特征通過集成于Matlab的Bio-SP工具箱提取。其中，BVP的特征來源于代表血流量的血液容積脈搏波振幅，EDA的特征來源于過濾后的電流振幅及其皮膚電導反應成分^[15]。如表2所示，本研究總共提取28個可理解的具體特征，它們在先前的研究中已得到應用^[16]。

4"特征選擇

完成上述指標的量化后，本研究統一進行Z-score標準化處理，目的是取消由量綱不同、自身變異或數值相差較大引起的誤差。另外，雖然更多的特征意味著機器學習方法可以獲得更多的信息，但冗余和不相關的特征可能會導致預測性能不佳。因此，為了減少多余信息與優化預測精度，本研究使用相關分析進行特征選擇，即剔除相關系數絕對值低于0.10的特征。經過運算，特征重要性排序如圖1所示，發現與EDA和SKT相關的指標被全部淘汰，而剩余的15個指標均來自于IBI和BVP，它們將作為潛在的最優特征子集成為學習專注度識別模型的輸入。

5"模型構建

為了識別學習專注度，本研究選擇了六種常用且有效的傳統機器學習方法構建模型，包括單一規則法、線性邏輯回歸、支持向量機、貝葉斯網絡、決策樹與隨機森林。同時，本研究使用通過混淆矩陣計算得到的準確率、精確率、召回率和F1分數作為性能參數，并選擇單一規則法作為基線分類器，評估和比較以上六種方法所建模型的預測性能。此外，為了減少監督學習中常見的過度擬合問題，本研究還利用五折交叉驗證來提高學習專注度識別模型的魯棒性。

6"識別結果

六種方法所建模型的學習專注度預測效果如表3所示。可以看出：決策樹在特征選擇前（F1分數為0.843）和特征選擇后（準確率為0.851，精確率為0.853，召回率為0.851，F1分數為0.848）均對學習專注度的識別表現最好；經過特征選擇，除了單一規則法和貝葉斯網絡的分類性能保持不變，其他方法的預測性能均有一定程度的提升，其中支持向量機的提升幅度最大（達到了8.7%），說明特征選擇可以有效提升學習專注度的識別精度。針對特征選擇后的模型，性能表現略遜于決策樹的方法是隨機森林和單一規則法，但它們所有的性能參數值均大于0.800——這是一個很有應用前景的結果，其他方法的預測性能雖然均低于基線分類器，但各項參數的具體數值仍在0.7～0.8之間，尚在可接受的范圍內。總之，上述各方法的性能表現可以認為是比較理想的識別結果，基本證實了采用多模態生理信號識別學習專注度的有效性。

四 討論與總結

盡管生理信號能夠反映學生的真實學習專注度，但單一模態的數據往往是片面的，而多模態數據具有相互補充的特性。因此，本研究針對基于多模態生理信號的學習專注度識別，主要完成了以下三個方面的研究工作：

①本研究使用原標注、自標注和他標注三種方式提供學習專注度標簽，這種兼顧主觀性與客觀性的聯合標注方式在一定程度上具有互補性，克服了單一標注方式存在的局限性（如原標注不能避免學習者的“白日夢”情況，自標注往往易引發“霍桑效應”，他標注無法直接感知學習者的內隱狀態），使標注的標簽更具有效性、可靠性與科學性。更重要的是，三方交叉印證的結果從理論上來說應該越來越逼近學習者真實的學習專注度數值，從而使構建的學習專注度數據集具有代表性且質量優良，為學習專注度的自動分析與識別提供了數據基準。

②本研究基于IBI、BVP、EDA與SKT構建了28個有意義的指標并完成了具體數值的量化，通過相關分析篩選出對學習專注度識別模型貢獻度較大的指標，一個有趣的發現是：最優的15個指標全部來自IBI和BVP，而與EDA和SKT相關的指標則均被淘汰。其中，IBI和BVP反映心跳和HRV的變化，已被證明與專注度有著密切的關系，如Spann等^[17]的研究表明心率變化與學習專注度呈正相關；進一步地，Porges等^[18]發現當學習者執行高認知任務時，心率會增加，HRV則降低。而EDA與SKT反映皮膚內血管舒張和汗液分泌的變化，雖然它們是人體交感神經系統被激活后的反應，但是在本研究中僅能代表手腕部位的局部變化，并不能代表學習專注度變化所引起的全域變化。因此，前兩種生理信號的相關指標重要性程度相對較高，而后兩種生理信號的相關指標重要性程度很低，以致不能作為后續學習專注度識別模型的輸入。

③本研究選擇六種可解釋的機器學習方法分別建立學習專注度識別模型，各方法均達到了可以接受的預測效果，這表明了多模態生理信號具有很強的學習專注度識別能力。其中，預測表現最好的方法是決策樹，其準確率為0.851，精確率為0.853，召回率為0.851，F1分數為0.848，這是一個相對較好的預測結果，甚至略優于隨機森林，可能是因為決策樹具有良好的抗干擾性，計算量相對較小且效率高。此外，與特征選擇前的預測結果相比，各方法在特征選擇后的預測結果明顯更優，表明低于閾值的指標并不會顯著提高分類方法的性能，甚至可能會起到相反的作用，這也再次證實了在學習預測領域中特征選擇的重要性^[19]。更重要的是，本研究使用的生理信號感知設備具有便攜性與非侵入性，不會對學習過程造成額外干擾，可以盡可能保證學習者的自然學習狀態，故所構建的學習專注度識別模型具有潛在的應用價值。

五 局限與展望

本研究聚焦在線學習場景中的學習專注度自動識別，首先通過Empatica"E4腕帶采集學生的多模態生理信號，然后通過原標注、自標注和他標注以三方互證的方式提供可靠的學習專注度標簽并從多模態生理信號中提取有意義的特征，通過相關分析和模型預測效果比較得到體現心跳和HRV變化的IBI與BVP是識別學習專注度的有效生理信號，所構建的學習專注度識別模型可以幫助教師及時掌握學習者的學習狀態，有利于教師適時調整教學計劃或實施恰當的干預策略，從而促進學習者的有效學習，進一步提高教學質量。需要指出的是，本研究還存在一些明顯的局限。具體而言，本實驗搭建的環境雖已盡可能接近真實學習場景，但難以完全消除“做實驗”這種預設帶給學生的影響。例如，有些學生刻意“偽裝”自己，全程未有過多的外顯化行為。這種情況會給第三方觀察人員帶來困惑，以致難以區分學生學習專注度的高低。此外，本研究的訓練樣本覆蓋范圍太小，這樣會導致識別模型的泛化能力受限，很有可能不具有遷移性。因此，后續研究需要在真實學習場景中采集更多的樣本量，且這些樣本需要涵蓋學習者所有可能的外部表現，如此獲得的學習專注度識別模型才能真正應用于實踐以反哺教與學，實現教育質量的提升。

參考文獻

[1]張立山，馮碩，李亭亭.面向課堂教學評價的形式化建模與智能計算[J].現代遠程教育研究，2021，（1）：13-25.

[2]Steinmayr R， Ziegler M， Tr?uble B. Do intelligence and sustained attention interact in predicting academic achievement？[J]. Learning and Individual Differences， 2010，（1）：14-18.

[3]Smallwood J， McSpadden M， Schooler J W. When attention matters： The curious incident of the wandering mind[J]. Memory amp; Cognition， 2008，（6）：1144-1150.

[4]Smithson E F， Phillips R， Harvey D W， et al. The use of stimulant medication to improve neurocognitive and learning outcomes in children diagnosed with brain tumours： A systematic review[J]. European Journal of Cancer， 2013，（14）：3029-3040.

[5]Burnik U， Zaletelj J， Ko?ir A. Video-based learners’ observed attention estimates for lecture learning gain evaluation[J]. Multimedia Tools amp; Applications， 2018，77：16903-16926.

[6]王稱麗，賀雯，莫瓊瓊.7-15歲學生注意力發展特點及其與學業成績的關系[J].上海教育科研，2012，（12）：51-54.

[7]Liu N H， Chiang C Y， Chu H C. Recognizing the degree of human attention using EEG signals from mobile sensors[J]. Sensors， 2013，（8）：10273-10286.

[8]Yang S M， Chen C M， Yu C M. Assessing the attention levels of students by using a novel attention aware system based on brainwave signals[A]. Proceedings of the 4th International Congress on Advanced Applied Informatics[C]. Piscataway： IEEE， 2015：379-384.

[9]Berntson G G， Bigger J T， Eckberg D L， et al. Heart rate variability： Origins， methods， and interpretive caveats[J]. Psychophysiology， 1997，（6）：623-648.

[10]Chen C Y， Wang C J， Chen E L， et al. Detecting sustained attention during cognitive work using heart rate variability[A]. Proceedings of the 6th International Conference on Intelligent Information Hiding amp; Multimedia Signal Processing[C]. Piscataway：IEEE， 2010：372-375.

[11]Li Q， Ren Y， Wei T， et al."A learning attention monitoring system via photoplethysmogram using wearable wrist devices[A]. AI Supported Educational Technologies[C]. Cham："Springer International Publishing， 2020：133-150.

[12]李卿，衛天宇，樂潔玉，等.在線環境下基于PPG信號的學習注意力識別[J].現代教育技術，2021，（7）：80-87.

[13]Whitehill J， Serpell Z， Lin Y， et al. The faces of engagement： Automatic recognition of student engagement from facial expressions[J]. IEEE Transactions on Affective Computing， 2014，（1）：86-98.

[14]Taylor S， Jaques N， Chen W， et al. Automatic identification of artifacts in electrodermal activity data[A]. Proceedings of the 37th International Conference on Engineering in Medicine and Biology Society[C]. Piscataway： IEEE， 2015：1934-1937.

[15]Cosoli G， Poli A， Scalise L， et al. Measurement of multimodal physiological signals for stimulation detection by wearable devices[J]. Measurement， 2021，184：1-9.

[16]Bota P J， Wang C， Fred A L N， et al. A review， current challenges， and future possibilities on emotion recognition using machine learning and physiological signals[J]. IEEE Access， 2019，7：140990-141020.

[17]Spann C A， Schaeffer J， Siemens G. Expanding the scope of learning analytics data： Preliminary findings on attention and self-regulation using wearable technology[A]. Proceedings of the 7th International Learning Analytics amp; Knowledge Conference[C]. New York： ACM， 2017：203-207.

[18]Porges S W， Raskin D C. Respiratory and heart rate components of attention[J]."Journal of Experimental Psychology， 1969，（3）：497-503.

[19]武法提，田浩.挖掘有意義學習行為特征：學習結果預測框架[J].開放教育研究，2019，（6）：75-82.

Learning Concentration Level Recognition"based on"Multimodal Physiological Signals

LAI Song WU Fa-ti

（1."Faculty of Education， Southwest University， Chongqing， China 400715;"2."Engineering Research Center of Digital Learning and Educational Public Service， Ministry of Education， Beijing Normal University， Beijing， China 100875）

Abstract："Learning concentration level is closely related to learning performance， and is an important factor affecting learning quality， which can be objectively reflected by students’"physiological signals. However， there are few"contemporary studies on the recognition of"learning concentration level with the help of physiological signals. Based on this，"the paper"firstly collected multimodal physiological signals from 46 middle school students during"online learning through portable wristbands. Then， cross-validation was used to provide reliable learning concentration labels， and 15 valid features were obtained after data preprocessing， feature extraction and feature selection"of multimodal physiological signals， and"learning concentration models were accordingly constructed."The results showed that the recognition effect of the decision tree was the best. Finally， research results were summarized and reflected in terms of the reliability of labels， the validity of features， and the usability of model. Through research， it was expected in this paper to provide effective support for teachers’ teaching decisions and thus promote the improvement of teaching quality.

Keywords："online"learning; learning concentration"level; multimodal physiological signals; concentration level recognition