在線學習疲勞狀態識別方法及應用研究*

陳梅芬，陸 蓉

在線學習疲勞狀態識別方法及應用研究*

陳梅芬1，陸 蓉2*

（1. 深圳職業技術學院 教育技術與信息中心；2. 深圳職業技術學院 質量保障中心，廣東 深圳 518055）

隨著在線學習日益普及，長時間面對顯示器終端或者移動終端的學習行為容易引發疲勞感，影響學習效率．在線學習疲勞狀態識別有助于了解學生狀態，調整教學策略，設計教學內容，優化教學服務．文章對在線學習疲勞識別方法及應用進行了綜述和探討．在線學習疲勞識別方法主要有3種：基于認知測評、問卷調查和測量量表的主觀評測方法；基于眼睛、嘴巴、人臉等面部特征的圖像視覺分析方法；基于腦電、肌電、心電、眼電等指標的生理信號檢測方法．基于肌電信號分析學習者在線學習不同呈現方式的教學視頻時的疲勞狀態發現，被試觀看教學視頻超過十分鐘容易出現疲勞狀態，教學內容對學習者疲勞狀態有影響，教學資源呈現方式對學習者疲勞狀態的影響無顯著差異．在線學習疲勞狀態的識別亟須提升數據融合和智能處理能力、推進多維數據源協同研究．

疲勞狀態；主觀評測；面部特征；生理信號

隨著在線教育的蓬勃發展，在線學習日益普及．疲勞是在線學習過程中較常出現的一種現象，第五屆國際運動生化會議疲勞定義為“有機體的生理過程不能使其機能維持在特定水平工作或不能穩定地保持各器官的工作”，可見疲勞狀態影響著學生健康和學習效率．疲勞程度較高時，學習者容易出現頭腦昏沉、注意力不集中、思考困難等現象，在線教學過程中師生多處于時空分離狀態，難以及時了解學習者狀態．若能實時識別在線學習者疲勞狀態，有助于教學實施者和管理者了解學習者學習狀態，調整教學策略，設計更適切的在線教學活動和教學資源，為學習者提供更優教學支持服務．

2020年，國家相關部門相繼印發《關于在疫情防控期間做好普通高等學校在線教學組織與管理工作的指導意見》、《兒童青少年新冠肺炎疫情期間近視預防指引》等文件，強調要了解學生在線學習情況，要保護學生視力，減緩眼疲勞和大腦疲勞，體現了政府對在線學習者的學習狀態與學習疲勞的重視．隨著國家政策的不斷推進以及業內人士對在線學習狀態研究的持續深入，在線學習疲勞狀態相關研究也逐步升溫，特別是隨著圖像分析技術的發展和生理傳感器采集技術的發展，許多學者嘗試利用面部特征、生理信號等多種技術手段分析學習者疲勞狀態．本文梳理了目前常見的在線學習疲勞狀態識別方法，介紹了這些方法的優勢與不足，基于肌電信號分析了學習者在線學習不同呈現方式的教學視頻時的疲勞狀態特征，并對未來研究方向進行了展望，以期為同行提供參考．

1 在線學習疲勞狀態識別方法

常見的在線學習疲勞狀態識別方法有3種，1）通過認知水平評測、主觀感受調查、各級各類疲勞量表測評等主觀評測方法了解學習者疲勞狀態；2）基于學習者腦電、肌電、心電、眼電或者多模態生理信號等學習者生物指征檢測學習者疲勞狀態；3）基于眼睛閉合頻率和時間、嘴巴閉合狀態、頭部位置等面部特征識別學習者疲勞狀態．具體分類如圖1所示．

1.1 基于主觀評測的識別方法

國內外許多學者基于實驗、調查訪談或者評價量表等方法了解學習者在認知、情緒、身體狀態等方面的主觀態度和感受，以此分析學習者疲勞狀態．例如有學者通過閱讀材料記憶效果、智力量表測驗成績等學習認知效果了解疲勞狀態[1,2]，或者通過對學習者打瞌睡、注意力不集中等現象進行調查訪談評估學習者主觀疲勞感[3]，更多學者選擇通過疲勞狀態評價量表獲取疲勞狀態[4-6]，常見的疲勞評估量表有Fatigue Scale-14疲勞量表、Rhoten Fatigue Scale評價量表、Piper疲勞量表、Fatigue Severity Scale疲勞嚴重程度量表、Fatigue Symptom Checklist疲勞癥狀自查量表、多維疲勞量表Multidimensional Fatigue Inventory以及學者張志園編制的《中學生學習疲勞的問卷》等．這種基于主觀評測的識別方法能夠短時間內獲取大量被試的數據，但是這些數據多取決于被試即刻的感受和態度，而且實驗、調查、測量等操作難以頻繁進行，導致統計結果具有較強的主觀性和及時性，難以實時獲取學習者疲勞狀態，較少應用于在線學習環境下的疲勞狀態識別．

1.2 基于面部特征的識別方法

隨著在線學習的普及和在線視頻監測技術的發展，許多學者利用攝像頭采集在線學習者面部狀態和頭部行為特征，利用主成分分析法、支持向量機、卷積神經網絡、自適應增強等算法對眨眼頻率、閉眼持續時間、眼睛視覺方向、嘴唇張開持續時間等面部特征分析學習者疲勞狀態．例如張建利等人根根眨眼頻率和持續時間、嘴唇張大持續時間等判斷學習者是否處于疲勞狀態[7]；鄭子聰采集了82名被試的在線學習過程視頻，根據打哈欠時嘴巴張大程度和眼睛閉合程度判斷學習者疲勞狀態，得到較高的疲勞識別率[8]；羅元等人采用并聯子卷積系統進行人眼特征點回歸，最后通過單位時間閉眼百分比值識別疲勞狀態[9]；Joshi通過檢測學習者持續注視屏幕的時間判斷學習者疲勞信息，最終系統對眼睛的狀態分類高達95%的準確率[10]．基于面部特征的疲勞狀態識別方法多是基于視頻獲取學習者人臉狀態，基于圖像處理技術分析疲勞狀態，對在線學習者來說只需有攝像頭即可實時采集學習過程視頻，實時監測學習疲勞狀態，及時提供在線學習反饋與支持服務．這種研究方法對圖像視覺分析技術和網絡速度要求較高，研究結果的準確性容易受到學習者周圍的光線、環境、頭部動作等因素的干擾，研究數據的實時性會受到海量數據在線處理與分析速度的影響，但仍不失為一種操作性較強的研究方法，能夠為在線學習疲勞識別、在線學習狀態監測等提供參考．

圖1 在線學習疲勞識別方法分類

1.3 基于生理信號的識別方法

關于疲勞產生的機制有多種理論，例如能源物質耗竭說、神經遞質紊亂說、細胞凋亡學說等，這些理論都肯定了個體疲勞程度和身體機能之間的聯系．隨著認知神經科學、計算機科學等學科的發展，各種生物傳感器和視頻分析技術日益成熟，為了更準確了解個體疲勞發生機制和變化特征，越來越多學者通過分析個體腦電信號、心電信號、肌電信號、眼電信號等生理信號了解個體疲勞發生機制和變化特征．

1.3.1 基于腦電信號的識別方法

隨著EEG采集技術的發展，利用腦電信號識別疲勞狀態已成為研究熱點．腦電信號（Electroencephalogram，EEG）是腦神經細胞電生理活動在大腦皮層的總體反應，EEG信號頻率范圍主要在0.5-30Hz左右，主要包含頻率范圍不同的四種節律波：Delta波、Theta波、Alpha波、Beta波，許多學者通過分析EEG信號了解疲勞狀態，例如學者張莉發明了一種基于4種節律波的在線自適應精神疲勞評估方法[11]，Trejo分析發現學習疲勞過程中θ波和α波功率有顯著增加[12]，Laurent等發現通過腦電信號能夠獲得95%的腦力疲勞分類準確率[13]，潘屏萍通過比較實驗驗證了基于EGG信號特征表征腦力疲勞的有效性[14]．在腦電信號采集環節，學者們應用的腦電采集設備主要有NeuroScan32導腦電儀、NeuroScanESI-128導腦電儀、NeuroTop NT9200腦電儀、Emotiv EPOC便攜式腦電儀等[15,16]，腦電信號采集設備的精度在逐步提高，設備種類更加多樣，便攜式腦電儀的出現使得腦電信號采集環境從實驗室拓展到更復雜的實際場景，強化了研究的生態效度，提高了研究結論的適用性．整體而言，基于腦電信號識別疲勞狀態的流程主要分為腦電信號采集、信號預處理、信號特征提取、分類器選擇、特征結果分析五個環節，各環節分析方法也在不斷發展，從最初的時域分析法發展到頻域分析法、時頻分析法，所用算法也涉及主成分分析、小波變換、小波包變化、單子帶重構小波包改進算法、樸素貝葉斯分類、稀疏表示分類法、希爾伯特-黃算法等，研究對象也從局部腦電信號分析擴展到對大腦整體功能狀態的關注，使得基于腦電信號識別疲勞狀態的相關研究日益深入成熟．

1.3.2 基于心電信號的識別方法

心電信號(Electrocardiogram，ECG)是人體心臟細胞的細胞膜產生的電勢差，能夠反映心臟工作狀態，除了用于疾病診斷，還逐漸被用于心理壓力、應激水平、情緒狀態的識別．由于心電信號的采集分析可以通過便攜式設備非侵入式檢測，操作較為簡單，分析指標數據較小，近年來逐漸被用于識別學習疲勞狀態，其中心率（HR）和心率變異性（HRV）兩個指標能夠敏感反映心血管相關指標，在疲勞狀態識別中應用尤為廣泛．許多學者驗證了心率變異性對人體精神疲勞狀態的檢測效果[17-19]，也有學者根據心率特征獲取個體疲勞狀態[20]，還有學者綜合分析多種ECG信號分析疲勞狀態，例如蔣永翔等以心率變異性提取模塊和低頻段心率提取模塊作為疲勞指標量，為電腦屏幕使用者的視覺疲勞監測提供支持和預警[21]．由于心電信號可利用便攜式、頭戴式、手環式等多種傳感器設備獲取，和腦電信號相比，實驗操作更簡便，數據分析較為簡單，而且由于采集的數據量小，更易實現在線實時分析．但是，心率變異性和心率兩個指標的敏感度較低時可能影響疲勞識別信效度．

1.3.3 基于多模態生理信號的協同識別方法

除了腦電信號、心電信號，肌電信號（surface Electromyography，sEMG）、眼電信號（Electrooculogram，EOG）等生物信號也被用于疲勞狀態識別，由于疲勞的復雜性，越來越多的學者開始嘗試基于多模態生理信號開展協同研究，以提高疲勞狀態識別的準確性．例如學者張愛華等采集分析了35名大學生在電腦屏幕前面玩游戲過程中的疲勞狀態時，發現基于心電脈搏信號分析的分類結果正確率遠高于單一信號的分類效果[22]，陳燕達等人視覺疲勞狀態下個體的血氧飽和度、體溫、皮電反應、心率、心電圖等多項生理信號的變化特征[23]，王福旺等討論了通過眼電信號和腦電信號協同分析被試疲勞狀態的有效性[24]，張朕等利用功能性近紅外光譜儀采集了學生疲勞任務前后反應時的心動、呼吸特征以及血氧變化率，證實心動和呼吸特征能有效識別腦力疲勞[25]．Mikel討論了利用腦電、心率和皮膚電反應評價情緒的效果[26]．可見基于多模態生理信號的協同識別方法往往能夠得到更高的識別精度，隨著生物傳感器協同識別設備的發展，協同識別研究將更加常見．

總體來看，基于腦電、肌電、心電、眼電等生理信號分析疲勞狀態的相關研究已非常豐富，主要識別流程如圖2所示．

基于生物傳感器可以快速、直接、非侵入地獲取學習者生理信號，為實時識別個體疲勞狀態提供較準確的數據，而且隨著各類生物傳感器技術的發展，許多高精度、便攜式的設備出現，使得研究可以逐漸從實驗室拓展到真實的學習場景，研究的生態效度和適用性不斷改善．同時，信號處理和特征提取相關算法的不斷優化、基于多模態生理信號的疲勞狀態識別研究逐漸出現，研究結論的準確性也在不斷提升．這種方法為學習疲勞發生機制、疲勞影響因素、教學活動設計、學習資源開發、在線學習疲勞狀態實時監測與干預反饋等研究提供參考．

圖2 基于生理信號的在線學習疲勞識別流程

2 基于肌電信號的在線學習疲勞狀態實證分析

肌電信號是肌肉運動時產生的電流信號，與個體的肌肉活動狀況、代謝狀態等因素相關，常被用于檢測疲勞狀態，例如Hostens等人研究發現司機駕駛時間增長時，肌電信號的信號幅值會明顯增加，平均功率卻顯示下降趨勢[27]，糜超等學者分析發現當肌肉處于疲勞狀態下時，表面肌電功率譜圖的峰值變大，向低頻段漂移[28]．本研究通過美國Biopac公司的MP150型多導電生理記錄儀記錄學習者學習2種呈現方式不同的教學視頻時的肌電信號，基于肌電信號實時獲取學習過程中的疲勞狀態，再結合主觀訪談了解學習疲勞的影響因素，為教學資源的設計提供參考．

2.1 實驗素材

實驗素材為2段不同呈現方式的教學視頻，一段為教師融合式教學視頻，如圖3所示，采用白色凈面背景拍攝，或者藍箱后期摳圖，再添加教學課件內容和字幕制作而成．課堂實錄式教學視頻如圖4所示，直接錄制教師在多媒體教室授課場景，添加字幕制作而成．教學視頻內容為寶石的琢型設計，屬于陳述性知識，選擇這一較冷門的主題是為了避免被試的前期相關知識儲備干擾實驗結果．

2.2 實驗數據的采集與處理

實驗數據采集工具為MP150型16通道多導儀，采樣率為400 kHz．實驗數據采集對象為55位大學生，首先給被試播放1 min音樂，然后隨機觀看一種類型的教學視頻．肌電信號數據處理工具為多導儀專用的Acq Knowledge分析軟件，2組教學視頻的肌電信號利用excel實現比較分析，利用SPSS完成方差分析．

2.3 實驗結果

為更好了解學習者觀看不同呈現方式的教學視頻時的疲勞狀態，本研究每分鐘對兩組被試觀看視頻時的肌電信號取采樣一次，獲取觀看不同教學視頻的被試的肌電信號平均值，最終生成如5所示的趨勢圖．可見，被試觀看課堂實錄時肌電信號緩慢平穩上升，被試觀看教師融合式教學視頻時肌電信號也是處于上升趨勢，但是信號波動較大．

圖3 教師融合式教學視頻

圖4 課堂實錄式教學視頻

圖5 不同教學視頻觀看組肌電信號平均值趨勢圖

為了驗證2組數據之間有無顯著差異，利用SPSS對2組數據進行方差分析，見表1，可見2組數據之間沒有顯著差異，但是被試觀看課堂實錄式教學視頻時肌電信號均值較高．

已有學者研究發現，個體處于疲勞狀態時，肌電信號幅值會增加．根據圖5可發現第1分鐘被試的肌電信號幅值有所降低，可能是因為處于實驗初始階段的被試較為興奮，也可能是短時間聆聽音樂并不會引起疲勞．從第2分鐘開始，被試開始觀看兩種類型的教學視頻后，隨著時間的推移疲勞程度都會逐漸強化，觀看課堂實錄式教學視頻時學習者疲勞程度基本呈線性增長趨勢，觀看教師融合式教學視頻時，學習者起初十分鐘的肌電信號基本處于平穩狀態，超過十分鐘后疲勞感逐漸加強．

實驗結束后和被試交流關于疲勞狀態、學習過程的主觀感受時發現，課堂實錄式教學視頻組被試表示觀看視頻過程中很快就開始產生疲勞感，因為畫面中的教學課件呈現的不是非常清晰，字幕也不是很清晰，教師講解的內容總體興趣并不是很大．教師融合式教學視頻觀看組被試表示前期疲勞感并不明顯，但是后期也會感到疲勞．從圖5還可以發現第15分鐘至第16分鐘期間，兩組被試的幅值都有小幅下降，通過視頻分析發現教學視頻播放至此時，教師講解了一則關于寶石的皇室新聞，這種社會性新聞可能對學生的疲勞狀態有所緩解．可見，教學內容會影響學習者疲勞狀態，但是尚未發現教學資源呈現方式對學習者疲勞狀態有顯著影響．

表1 不同教學視頻被試組肌電信號方差分析

3 結語

隨著在線學習行為日益常見，長時間面對顯示器終端或者移動終端的學習行為容易引發疲勞感，在線學習疲勞狀態識別有助于了解學生狀態，幫助教師和在線教育管理者更有針對性地調整教學策略、設計教學內容、優化教學服務．盡管許多學者已經從不同角度識別在線學習過程中的學習者疲勞狀態，但是這些研究仍然存在一些發展瓶頸，例如基于主觀評測的識別方法分析在線學習者學習狀態時，往往只能通過在線問卷或者在線測評實現，容易對學習者的學習過程帶來干擾，多用于疲勞現狀調查、影響因素探討等，不適用于在線學習疲勞狀態的實時識別．基于面部分析學習者疲勞狀態對圖像視覺分析技術要求較高，而且對學習者疲勞狀態進行實時在線分析、傳輸、干預反饋等要求數據處理速度和網絡傳輸速度的雙保障，隨著大數據處理技術的日益發展和5G技術的完善，基于面部表情獲取在線學習者疲勞狀態的可操作性會更強．基于腦電、肌電、心電、眼電等生理信號分析學習者疲勞狀態有助于實時獲取學習過程中的疲勞程度和變化特征，而且隨著各類生物傳感器技術的發展，生理信號采集設備日益多樣，許多高精度、便攜式、多源生理信號協同分析式的設備出現，為基于真實的學習場景、基于多生理信號的協同分析提供了支持，也為研究生態效度的提升提供了可能．因此，未來研究可以結合大數據智能分析技術和5G環境優化基于面部特征的在線學習疲勞狀態識別效度，結合多源數據協同研究疲勞狀態，對在線學習疲勞狀態發生機理、識別技術、影響因素和干預策略進入更深入分析．

[1] 王湘，王逢瑚．照度與桌面顏色對閱讀疲勞程度的影響[J]．環境與職業醫學，2006，23（5）：409-411．

[2] 崔立中，朱國康，程頂．簡易自我放松催眠對學習疲勞的緩解作用[J]．心理科學，2009（02）：198-201．

[3] 尹紅運．平邑縣高中學生學習疲勞情況的調查[J]．新西部：中旬·理論，2017（3）：38-38．

[4] 張志園．中學生學習疲勞的問卷編制與干預研究[D]．山西師范大學，2013．

[5] Masoudi R, Soleimani M A, Yaghoobzadeh A, et al. Effect of Face-to-face Education, Problem-based Learning, and Goldstein Systematic Training Model on Quality of Life and Fatigue among Caregivers of Patients with Diabetes[J]., 2017（5）：22，208-214．

[6] Amaducci C D M, Dálete Delalibera Faria de Correa Mota, Pimenta C A D M. Fatigue among nursing undergraduate students[J]., 2010，44（4）：1052-1058．

[7] 張建利，段富．基于面部特征的學習狀態的研究[J]．計算機工程與設計，2013，34（7）：2460-2464．

[8] 鄭子聰．在線學習情境下疲勞表情的識別研究[J]．教育信息技術，2019（Z2）：105-108．

[9] 羅元，云明靜，王藝，等．基于人眼信息特征的人體疲勞檢測[J]．計算機應用，2019，39（7）：2098-2102．

[10] K V Joshi, A Kangda, S Patel . Real Time System for Student Fatigue Detection during Online Learning[J]., 2016，9（3）：341-346．

[11] 張莉．一種自適應的精神疲勞評估裝置及方法：CN201710538724.5[P]．2020-03-17．

[12] Trejo L J, Kubitz K, Rosipal R, et al. EEG-Based Estimation and Classification of Mental Fatigue[J]., 2015，6（6）：572-589．

[13] Laurent F, Valderrama M, Besserve M, et al. Multimodal information improves the rapid detection of mental fatigue[J]., 2013，8（4）：400-408．

[14] 潘屏萍．基于EEG信號的腦力疲勞檢測方法的研究[D]．廣西大學，2014．

[15] Sarno R, Nugraha B T, Munawar M N. Real Time Fatigue-Driver Detection from Electroencephalography Using Emotiv EPOC+[J]., 2016，11（3）：214．

[16] 李剛．基于腦功能網絡的腦力疲勞檢測技術及其形成機理研究[D]．山東大學，2017．

[17] 郝賀．基于心率變異性的人體精神疲勞檢測系統研究[D]．東北大學，2014．

[18] 李延軍，嚴洪，楊向林，等．基于心率變異性的精神疲勞的研究[J]．中國生物醫學工程學報，2010，29（1）：1-6．

[19] Naranjo-Hernández David, Roa L M, Javier R T, et al. Smart Device for the Determination of Heart Rate Variability in Real Time[J]., 2017（3）：1-11．

[20] 張坤，蔣方，袁東升，等．基于心電信號的音樂節拍對作業疲勞作用分析[J]．安全與環境學報，2017（3）：1026-1031．

[21] 蔣永翔，王鵬，鄧三鵬，等．一種VDT視覺疲勞監測預警系統：CN201811165882.1[P]．2020-04-14．

[22] 張愛華，趙治月，楊華．基于心電脈搏特征的視覺疲勞狀態識別[J]．計算機工程，2011，37（7）：279-281．

[23] 陳燕達，屠彥，王莉莉，等．視覺疲勞狀態下的生理指標研究[J]．電子器件，2015，38（06）：1245-1248．

[24] 王福旺，王宏，羅旭．基于EEG與EOG信號的疲勞駕駛狀態綜合分析[J]．東北大學學報（自然科學版），2014，35（2）：175-178．

[25] 張朕，姜勁，傅嘉豪，等．基于功能近紅外光譜的多生理腦力疲勞檢測[J]．儀器儀表學報，2017，38（6）：1345-1352．

[26] Mikel Val-Calvo, José Ramón álvarez-Sánchez, Jose Manuel，et al. Real-Time Multi-Modal Estimation of Dynamically Evoked Emotions Using EEG, Heart Rate and Galvanic Skin Response[J]., 2020，30（04）：2050013．

[27] Hostens I, Ramon H. Assessment of muscle fatigue in low level monotonous task performance during car driving[J]., 2005，15（3）：266-274．

[28] 糜超，陳陽，鄒凌．基于表面肌電的肌肉疲勞檢測系統研究[J]．現代電子技術，2018，41（20）：78-82．

Recognition Methods and Application of Online Learning Fatigue

CHEN Meifen1, LU Rong2

（）

With the increasing popularity of online learning, long-term learning in front of computers or mobile terminals can easily lead to fatigue and affect learning efficiency. Fatigue state recognition device is helpful to understand learners’ state, adjust teaching strategies, design teaching content and optimize teaching service. This paper summarizes three main methods of learning fatigue recognition: subjective evaluation based on cognitive evaluation, questionnaire survey and measurement scale; image visual analysis based on facial features such as the movement of eye, mouth and face; physiological signal detection based on EEG, EMG, ECG, EOG and other indicators. According to the analysis of EMG signals, it is found that the fatigue state of learners is likely to appear when they watch the teaching video for more than 10 minutes. The teaching content has an impact on the fatigue state of learners, while the presentation method of the teaching material does not cause their fatigue. It is necessary to improve the ability of data fusion and intelligent processing, and to promote the collaborative research of multi-dimensional data sources.

fatigue state; subjective evaluation; facial features; physiological signals

2020-06-10

廣東省教育科學“十三五”規劃2019年度高校哲學社會科學專項研究項目：基于生物特征協同識別的在線學習疲勞狀態研究（2019GXJK236）

陳梅芬，女，講師，博士，研究方向：數字化學習理論與實踐．

陸蓉，女，副教授，碩士，研究方向：生物醫學工程．

G434

A

1672-0318（2020）05-0023-07

10.13899/j.cnki.szptxb.2020.05.005