基于“專注”與“走神”表情識別的線上課堂學生專注度評價研究

李盡秀 孫濤

關鍵詞：表情識別；眼部關鍵點檢測；表情持續時間統計；專注度評價

1引言

近年來，隨著人工智能技術的快速發展，表情識別已成為感知學習情緒最直接和最有效的方式，備受教育技術領域關注。然而，由于表情與認知之間關聯度復雜、教育場景復雜多變等，學生表情識別依然是一個開放問題。心理學家MEHRABIAN通過研究發現：“情緒表達=7%的語言+ 38％的姿勢表情+55%的面部表情”，面部表情包含豐富直觀的情緒信息。研究表明，在學習環境下，面部表情不僅能直觀反映學生的情緒狀態，還能反映學生的心理狀態[2]。

通常而言，課堂環境下學生的面部表情以中性表情居多。然而，中性表情識別的結果并不能作為準確判斷學生聽課專注度的依據，無法確定學生在中性表情的狀態下是專注聽講，還是走神發呆。因此，本文將線上教學環境中學生的中性表情進一步劃分為“專注”和“走神”兩種子表情，提出了一種基于Dlib眼部關鍵點檢測的“專注”與“走神”表情識別方法，通過計算眼睛高寬比，實現“專注”與“走神”兩類表情的識別，并在此基礎上設計學生表情持續時間統計算法，計算各表情持續的時間，為線上教學環境中精準判斷學生聽課專注度提供技術依據與支持。

2相關研究

隨著學生表情識別研究的不斷深入，國內外學者建立了許多與學生表情相關的數據庫，但其構建標準和方法并不統一。目前，大多數研究者在Ekman六類基本情緒（憤怒、厭惡、恐懼、高興、悲傷、驚訝）理論[3]基礎上開展學生表情識別研究，如表1所列。

現有的面部表情識別技術中魏刃佳等[9]基于ASM定位人臉特征點，獲取眼部和嘴巴的形變特征，以識別學習者的疲勞情況。韓麗等[10]基于AAM對課堂環境下學生面部關鍵點進行標記，依據建立的形狀模型提取多姿態人臉特征，有效解決了人臉姿態的多樣性，取得了較好的識別效果。徐振國[11]設計了一個7層CNN模型，能夠快速準確地識別學生的面部表情，進一步提升判斷學生的情緒整體狀態的效果。

基于眼睛特征的方法是對眼睛特有的形狀、虹膜與眼白的像素差等固有的特征進行檢測，這些方法實現簡單。侯向丹等[12]根據眼睛與周圍區域的對比度檢測眼睛候選區域，并利用在水平和豎直方向的積分投影法定位眼睛，而當頭部姿態變化時，積分投影誤差較大。RUILIAN利用霍夫變換法對眼睛的橢圓形狀特征進行檢測，但在多姿態下眼睛形狀變化較大。為解決多姿態下的眼睛定位問題，KIM等[14]提出一種基于多尺度虹膜形狀特征的方法，首先進行人臉定位，然后利用多尺度虹膜特征提取眼睛候選區域，最后對眼睛候選區域進行分類篩選，得到最終的眼睛位置。由于在現實的無約束環境下，眼睛的形狀、虹膜等固有特征很容易受到影響，所以這些方法在現實條件下的效果都不理想。

3工具介紹

Dlib是一個現代C++工具箱，其中包含機器學習算法和在C++創建復雜軟件以解決實際問題的工具。它廣泛應用于工業界和學術界，包括機器人、嵌入式設備、移動電話和大規模高性能計算環境。Dlib的開源許可證允許它在任何應用中免費使用。Dlib包含很多模塊，近年來，學者主要關注于機器學習、深度學習、圖像處理等模塊的開發。它的主要特點也非常多，其中包括文檔豐富、高質量的廣泛兼容的代碼等，而在圖形模型推理算法中，加入樹算法可以在貝葉斯網絡中進行精確推理。在圖像處理技術中，用來讀取和保存常用圖像格式的是一種例行程序。針對各種像素類型之間的自動顏色空間轉換，常見的圖像操作，如邊緣檢測和形態學操作，SURF，HOG和FHOG的特征提取算法，還可作為圖像中目標檢測的工具，包括正面人臉檢測和目標姿態估計以及應用高質量的人臉識別。

4基于眼睛關鍵點檢測的“專注”與“走神”表情識別

4.1人臉數據集

視頻數據采集于內蒙古科技大學線上騰訊會議授課環境，采集工具為筆記本電腦攝像頭，視頻來源則是對學生聽課場景的錄屏操作。所采取的視頻為5段不同學生的上課視頻，視頻格式為MP4，如圖1所示。將視頻通過Video Crop轉變為幀數為3幀的圖像并保存。

4.2實驗設計與實現

本實驗中采用的模型是shape_predictor_68_facelandmarks. dat。這是一個人臉68關鍵點檢測模型，如圖2所示，利用68個關鍵點對人臉進行檢測。

首先，將數據利用圖像處理中的開運算，去除類膚色塊中像素點少于100的區域，并分割出人臉區域。其次，標記眼部的6個特征點，每個眼睛區域表示為6個坐標。眼部特征提取算法如表2所列。

即以右眼目青區域的左角為起點，如圖3所示，以順時針方式在眼鏡區域的周圍設置6個面部特征點。其中，P1為眼睛區域的左角面部特征點的位置，P2為眼睛區域的左上面部特征點的位置，P3為眼睛區域的右上面部特征點的位置．P4為眼睛區域右角面部特征點的位置，P5為眼睛區域的右下面部特征點的位置，P6為眼睛區域的左下面部特征點的位置。

根據采集的眼部6個特征點的坐標來計算每一個學生圖像的眼睛高寬比。如公式（1）所示，W為眼睛高寬比的比例。

4.3

實驗結果與誤差分析

當人眼睜開日寸，高寬比在某個值域范圍內波動；當人眼閉合時，高寬比迅速下降，理論上接近于0。洪子夢[15]提出一種基于眼睛長寬比的船舵手疲勞檢測方法以及人工判斷，當眼睛的高寬比例大于0.25的時候，判定學生為“專注”，并用綠色進行說明，而“走神”的時候則用比較顯眼的紅色來說明。圖4為眼目青特征點識別展示圖。

將采集的學生人臉視頻利用視頻剪輯器剪輯成一個包含兩類學生表情的5分37秒視頻，并對通過人工統計方法得出的表情進行篩選和對比分析。學生表情數量統計及誤差如表4所列。

表4中第一行是人工統計的表情數量：第二行是本算法識別的表情數量：第三行是兩種數量統計方法的絕對數量誤差：第四行是兩種數量統計方法的相對數量誤差，其計算方法如公式（2）所示：

在公式（2）中，RE為兩種數量統計方法的相對誤差；AE為兩種數量統計方法的絕對誤差；CE為人工統計的學生課堂表情數量。

在線上課堂學生“專注”與“走神”的表情識別中，將眼睛高寬比作為判斷學生“專注”與“走神”狀態的重要依據，“專注”時眼睛開合較大，而在“走神”時眼睛的開合較小。實驗結果表明，該方法識別準確率為95. 1％，誤差相對較小，可為線上課堂教學評價提供技術支持。

5表情持續時間統計

學生聽課狀態與“專注”和“走神”兩種表情的持續時間高度相關。表情持續時間統計是通過人臉眼睛關鍵點識別出視頻圖像數據中學生的兩種表情，并統計眼睛關鍵點識別出來的視頻中表情的視頻幀數，再利用表情的視頻幀數與視頻幀率的關系計算出學生上述兩種表情的持續時間，經由公式（3）實現：

在公式（3）中，T為學生表情的時間，count為學生表情的幀數，rate為每秒視頻的幀率。學生表情持續時間統計算法如表5所列。

為了驗證學生表情持續時間算法及其誤差情況，將攝像頭采集的五個學生的單個人臉視頻剪輯成一個5分38秒的視頻，通過人工統計方法得出視頻中學生上課表情的時長，同時采用本文算法，將學生上課表情的時間與人工統計時長進行對比分析。學生表情持續日寸間統計及誤差如表6所列。

表6中第一行是人工統計的學生表情持續時間；第二行是本算法統計的學生表情持續時間：第三行是兩種時間統計方法的絕對誤差：第四行是兩種日寸間統計方法的相對誤差，其計算方法如公式（4）所示：

在公式（4）中，RE為兩種時間統計方法的相對誤差；AE為兩種時間統計方法的絕對誤差；CE為人工統計的學生課堂表情持續日寸間。

從表6可知，本文表情持續時間算法中“專注”表情的誤差比較小，只有0.1%，基本上滿足學生表情識別的檢測需求，而“走神”的誤差較大，達到了10.4%。經過實驗分析，主要是在眼睛的高寬比小于特定值時，“走神”與眨眼的過渡期是有重合的，當學生眨眼時，本算法采取的幀數（3幀）會出現時間差。所以，針對這一現象，可以在后續的實驗中提取“走神”的視頻，然后在一定的時間內設定一個閾值，如果高寬比處于眨眼的浮動日寸間（0.2～0.4s）范圍且小于該閾值，就可判定為眨眼：如果大于該閾值且保持一定的日寸間，就可判定為“走神”。但總體而言，利用學生表情持續時間統計算法基本上能夠統計出學生兩種表情的持續時間。

6線上課堂學生專注度評價

基于線上課堂學生“專注”與“走神”兩種表情識別結果，從以下兩個維度開展線上課堂學生專注度評價，具體如下。

6.1線上課堂學生專注度占比分析

網上授課與傳統的線下課堂不同，教師與學生在空間上處于分離狀態，除了在溝通的時候會出現一定的障礙，更為重要的是，教師并不能第一時間觀察出學生上課時的狀態，只能通過課堂測驗和考試的形式來判斷學生整體的學習狀態。其弊端顯而易見，即教師不能及時在課堂上對學生狀態的變化做出調整。

6.1.1學生整體課堂專注度占比分析

學生的專注度可以較為直觀地說明學生的聽課狀態和效果。首先，將線上授課的視頻分別截取為每10分鐘為一單位的子視頻，在每一單元的視頻中，將“專注”與“走神”所占的比例來反映一段時間內學生的“專注”與“走神”程度，如圖5所示。

通過計算所得學生的“專注”與“走神”兩類表情的占比，可以在一定程度上對課堂中學生的“專注”程度做出大致的判斷。經過多次實驗和查看相關文獻，并結合對課堂視頻的人為分析結果，可以得出以下規律公式：

在公式（5）中，a表示學生的專注度。對于一般的線上課堂，當班級整體專注度低于0.5時，學生的課堂專注度較差：當專注度在0.5～0.7時，學生的課堂專注度良好：而當專注度高于0.7時，學生整體通常表現得十分專注。

從圖5可以看出，在上課開始10分鐘左右以及30分鐘左右這一時間段中，學生整體專注度偏高，而在20分鐘左右的時間段中，可以看出“走神”的比例明顯大于“專注”的比例。至此，可以得出整節課的學生“專注”與“走神”程度在各個時間段內的分布情況。例如，在20分鐘左右的日寸間段中，學生因線上授課缺乏交流溝通導致專注度降低，教師可以在此時間段安排學生進行小組內交流或者參加一些與課堂相關的趣味游戲來調動學生的專注度，在后面的時間段中可以通過提問等方式使學生更加集中注意力，以提升學生的課堂專注度。

6.1.2學生個體課堂專注度占比分析

針對學生個體課堂專注度占比的分析，以上圖4中的女生為例，將線上授課的視頻分別截取為每10分鐘為一單位的子視頻，在每一單元的視頻中，用“專注”與“走神”所占的比例來反映一段時間內學生個體的“專注”與“走神”程度，如圖6所示。

通過計算所得學生的“專注”與“走神”兩類表情的占比，可以在一定程度上對課堂中學生的專注度做出大致判斷。結合規律公式（5），當學生個體專注度低于0.5時，學生的課堂專注度較差：當專注度在0.5～0.7時，學生的課堂專注度良好：而當專注度高于0.7時，學生整體通常表現得十分專注。

由圖6可知，該女生整體課堂表現得比較專注，只是在20分鐘與40分鐘之間的時候專注占比有所下降，而在課程的后半段專注度又呈上升趨勢。經過實驗分析，學生的專注區間類別大致分為三類，一類是學生剛開始上課時較為積極，而隨著課堂時間的推移，專注度有所下降。二類是慢熱型學生在課堂開始階段并不是很專注，但是隨著時間的推移，慢慢變得有興趣。三類是學生在課堂中間階段比較積極，而在課堂開始與結束時卻積極性不高。由此可知，針對不同學生的專注度可以做不同的調整。例如，教師可以在不同的時間段穿插興趣活動，或者分組使不同類型的學生結合起來達到提升專注度的效果。

6.2線上課堂專注度趨勢分析

根據線上課堂學生“專注”與“走神”的時間統計結果，首先將線上授課視頻分別截取為每10分鐘為一單位的子視頻，在每一個子視頻的時間段中，用專注度趨勢來反映整節課堂學生專注度的走勢。如圖7所示，橫坐標表示每10分鐘為一時間段，縱坐標表示“專注”表情的比例。

從圖7可以看出，在課堂剛開始階段，學生的專注度呈上升趨勢：在15分鐘至30分鐘時增長較為平緩：35分鐘左右此趨勢到達頂峰：在35分鐘之后，學生專注度則明顯有下降趨勢：在即將下課的末尾階段，學生專注度下降的趨勢變得較為平緩。由此，可以判斷學生的專注度在一定時間內是變化的。

教師可以根據此研究結果在講授知識難點與授課方式方面進行改進。例如，將知識難點講授著重放在課程的前半段左右，而在課程的后半段則利用較為活躍的授課方式與知識點相結合，給學生良好的上課體驗。而在學生層面，同樣是受到上課時間疲勞等因素的影響，在課程的后半段可根據自身條件做出調整。例如，改變學習方法或者調整自我身體因素等。

7結束語

隨著5G與人工智能、計算機視覺等先進技術與教育的深度融合，通過學生線上課堂表情識別可有效判斷學生課堂專注度。本文提出了一種基于眼睛特征提取的線上教學環境下學生“專注”與“走神”兩類表情檢測的方法，采用眼部特征點進行表情檢測，優點是數據量小、計算速度快。而且，時間統計同樣滿足誤差需求。針對線上課堂，從學生“專注”占比程度與“專注”趨勢兩個維度做出評價，不僅有助于教師獲取實時精準的教學反饋，及時改進教學策略，還能提高課堂教學質量，為教育領域提供技術支持與依據。在未來的研究工作中，可結合視線偏移，設定眨眼時間閾值以及將多種面部特征進行融合，進一步提高表情識別的準確率以及完善線上課堂教學質量評價體系。