基于微表情追蹤的課堂教學效果即時反饋系統設計

崔小洛

(九州職業技術學院,江蘇 徐州 221116)

0 引言

課堂教學效果的反饋與檢驗是課堂教學實施的最后一環節,是課堂教學效果好壞的評價手段,也是實施教學策略調整的重要依據。因此,對于課堂教學反饋的方式與手段的研究至關重要。現如今,人工智能技術迅猛發展,人臉識別與表情特征提取已廣泛應用在非教育領域,此類技術也可與課堂教學效果反饋相結合,提供實時的效果反饋信息,教師可即時調整教學策略,達到實現教學目標的目的。

1 課堂教學效果反饋方式分析

現階段,課堂教學效果評價手段方法多種多樣,具體有以下幾種。

1.1 課堂評價表

以調查問卷和李克特量表的形式檢驗教學效果。申健等[1]設計出分別針對教師和學生的課堂評價反饋表,針對教師層面,從教學態度、教學內容、教學方法、教學設計、課堂氣氛5個維度讓教師自身進行自評。針對學生層面,從教師教學水平、教學能力、溝通能力,學生知識接受程度、知識有用程度、能力提升程度及教學滿意度等多維度,對教師及自身進行課堂教學效果的反饋評價。

1.2 課堂測驗

根據課程需要,采取的課堂測驗的反饋形式也是多種多樣,例如紙質試卷、實踐操作或利用智慧環境下移動終端設備實時投屏顯示課堂呈現結果的形式。

1.3 學生自身總結及同行和專家聽課指導

依據以學生為中心的教育理念,學生在學習過程中的主體地位越來越明顯,所以課堂教學中學生自評與生生互評的形式越來越收到重視。讓學生自己能意識到自己的問題及自我表達,是教育的目的與根本。除此之外,還有教師同行和領域專家的聽課方式來進一步提升課堂教師自身意識不到的課堂教學問題。

1.4 基于情感的課堂教學效果反饋評價

有學者注重課堂教學中學生的情感表達與體驗。何祎[2]提出基于情感的課堂教學評價指標體系,分為學生的學習狀態、學習水平和學習效果。學生學習狀態的二級指標又包括情緒狀態、參與狀態和交往狀態。其中情緒狀態又有面部表情、語言表情、動作表情的指標評價。參與狀態又有課堂出席人數、抬頭看黑板人數、提出問題情況和教師面對面交流次數的指標評價。交往狀態又有是否樂于參與小組學習和發言次數統計等指標評價。學生的學習水平又包括了回答問題次數總計、同一問題能否提出不同見解、是否勇于提出疑問、動手能力與實踐能力等的評價指標。判斷情感指標方法有問卷法、訪談法、現場觀察法、李克特量表、情感計算、經驗定性。

2 表情識別應用于課堂效果反饋的相關研究

針對課堂教學表情識別監測的設計與應用方面很多學者都做過相關的研究。馮滿堂等[3]為了彌補智能網絡教學系統中學習體驗的情感反饋,利用二維Gabor小波變換特征提取算法對學生的學習表情進行識別分類,進而設計出基于人臉表情識別的智能網絡教學系統,并利用VC6.0開發工具實現了系統的原型。為智能網絡教學系統中融入學生的情感反饋開辟了研究的方向。孫波等[4]基于張量分解的表情識別算法技術,很好的排除了人臉差異對于表情識別的影響,并設計出師生情感交互結構圖,針對學習者面部識別出的表情,做出相應的情緒分析與計算,虛擬教師根據學生的情感表達來激活自身的情感表達狀態與方式。韓麗[5]等人基于AAM模型算法進行人臉監測與表情分析,與學生的學習心理狀態相聯系,進一步定義了評價課堂效果的參與度、疑難度以及關注度等評價指數。

綜上所述,可以看出表情識別有多種實現的算法,結合人工智能技術迅猛發展,會有新的方法來提煉與識別面部表情,但其在識別的準確率與精確度上有所增加。學者們關于教學即時反饋系統的設計與應用主要停留在學生的表情識別的驗證上,以及遠程教學中針對遠程學生的表情心理狀態,虛擬教師應做出的幾種有限回應與反饋。關于課堂教學中教師根據反饋系統出現的數據與預警沒有真實的做出相關的具體策略的調整的設計。這也是接下來該領域需要的研究的重點內容。

3 基于微表情追蹤的課堂教學效果即時反饋系統設計結構模型

教師需要及時獲取到學生的學習反饋信息,及時做出對應的調整策略。但這又要求在一對多的課堂教學中,教師過多的、無意識的話語干預學生主動思考的學習過程,進而無法完全落實這一教育理念及精神。

隨著視頻檢測技術和人臉檢測技術的普及應用,實時監測學生的學習狀態及表情成為可能,本文利用相關的人工智能檢測技術,在課堂教學中實時監測學生的表情及狀態的變化,設計出基于微表情追蹤的課堂教學效果即時反饋系統模型,為今后的開發與實現奠定理論基礎。

3.1 人臉檢測與表情分析模型

(1)課堂視頻錄制模塊。需要對教室內的全部學生進行實時的監控錄制。要達到教室拍攝無死角、畫質清晰的目的。并將視頻信號傳送到主控高性能計算機工作站上便于后續的圖像處理。攝像頭的位置應該在教室正前方黑板偏上位置及教室左前方及右前方位置。攝像頭的功能應為多倍光學變焦與自動光圈的功能。不僅能拍攝出遠距離的學生面部表情,也能根據外在光照明暗環境的變化自動調節光圈來達到清晰顯示圖像的目的(見圖1)。

圖1 人臉檢測與表情分析模型

(2)實時圖像處理模塊。通過采集頻率的設置,對錄制的課堂視頻進行打散實時轉化成為連續的多組圖片素材。并將生成的圖片素材轉移到人臉檢測識別模塊。

(3)人臉檢測識別模塊。基于深度圖卷積神經網絡的人臉檢測與識別算法的實現。設計多層卷積神經網絡對學生微表情進行特征提取,每層卷積神經網絡包括一個卷積層和一個平均池化層。然后利用提取到的特征,通過一個全連接層對微表情進行分類,并得到每個微表情在所有類別上的輸出概率,概率值最大的類即為最終的識別結果。

(4)表情分析歸類模塊。運用所設計的微表情追蹤模型將學生在課堂中的實時微表情分為5類:理解、傾聽、困惑、不聽、反感。每種微表情類型都有其特定的定義特點及方式。

(5)統計分析數據模塊。根據這5種微表情定義了4種課堂教學效果評價指標分別為關注度、掌握度、困惑度、模糊度。

(6)實時數據反饋模塊。學生課堂微表情發生變化時,深度圖卷積神經網絡模型可進行實時追蹤,并通過計算得出新的識別結果,實時反饋學生的學習狀態變化。

3.2 基于微表情追蹤的課堂教學效果即時反饋系統設計結構模型

研究了人臉檢測與表情分析的算法設計,如何構建出基于微表情追蹤的課堂教學效果即時反饋系統成為可能,該系統不僅應能夠分析歸類學生的實時微表情,而且還應體現人機交互的模塊設置。

課堂實錄模塊對于多媒體及攝錄像設備有硬性的要求,課堂微表情識別與追蹤模塊會將課堂實錄視頻進行實時圖像處理,基于深度圖卷積神經網絡的人臉檢測與識別算法會自動識別出相應的理解、傾聽、困惑、不聽、反感5種微表情。

筆者根據這5種微表情定義了4種課堂教學效果評價指標分別為(1)關注度:關注度能夠反映學生聽課狀態情況(聽課狀態:理解、傾聽、困惑；非聽課狀態:不聽、反感)。(2)掌握度:掌握度反映了學生對知識點的理解情況。(3)困惑度:困惑度體現的是學生對知識點的困惑程度。(4)模糊度:當學生處于傾聽狀態時,無法判斷其對知識點的掌握情況,因此,模糊度反映的是學生對知識點掌握的模糊程度。

人機交互設計模塊包含評價指標閾值設置和個體/整體跟蹤分析兩個部分。評價指標閾值設置是指教師可以自行對4種課堂教學效果評價指標設置臨界值,如果課堂教學效果評價指標反饋值超過設置的臨界值,即時反饋系統會對外輸出報警信號,提醒教師此時的課堂教學有一定的問題,教師可以及時調整教學策略與方法。個體/整體跟蹤分析是指不僅可以對班級整體進行課堂教學效果評價指標的跟蹤與反饋,而且可以具體到學生個體,教師可以實時查閱學生個體的課堂教學效果評價指標,更能夠達到因材施教的學習效果。

4 結語

隨著人工智能及圖像處理技術日趨成熟,在課堂教學領域的應用也越來越廣泛,本文是在相關文獻研究的基礎上,結合深度圖卷積神經網絡的人臉檢測與識別算法,提出基于微表情追蹤的課堂教學效果即時反饋系統的設計模型,希望此模型的提出能為后續的課堂教學效果即時反饋系統的開發與應用奠定理論基礎。