基于面部情緒識別的物理實驗教學過程評價

龔雅云，唐小煜，劉思睿，鄭小冰

(1.華南師范大學 a.物理與電信工程學院;b.腦認知與教育科學教育部重點實驗室;c.物理國家級實驗教學示范中心，廣東 廣州 510006;2.東莞市石龍鎮中心小學，廣東 東莞 523000)

隨著教育現代化研究的深入，先進的教育理念與科學技術為課堂教學評價的革新帶來無限生機，實現全面、客觀、高效的課堂教學評價成為可能. 為落實物理課程“立德樹人”的根本任務，提升學生的物理核心素養，教育部發布了《普通高中物理課程標準(2017版)》[1]，對中學物理教學與評價提出了總體要求. 針對當前物理教學中“重結果輕過程”的現狀，相較于2003版本，新課標在課程評價方面更明確地提出“注重過程評價，以促進學生核心素養的發展”的基本理念[1]. 過程性評價內涵豐富，目前被廣泛認可的是美國研究團隊提出的定義：過程性評價是師生在教學過程中所進行的一種教學反饋，由反饋信息對教學過程進行調節，以改善學生的學習狀況而獲得預期的學習成果[2].

物理是一門以實驗為基礎的學科[3]，實驗既是物理教學的重難點，也是培養學生科學探究能力的關鍵. 但應試體系下的中學物理實驗教學評價仍以單一的筆試考查為主，與新課標提倡的“評價方式多樣化”存在較大偏差，難以達到促進學生發展、促進教師反思及改進教學的評價效果. 因此，落實高效的實驗過程性評價是提升實驗教學效能的重要一環. 自新課標頒布以來，已有許多物理實驗的過程性評價研究，研究方向主要有三大類：研究實驗課堂評價流程，研究基于核心素養的實驗評價內容，構建有層次、分權重的物理實驗評價量表. 在實驗操作教學中，王愛生等[4]認為教師應及時關注學生的情緒變化，采取體驗成功操作的方法提高學生自我效能感，建立積極樂觀的情緒. 在實驗評價內容的研究中，劉朝安等[5]提出除了關注學生的實驗基礎知識和技能外，還應關注每個學生的個體差異，對學生在實驗過程中表現出的情感態度進行綜合評價. 但在實驗評價量表構建中，大多數研究者關注學生的實驗操作、分析數據、合作交流等外顯的能力，量表中缺乏針對學生內隱情感的評價指標，且對學生課堂情感識別的工具開發不足，使得教師難以全面評價學生實驗過程中的學習狀態，也未能及時獲取學生的情感反饋并做出相應的指導調整.

人工智能、大數據等蓬勃發展，給人類生產和生活方式帶來深度改變，并在教育領域產生重要影響[6],將圖像跟蹤及分析技術用于學生課堂狀態的實時評價成為可能. 基于此，本文研究了物理實驗過程中學生情緒的判別方法，利用面部情緒識別技術對學生在實驗課堂中的學習投入狀態進行評分，旨在將學生的課堂狀態變化與實驗教學評價緊密結合，獲得更實時、更全面、更客觀的評價效果.

1 學習情緒與狀態評價技術的發展

1.1 物理實驗教學中的學習情感評價

學習者的情緒不僅作用于認知加工過程中的注意、記憶、決策等各個環節，還會影響學習者的學習動機和興趣[7]. 課堂中教師能否實時、準確地感知學生的情緒狀態，在一定程度上決定了能否及時調整教學策略以提高課堂教學效能，同時，學生在課堂中表現出的情感狀態也為教師實施個性化教育提供了關鍵信息. 從中學物理新課標對教學評價的實施建議中可看出，隨著教育觀念的改變，課堂中學生的情緒狀態越來越被重視. 初中《義務教育物理課程標準》在評價建議中提出應重視對“情感·態度·價值觀”的評價，在開展實驗探究學習過程中，教師要有對學生學習興趣、投入程度等情感狀態的判斷[8]. 而在《普通高中物理課程標準(2017版)》中則提出形成性評價不僅要關注學生獲得了什么，還要動態觀察其表現，細心了解其內心情感的變化[1]. 摒棄傳統的“講實驗”模式，關注學生在實驗探究中的情感體驗是物理實驗教學變化的一大趨勢，實驗課堂將更需要學生充分發揮其主觀能動性，積極地投入到探究活動中. 學生學習過程中的積極情感能夠促進其更好地完成認知活動[9]，因此，在過程性評價中融入對學生情感投入狀態的判斷，更有針對性地誘發學生實驗學習的積極情緒，是物理教師提升實驗教學效能的重要途徑.

相較于物理理論課，學生的學習情感狀態在物理實驗課堂中更容易被教師所察覺. 實驗課多以動手操作、師生問答、小組合作、討論交流等開放教學形式展開，充分調動學生的多種感官，更容易激發其內部思維活動. 學生普遍對新鮮而實踐性強的內容存在強烈好奇心，在實驗課堂中學生活動的靈活度更高、自主性更強、情感狀態波動更顯著，更容易反映出學生對本節內容學習的狀態與興趣. 實驗操作具有外顯性的特點，學生實驗過程中的肢體動作及情緒變化能夠反映其思維活動[4]. 自我效能感較高的學生通常在操作中更積極主動，練習堅持的時間更長，善于與同伴交流并發表自己的發現與觀點；相反，自我效能感低的學生動手堅持的時間較短，易產生放棄心理，若教師不及時干預，學生可能逐漸喪失學習物理的興趣. 因此，在實驗中依據學生的外在表現對其學習狀態進行評價與指導，能夠彌補物理教學中對學生情感態度關注的缺失. 我國目前仍以一對多的大班教學為主，僅憑教師有限的精力難以實時關注全體學生的肢體和表情變化，教師往往對明顯存在操作困難的學生關注較多，而容易忽視其他學生在實驗中的情緒狀態，存在課堂把握的片面性和滯后性問題.

1.2 情感評價技術的研究現狀

心理學家Mehrabian的研究表明：情感表達可分為7%的語言、38%的聲音和55%的面部表情[10]. 面部表情是情感表達的重要載體，是情感判斷的重要依據. 隨著計算機、互聯網技術的進步以及圖像處理、模式識別等理論的發展，表情識別技術在安防監控、疲勞駕駛、心理醫療等領域被廣泛應用，技術的迅速發展使得表情識別應用于教育領域逐漸成為現實. 在此背景下，應用面部情感識別技術，對物理實驗課堂中學生的面部表情進行識別以評價學生的情感投入度，不失為實現實驗教學過程細粒度評價的可行方案.

目前，對傳統課堂中提取學生面部表情以分析學生聽課狀態的即時評價方式的相關研究還較少[11]. 謝幼如等[6]提出智能時代基于深度學習的課堂教學設計觀，制定智能時代基于深度學習的課堂教學評價體系. 馮滿堂等[12]探索性地將人臉表情識別應用于智能網絡教學系統中，從而補償網絡教育的情感缺失. 孫波等[9]通過面部表情的情感分析技術，實現了智慧環境下的學習者的情感識別及情感干預功能. 除了利用表情情緒識別技術外，劉毓等[13]還提出了基于中文短文本教學評價的情感分析方法，該方法有助于教師獲得準確的評價反饋信息并及時調整教學工作. 崔懷豐等[14]研發了在課堂環境中匯集學生的肢體、表情、語音、坐姿、心率等信息的學生情緒識別裝置，幫助教師在課堂中因狀態施教. 這些技術的發展應用與方法創新，使得面部情緒識別應用于物理實驗教學的過程性評價更加科學可行.

本文在已有的研究基礎上，提出面部情感識別技術與物理實驗課堂相融合的過程性評價方法，建立實驗課堂教學設計與學生的情感投入狀態之間的聯系，為實現實驗教學的細粒度評價與學生學習狀態的分析提供依據.

2 基于PAD三維情感模型的人臉情緒識別與分析方法

2.1 人臉情感識別的實現

在實驗教學中，通過獲取學生的面部表情作為分析其情感狀態的依據，這一方法比傳統的問答互動來獲取其語言、聲音等信息更加準確有效. 在表情識別領域中，將人類的表情分為高興、憤怒、厭惡、恐懼、悲傷及驚訝6種基本表情[15]，但在實驗課堂中，學生平靜聽課狀態下還會呈現中性表情，因此，本文針對以上7種表情進行分析歸類識別.

物理實驗課堂中學生活動多樣化，實施各環節時的情感狀態呈現在面部表情中的變化明顯，在錄制的實驗課堂學生活動視頻中截取教學關鍵環節的圖像，捕獲學生的面部表情樣本. 對表情進行情感分類屬于模式識別的過程，本文采用卷積神經網絡(CNN)實現面部情感分類識別的算法，在對面部情感識別模型進行預訓練調優后，基于圖像計算分析出學生在實驗過程中各節點的情感狀態.

2.2 PAD三維情感模型

情緒是反映學生學習狀態的主要表現形式，可作為評價學生課堂狀態的重要依據. 但在課堂評價中對學生情感狀態指標的評判需要量化，PAD三維情感模型則將情感與外部表現、外界環境聯系起來，為實現不可量化的學生情感和可量化的投入度之間的轉換提供了工具，得出的情感投入度可作為反映學生課堂情感的指標納入實驗課堂評價體系中.

依據情感維度理論，PAD三維情感狀態模型將情感借由愉悅度(Pleasure-displeasure)、激活度(Arousel-nonarousal)和優勢度(Dominance-submissiveness)這3個維度來描述[16]. 愉悅度表示個體情感狀態的正負特性，激活度表示個體的神經生理激活水平，優勢度表示個體對情景和他人的控制狀態(主要指對情感狀態的主觀控制程度). 研究表明，PAD 3個維度的值能夠代表具體的人類情感. 李曉明等[17]以中國人群為樣本對Mehrabian提出的PAD情感模型進行可信度測評，并修正得到各種情感對應三維權重值. 其中，7類基本情感在愉悅度、激活度和優勢度3個維度上的權重，如表1所示.

表1 7類基本情感在PAD情感空間中投影的權重值

分別以這3個維度為坐標軸可構成PAD三維情感空間. 基于表1所列權重數據，將各類表情投影到情感空間中，得到7類基本情感在PAD三維情感空間中的分布，如圖1所示.

圖1 基本情感在PAD 3維情感空間的分布

學生的課堂投入度主要由愉悅度、激活度和優勢度體現，但在不同形式、不同教學方法的課堂中，3個維度對學生整體課堂投入度的貢獻值有所不同，其系數應根據實際課堂情況而定，因此，投入度公式可以表示為

(1)

2.3 系統實現

實現面部情緒識別過程主要包括數據獲取、情感識別以及結果分析，智能教學評價系統實現框架如圖2所示.

圖2 智能教學評價系統實現框架

通過攝像頭獲取學生在實驗課堂上的視頻信息，在視頻中以設定的時間間隔截取1幀照片，并從中識別提取出每位學生的人臉圖像. 在獲得各學生的人臉樣本后，情感識別則通過人臉檢測框出人臉部分，并對其進行預處理，降低輸入圖像的數據維數. 再通過特征學習提取出表情圖像中的有效信息并去除冗余，完成情感分類模型的預訓練，從而判斷輸入樣本的情感類型. 最后利用(1)式計算學生的投入度. 綜合各時間節點學生的投入度可計算出該學生在課堂中的平均情感狀態(Average 1,I1)，用于評估學生個體的學習狀態，進而評價實驗教學對個別學生的教學效果. 運用多名學生的投入度可計算出全體學生的整體情感狀態(Average 2,I2)，用于評估實驗課堂中學生整體狀態效果.

(2)

式中,i表示時間節點，j表示學生個體.

3 系統模型與實驗結果

物理實驗教學過程中學生的情感狀態隨探究活動的開展而易顯于其外部表情和動作中，這為攝像頭捕獲有效的可識別圖像奠定了基礎. 同時，實驗課堂也存在學生活動多樣、復雜的特點，大多數學生的面部朝向不同，需多角度捕獲面部圖像并篩選出可用樣本. 為提高智能教學評價系統在物理實驗課堂的可行性與準確性，該系統通過卷積神經網絡進行模型調優，并實際應用于中學物理實驗課堂中,驗證實驗過程評估的效果.

3.1 系統模型

情感分類屬于模式識別的過程，其本質是選擇合適的分類算法對圖像進行分類判決. 對于面部情感分類識別的算法，將采用卷積神經網絡(CNN)來實現. CNN的最基本架構為卷積層、池化層和全連接層. 傳統的基于特征提取的方法在選擇合適的特征進行模型學習時非常耗時，CNN能有效地學習這些特征，這使CNN在現實場景中使用變得非常方便[18]. 2012年，Alex在此基礎上提出了AlexNet，在imageNet2012的圖片分類任務上，AlexNet以15.3%的錯誤率登頂，由于其顯著的學習能力，自提出以來便引起眾多研究者的注意. 對比LeNet，AlexNet的卷積層和池化層沒有太大變化，不過層數有所加深. AlexNet在模型訓練提出了LRN局部響應歸一化、ReLU激活函數、Dropout、GPU加速等新的技術點[19]. 本文將應用遷移學習的方法，使用AlexNet進行表情情感分類.

3.2 實驗數據集

模型訓練部分的數據將采用JAFFE和Ck+這2個公開數據集：

1)JAFFE由10位日本女性在誘發狀態下產生，該數據庫包含了213幅圖像，每幅圖像都有原始的表情定義，共有7種表情：中性、高興、悲傷、驚奇、憤怒、厭惡、恐懼.

2)Ck+數據庫是在 Cohn-Kanade Dataset的基礎上擴展來的，發布于2010年，該數據庫包括123個實驗對象,593個圖像序列，每個圖像序列的最后1張框都有行為單元的標記，而在這593個圖像序列中，有327個序列有情感狀態的標記. 該數據庫是人臉表情識別中比較流行的數據庫.

為了達到2個數據集上的統一，在訓練學習Ck+數據集時也引入了“中性”這一感情. 實驗中將數據集中提取得到的數據經過預處理后，隨機劃分為訓練集、測試集以及驗證集. 其中，每個時期的訓練數據為80%，測試數據則為20%. 用于驗證的數據始終與用于測試的數據保持相同的大小.

3.3 實驗與分析

3.3.1 模型效果評估

實驗采用五折交叉訓練，在2個公開數據集上得到的驗證平均準確率及測試平均準確率如表2所示.

表2 不同數據集的驗證集和測試集的準確率

模型的泛化能力通常由模型在驗證集上的性能來評估，隨著網絡的優化，泛化誤差也會出現，即使訓練集上的泛化能力下降，其在驗證集上的表現也不一定變差. 反之，即使模型在訓練集上表現良好，但在驗證集上表現不佳，也可能發生過擬合. 因此，為了避免過擬合，引入了提前停止的機制. 如圖3所示，當性能達到最佳預測時，模型將被保存.

(a)基于JAFFE

(b)基于Ck+圖3 不同數據集上的準確率曲線圖

3.3.2 模型可行性驗證

為了驗證學生面部情緒識別方法的實際可行性，研究團隊在廣東某中學的2節40 min物理實驗公開課堂中，于教室的前方、左側、右側3個角度放置了攝像頭，每堂課中分別采集了20名學生在實驗過程中5個關鍵時刻的面部表情樣本，運用該識別模型對學生各節點的表情圖片進行分析計算，得到關鍵時間點學生情感狀態(I)、學生個體在整體實驗中的情感狀態(I1)及實驗課堂中學生整體的情感狀態(I2). 經篩除表情圖片中截取到學生背面、側臉、低頭姿勢以及表情模糊的樣本后，選取其中2個實驗小組共9名學生在實驗課堂完整的情感投入度變化來記錄、預測與評價.

同時，教師在實驗教學過程中根據觀察到的學生學習狀態情況，將學生的情感投入度分為2個等級進行評分，投入度低用0表示，投入度高則用1表示. 最后將教師對各學生各節點的評分與模型測試計算的結果進行對比，以驗證模型的準確性與可行性，對比結果如表3所示.

表3 方案預測結果與教師評價結果對比

面部情緒識別方案經分析計算所得的學生情感投入結果，與教學經驗豐富的教師所給出的學生狀態等級基本一致，驗證了本文提出的智能情感評價模型具有較高的可行性與準確度.

評價所獲得學生各節點的課堂情感投入情況與物理實驗課堂的科學探究流程設計進行關聯對照，能夠為教師反思、改善教學提供有力指導依據. 在實驗課中，第1個時間節點對應的教學環節為小組實驗設計與猜想，有的學生在教師的情境引入下能較快適應課堂角色，積極主動地聯想，呈現較高的投入度，有的小組卻仍未進入課堂狀態. 因此，在實驗操作前教師應設置合適的情境并引導小組討論猜想，讓學生精力集中、情緒飽滿，保持思維活躍. 第2個時間節點中，學生上臺分享小組的實驗猜想，而其他學生多呈現低投入度，實驗猜想的思維發散度較低，各小組間的設計猜想差異較小，教師可適當縮短這一環節的時間. 第3個時間節點設置在學生初步實驗階段，學生還未完全進入實驗操作狀態，僅有少數學生動手操作，智能系統識別出大多學生對實驗投入度低，但當教師巡視到目標學生面前進行指導時，他們的注意力很快集中回來，因此教師判斷出大多數學生的實驗投入度較高，這一評價存在片面性. 第4個時間節點內學生處于實驗探究的高潮，操作熟練且能對感興趣的問題進行自主探究，整體投入度較高，該階段教師應抓住學生這一積極狀態，引導學生思考實驗中的“爭議點”；最后的時間節點設置在結論分析環節，學生能夠在小組交流中闡述自己的發現，此時學習狀態較興奮，有助于教師進行總結梳理與拓展延伸.

用面部情緒識別技術來評估學生的投入度的方法能夠在實驗課堂的自然狀態下進行，避免了教師干預所帶來的影響，相較于傳統的教師評價，可實現更高效且客觀的情感評價.

4 結束語

模型驗證所選的2堂實驗課均為公開課，課堂質量較高，學生精神飽滿熱情，大多呈現出高投入度. 在后續的研究中，可以在更多實驗課堂中進行實證分析，以新課標提倡的科學探究7環節設計為基礎，進一步修正物理實驗課堂評價的PAD模型3個維度的權重，提高模型的準確度. 還可以進一步細化評價的粒度，將評價節點分解到物理實驗課堂的各個具體環節，用于評估實驗教學微設計對學生學習狀態的影響，為物理教師探索出有效激發學生科學探究興趣的實驗教學途徑提供參考. 要實現有效的物理實驗教學過程性評價，不僅要充分考慮評價內容，還要有客觀準確的評價工具. 隨著圖像處理和人工智能技術的發展，未來有望實現對學生實驗操作的動作表情識別，更智能、更高效地進行實驗過程評價.