基于行為表情識別的課堂教學質量評估應用

沈瀅

摘要：隨著人工智能與深度學習技術的飛速發展，其應用場景越發廣泛，在各個領域中都取得了卓越的成果。本文旨在研究教學分析領域中的課堂教學質量評估問題，基于深度學習技術的優勢和特點，本文以實現更高質量的師生交互，精準掌握教學過程為主要目標，重點探索人工智能視頻監控分析技術在課堂教學質量評估及課堂教學管理中的運用。本文設計并構建了一套高效率、高準確、高穩定的行為表情識別及分析系統，并將其運用于實際課堂教學中，對實現高質量的課堂教學起到了有效的促進作用。

關鍵詞：深度學習;行為管理;表情識別

提升課堂教學質量是課程改革的重要抓手。實時把控課堂教學質量、洞察學生對教學氛圍、教學形式、教學內容的接受程度，有利于教師及時調整課程節奏或授課方式，突出以學生為主導，進而提升教學質量和效率。

傳統教學中，教師與學生的互動和交流形式是極為有限的，教師往往只能通過設置提問環節，根據學生回答問題的表現情況獲得關于當前教學內容接受程度的反饋，或通過主觀觀測來判斷學生對課堂教學的投入程度，這些交互形式在反饋信息的傳輸上均存在一定的片面性和滯后性。

近年來，人工智能與互聯網得到了飛速發展，其中計算機視覺與視頻監控系統的結合在跟蹤、檢測、行為分析等領域場景中都展現出了極大的性能優勢，提供了強大的實時、主動、精準分析能力。

受到智能監控系統所取得的眾多應用成果的啟發，本文以實現更高質量的師生交互，精準掌握教學過程為主要目標，重點探索人工智能視頻監控分析技術在課堂教學管理中的運用，提出利用深度學習算法實現對學生行為、表情等的識別與分析，實時評估并反饋課堂教學質量，以滿足高效課堂教學的應用需求。

一、行為表情識別在課堂教學質量評估中的應用及其價值

1.行為管理

學生的課堂行為形態是課堂教學效果的最直觀表現，學生在課堂中的行為形態可以初步劃分為：正常聽講、舉手、書寫、站立、俯身這五個類別，分別對應于不同的聽講狀態。行為管理指通過一定的技術手段，對課堂上的學生行為進行精確檢測和分類，并通過統計方法對課堂教學進行可量化的評估。

本文提出利用基于深度學習的人體檢測與行為識別算法，采集、分析學生行為，然后將課堂整體交互狀態實時反饋給老師，老師根據結果可以更加有針對性的了解到當前課堂教學中師生的整體互動情況。同時，由于監控系統能夠覆蓋整個課堂中的每一個學生個體，相比傳統課堂教學而言教師會得到更加細致更加全面的課堂教學分析，從而可以用來反思和改正自己教學方法中的不足。

本文提出的課堂行為管理方法中，對于學生行為最終會有五種分類，其中正常聽講和書寫兩種行為是一個較為普遍的行為，在正常的教學環節中，絕大多數的同學都會處于以上兩個狀態。而舉手、站立和俯身這三種行為，則是屬于較為特殊的類別。舉手和站立可以非常好的體現當前課堂的學生參與度情況。而俯身，也就是我們通常所說的打瞌睡，在反映了有同學開小差的同時，也一定程度能夠反映教師當前的課堂教學可能比較枯燥乏味，從而提示教師需要做出相應的調整措施。

2.表情識別

表情識別指通過一定的算法自動、高效、準確地識別人臉表情狀態，進而分析人的情緒表達。心理學研究表明，面部表情在人類情感信息表達中占極其重要的地位。面部表情往往是一種不經意的流露，卻通常更真實地反映了一個人的內心活動。

本文在行為檢測的基礎上，提出通過進一步的表情分析，更細膩地了解學生的真實心理狀態，幫助教師掌握學生對課堂教學的感興趣程度，對當前知識點的關注程度以及理解程度，并根據反饋結果采取相應的教學調控手段。

學生的情感狀態極大地影響著學生的學習認知過程，積極的情感狀態有利于認知的發生。在傳統課堂教學中利用先進的表情分析技術，從而推導學生的情緒及聽課狀態，有利于教師實施兼顧認知與情感的個性化教學，及時調整授課方式與節奏，主動引導學生學習的積極性，從教師作為課堂教學引導者的角度出發，提升教學質量。

按照通常對于表情的定義，面部表情可以劃分為：高興、吃驚、悲傷、憤怒、厭惡和恐懼這六種類型。但是對于課堂教學這一特殊場景，這樣的類別劃分適用性不強。在本文的表情分析系統中，我們根據教學場景，重新定義了四種表情狀態，分別是：正常、疑惑、不滿、開小差，并對學生的表情狀態進行整體性的統計，為課堂教學反饋提供一個有利的指標，輔助教師開展更高效的課堂教學。

二、行為表情識別及分析系統的設計與構建

教室課堂場景中對象人數較多，目標形態又較為復雜，對于系統的設計有一定的挑戰性。本文針對課堂教學場景設計了一套高效率、高準確、高穩定的行為表情識別及分析系統。該系統主要由以下三個部分組成。分別是：圖像采集模塊、圖像處理模塊和數據分析模塊。

如圖l所示：

1.圖像采集模塊

整個系統中所有后續的模塊都是基于前端攝像頭捕獲的圖像進行處理。因此視頻監控圖像的成像質量尤為關鍵。為了保證后續模塊能拿到所有學生的正臉圖像，攝像機被安裝在了講臺的位置。同時為了保證每個人臉表情都能被準確的識別，人臉的最小尺寸要超過80*80。因此本文的系統選用4k高清球機攝像機進行監控畫面拍攝。拍攝到的圖片通過網絡，以rtsp流的形式傳送到后臺的服務器上以供后續的處理。

2.圖像處理模塊

后臺服務器從攝像頭獲得監控圖像之后，會對圖像進行一系列的處理。出于對學生隱私的保護，圖像不會被存儲或是展示。圖像最終會被轉化成為一個統計意義上的數字，不會具體針對到某一個學生個體。

圖像處理模塊主要分為兩個子模塊，行為管理模塊和表情分析模塊。這兩個模塊所用到的方法都是基于深度學習的方法。

基于深度學習的圖像處理，主要的方法是通過卷積神經網絡對于圖像進行處理。卷積神經網絡受到了生物過程的啟發，用網絡中的神經元單元連接模式模擬動物視覺皮層中的組織。個體皮層神經元只在被稱為感受野的視野受限區域對刺激作出反應。不同神經元的感受野部分重疊，覆蓋整個視野。深度卷積神經網絡可以提取圖像深層的信息，從而得到人們想要的結果。

在這個系統中，神經網絡的輸入就是攝像機捕獲的畫面，其輸出就是圖像中的人體位置和人臉位置。人體位置用于之后的行為識別，人臉位置則用于之后的表情識別中。

本文中的檢測算法采用voloV3網絡結構，采用darknet53作為其主干網絡，其網絡的輸出是每一個檢測框在畫面中的位置，已經檢測框對應的類型。（在這里是兩類，分別是人臉或人體）。在輸入到yoloV3網絡之前，攝像機的頭像被縮放到608*608的大小，隨后經過了歸一化和零均值操作之后送入網絡。網絡輸出的人體框，被送入后一級的行為識別網絡中;網絡輸出的人臉框，被送人后一級的表情識別網絡中。

行為識別網絡中，輸入為所有從監控畫面中檢測得到的人體圖像，輸出是當前人體的行為分類。行為識別網絡也是一個典型的深度學習網絡，網絡接收圖像作為輸出，輸出是一個五維的向量，分別代表了當前人體行為是正常聽講、舉手、書寫、站立、俯身的概率，所有的概率之和為1。舉個例子，若輸出向量為（0.8，0.1，0.05，0.03，0.02），則可以看出當前人體圖像屬于第一類行為的概率是最高的（0.8），也就是說當前人體圖像被判斷為了正常聽講狀態。

表情識別網絡也是一樣的道理，輸入是監控畫面中檢測得到的人臉圖像，對于每個人臉圖像，表情識別網絡都會輸出一個四維的向量，分別代表正常、疑惑、不滿、開小差的概率。

在行為識別網絡和表情識別網絡中，都采用的是resnet50作為其主干網絡，不同的是行為識別網絡最后一層全連接層的輸出是5維的，而表情識別網絡最后一層的全連接層的輸出是4維的。

3.數據分析模塊

通過上述系統的處理之后，攝像頭捕獲的課堂圖像被轉化為了結構化的信息。信息中包含了所有學生的行為統計以及所有學生的表情統計。在系統的行為分類中，正常聽講、舉手、書寫、站立這四種行為均為積極的狀態，而俯身這一行為屬于較為消極的狀態。在系統的表情分類中，正常、疑惑屬于積極的表情，而不滿、開小差則屬于較為消極的表情。

系統能夠實時拿到當前課堂中所有同學的行為和表情，這是一個具有統計意義的數字。系統會以柱狀圖的形式實時輸出當前課堂狀況。如表1和表2所示。

從表l和表2中可以得到一個對于當前課堂情況的詳細統計。對于課堂行為而言，一般情況下，“正常聽講”狀態一定是占據絕大多數的，若是發現“俯身”狀態突然增加的時候，則需要讓老師意識到可能當前的教學內容過于乏味，需要及時調整上課節奏并適當提醒學生集中注意力。對于課堂表情管理而言，若發現“疑惑”狀態開始激增，教師就要反省自己是否當前的教學內容不太容易被學生接受，是否需要及時調整教學策略等。而當“不滿”和“開小差”的數量比例開始增加時，說明教師的上課內容和方式是否有些枯燥乏味，需要教師課后總結并改進。

不僅如此，對于每一個時刻，所有同學的所有行為和狀態都會給課堂質量打分。在行為方面，“俯身”是一個扣分項。在表情方面，“不滿”和“開小差”是扣分項。在一堂課結束之后，系統會輸出整個上課過程中分數的變化情況。如表3所示。

從表中可以很明顯的分析出課堂中師生互動的情況。可以看出，在課堂開始后的一段時間，可能會有較多的學生反饋出“不滿”“開小差”等表情，說明老師在講述新知識的時候，學生一時間還并不一定完全可以接受。而課堂的中段都保持在90分左右的評分，說明學生在這段時間進入了一個較為平穩的學習階段。而在接近尾聲的部分，課堂評分開始緩慢的下降，說明學生對于當前課堂可能覺得有些枯燥，或是注意力開始不集中。這時候老師應該反省，如何讓學生在整堂課的過程中一直保持一個較為積極的學習狀態。

課堂評分表不僅是對學生的行為表情的打分，同時也是對教師的一種督促。可以對教師的備課內容，教學重點等起到輔助的作用。

三、結論

針對提高課堂教學質量的需求，本文引入了一種基于視頻監控圖像，分析得到當前課堂中所有學生行為、表情的系統。深度學習神經網絡方案的加入，使得人臉檢測、人體檢測的精度高、速度快，同時行為識別和表情識別也能達到非常高的準確度，保障了系統結果的高效可靠。本文中系統結合了行為和表情，對于課堂的每個時刻實時把控，在課程結束之后，也會對整個課堂進行評分總結，很好的幫助了教師發現自己教學中的不足之處。

[參考文獻]

[1]韓麗李洋周子佳宋沛軒課堂環境中基于面部表情的教學效果分析[J].現代遠程教育研究，2017（04）：99-105+114。

[2]馮滿堂，馬青玉，王瑞杰.基于人臉表情識別的智能網絡教學系統研究[J].計算機技術與發展，2011，21（6）.

[3]廖鵬劉宸銘蘇航李啟芳韓延巾基于深度學習的學生課堂異常行為檢測與分析系統[J].電子世界，2018（8）：97-98.

[4]王竑熹.學生課堂行為視頻圖像采集和識別系統[J].發明與創新（中學生），2018（6）.