基于表情識別的在線學習效果監測研究

潘翔

(廣西職業師范學院,計算機與信息工程學院，廣西，南寧 530007)

0 引言

“互聯網+”時代為傳統教育改革提供了新的方向，讓在線學習方式成為教學新模式。在線學習具有線下課堂學習無法比擬的優勢，學習者只需通過各種用戶終端即可完成課堂上的學習任務，線上學習平臺擁有豐富的學習資源，多元化的學習渠道使學生輕松愉快地學習，根據用戶學習行為的差異進行個性化學習路徑推薦，學生可以選擇自己感興趣的課程項目自主學習，不受時間和空間限制隨時隨地在線學習。線上教育發展到今天越來越成熟，平臺功能特色也更加完善齊全，在線學習對教育領域影響重大，它提高了教學資源的利用率，但也存在著一定的局限性，缺少在線學習的監測方法，學生的學習效果和質量無法得到保障。面部識別等人工智能技術在教育中的應用，為在線學習系統監控學習者的學習過程提供了有效途徑，基于表情識別的學習效果監測不僅能夠驗證學習者的身份，還能檢測學習者的學習狀態和學習情緒。

1 感知教學理論

1.1 感知教學

感知教學依賴于在線學習系統，通過對用戶線上學習實時感知，實現用戶學習行為的監測反饋，幫助學習者認知、理解、運用和升華課堂知識，從而提高學習的效果和質量。在線學習行為感知包括學習者本原感知、眼睛狀態感知和學習情緒感知，其中學習者本原感知用來驗證學習者身份，判斷是否為本人登錄在線學習,眼睛狀態感知用于眼睛開合檢測，判斷學習者否是有在學習,學習情緒感知通過面部表情識別來判斷學習者學習狀態如何[1]。感知教學解決了在線學習系統教師與學生之間的交互問題，以全面、深度感知觀察學習者學習行為的一系列變化，做到課堂學習偏差及時糾正，追蹤了解學生的課程知識點掌握程度。

1.2 學習效果監測

學習效果監測是對在線學習系統上的學習者的學習時間、作業成績、問題回答、面部表情等進行綜合監控，以此來判斷學習者的學習效果。人類情感表達55%是通過面部表情傳遞的，對于在線學習的學習者來說，同樣可以通過表情識別來鑒別學習者的學習情緒狀態，以達到在線學習效果監測的目的[2]。在整個線上學習過程中，可以通過眼睛狀態檢測和學習情緒感知進一步監測學習者的學習情況，采用面部表情識別來獲取學習者的情感狀態，捕獲學習者圖像經過表情識別進行表情特征分類，完成其學習狀態的檢測和學習效果的監測。

2 系統設計

在線學習系統融入了線上學習、表情識別和學習效果評價為一體的情感分析模型，以感知技術、人臉識別技術和表情特征檢測技術作為技術支撐，通過攝像頭設備實時感知獲取用戶人臉圖像，經過表情識別處理，判別學生的學習狀態，進行感情評價反饋。在線學習系統模型設計如圖1所示。

圖1 在線學習系統模型設計

在線學習系統由注冊登錄模塊、知識推薦模塊、情感識別模塊、學習效果評價模塊和教學流程再造模塊組成。知識推薦模塊主要功能是為學習者自動、智能地推薦學習資源，形成具體的學習方案。情感識別模塊是系統的核心模塊，其主要作用可按設定好的時間自動獲取用戶人臉圖片，對圖像進行表情識別以及疲勞狀態檢測，得到用戶線上學習的情感狀態，當學習者出現情感狀態不佳的現象，要進行教學流程再造相關學習[3]。學習效果評價模塊包括自我評價、認知程度評價和情感狀態評價。教學流程再造模塊主要目的是調動學習者的學習情緒，活躍課堂氛圍，提高學生的學習熱情。

3 表情識別算法

3.1 表情分類與數據采集

根據學習者學習狀態的不同，將其面部表情分為正常(Neutral)、高興(Happy)、驚訝(Surprise)、厭惡(Disgust)、生氣(Angry)、害怕(Fear)、悲傷(Sad)，構建包含這7種表情的數據庫，進行數據采集以獲取人臉圖像，經過濾波去噪、灰度歸一化和尺度歸一化等常規圖像預處理之后，提取面部表情特征，建立初始化模板，這是表情識別的訓練過程[4]。本研究采用RealSense感知技術自行錄制數據庫，對現有的表情數據集進行改進優化，構建信息完整的表情數據庫。

以表情數據庫中的圖片作為模板構造與之對應的彈性圖，對這些彈性圖進行網格分割。網格圖尺度和方向轉換公式如下：

(1)

將每個網格與各濾波器Ψμ,v(z)做卷積運算得到特征集合，如下：

Oμ,v(z)=I(z)×Ψμ,v(z)

(2)

通過式(2)所得到網格特征矢量共同構成表情模板的彈性圖，依次構造各個表情的模板彈性圖并形成鏈表，用于表情識別的匹配檢測。

3.2 表情特征選取

表情識別的過程包括人臉檢測與定位、表情特征提取與分類。人臉檢測是表情識別的基礎，挑選人臉圖像有用的特征信息，保存表情展現強度大的圖片序列，為表情特征提取的實現提供數據來源。表情特征提取是表情識別的關鍵，其有效性直接影響表情特征分類的正確性，保證表情特征提取的準確性可以提高表情分類識別率，為學習者在線學習的情感狀態提供評價的依據。

由面部動作編碼系統(Facial Action Coding System, FACS)可知，人體面部肌肉的運動促使臉上表情的產生，人臉表情是不同運動單元(Action Unit, AU)相互作用的結果，這些AU單元可以獨立呈現或者以組合的形式出現，對嘴巴、眉毛、眼睛、鼻子部位的AU描述，與之對應有不同的人臉表情，而6種基本表情自身也有著顯著的表現和結構特點[5]。FACS一般采用歐氏距離去分析表情，能夠較好地描述臉部表情變化，但對于臉部姿態變化檢測精確度不高，結合RealSense中臉部特征點的組成，通過增加角度特征向量提高檢測效果。這里的角度是指由臉部特征點構成的角度，角度的變化幅度反映出表情的變化情況，一個完整的表情描述應該包括臉部區域、特征描述、角度特征向量、AU單元組合、對應表情和特征點位置等內容。

攝像頭捕獲到的人臉圖像經過尺寸歸一化后，再經過灰度歸一化處理得到最終結果。灰度圖轉化公式如下：

(3)

式中，(x,y)表示圖像像素點的坐標。

表情識別匹配圖像之間能量值的歐氏距離計算式：

(4)

其中，EVG為待識別圖像G的特征向量，EVG′為模板彈性圖G′的特征向量，兩者維數均是N。人臉的特征向量由嘴巴、鼻子、眼睛3個區域的Gabor特征組成，選取G與G′間最小距離作為結果返回。

3.3 支持向量機(SVM)建模

建立用于表情特征分類的SVM模型，選取臉部區域72個特征點，并將它們的幾何特征作為訓練對象，使用SVM分類器進行表情特征訓練，首先采集表情數據樣本，“正常、高興、驚訝、厭惡、生氣、害怕、悲傷”7種表情各抽取50張，分別存儲在不同的目錄中，對表情樣本進行特征分析與記錄，為特征點做標記后訓練分類器，待測圖片經過關鍵點檢測和加載訓練好的表情分類模型，由SVM預測關鍵點類型，最后輸出表情分類結果[6]。表情分類識別過程如圖2所示。

圖2 SVM模型分類識別過程

如圖2所示，整個表情識別的工作流程大致可分為圖像錄入、人臉檢測、幾何特征標記、加載訓練的特征點數據到模型中、采用SVM分類器判斷圖像特征對應的表情類別、在界面上顯示出結果。其中，SVM模型構建的具體步驟如下：提取訓練對象，收集人臉表情樣本，各種表情分別取50幅作為訓練數據集，在輸入的訓練樣本集提取人臉關鍵點并進行歸一化縮放；訓練SVM分類器，包括模型加載，存儲關鍵點幾何信息，進行測試表情預測。在表情識別之前先要檢測定位人臉，下一步提取表情特征點并貼上標簽，以方便后續表情的分類，根據SVM模型檢測到的結果，確定表情的所屬類型。

4 學習效果監測

基于表情識別的在線學習效果監測，重在檢測學習者的學習狀態，這也是表情識別的意義所在。利用C4.5決策樹評估方法對用戶學習行為進行分析評估[7]。第一，采集學習行為數據，行為數據從本原感知、眼睛狀態感知和情緒感知中獲得，數據類型有本人和非本人，睜眼、閉眼和半閉眼，愉悅、疲勞和平靜；第二，構建決策樹，采用C4.5算法挖掘數據特性，找出面部識別感知與學習行為之間存在的關系；第三,建立決策樹分類規則，進行規則合并，去除無用規則，形成規則集合，分類成組化簡相同規則得到最終結果[8]。例如,如果本原感知是本人，則感知繼續，否則視為學習無效；如果眼睛狀態是睜眼或半閉眼或閉眼，情緒感知為愉悅或平靜或疲勞，相對應的學習狀態則為良好、一般、欠佳。

抽取10名學習者作為實驗對象，準備一段45分鐘左右的視頻，通過用戶學習行為感知評估學習者的在線學習效果，在用戶學習過程中隨機截圖保存，在視頻播放的前后半段和中間段分3次共截取30張圖像，對圖片進行面部表情識別得到本次實驗檢測結果，如表1所示。

表1 學習效果監測結果

“睜眼愉悅、半閉眼愉悅、閉眼愉悅”用符號X代表；“睜眼平靜、半閉眼平靜、閉眼平靜”用符號Y代表；“睜眼疲勞、半閉眼疲勞、閉眼疲勞”用符號Z代表。不同的學習行為組合所表示的學習狀態也不同:3x、2x+y、2x+z表示學習狀態良好；3y、2y+x、2y+z、x+y+z表示學習狀態一般；3z、2z+x、2z+y表示學習狀態欠佳。從表格中可以看出，對學習者的學習行為分析和學習狀態評價與實際情況相符合，實驗結果表明從學習者的臉部一些特征表現可以檢測出其學習行為上的變化，根據學生的學習狀態適當地調整教學策略，進而提高學生的學習效果和質量。

5 總結

本研究針對在線學習存在教學情感缺失的問題，建設在線學習系統對學生進行情感識別與分析，并做出情感狀態評價和學習效果評價，全面管理監控學生的在線學習情況。系統應用表情識別有關方法和手段，獲取人臉圖像進行預處理，檢測人臉提取表情特征點，自動識別學習者的表情狀態；同時通過實時感知用戶學習行為去判斷學習者的學習狀態，彌補了在線教育中教師與學生情感交互的不足。隨著科學技術知識的更新迭代和技術水平的提升，在線學習人臉表情識別所涵蓋的專業知識會更加的深廣，對于先前研究的面部識別技術方案也要適時修改，以便提高人臉識別的檢測率和準確率。