“FACE監管助教”系統的研究與構建

（湖北師范大學 湖北·黃石 435000）

0 緒論

“學習質量”已經成為當前教育工作者研究及實踐的熱點。當前，各大高校規模不斷擴大，擴招的學生數量急速增加。由于硬件設施建設跟不上學生擴招的速度，教師對學生的管理心有余而力不足，課堂上教師需要借助信息化手段來監管課堂。目前，高校大學生課堂上的“非學習”行為愈加普遍，其表現形式多種多樣，課堂上玩手機的問題尤為凸顯。因此，人們對教學模式上的需求逐漸轉變為對教學質量提升的迫切呼吁，如何提高學生的學習質量是擺在各大高校面前的現實問題。

《基于面部特征的學生學習狀態檢測系統設計》一文提出智能教育可以對學生課堂數據進行采集，通過大數據分析，更加全面地了解到學生對課堂的感興趣度、學習習慣以及學習狀態。“FACE監管助教”系統基于人臉識別技術，主要有智能考勤、專注力監控和學情監控三種功能，教師可以對學生的出勤情況、上課時的專注度、上課時的狀態進行全面的了解，基于實時采集的課堂數據調整教學策略，從而提高課堂教學質量。

1 系統框架設計

FACE監管助教系統主要由圖像采集、人臉識別、考勤記錄三大功能模塊組成，如圖1所示各模塊之間的底層架構和所采用的技術框架。圖像采集模塊負責通過硬件設備來讀取和收集學生的人臉和表情信息。人臉識別和表情識別模塊將捕捉到的人臉信息跟數據庫的信息進行對比，識別出當前學生的相關信息和當前該學生在課堂中的學習情況。考勤記錄模塊實現讀取和自動記錄考勤表(EXCEL表格)。

圖1：“FACE監管助教”系統構建

2 系統功能介紹

2.1 智能考勤

區別于傳統的考勤方式，即繁瑣的人工點名或者是指紋打卡，運用“FACE”監管助教系統的智能考勤，更為簡單、便捷、高效。首先學生進入教室入座后，系統可直接根據學生人臉庫的人像進行對比，對比結果反饋至教師端。同時系統采用活體檢測，有效的抵御照片、蠟像等作弊手段。最后，智能考勤在節省考勤檢查時間，提高課堂考勤管理工作效率的同時，還可以實現相關數據的信息化存儲與共享，為后續的學情分析等工作采集基礎數據。

2.2 專注力監控

“FACE”監管助教系統根據Yolo(v3)人臉識別功能對學生進行實時監控，然后通過表情識別，每隔一段時間掃描學生的面部表情。偵測分析他們的神情變化，是開心、驚訝、生氣，是反感、害怕、擔憂。如果發現學生的某種心理狀態達到某個臨界值，系統會實時反饋給講臺上的教師端，教師便可以根據這些數據來調整教學方式和內容，提高學生學習專注力。

2.3 學情監控

“FACE”監管助教系統持續性的判斷學生學習狀態和衡量學習效率，生成學生學習動態記錄表。通過此項系統功能，教師可以實時了解學生學習狀態，及時進行課堂管理；依據生成的學習態度記錄表，直觀化了解學生學習狀態、洞察學習者學習心理、發現學生學習規律；同時也對教師的教學過程做出分析反饋，從而優化教學策略，更好地指導教師的教學行為，促進信息化教學質量的提高。

3 系統功能實現

3.1 圖像集制作

在win10+GPU的環境下訓練收集的圖片信息，具體步驟如下：

（1）用攝像頭來采集學生的面部圖片，大小為416*416，方便后期作為網絡的輸入；

（2）將采集完的圖片添加到LabelImg軟件中，在predefined_classes.txt文件中添加自己需要標記的類別，最后每張圖片的信息將會轉存到JPG文件、XML文件、TXT文件中；

（3）根據預先設置的權重來訓練經過處理之后的圖片信息，在訓練的過程中不斷調整相關參數使得訓練的結果能夠盡量接近真實情況。

圖2：圖片信息展示

3.2 人臉識別

本系統采用Yolo(v3)框架來作為人臉識別的技術支撐。YOLO(You Only LookOnce)是一種基于深度卷積神經網絡的目標檢測器。它擁有75個卷積層，還有skipconnections和上采樣Upsampling層，使用步幅為2的卷積層對特征圖進行下采樣，而不是使用池化層，這樣有助于防止通常由池化層導致的低級特征丟失。

Yolo(v3)工作原理 在YOLO中，預測是通過1*1的卷積層完成的，所有每次輸出的特征圖都和之前的特征圖是一樣大小，因此在YOLO上，預測圖就是每個可以預測固定數量邊界框的單元格。對于網絡的深度，特診圖包含(B*(5+C))個條目，B代表每個單元可以預測的邊界框數量。這些邊界框中的每一個都可能專門用于檢測某種對象。每個邊界框都有5+C個屬性，分別描述每個邊界框的中心坐標，維度，objectness分數和C類置信度。

如果對象的中心位于單元格的感受野內，特征圖的每個單元格都可以通過其中一個邊界框預測對象。（感受野是輸入圖像對于單元格可見的區域）因為只有一個邊界框負責檢測任意給定對象，所以首先必須確定這個邊界框屬于哪個單元格。因此，我們需要切分輸入圖像，把它拆成維度等于最終特征圖的網格。如圖3所示，其中輸入圖像大小是416×416，網絡的步幅是 32。特征圖的維度會是13×13。隨后，我們將輸入圖像分為13×13個網格。

圖3：Yolo(v3)工作原理

3.3 系統各項功能實現

（1）系統硬件設計在“FACE監管助教”系統中，硬件主要是圖像采集設備、網絡傳輸設備以及服務器等。其中圖像采集設備為攝像頭（一般的智慧教室采用2個至少1300萬以上像素的攝像頭即可），當學生就坐完畢，攝像頭會自動進行拍攝，從而完成圖像采集；針對所需的網絡環境，不需要重新建設，可以使用已有的校園網；服務器既可以選用虛擬服務器，也可以選擇實體服務器。攝像頭將采集到的圖像，經校園網傳給服務器，并由服務器上的Yolo(v3)人臉識別模塊來完成考勤工作，同時反饋出學生學習狀態數據，用以學情分析。

（2）智能考勤功能設計智能考勤模塊由兩部分組成，分別是學生身份信息識別和教室考勤。其中學生身份信息識別是核心部分。當系統載入人臉特征庫之后，會將待識別的人臉與特征儲存的圖像集中的人臉信息進行對比，之后系統會自行判斷該學生是否與信息源相匹配。若是成功識別，則可獲得與該人臉對應的標識信息，即學生的學號等相關信息，從而完成識別過程。而成功識別的結果，會被自動更新至考勤表當中，識別成功的學生會在考勤表中被標識為“已到”，未能成功識別的學生則會在考勤表中顯示“未到”。同時，考勤系統會按照課程的時間，自動終止考勤，并生成考勤結果。在圖像對比功能的具體實現過程中，使用File對象的WriteAllBytes方法將本次采集到的學生照片文件保存至終端電腦上的另一個臨時文件夾中。在成功獲取到現場拍攝的照片文件之后，即可將該文件讀取并轉換為property類所定義的多項特征信息，并存儲在property變量中。

（3）專注力與學情監控功能設計此功能部分首先實現了視頻圖像的采集、視頻圖像的分解及預處理、Yolo(v3)人臉識別處理、AMM算法的面部特征分析。使用該系統，教師可以時刻了解學生學習狀態，并及時調整教學方式和內容。系統功能實現步驟如下：

步驟一：圖像采集和預處理。通過安裝在教室的攝像頭實時采集學生的動態上課視頻，然后通過OpenCV對視頻圖像進行分解轉化為單幀圖像，對分解得到的每一幀圖像進行圖像去噪處理并保存到本地文件夾中，為后續的人臉檢測和識別作鋪墊。

步驟二：人臉檢測和識別。采用卷積神經網絡對課堂中的學生進行人臉檢測和標注，檢測出人臉的大體位置和人臉個數，并用矩形框框出人臉的位置，當人臉個數出現異常情況時，系統給予提醒；若為正常情況時，則進行下一步的人臉識別操作。采用改進的Alex Net網絡進行學生的人臉識別，識別出具體的學生名字；面部特征分析。使用AAM算法對識別到的人臉進行人臉特征點跟蹤標定（前面的人臉檢測的精準度會直接影響特征點標定的準確度）。檢測眼睛和嘴巴特征點，并設計眼睛睜閉狀態判斷算法，利用PERCLOS值的P80標準和眨眼頻率可以判斷學生的疲勞程度設計嘴巴張閉狀態判斷算法以及嘴角弧度判斷算法。

步驟三：學習狀態分析。將眼睛和嘴巴的參數變化作為特征輸入，采用支持向量機訓練學生的學習狀態，并對學習狀態進行分類和識別。

4 結論

本文提出了一種兼具智能考勤、學生專注力監控與學情監控功能的“FACE”監管助教系統。該系統不僅可以使教師能夠及時的了解學生的上課狀態，更能對教師和教學機構開展科學的學情分析提供技術支撐，對提升高校教學水平和深化教育信息化有著重要意義。