基于人臉識別的智慧課堂分析系統的設計與實現

姜麗莉 王澍廷

摘? 要：借助于計算機視覺與模式識別技術，主要探討智慧課堂中人臉識別考勤和課堂行為分析等技術，通過Jakarta EE平臺，設計并開發智慧課堂分析系統，實現課堂考勤、課堂督查以及課堂分析。提出了一種適用于學習分析的專注度評估方法。該方法給出了出勤率、抬頭率、疲勞程度的計算方法，并建立了綜合評估學生的課堂專注度的模型。系統可以實現對學生上課數據的采集與自動分析，并生成面向校方與老師的可視化數據報表。

關鍵詞：人臉識別;智慧課堂;Jakarta EE

中圖分類號：TP311 ? ? ? 文獻標識碼：A文章編號：2096-4706（2022）04-0024-04

Design and Implementation of Smart Classroom Analysis System?Based on Face Recognition

JIANG Lili， Wang Shuting

（Nanjing Tech University Pujiang Institute， Nanjing? 211200， China）

Abstract： With the help of computer vision and pattern recognition technology， this paper mainly discusses the technologies of face recognition attendance and classroom behavior analysis and so on in smart classroom. Through Jakarta EE platform， this paper designs and develops smart classroom analysis system to realize classroom attendance， classroom supervision and classroom analysis. A focus evaluation method suitable for learning analysis is proposed. This method gives the calculation methods of attendance rate， head up rate and fatigue degree， and establishes a model for comprehensively evaluating students classroom concentration degree. The system can realize the collection and automatic analysis of students class data， and generate visual data reports for the school and teachers.

Keywords： face recognition; smart classroom; Jakarta EE

0? 引? 言

智慧課堂是順應如今教育信息化發展戰略應運而生的新興教學模式，其核心特征在于教學決策的數據化，體現在教學過程依賴于教學中的客觀數據，方便教師有的放矢地開展更具針對性的教學工作，推動以學定教[1]。

隨著計算機視覺和機器學習技術的蓬勃發展，利用人臉識別、表情識別等技術，可以將學校教學領域中存在的海量影響教學質量的各相關要素，進行動態的數據采集與分析，實現對學生課堂表現的數據化存檔，以輔助學情分析與學習分析工作的開展。

課堂教學存在海量的高價值學習行為數據，但這些客觀數據仍然存在利用率低下的問題。教育學一直在吸納并利用各類先進技術輔助學情分析和學習分析，以便于為包括學生、教師和學校等相關者提供更好的教學環境[2]。近些年來，學情分析的理論研究表明，教學設計的起點應該是學生情況而非教學規律，教學只有針對具體的學生個體才有意義，不僅應關注學生受教育后的結果，也應重視學生受教育前的狀態。

1? 系統分析與技術方案

1.1? 系統分析

本系統主要面對教師與教務人員，考慮到系統的易用性角度，需要提供網頁端應用與后臺管理頁面以方便用戶操作，同時需要提供一定的操作引導方式，保障操作便捷。

考慮到后期維護角度，需要保障系統的高內聚性與低耦合性，并進行適當的模塊化，使得系統功能調整時無需對系統結構進行大規模重構。

本文所設計的系統是典型的B/S架構的應用程序。借助于目前成熟的數據庫與Web應用程序開發的技術方案，足以實現包括服務器部署、界面設計等大部分功能。另一方面，本文所設計的課堂評估方法需要借助于人臉檢測、人臉識別、表情識別等技術，目前均有成熟的研究方法與技術方案。

1.2? 人臉檢測及識別模型

本文的人臉檢測技術選用RetinaFace模型[3]。RetinaFace是目前對不同尺寸的人臉圖像的識別率最高、識別精度最高的人臉檢測模型之一，其基于RetinaNet模型[4]的結構，采用圖像特征金字塔技術實現了單步人臉檢測。其核心思想是在圖像特征金字塔中設計有三個檢測分支，步長分別為32、16和8，在特征圖上具有不同的感受野，以檢測不同尺度的人臉圖像。

本文的人臉識別技術選用InsightFace模型[4]。InsightFace模型是目前識別速度和識別精度兼具極高的開源人臉識別模型，其核心思想在于考慮到在人臉識別的決策邊界中，角度距離因素對角度判斷的影響相比于余弦距離因素更加直接，通過對AmSoftmax模型[5]進行改進，使用角度距離替代了AmSoftmax模型中的余弦距離，并改造了ResNet網絡[6]的內部結構，使之更加適用于對人臉圖像的訓練。InsightFace中同樣使用了FocalLoss[4]作為損失函數，可以有效緩解因類別不平衡問題所導致的識別精度低下的問題，而InsightFace作為單步識別算法，具有較快的識別速度。1DD1D306-C2F8-4C4A-8C29-7F0A4C45C252

2? 系統設計與實現

2.1? 網絡拓撲結構架構

本系統在網絡拓撲架構設計中，采取內外網結合的架設模式，即服務器部署于校園網內部核心網中，由于內網的網絡環境安全，允許教務用戶通過內網直接訪問服務器;由于外網環境中存在一定的不可控的安全風險，需要在內外網之間架設企業級防火墻，對外部潛在的非法訪問進行過濾，以確保數據完整性與安全性，為用戶提供安全可靠的服務，系統的網絡拓撲結構如圖1所示。

2.2? 邏輯架構層次設計

根據系統總體需求，本系統采用微服務架構[7]設計為五層：表現層、網關層、業務層、持久層、基礎設施，如圖2所示。微服務架構是新興的模塊化企業級應用架構設計，基于微服務架構的軟件體系結構將傳統SOA單體應用依據其業務需求將其模塊化，拆分為可以獨立運作、互相協作的一組服務。這種面向業務需求的應用體系結構可以有效提高業務模塊的高內聚性與低耦合性，并易于拓展[8]。

2.3? 功能設計

如圖3所示。智慧課堂分析系統設計時，依照功能需求，劃分為以下功能模塊：（1）信息管理。信息管理包括對學生的學號、姓名、班級等信息，班級的名稱、專業、學院等信息，專業的名稱、學院等信息，學院的名稱等信息，教師的姓名等信息，課程的名稱、學生等信息，課時的默認教室、默認時間、授課教師，教室的名稱、監控等信息的管理功能。（2）監控管理。監控管理包括監控管理以及視頻流采集等功能。監控管理包括對監控信息的增刪查改，以及視頻流播放等子功能。視頻流采集是系統根據教室信息記錄的監控攝像頭的ip地址，連接到對應攝像頭進行視頻流錄制。（3）人像標識。人像標識包括圖像預處理、人像檢測以及人像標識等功能。圖像預處理是對視頻流按一定時間間隔進行視頻幀提取，并進行預處理，以便后續檢測與識別工作。人像檢測是依據本文所選用的人臉檢測算法，對課堂圖像中的學生進行檢測，并將檢測結果提取分割并保存。人像標識包括身份標識、疲勞標識以及情緒標識等子功能，采用本文所選的方法標識對人像對應的識別信息。（4）數據報告。數據報告由系統依據課堂圖像標識的結果，對學生的出勤情況、抬頭率、疲勞程度、表情等課堂數據進行匯總統計，并自動生成高可讀性報告。數據報告可以學生、班級、專業、學院、教師、課程以及課時為單位呈現給用戶查看。（5）系統管理。系統管理負責對系統用戶、用戶角色、角色權限等方面的管理功能，并提供系統日志追蹤的服務，以便在數據異常時可以按照日志進行數據恢復。

2.4? 課堂評估方法設計

課堂評估方法設計內容有：

（1）抬頭率評估。通過評估學生的抬頭率可以有效反映授課過程中學生的聽課狀態。本文選定每間隔一定時間對教室監控的視頻流進行截圖，并對截取的圖像進行一次人臉檢測與識別，被識別出的學生人臉視為抬頭。

為統計每個學生的抬頭情況，可以認為學生的個人抬頭率r是學生個人被識別的總次數t與系統在課時中的總識別次數T的比值，如公式（1）所示。

（1）

同時，可以認為班級整體的抬頭率R是每一次人臉識別中識別出的總人臉數Ni與總學生數N的比值的均值，如公式（2）所示。

（2）

（2）疲勞度評估。評估授課過程中學生的疲勞程度可以直接反映學生的聽課狀態。PERCLOS原理[9]是20世紀80年代由卡內基梅隆研究所提出的通過眼睛睜閉情況評估人的疲勞程度的方法，其定義為對象在單位時間內眼睛閉合一定比例所占的時間tc與總時間t的比值，當時間比超過一定閾值時，如70%，可視為對象疲勞。其定義表達式如公式（3）所示。

（3）

而對于視頻流，可以認為截取的圖片幀數與時間時長存在一一對應關系，因此在視頻流中可將時間比轉化為幀數比，據此可以判斷，當眼睛閉合的總幀數fc占總幀數f的比值越高，則可視為疲勞程度越嚴重，如公式（4）所示。

（4）

（3）表情分數評估。評估學生的上課表情可以有效反應學生的聽課效率。根據第4章所選用的表情識別方法，可以對學生在課堂中的平靜、皺眉、驚訝等關鍵表情進行識別，則可以對學生上課過程中出現的表情進行評分，如平靜的權重設為0.7，皺眉與驚訝的權重設為1，其他情緒的權重設為0.5。由此，通過加權求和可以得到學生i的情緒評分si，如公式（5）所示。

（5）

其中Wj是第j種表情的權重，Eij是學生i的第j種表情的頻率。

對所有分數進行歸一化處理，得到最終分數，如公式（6）所示。

（6）

其中，S=UNsN是學生課堂表情評分的樣本空間，N是學生總數。

（4）專注度評估。通過對學生上課時的出勤考核、抬頭率評估、疲勞度評估以及表情分數評估，可以綜合評估出學生的上課專注度。考慮到出勤率、抬頭率、疲勞度等因素均與課堂專注度呈正相關關系，本文對學生x的課堂專注度A（x）的評估方法如公式（7）所示。

A（x）=norm（a（x）· r（x）· PERCLOS（x）· z（x））? ?（7）

其中a（x）是學生在該堂課中的出勤分數，全勤為1，否則為0;r（x）是學生的抬頭率;PERCLOS（x）是學生的疲勞度;z（x）是學生的上課表情分數。

2.5? 系統開發環境與關鍵功能實現

2.5.1? 系統開發環境

為確保系統能順利實現、安裝與調試，需要對系統開發環境進行充分的準備工作，本文所設計的智慧課堂分析系統的系統開發環境如表1所示。

2.5.2? 關鍵功能實現

關鍵功能實現的內容有：

（1）學生詳情。學生詳情界面如圖4所示。系統在學生詳情頁面會顯示學生的姓名、學號、班級、專業、學院等信息，同時會給出學生過去一個月內的出勤情況，以及各個課程中的平均疲勞度、抬頭率與專注度。1DD1D306-C2F8-4C4A-8C29-7F0A4C45C252

（2）數據報告板。數據報告板是本系統的核心功能，負責呈現系統所收集并分析后的數據，如圖5所示。系統在這個界面提供了出勤情況、疲勞度、抬頭率以及課堂專注度的全局數據圖表，可以方便地讓系統用戶一覽學校內的課堂情況。

3? 結? 論

在智慧課堂分析系統的設計過程中，基于當下學情分析與學習分析對教育信息化、現代化的數據挖掘與分析的需求作為背景，并結合了當下先進的信息技術理念，包含微服務架構、鑒權授權、深度學習等。設計與實現的智慧課堂分析系統的目的，旨在解決學校教學環境中課堂教學評估數據收集中依然以人工為主的管理模式的問題，提高管理效率，為教育現代化提供信息化保障。

圖5? 數據報告板界面

參考文獻：

[1] 劉邦奇.“互聯網+”時代智慧課堂教學設計與實施策略研究 [J].中國電化教育，2016（10）：51-56+73.

[2] 邵燕楠，黃燕寧.學情分析：教學研究的重要生長點 [J].中國教育學刊，2013（2）：60-63.

[3] DENG J K，GUO J，ZHOU Y X，et al.RetinaFace：Single-stage Dense Face Localisation in the Wild [J/OL].arXiv：1905.00641 [cs.CV].[2021-12-03].https：//arxiv.org/abs/1905.00641.

[4] DENG J K，GUO J，XUE N N，et al.ArcFace：Additive Angular Margin Loss for Deep Face Recognition [J/OL].arXiv：1801.07698 [cs.CV].[2021-12-06].https：//arxiv.org/abs/1801.07698.

[5] LU Z，PU H M，WANG F C，et al.The Expressive Power of Neural Networks：A View from the Width [J/OL].arXiv：1709.02540 [cs.LG].[2021-12-08].https：//arxiv.org/abs/1905.00641.

[6] HE K，ZHANG X，REN S，et al.Deep Residual Learning for Image Recognition[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Las Vegas：CVPR，2016：770-778.

[7] 辛園園，鈕俊，謝志軍，等.微服務體系結構實現框架綜述 [J].計算機工程與應用，2018，54（19）：10-17.

[8] 易文康，程驊，程耕國.Shiro框架在Web系統安全性上的改進與應用 [J].計算機工程，2018，44（11）：135-139.

[9] DINGES D F，GRACE R.PERCLOS：A Valid Psychophysiological Measure of Alertness as Assessed by Psychomotor Vigilance [J].Tech Brief，1998，31（5）：1237-1252.

作者簡介：姜麗莉（1985—），女，漢族，江蘇徐州人，講師，碩士，研究方向：深度學習、數據挖掘、軟件工程;王澍廷（1998—），男，漢族，廣東深圳人，本科，研究方向：深度學習、軟件工程。1DD1D306-C2F8-4C4A-8C29-7F0A4C45C252