課堂自動(dòng)化考勤系統(tǒng)中卷積神經(jīng)網(wǎng)絡(luò)算法的探索應(yīng)用

李吉 蔡子碩 李林燕

摘 要：課堂考勤管理是一項(xiàng)繁瑣而又細(xì)致的工作，考勤作為教師對(duì)學(xué)生課堂學(xué)習(xí)的基本管理需求，在教學(xué)管理中至關(guān)重要。人工智能和人臉識(shí)別技術(shù)的不斷發(fā)展，也為基于面部特征人臉識(shí)別技術(shù)的課堂考勤自動(dòng)化系統(tǒng)的實(shí)現(xiàn)提供了新的思路和方法。本文利用教室監(jiān)控視頻流，利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行視頻流中人臉特征提取及識(shí)別，聯(lián)網(wǎng)動(dòng)態(tài)記錄學(xué)生課堂全程考勤情況，保證了課堂考勤數(shù)據(jù)的實(shí)時(shí)性，也能較好地避免代課問題，更好地實(shí)現(xiàn)了教學(xué)課堂考勤的精準(zhǔn)管理。

關(guān)鍵詞：自動(dòng)化考勤;卷積神經(jīng)網(wǎng)絡(luò);人臉識(shí)別;智慧教學(xué)管理

一、引言

課程考勤管理是一項(xiàng)繁瑣而又細(xì)致的工作，考勤作為教師對(duì)學(xué)生課堂教學(xué)的基本管理需求，在高校教學(xué)管理中至關(guān)重要。當(dāng)前，大部分高校的考勤主要通過手工記錄、紙質(zhì)文件存儲(chǔ)，對(duì)紙質(zhì)文件的統(tǒng)計(jì)過程異常繁瑣，容易出錯(cuò)，實(shí)時(shí)性較差，也難以對(duì)代課、早退等現(xiàn)象進(jìn)行實(shí)時(shí)管理，無法做到學(xué)生課堂考勤的全過程監(jiān)督，這不僅浪費(fèi)人力與物力，還無法保證其準(zhǔn)確性和透明度，同時(shí)如何保存這些數(shù)據(jù)也是一項(xiàng)難題，更無法進(jìn)行數(shù)據(jù)分析。

人工智能和人臉識(shí)別技術(shù)的不斷發(fā)展，人臉識(shí)別在日常生活中的應(yīng)用場(chǎng)景越來越廣泛，如刷臉身份認(rèn)證、刷臉電子支付等。與獲取指紋等生物特征提取進(jìn)行比較，人臉面部特征的獲取途徑更廣，也更容易，具有非接觸性、非強(qiáng)制性的優(yōu)點(diǎn)。人臉識(shí)別技術(shù)的發(fā)展也為基于面部特征人臉識(shí)別技術(shù)的課堂考勤自動(dòng)化系統(tǒng)的實(shí)現(xiàn)提供了新的思路和方法，實(shí)時(shí)聯(lián)網(wǎng)動(dòng)態(tài)記錄學(xué)生課堂全程考勤情況，保證了課堂考勤數(shù)據(jù)的實(shí)時(shí)性，也能較好地避免代課問題，更好地實(shí)現(xiàn)了教學(xué)課堂考勤的精準(zhǔn)管理。人工智能與教學(xué)管理的結(jié)合對(duì)學(xué)校來說是一個(gè)全新的發(fā)展方向，將人臉識(shí)別技術(shù)和學(xué)生考勤相結(jié)合，可以說是未來考勤自動(dòng)化和智能化的主要體現(xiàn)。

本文借助教室監(jiān)控視頻流，利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行視頻流中人臉特征提取及識(shí)別，聯(lián)網(wǎng)動(dòng)態(tài)記錄學(xué)生課堂全程考勤情況，保證了課堂考勤數(shù)據(jù)的實(shí)時(shí)性，也能較好地避免代課問題，更好地實(shí)現(xiàn)了教學(xué)課堂考勤的精準(zhǔn)管理。

二、基于卷積神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別

19世紀(jì)末《Nature》首次發(fā)表人臉識(shí)別相關(guān)論文，人臉識(shí)別技術(shù)快速發(fā)展，并成為計(jì)算機(jī)視覺領(lǐng)域應(yīng)用最為成功的技術(shù)之一。從最早的全局特征人臉識(shí)別方法到局部特征人臉識(shí)別方法等，人臉識(shí)別方法一直在不斷發(fā)展。隨著人臉訓(xùn)練數(shù)據(jù)的快速增長(zhǎng)，深度學(xué)習(xí)方法逐漸成為人臉識(shí)別主流方法，卷積神經(jīng)網(wǎng)絡(luò)是其中的主要算法之一。卷積神經(jīng)網(wǎng)絡(luò)可以不斷自主地學(xué)習(xí)人臉圖像特征，訓(xùn)練的模型魯棒性較好，即便人臉的表情、姿態(tài)或光照發(fā)生一定的變化，也可以正確識(shí)別人臉。

（一）卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks， CNN）是一類包含卷積計(jì)算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)（Feedforward Neural Networks），是深度學(xué)習(xí)（deep learning）的代表算法之一。一般一個(gè)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)包括輸入層、卷積層、池化層、全連接層和輸出層。

* 輸入層：卷積神經(jīng)網(wǎng)絡(luò)的輸入層可以處理多維數(shù)據(jù)。一般學(xué)習(xí)數(shù)據(jù)在輸入卷積神經(jīng)網(wǎng)絡(luò)之前，需要做標(biāo)準(zhǔn)化的預(yù)處理，有利于提升學(xué)習(xí)效率。

* 卷積層：卷積層是卷積神經(jīng)網(wǎng)絡(luò)的核心基石。卷積神經(jīng)網(wǎng)路中每層卷積層由若干卷積單元組成，每個(gè)卷積單元的參數(shù)都是通過反向傳播算法優(yōu)化得到的。卷積運(yùn)算的目的是提取輸入的不同特征，第一層卷積層可能只能提取一些低級(jí)的特征如邊緣、線條和角等層級(jí)，更多層的網(wǎng)絡(luò)能從低級(jí)特征中迭代提取更復(fù)雜的特征。

* 池化層：在卷積層進(jìn)行特征提取后，輸出的特征圖會(huì)被傳遞至池化層進(jìn)行特征選擇和信息過濾。池化層包含預(yù)設(shè)定的池化函數(shù)，其功能是將特征圖中單個(gè)點(diǎn)的結(jié)果替換為其相鄰區(qū)域的特征圖統(tǒng)計(jì)量。

* 全連接層：在經(jīng)過多個(gè)卷積層和池化層之后，會(huì)在網(wǎng)絡(luò)的最后連接一個(gè)或多個(gè)全連接層。全連接層一般只向其他全連接層傳遞信號(hào)，也可以與卷積層進(jìn)行相互轉(zhuǎn)換。卷積神經(jīng)網(wǎng)絡(luò)中的卷積層和池化層能夠?qū)斎霐?shù)據(jù)進(jìn)行特征提取，全連接層的作用則是對(duì)提取的特征進(jìn)行非線性組合以得到輸出。

* 輸出層：卷積神經(jīng)網(wǎng)絡(luò)中輸出層的上游通常是全連接層，主要負(fù)責(zé)對(duì)提取的特征進(jìn)行輸出。如圖像分類問題中，可以通過輸出層輸出對(duì)應(yīng)的分類標(biāo)簽。

（二）基于卷積神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別

利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像識(shí)別的步驟為：首先，輸入層接收經(jīng)過標(biāo)準(zhǔn)化預(yù)處理的圖像，每一層的每個(gè)神經(jīng)元將前一層的一組小的局部近鄰的單元作為輸入，神經(jīng)元抽取一些基本的視覺特征，比如邊緣、角點(diǎn)等，這些特征之后會(huì)被更高層的神經(jīng)元所使用。然后，通過卷積操作獲得特征圖，不同特征圖的單元將各自不同類型的特征提取到相應(yīng)位置。卷積層后邊會(huì)連接池化層進(jìn)行降采樣操作，一方面可以降低圖像的分辨率，減少參數(shù)量，另一方面可以獲得平移和形變的魯棒性。然后，在全連接層對(duì)提取的特征進(jìn)行組合，最后將結(jié)果在輸出層進(jìn)行輸出。

基于卷積神經(jīng)網(wǎng)絡(luò)的人臉識(shí)別一般從以下幾個(gè)步驟來完成：首先，制作人臉數(shù)據(jù)集，在制作人臉數(shù)據(jù)集時(shí)需要將人臉進(jìn)行標(biāo)準(zhǔn)化預(yù)處理提取，一般以相同尺寸大小進(jìn)行人臉數(shù)據(jù)的保存，并將人臉特征值進(jìn)行檢測(cè)提取;第二步，進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練，先在輸入層進(jìn)行人臉數(shù)據(jù)截取，通過卷積層進(jìn)行特征值的提取，再通過池化層進(jìn)行采樣，然后在全連接層進(jìn)行卷積轉(zhuǎn)換為組合進(jìn)行輸出;第三步，進(jìn)行人臉識(shí)別，通過攝像頭獲取或者傳入待識(shí)別圖像，對(duì)待識(shí)別圖像進(jìn)行相應(yīng)圖像處理，進(jìn)行人臉的檢測(cè)提取，將監(jiān)測(cè)提取到的人臉傳入訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)中，然后和人臉數(shù)據(jù)集中的人臉依次比對(duì)進(jìn)行識(shí)別操作，最后將識(shí)別結(jié)果進(jìn)行輸出。

三、課堂自動(dòng)化考勤系統(tǒng)中卷積神經(jīng)網(wǎng)絡(luò)算法的應(yīng)用

本文利用教室監(jiān)控視頻流，利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行視頻流中人臉特征提取及識(shí)別構(gòu)建課程自動(dòng)化考勤系統(tǒng)，聯(lián)網(wǎng)動(dòng)態(tài)記錄學(xué)生課堂全程考勤情況，保證了課堂考勤數(shù)據(jù)的實(shí)時(shí)性，也能較好地避免代課問題，更好地實(shí)現(xiàn)了教學(xué)課堂考勤的精準(zhǔn)管理。在系統(tǒng)軟件設(shè)計(jì)上，架構(gòu)設(shè)計(jì)分為四層：UI操作層、應(yīng)用功能層、業(yè)務(wù)邏輯層和數(shù)據(jù)接口層。其中，UI操作層顯示班級(jí)人員信息、學(xué)生考勤狀態(tài)及搜索功能。應(yīng)用功能層主要用于學(xué)生人臉的檢測(cè)、提取、識(shí)別及學(xué)生考勤信息的動(dòng)態(tài)維護(hù)更新等。業(yè)務(wù)邏輯層主要負(fù)責(zé)把數(shù)據(jù)層的操作進(jìn)行整合，對(duì)系統(tǒng)中業(yè)務(wù)邏輯處理。數(shù)據(jù)接口層負(fù)責(zé)各種相應(yīng)的接口和存儲(chǔ)服務(wù)，如下圖1所示。

系統(tǒng)利用http、https服務(wù)來進(jìn)行訪問認(rèn)證的接入服務(wù)請(qǐng)求，在服務(wù)器路由接收到外部的http、https請(qǐng)求時(shí)，通過服務(wù)路由的微服務(wù)進(jìn)入到消息中間件實(shí)現(xiàn)與服務(wù)器進(jìn)行通信，從而實(shí)現(xiàn)學(xué)生智能考勤的考勤管理、課程管理等系列管理服務(wù)，如下圖2所示。

基于卷積神經(jīng)網(wǎng)絡(luò)的課堂自動(dòng)化考勤系統(tǒng)為實(shí)現(xiàn)面向教師監(jiān)控視頻流的學(xué)生課堂自動(dòng)化考勤功能，功能框架圖如圖3所示。主要包括的功能有：

（一）學(xué)生人臉信息的輸入。收集學(xué)生的面部特征信息，并將學(xué)生基本數(shù)據(jù)錄入到數(shù)據(jù)庫(kù);

（二）自動(dòng)化考勤。通過教師監(jiān)控視頻流進(jìn)行人臉特征的檢測(cè)、提取、識(shí)別及比對(duì)功能，實(shí)現(xiàn)學(xué)生課堂考勤的動(dòng)態(tài)更新;

（三）考勤信息查閱。當(dāng)管理員用戶成功登錄后，學(xué)生的考勤信息展示在頁(yè)面上，管理員用戶可點(diǎn)擊學(xué)生頭像對(duì)其進(jìn)行詳細(xì)查看;

（四）人臉模型迭代。重置系統(tǒng)后或輸入新的面部信息后，卷積神經(jīng)網(wǎng)絡(luò)模型開始對(duì)人的面部信息進(jìn)行修正，實(shí)現(xiàn)數(shù)據(jù)庫(kù)人臉信息的更新操作;

（五）系統(tǒng)基本信息的維護(hù)管理。實(shí)現(xiàn)系統(tǒng)相關(guān)的學(xué)生、教師、課程、學(xué)期等基本信息的維護(hù)管理。

四、結(jié)束語(yǔ)

本系統(tǒng)的實(shí)現(xiàn)主要應(yīng)用OpenCV軟件庫(kù)、TensorFlow卷積神經(jīng)網(wǎng)絡(luò)（CNN）處理方法和MySQL數(shù)據(jù)庫(kù)來實(shí)現(xiàn)。首先用OpenCV調(diào)取攝像頭，檢測(cè)人的面部信息進(jìn)行特征提取，然后運(yùn)用CNN對(duì)面部生物特征信息進(jìn)行識(shí)別，最后把信息存到MySQL數(shù)據(jù)庫(kù)當(dāng)中，實(shí)現(xiàn)了學(xué)生考勤、數(shù)據(jù)上報(bào)、考勤數(shù)據(jù)查詢和統(tǒng)計(jì)、信息維護(hù)以及數(shù)據(jù)導(dǎo)出等功能，并在蘇州經(jīng)貿(mào)技術(shù)學(xué)院信息技術(shù)學(xué)院20個(gè)班級(jí)進(jìn)行了系統(tǒng)使用，能完全滿足學(xué)生、教師、輔導(dǎo)員、學(xué)院領(lǐng)導(dǎo)及管理員各方的應(yīng)用需求，能較好地實(shí)現(xiàn)課堂智能考勤和數(shù)據(jù)分析的效果。

參考文獻(xiàn)：

[1] 徐釬力，嚴(yán)張凌. 基于Android的學(xué)生智能考勤系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J]. 信息與電腦（理論版）， 2020，32（14）： 92-94.

[2] 梁曉琦，戴永輝，藏鴻雁. 基于雙重定位技術(shù)的智能考勤系統(tǒng). 計(jì)算機(jī)與現(xiàn)代化， 2020，（01）：58-62+80.

[3] 鄭華昌. 基于智能移動(dòng)終端的人臉識(shí)別技術(shù)在高校課堂考勤中的應(yīng)用研究——以江門職業(yè)技術(shù)學(xué)院為例. 計(jì)算機(jī)產(chǎn)品與流通，2019，（10）：222.

[4] 黃金鈺， 張會(huì)林， 閆日亮. LBP 直方圖與 PCA 的歐式距離的人臉識(shí)別[J]. 計(jì)算機(jī)系統(tǒng)應(yīng)用， 2012，21（06）：202-204.

[5] 劉湘煜. 課堂考勤系統(tǒng)移動(dòng)端的設(shè)計(jì)與實(shí)現(xiàn).互聯(lián)網(wǎng)天地， 現(xiàn)代計(jì)算機(jī). 2019，（15）：87-92.

[6] 蘇楠，吳冰，徐偉， 等.人臉識(shí)別綜合技術(shù)的發(fā)展[J].信息安全研究， 2016，2（1）：33-39.