基于人臉識別的智慧教室簽到管理子系統

摘 ?要： 傳統的課堂到課簽到管理方式多為教師或學委點名，該方式費時費力，容易引發替點、代課現象和教師不識學生現象，學生考勤簽到的電子化、智能化勢在必行。分析了常見的電子化考勤簽到管理方案，設計一種基于人臉識別的智慧教室簽到管理子系統，通過人臉識別、座位二維碼掃描和課堂現場隨機碼校驗的三部曲，在盡可能的降低現有教室改造程度基礎上，完成學生上課簽到管理的信息化及智能化。

關鍵詞： 人臉識別;智慧教室;簽到管理;二維碼;隨機碼

中圖分類號： TP3 ? ?文獻標識碼： A ? ?DOI：10.3969/j.issn.1003-6970.2019.12.030

本文著錄格式：張良杰. 基于人臉識別的智慧教室簽到管理子系統[J]. 軟件，2019，40（12）：133139

Wisdom Classroom Check-in Management Subsystem Based on Face Recognition

ZHANG Liang-jie

（Department of Information Engineering， Fujian Agriculture And Forestry University Dongfang College， Fuzhou 350715， China）

【Abstract】： The traditional way of classroom check-in management mostly make a roll call by teachers or commissary in charge of studies. This way is time-consuming and laborious. It is easy to cause substitution and the phenomenon of teachers do not recognize students. The electronic and intelligent check-in of student attendance is imperative. We analyzed common electronic attendance check-in management solutions， and design a wisdom classroom check-in management subsystem based on face recognition. Through the trilogy of face recognition， seat QR code scanning and random code verification， the informationization and intelligence of students' check-in management are completed on the basis of minimizing the degree of existing classroom renovation as much as possible.

【Key words】： Face recognition; Wisdom classroom; Check-in management; QR code; Random Code

0 ?引言

大學生一直以來是被小到家庭大到社會國家都寄予厚望的一個群體，代表著國家和民族的未來和希望。然而當今大學已不再是過去輝煌的象牙塔，厭學逃課之風席卷各大高校。據有關調查表明，在校大學生中，逃過課的學生人數占到85%，從未逃過課的僅占15%，同時還發現，從未逃過課的學生大多為大一新生，而大二以上的學生逃課現象嚴重。

傳統的課堂到課簽到管理方式多為教師或學委點名，喊到誰的名字該學生就答到，然而該方式費時費力，學生人數眾多時，比如馬哲、毛概之類的一兩百人的大課，要么抽點，要么花費更多時間點名，況且效果不佳，一聲“到”，只聞其聲不見其人，替點現象隨之出現，更有甚者，出現了“代課”的市場，一節課10元到50元不等，實乃教育之哀矣！該方式還存在另一個問題，教師上了一學期的課，對大多數的學生的名字和人對不上，想要知道某個學生是誰或者某個學生有沒有來時，就只能通過問其他同學了。因此，依托高校信息化的建設，學生考勤簽到的電子化、智能化勢在必行。

早在幾年前，簽到管理應用已經出現，類似于阿里巴巴的釘釘，服務于各企業的打卡服務如雨后春筍般而出，它們的共同特點是定位打卡，然而定位的方式很容易就被破解了，通過偽造GPS數據繞過定位機制，而且在室內定位并不精確，顯然用于學生考勤簽到略顯雞肋。

在學術界，涉及考勤簽到管理，特別是學生課堂的簽到管理，國內外學者早已研究多年。主要的方法有：運用Arduino和RFID射頻標簽結合創建簽到記錄[1];通過內置藍牙智能芯片的學生校園卡標識簽到[2];通過掃描指紋然后判斷GPS定位是否在指定范圍內判斷出席還是缺席[3];結合RFID技術和人臉識別進行在場確認[4];對標識學生的二維碼進行掃描識別來進行課堂簽到[5];或者單純使用人臉識別進行簽到的[6-7];也有直接利用各高校教室已部署的監控攝像頭進行人臉識別從而進行上課考勤管理[8]。這些方法都在一定程度上解決了考勤簽到問題，推動了考勤簽到的電子化、智能化的發展，然而也存在些許缺陷，要么部署RFID識別器、指紋掃描機等硬件設備繁瑣、成本高，要么考勤簽到過程需要排隊、浪費時間，要么識別不夠準確，比如直接利用各高校教室已部署的監控攝像頭進行人臉識別就有可能因為光線、攝像頭分辨率等原因造成后面幾排的學生無法識別人臉，并且這些方法大多都不能很好的預防代簽到現象，更無法解決教師不識學生現象。

本文設計一種基于人臉識別的智慧教室簽到管理子系統，關注課堂上的簽到，通過人臉識別、座位二維碼掃描和課堂現場隨機碼校驗的三部曲，在盡可能的降低現有教室改造程度基礎上，完成學生上課簽到管理的信息化及智能化，學生亦可以通過本系統查看自己的課程表和簽到記錄，對于出勤率低于學校規定的課程云服務會通過App提醒學生，教師也可以通過本系統及時了解學生到課情況以及實時的簽到座位表，便可以一定程度上解決替點、代課現象和教師不識學生現象。

1 ?人臉識別

人臉是人體結構的一個重要的組成部分，形成了獨特的生物特征，相對于其他生物特征，比如：指紋、掌紋、聲音、虹膜、步態等等，人臉并不需要額外的動作配合，它就在那里，能更加便捷的進行采集用于生物特征識別。人臉識別技術是計算機視覺領域的典型應用，特別是近年來，隨著技術的發展成熟，被廣泛用于門禁、考勤、酒店、機場等各應用領域，甚至于超市的自助收銀臺也開始大規模的部署人臉識別應用。

廣義的人臉識別包括圖像采集、人臉檢測、人臉對齊、特征表示等過程[9]。人臉識別的典型流程主要包括：人臉檢測、特征定位、預處理、特征提取、特征對比、決策判斷等階段。

人臉識別應用的核心是特征提取，過去幾十年，全世界的研究者們提出了很多非常有效的特征提取和人臉識別算法，極大的促進了人臉識別技術的發展。最經典的算法有LBP（Local Binary Patterns，局部二值模式）、HOG（Histogram of Oriented Gradient，方向梯度直方圖）、PCA（Principal Component Analysis，主成分分析）、LDA（Linear Discriminant Analysis，線性判別分析）、SVM（Support Vector Machines，支持向量機）等等。有單獨應用這些算法進行人臉識別的，也有結合若干算法比如PCA、LDA和SVM融合進行特征提取和識別的[10]，也有采用一些較新的方法比如結合曲波變換和輪廓波變換提取特征然后用SVM進行分類識別的[11]，也有基于三元組損失函數的改進型OpenFace開源深度學習網絡進行識別的[12]，等等，這些的研究成果都在不斷的提高人臉識別的識別率和便利性。

就本系統而言，由于人臉圖像的獲取是在手機端，總體上分為三個階段：人臉檢測、活體檢測、識別驗證。從開發的角度，業界廣泛應用開源的開發框架OpenCV和dlib進行開發，已經有輪子了就不需要重復自己造輪子。本系統的人臉識別功能的開發也是基于OpenCV和dlib進行。

1.1 ?人臉檢測

人臉檢測是第一步，手機終端App通過攝像頭（前置）獲取視頻流，首先要通過視頻流檢測到人臉才能進行后續的動作，未經人臉檢測的活體檢測和識別驗證毫無意義，并且浪費時間和資源。

人臉檢測是目標檢測的一種應用，主要依照人臉的眼睛、鼻子、嘴巴、下巴、眉毛等臉部特征。OpenCV主要采用基于Haar-Cascade的人臉檢測，可以實時工作在CPU上，但檢測錯誤情況會時常出現，比如把非人臉檢測成人臉，在OpenCV 3.3之后的版本中引入了新的基于DNN的人臉檢測，提高了識別率。dlib在人臉檢測上相對優于OpenCV，基于68個特征點的特征提取可以很精確的檢測出人臉，如圖1所示，dlib有兩種運行模式，一種是運行于CPU上的HOG算法模式，另一種是運行于GPU上的CNN算法模式。

圖1 ?dlib的人臉68個特征點

Fig.1 ?68 feature points of face in dlib

而現代的智能手機大都可以利用自帶相機硬件所支持的人臉檢測模式去檢測人臉，以Android為例，Android 5.0版本開始引入了新的camera2 API，相較于舊的camera API，配合HAL3有更先進的API架構和攝像體驗。在camera2 API中內置了人臉檢測模式，如表1所示。

表1 ?camera2 API的人臉檢測模式

Tab.1 ?Face detection mode of camera2 API

模式 支持程度

STATISTICS_FACE_DETECT_MODE_FULL 完全支持

STATISTICS_FACE_DETECT_MODE_SIMPLE 簡單支持

STATISTICS_FACE_DETECT_MODE_OFF 不支持

本系統的人臉檢測部分采用camera2 API和OpenCV結合的方式，在手機本身具備簡單或完全支持模式時采用camera2 API方式最快最有效率的檢測，否則切換到OpenCV的檢測模式。

1.2 ?活體檢測

在安全日益成為全球性問題的當今，人們對系統的安全性也更加的關注，人臉識別就像傳統的信息系統一樣容易受到攻擊，而活體檢測就是用來阻止人臉攻擊，可想而知，諸如支付寶之類的金融應用，如果被有心人盜用他人信息用一張假臉登錄、支付，那可是很可怕的事情。

主要的人臉攻擊的手段有三種：照片攻擊（包括紙質照片和電子屏幕上的照片）、視頻攻擊、面具攻擊或3D人臉模型攻擊。而面具攻擊或3D人臉模型攻擊相對難度較大，因而一般的非金融應用的活體檢測主要是杜絕照片攻擊和視頻攻擊。主要是通過圖像或視頻的質量、顏色紋理、材料、運動變形等方面判別是活體還是非活體，或者說是真臉還是假臉。

在過去的若干年，專家學者們提出了一些方面用來進行活體檢測，比如：通過提取經過高斯濾波后的峰值信噪比、均方誤差、結構相似度等8維度的圖像質量評估指標，通過二次判別分析進行判別是真臉還是假臉[13];通過高光反射、顏色差異性、模糊性等進行圖像失真分析，然后結合K均值聚類和SVM進行判別是真臉還是假臉[14];結合HSV空間的人臉多級LBP特征和YCbCr空間的人臉LPQ特征，然后通過SVM進行判別是真臉還是假臉[15];通過眼睛的長寬比檢測是否眨眼來判別是真臉還是假臉[16];通過角度徑向變換提取特征來判別是否是3D人臉模型攻擊[17]。當然還有直接采用深度學習的方式進行活體檢測，這些都極大的促進了活體檢測技術的進步。

本系統通過結合如式（1）的峰值信噪比和如式（2）的結構相似度來訓練SVM進行圖像質量評估，主要用來判別是否是照片攻擊和視頻攻擊，再通過如式（3）的眼睛長寬比檢測眨眼來最終判別是真臉還是假臉。本系統的活體檢測基于OpenCV實現。

（1）

（2）

（3）

1.3 ?識別驗證

在人臉檢測和活體檢測全部通過后，最后就要進行識別驗證了。

本系統的人臉檢測和活體檢測全部是通過手機終端App進行，但受限于手機的運算資源，真正的識別驗證必然要放在云端（或服務器端）為佳，因而采用基于dlib的開源人臉識別庫face_recognition搭建人臉識別環境，face_recognition對dlib調用進行封裝，提供了簡單易用的命令與接口，它在LFW人臉數據庫上測試有高達99.38%的識別率，可以說是功能強大又易上手的開源人臉識別庫。

識別驗證的流程如圖2所示。對于圖2描述的獲取128維人臉特征向量的具體流程如圖3所示。

圖2 ?face_recognition識別驗證流程

Fig.2 ?Face_recognition verification process

圖3 ?獲取128維人臉特征向量流程

Fig.3 ?Get 128-dimensional face feature vector process

2 ?系統總體架構與模塊

本系統由基于Android的學生終端、基于云端的存儲與計算服務和基于Web的管理端三大模塊構成，總體架構如圖4所示。

2.1 ?基于Android的學生終端

Android的終端App由登錄模塊、簽到模塊、歷史統計模塊、課程表模塊以及設置和個人信息管

理模塊構成，App首頁如圖5所示。在本終端的簽到（核心）模塊中，采用了簽到驗證三部曲，即人臉識別、座位二維碼掃描、課堂現場隨機碼校驗，人臉識別如圖6所示，成功后需要在1分鐘內完成后續的掃描座位二維碼和輸入現場隨機碼，否則本次的人臉識別就失效了，目的是盡可能的防止替點或代簽到現象，如圖7所示。本App終端采用Android 5.0版本以后引入的camera2 API和OpenCV結合的方式，調用攝像頭（前置）進行人臉檢測，將檢測到的人臉視頻流以多幀靜默拍照后進行活體檢測，活體檢測通過后傳送到云端進行識別驗證。在座位二維碼掃描方面，App終端采用成熟的Google開源框架ZXing調用攝像頭進行二維碼的掃描識別。

圖4 ?系統總體架構

Fig.4 ?System architecture

圖5 ?App首頁

Fig.5 ?Home page of App 圖6 ?App的人臉和活體檢測

Fig.6 ?Face and live detection of App 圖7 ?1分鐘內完成簽到

Fig.7 ?Check-in within 1 minute

2.2 ?基于云端的存儲與計算服務

從技術上，云服務分為兩大部分，一部分是采用基于dlib深度學習模型的開源人臉識別庫face_ recognition搭建人臉識別環境，然后使用Python語言編寫socket多線程服務接口接收終端App的人臉識別請求，另一部分是采用Linux+Tomcat+MySQL+ Java架構搭建基于HTTP的Web接口服務，Linux操作系統高效、安全、穩定，采用了主流開源的MySQL作為底層數據存儲，體積小、效率高、可移植性強，在MySQL數據庫之上建立DAO層、業務邏輯和模型層以及接口層，以JSON為數據格式為App終端和Web終端提供基于HTTP的Web接口服務。基于成熟LTMJ架構的云服務，提供了穩健、可靠的云端存儲與計算，Web服務接口設置基于timestamp+key的權限驗證，能在一定程度上保障了接口調用的安全。云服務的架構如圖8所示。

圖8 ?云服務架構

Fig.8 ?Cloud service architecture

2.3 ?基于Web的管理端

Web管理端采用HTML+CSS+JavaScript實現，采用前后端分離架構，通過jQuery框架的Ajax方式請求云服務所提供的接口。Web管理端的使用者分為兩類，一類是管理員，可以對學生、教師等人員信息進行管理，可以進行課程、教室以及課程表的管理，可以對系統進行全局參數設置;另一類是教師，可以查看更新自己的個人信息，可以查看自己的課程表，如圖9所示，可以對每次課發布現場隨機碼，如圖10所示，并查看實時簽到座位表，如圖11所示。

圖9 ?教師個人的課程表

Fig.9 ?Teacher's personal curriculum

圖10 ?教師通過Web管理端發布課堂現場隨機碼

Fig.10 ?Release random code of classroom through web

圖11 ?實時簽到座位表

Fig.11 ?Real time check-in seat list

3 ?系統的其他關鍵技術

系統所涉及到的其他相關關鍵技術主要有座位二維碼生成識別算法、出勤率低的提醒技術、學生簽到有效性驗證算法、課程是否是當前時間正在上課的判別方法等。

3.1 ?座位二維碼生成識別算法

二維碼是用某種特定的幾何圖形按一定規律在平面（二維方向上）分布的黑白相間的圖形記錄數據符號信息。一維碼存儲信息有限，二維碼成為了補充和替代一維碼的一種方案，但二維碼并非只有一種編碼方式，常見的碼制有Data Matrix、MaxiCode、Aztec、QR Code、Vericode、PDF417、Ultracode、Code 49、Code 16K等等，不同的碼制在信息密度、校驗功能等方面都有相應差異。最常見、使用最廣泛的要數QR Code二維碼了，它具有識讀速度快、信息容量大、占用空間小、保密性強、可靠性高的優勢。本系統的座位二維碼所使用的也是QR Code碼。

在座位二維碼的生成算法上，考慮到二維碼的信息是公開的，不必做復雜的加密，但直接以明文的方式生成又顯得簡單暴露，最終采取了基于Base64編碼的生成算法。因座位二維碼需要包含教室信息（教室編號）和座位信息（座位編號），故而把教室信息和座位信息利用“@”進行合成形成原始字符串，例如字符串“56@E301”就表示E301教室的56號座位。有了原始字符串后，首先采用md5算法獲取原始字符串的散列值，然后把32位的散列值按8位形成前后四個部分，分別與原始字符串拼湊形成新的字符串，最后通過Base64編碼獲得最終的編碼字符串，例如原始字符串“56@E301”，就有了以“56”、“@”、“E301”分隔開的四個位置，把md5的32位散列值按8位分別插入形成新的字符串，最后通過Base64編碼得到編碼字符串為“YTkwM2I0 YzM1Njc1MTMyMDdjQGQxMjg4MGFhRTMwMW YxNDEyMTRm”，有了編碼字符串，就可以通過網上很多免費甚至開源的二維碼生成工具生成二維碼圖案，本系統采用Google開源框架ZXing生成。座位二維碼生成算法如圖12所示，識別算法反之即可。

3.2 ?出勤率低的提醒技術

保障學生的課堂出勤率便是簽到管理系統的意義所在，所以本系統設計之初就考慮了對于出勤率低于學校規定的課程，云服務會通過App提醒學生。

主要通過課程的已完成學時和學生簽到次數（默認是一次課即兩節課簽到一次，或者按照后臺管理設置的課程屬性規定）進行對比，超過兩次（即三次及三次以上）或者后臺管理設置規定次數則向該學生的終端App推送提醒信息，如圖13所示。學生通過App的提醒信息模塊查看違規課程并及時聯系任課老師進行相應處理，如圖14所示。

3.3 ?學生簽到有效性驗證算法

簽到功能是在學生的Android終端App上實現，雖然已經采用人臉識別、座位二維碼掃描、課堂現場隨機碼校驗的簽到驗證三部曲，但由于相近專業甚至是相近年級的班級都有可能同一學期上同一門課，即便是同一個班的同一門課也可能被安排在同一天甚至是同一間教室，為了保證簽到的有效性，防止非法簽到，在云服務端需要對每次的簽到進行有效性驗證。首先判別學生的專業、年級以及輸入

圖12 ?座位二維碼生成算法

Fig.12 ?Seat QR code generation algorithm

圖13 ?向學生的終端App推送提醒信息

Fig.13 ?Push reminders to students' App

圖14 ?提醒信息模塊查看違規課程

Fig.14 ?Remind information module to view record

的現場隨機碼是否與該課程匹配，然后判別簽到的教室和當前的星期是否與該課程匹配，最后判別簽到時間是否在該課程上課前10分鐘和上課后5分鐘內，即每次課的簽到只有15分鐘時間，例如某課程08：00上課，則有效簽到時間是07：50到08：05之間，目的是為了防止學生過早的簽到和遲到現象，而且簽到需要教師發布的課堂現場隨機碼，正常情況下教師會提前5到10分鐘到達教室。算法如圖15所示。

圖15 ?學生簽到有效性驗證算法

Fig.15 ?The algorithm for verifying the

validity of student check-in

3.4 ?課程是否是當前時間正在上課的判別方法

教師通過Web終端查看自己的課程表，點擊課程表的課程進入簽到管理頁面需要判別該課程是否是當前時間正在上課的課程，判別標準是當前的星期是否匹配，以及當前時間是否在該課程上課時間的前10分鐘和后95分鐘內（一節課45分鐘，兩節課加課間5分鐘為95分鐘，或者按照后臺管理設置的課程和課間時間）。若不是當前時間正在上課的課程，教師無法進入該課程進行查看實時的簽到座位表以及隨機碼發放和已上學時的管理，如圖16所示。

圖16 ?教師無法進入不是當前時間正在上課的課程

Fig.16 ?Teachers cannot enter courses that

are not currently in class

4 ?結語

在考勤簽到管理日益重要，電子化、智能化日益流行的今天，本文設計了一種基于人臉識別的智慧教室簽到管理子系統，關注課堂上的簽到，通過人臉識別、座位二維碼掃描和課堂現場隨機碼校驗的三部曲，在盡可能的降低現有教室改造程度基礎上，完成學生上課簽到管理的信息化及智能化。通過本校2017級計算機科學與技術專業的實際課程的使用情況，效果良好，綜合人臉識別成功率達到98.6%，有個別由于光線角度等原因需要二次識別。簽到管理子系統作為智慧教室系統中重要的子系統，也是智慧校園重要的組成部分，在未來的研究中我們考慮到還可以加入相應的擴展，比如課程及教室智能管理、教室設備智能管理、學生學情分析等等，進一步增強系統的功能和實用性。

參考文獻

[1]Hameed S， Saquib S M T， Hassan M U， et al. Radio Frequency Identification （RFID） Based Attendance & Assessment System with Wireless Database Records[J]. Procedia-Social and Behavioral Sciences， 2015， 195： 2889-2895.

[2]Lodha R， Gupta S， Jain H， et al. Bluetooth Smart Based Attendance Management System[J]. Procedia Computer Science， 2015， 45： 524-527.

[3]Nagothu S K， Kumar O P， Anitha G. GPS Aided Autonomous Monitoring and Attendance System[J]. Procedia Computer Science， 2016， 87： 99-104.

[4]Khaled Mohammed， A. S. Tolba， Mohammed Elmogy. Multimodal student attendance management system （MSAMS）[J]. Ain Shams Engineering Journal， 2018， 9： 2917–2929.

[5]王龍. 基于二維碼的課堂簽到管理系統設計與實現[J]. 軟件工程， 2019， 22（06）： 13-16.

[6]牛亞運， 仲梁維. 融合人臉識別與數據分析的智能簽到系統設計[J/OL]. 軟件導刊： 1-6[2019-07-25]. http： //kns. cnki. net/kcms/detail/42. 1671. TP. 20190624. 1359. 034. html.

[7]吳美香， 鄧園園， 裴楓華， 余松森， 潘家輝. 基于人臉識別的移動課堂考勤系統的設計與實現[J]. 軟件， 2018， 39（01）： 5-8.

[8]吳宗勝. 基于人臉識別的課堂視頻考勤系統設計[J]. 物聯網技術， 2019， 9（06）： 87-89.

[9]景晨凱， 宋濤， 莊雷， 劉剛， 王樂， 劉凱倫. 基于深度卷積神經網絡的人臉識別技術綜述[J]. 計算機應用與軟件， 2018， 35（01）： 223-231.

[10]徐竟澤， 吳作宏， 徐巖， 曾建行. 融合PCA、LDA和SVM算法的人臉識別[J]. 計算機工程與應用， 2019， 55（18）： 34-37.

[11]Suparna Biswas， Jaya Sil. An efficient face recognition method using contourlet and curvelet transform[J]. Journal of King Saud University - Computer and Information Sciences， 2017.

[12]Kevin Santoso， Gede Putra Kusuma. Face Recognition Using Modified OpenFace[J]. Procedia Computer Science， 2018， 135： 510-517.

[13]Fernandes S L， Bala G J. Developing a Novel Technique for Face Liveness Detection[J]. Procedia Computer Science， 2016， 78： 241-247.

[14]T. Faseela， M. Jayasree. Spoof Face Recognition in Video Using KSVM[J]. Procedia Technology， 2016， 24： 1285-1291.

[15]Boulkenafet Z， Komulainen J， Hadid A. Face Spoofing Detection Using Colour Texture[J]. IEEE Transactions on Information Forensics and Security， 2016.

[16]Tereza S， Jan C. Real-Time Eye Blink Detection using Facial Landmarks[C]. 21st Computer Vision Winter Workshop， 2016.

[17]Hamdan B， Mokhtar K. The detection of spoofing by 3D mask in a 2D identity recognition system[J]. Egyptian Informatics Journal， 2017： S1110866517303067.