基于學(xué)生人體檢測的無感知課堂考勤方法

方書雅，劉守印

（華中師范大學(xué)物理科學(xué)與技術(shù)學(xué)院，武漢 430079）

0 引言

文獻［1-3］中提出高校學(xué)生上課率是影響其學(xué)習(xí)成績的重要因素之一。近年來，文獻［4-8］研究基于人臉識別的課堂考勤系統(tǒng)，用來確認學(xué)生是否到課堂聽課，減少教師人工點名的時間開銷。目前單一人臉識別技術(shù)比較成熟。但由于課堂環(huán)境特殊，人臉識別技術(shù)在應(yīng)用到課堂考勤系統(tǒng)中存在許多難點。首先由于學(xué)生數(shù)目較多，教室的面積很大；其次因為教室采光和通風(fēng)的要求，導(dǎo)致教室的窗戶比較多，教室內(nèi)光強分布極度不均勻；最后學(xué)生在上課時的姿態(tài)千變?nèi)f化。這些問題都給課堂考勤中人臉檢測和人臉識別的應(yīng)用帶來挑戰(zhàn)。

基于人臉識別的課堂考勤系統(tǒng)依賴于人臉檢測的性能。從一張包含眾多學(xué)生、學(xué)生姿勢各異、光線不均勻的視頻圖片中檢測出所有學(xué)生的人臉，是一項技術(shù)挑戰(zhàn)。如果不能檢測出所有學(xué)生的人臉，勢必會遺漏上課的學(xué)生。為了避免漏檢，Balcoh 等［4］使用皮膚分類技術(shù)輔助Voila-Jones 人臉檢測算法［9］，提高了檢測過程的效率和準(zhǔn)確性。Fu 等［5］采用基于深度學(xué)習(xí)方法的MTCNN（Multi-Task Convolutional Neural Network）算法［10］進行人臉檢測，該算法具有良好的魯棒性，可以檢測出不同姿態(tài)的人臉，但是仍然會存在漏檢。劉宇明等［11］優(yōu)化了MTCNN 算法［10］并引入時空特征實現(xiàn)對參會人員跟蹤檢測和人數(shù)統(tǒng)計的功能。Sarkar 等［6］使用tiny-face 算法［12］用于檢測不同尺度、不同姿態(tài)的人臉，極大地提高了小尺度人臉的檢測率。雖然上述這些系統(tǒng)使用的人臉檢測方法在準(zhǔn)確率方面有大幅度提升，但是這些方法［4-8］在檢測過程中仍需要學(xué)生主動面向攝像機且保證自己不被其他同學(xué)遮擋。這不僅會干擾學(xué)生和老師的正常上課，同時也不利于后續(xù)在自然狀態(tài)下對學(xué)生的課堂行為和表情進行研究。

通過人臉檢測方法在檢測到學(xué)生人臉后，需要將人臉區(qū)域的圖像裁剪出來，用于人臉識別。人臉識別的性能受人臉姿勢多樣性（低頭、傾斜角度、遮擋等）的影響。龔銳等［13］提出建立多姿態(tài)人臉數(shù)據(jù)集的方法用于人臉識別。Surekha 等［8］將多姿態(tài)人臉數(shù)據(jù)集的方法應(yīng)用到課堂領(lǐng)域，在注冊時采集每個學(xué)生不同姿態(tài)、表情、光照下的多張圖片。但這種方法的弊端是注冊時需要學(xué)生配合，對每個學(xué)生拍攝視頻并選擇合適的多張圖片。這不僅增加了額外的人工開銷，而且沒有在識別過程中考慮人臉姿態(tài)多樣性的影響。

同時，人臉圖像質(zhì)量也是對人臉識別的準(zhǔn)確性造成影響的因素之一。如果學(xué)生人臉在拍攝的視頻圖片中尺寸較小，被裁剪出的人臉圖像再被放縮到統(tǒng)一尺寸時，會出現(xiàn)圖像模糊、圖像質(zhì)量變差的問題，從而影響識別的準(zhǔn)確率。目前，針對低分辨率圖像的人臉識別技術(shù)［14-15］尚未應(yīng)用到課堂識別領(lǐng)域。對此方冠男［16］采用PTZ（Pan/Tilt/Zoom）攝像機對教室進行分區(qū)定點拍攝的方法提高圖像質(zhì)量，但是識別性能有待提高。

為解決上述問題，在基于人臉識別的課堂考勤系統(tǒng)的基礎(chǔ)上，本文提出一種聯(lián)合學(xué)生人體檢測和人臉角度篩選的方法，首先有效降低了漏檢率，其次簡化了學(xué)生人臉注冊數(shù)據(jù)集的采集過程，在降低注冊需要的人臉圖片數(shù)量的同時提高了識別的準(zhǔn)確率，實現(xiàn)無感知、低漏檢、高準(zhǔn)確的課堂學(xué)生識別功能。該方法為解決課堂學(xué)生漏檢問題提供了新的思路。

1 相關(guān)技術(shù)

1.1 Mask R-CNN目標(biāo)檢測算法

Mask R-CNN 算法［17］將目標(biāo)檢測中的Faster R-CNN 算法［18］和語義分割領(lǐng)域的FCN（Fully Convolutional Network）算法［19］相結(jié)合，形成一個可同時進行目標(biāo)檢測和實例分割的多任務(wù)模型。Faster R-CNN 對每個候選對象有兩個輸出，一個類標(biāo)簽和一個邊界框；Mask R-CNN 在其基礎(chǔ)上添加了輸出對象掩碼的第三個分支，對每個感興趣區(qū)域（Region of Interest，RoI）上采用一個小的FCN 實現(xiàn)逐像素點的方法預(yù)測分割掩碼。Mask R-CNN 算法的創(chuàng)新之處在于提出RoIAlign 方法代替了RoIPool［20］方法，采用雙線性插值實現(xiàn)了像素級別的對齊。

Mask R-CNN 算法的優(yōu)點是訓(xùn)練速度快，僅比Faster RCNN 增加少量開銷，運算速度為5幀每秒（Frames Per Second，F(xiàn)PS）。使用ResNeXt-101-FPN 作為骨架的Mask R-CNN 在COCO 實例分割任務(wù)上獲得2016 年MS COCO 比賽的冠軍，在目標(biāo)檢測任務(wù)上取得了很好的效果。權(quán)衡運算速度和檢測準(zhǔn)確率，選擇Mask R-CNN算法檢測學(xué)生人體。

1.2 MTCNN 人臉檢測算法

MTCNN 算法［10］提出了一個深度級聯(lián)多任務(wù)框架，利用人臉檢測與對齊的內(nèi)在相關(guān)性來提高性能。該模型采用了3 個深度卷積神經(jīng)網(wǎng)絡(luò)，并通過由粗糙到細致的方式來預(yù)測臉部整體和特征點的坐標(biāo)。這3 個級聯(lián)的網(wǎng)絡(luò)分別是快速生成候選窗口的P-Net（Proposal Network）、進行高精度候選窗口過濾選擇的R-Net（Refine Network）和生成最終邊界框與人臉關(guān)鍵點的O-Net（Output Network）。該模型也用到了圖像金字塔、邊框回歸、非極大值抑制等技術(shù)。MTCNN 算法準(zhǔn)確率高、檢測速度快，被廣泛應(yīng)用在人臉檢測領(lǐng)域［21-22］。

1.3 FSA-Net 頭部姿態(tài)識別算法

FSA（Fine-grained Structure Aggregation）-Net 算法［23］提出一種直接使用回歸方法的、無標(biāo)志的姿態(tài)估計模型，用于單張圖像的頭部姿態(tài)估計。模型的核心思想是將特征圖在像素級別上的特征組合成一組空間信息編碼的特征，作為聚合的候選特征。該方法的目的是學(xué)習(xí)尋找細粒度的結(jié)構(gòu)映射，以便將像素級別的特征在空間上進行分組以形成更多的冪域級特征。

FSA-Net 算法框架如圖1 所示。輸入的圖像通過兩個支流、三個階段進行提取特征。每個支流在每個階段提取一個特征圖。在每個階段，將兩個支流提取的特征圖融合在一起。對每個階段融合的特征先計算它的注意力圖，然后將特征圖和注意力圖一起被輸入到細粒度結(jié)構(gòu)特征聚合模塊中。該模塊通過對特征圖中的像素級別特征進行空間加權(quán)的方式來編碼特征，然后將這些特征聚合以生成用于回歸的最終代表特征集。最后將這些輸出代入軟階段回歸網(wǎng)絡(luò)（Soft Stagewise Regression network，SSR）函數(shù)以獲得姿態(tài)估計。

圖1 FSA-Net框架Fig.1 FSA-Net framework

FSA-Net 算 法 在AFLW2000（Annotated Facial Landmarks in the Wild 2000）數(shù) 據(jù) 集 和BIWI（Biwi Kinect Head Pose Database）數(shù)據(jù)集上的結(jié)果優(yōu)于現(xiàn)有的方法（基于地標(biāo)的方法和無地標(biāo)的方法），而其模型尺寸是以前方法的1/100 左右。因此本文選用FSA-Net算法進行頭部姿態(tài)識別。

2 無感知課堂考勤系統(tǒng)及方法

本系統(tǒng)增加學(xué)生人體檢測模塊和人臉角度篩選模塊，采用主、從雙攝像機設(shè)備，分別實現(xiàn)教室全景圖的拍攝和定點圖像縮放拍攝的功能。主攝像機拍攝的全景圖像作為學(xué)生人體檢測模塊的輸入，計算分析課堂實到學(xué)生的數(shù)量和位置信息。根據(jù)學(xué)生位置信息，系統(tǒng)控制從攝像機對每個學(xué)生定點縮放拍攝，以獲取高清人臉圖像。最后對獲取的人臉圖像先通過人臉角度篩選，選出合格的正面人臉圖像后再進行識別。

相較于其他人臉考勤系統(tǒng)，本系統(tǒng)有如下4個優(yōu)點：

1）解決了在單次或有限次數(shù)的人臉識別過程中，因人臉信息缺失造成的漏檢問題。

2）可以獲取到每位學(xué)生高清放大的人臉圖像。

3）在學(xué)生無感知的情況下獲取學(xué)生高清的正面人臉圖像用于注冊，極大簡化了傳統(tǒng)的注冊過程。

4）在提高識別率的同時，減少了每個學(xué)生注冊時需要的圖像數(shù)量。

2.1 系統(tǒng)框架

系統(tǒng)在學(xué)生無感知、不影響學(xué)生正常上課的情況下實現(xiàn)學(xué)生注冊和出勤記錄功能。注冊階段不需要額外的設(shè)備，也不需要課下逐個采集學(xué)生圖像信息。具體框架如圖2 所示，系統(tǒng)在注冊和識別階段采用相同的處理方式，都經(jīng)過學(xué)生人體檢測、云臺參數(shù)估計和人臉角度篩選的步驟。不同點在于，注冊過程在初次課程教學(xué)時完成；識別階段則在后續(xù)課程教學(xué)時實時進行。下面對圖2中的硬件和軟件進行詳細介紹。

系統(tǒng)的硬件部分由設(shè)備端和服務(wù)器端組成。設(shè)備采用主、從雙攝像機實現(xiàn)圖像和視頻的采集。其中主攝像機是定焦廣角攝像機，負責(zé)拍攝教室全景圖；從攝像機是PTZ 攝像機，可通過參數(shù)控制從攝像機對感興趣的區(qū)域定點拍攝，并能對區(qū)域的圖像進行縮放處理。系統(tǒng)通過控制主、從雙攝像機，可以獲取教室內(nèi)每位學(xué)生高清放大的人臉圖像。

軟件功能在服務(wù)器端實現(xiàn)，包括學(xué)生人體檢測、云臺參數(shù)估計、人臉角度篩選、注冊和識別部分。首先，采用Mask RCNN 算法對主攝像機拍攝的教室全景圖進行學(xué)生人體檢測，確定實到學(xué)生數(shù)量和每個學(xué)生的位置；然后將學(xué)生位置信息輸入到多元線性回歸模型中，估計出云臺在垂直方向和水平方向上的轉(zhuǎn)動角度和變焦度數(shù)這3 個參數(shù)。通過參數(shù)控制云臺轉(zhuǎn)動，使從攝像機對準(zhǔn)目標(biāo)學(xué)生。接著對從攝像機拍攝的區(qū)域圖進行基于FSA-Net 算法的人臉角度篩選，篩選出清晰、無遮擋的正面人臉。最后根據(jù)情況選擇進入注冊或者識別階段。兩個階段均采用FaceNet 算法［24］對篩選的人臉圖像進行特征提取，在注冊階段使用提取的特征訓(xùn)練支持向量機（Support Vector Machine，SVM）的分類器；在識別階段將提取的特征輸入到訓(xùn)練好的SVM 模型中進行預(yù)測以確定學(xué)生身份。當(dāng)每個學(xué)生位置依次進行識別后，系統(tǒng)輸出本節(jié)課出勤學(xué)生名單。

圖2 系統(tǒng)框架Fig.2 System framework

2.2 無感知課堂考勤方法

2.2.1 學(xué)生人體檢測

現(xiàn)有課堂考勤系統(tǒng)均采用基于人臉的檢測方法，其缺點是檢測過程中完全依賴人臉信息。一旦出現(xiàn)學(xué)生人臉信息缺失的情況（如學(xué)生低頭看書或者記筆記、學(xué)生側(cè)臉、回頭或者被其他學(xué)生遮擋等情況），學(xué)生即使出現(xiàn)在課堂上也會被判為缺勤。而相較于人臉，人體面積更大，包含的信息更多，被全部遮擋住的概率更小。故本系統(tǒng)在人臉檢測的基礎(chǔ)上增加學(xué)生人體檢測模塊，目的是先確定整個課堂實到學(xué)生的數(shù)量和位置信息，避免因人臉信息缺失造成的漏檢。

學(xué)生人體檢測采用目標(biāo)檢測中的Mask R-CNN 算法。輸入圖片Ij，Mask R-CNN算法的標(biāo)準(zhǔn)輸出為｛（bj，maskj，cj，scorej）｝j，j是檢測到的目標(biāo)索引，向量bj是邊界框，maskj是掩碼，cj是類標(biāo)簽，scorej是得分。其中，bj=［y1j，x1j，y2j，x2j］分別代表邊界框的左上頂點和右下頂點在y軸和x軸方向上的圖像坐標(biāo)。Mask R-CNN 算法可以檢測80 種不同類別的物體實例。學(xué)生人體檢測方法將教室全景圖作為輸入，篩選Mask R-CNN輸出中類標(biāo)簽為“person”的邊界框集合B=｛b1，b2，…，bi，…，bN｝作為學(xué)生人體檢測的結(jié)果，N表示檢測到的學(xué)生個數(shù)。

2.2.2 從攝像機控制

通過學(xué)生人體檢測確定到課學(xué)生的數(shù)量和位置后，需要對學(xué)生身份進行識別。為獲取學(xué)生的高質(zhì)量圖像以提高識別的準(zhǔn)確率，系統(tǒng)根據(jù)學(xué)生位置信息控制從攝像機，依次定位到每個學(xué)生，并對學(xué)生圖像進行縮放，獲取高清的視頻圖片。

通過設(shè)置垂直和水平方向上的轉(zhuǎn)動角度以及變焦倍數(shù)這三個參數(shù)，系統(tǒng)可以控制從攝像機轉(zhuǎn)動到指定位置并對圖像進行縮放處理。為了根據(jù)學(xué)生的位置信息得到控制從攝像機運動的三個參數(shù)，本文建立了多元線性回歸模型，其表達式和展開形式如式（1）所示。其中i是學(xué)生的索引號，每個學(xué)生的人體邊界框記為向量bi，矩陣A為回歸系數(shù)項，向量c為隨機誤差項，模型輸出為從攝像機在垂直方向和水平方向上的轉(zhuǎn)動角度pi和ti，以及變焦倍數(shù)zi。

通過這3 個參數(shù)控制云臺轉(zhuǎn)動，使從攝像機對準(zhǔn)本張全景圖中的第i個學(xué)生，并在后續(xù)過程中識別該學(xué)生。

2.2.3 人臉角度篩選

本文通過實驗發(fā)現(xiàn)上課時學(xué)生不會一直抬頭看向黑板或者教師（面朝攝像機），會出現(xiàn)側(cè)臉、低頭或前后排學(xué)生遮擋。在對每個學(xué)生進行識別的過程中，若采取實時檢測，則會造成嚴重的系統(tǒng)負擔(dān)；若隨機選擇一張或者多張圖像進行人臉檢測，則無法保證圖像包含有效的人臉信息。因此，在人臉識別前，系統(tǒng)會對檢測到的人臉進行角度識別篩選出正面人臉圖像。具體流程如圖3所示。

圖3 人臉角度篩選的流程Fig.3 Flowchart of face angle filtering

系統(tǒng)對從攝像機獲取的第i個學(xué)生的圖像依次進行人臉檢測和人臉角度篩選，將獲取到的第i個學(xué)生的第r圖像記為Xir。先采用MTCNN 算法對圖像Xir進行人臉檢測，輸出160×160維的人臉圖像Fir；再通過FSA-Net頭部姿態(tài)識別算法對人臉圖像Fir進行角度值的預(yù)測，輸出偏航角yir、俯仰角pir、翻滾角rir。如式（2）：

如果3 個角度的取值范圍滿足式（3）或（4）的條件，則認為第i個學(xué)生的第r人臉圖像Fir是合適的正面人臉圖像，可被用于后續(xù)的訓(xùn)練或者識別：

3 實驗及分析

為驗證學(xué)生人體檢測方法性能優(yōu)于主流的人臉檢測算法，設(shè)計了學(xué)生人體檢測實驗。針對人臉角度篩選方法能夠降低注冊數(shù)據(jù)量、提高識別準(zhǔn)確率的說法，設(shè)計了人臉角度篩選實驗。最后對系統(tǒng)進行整體測試。三個實驗采用不同的評價指標(biāo)，驗證基于學(xué)生人體檢測的無感知課堂考勤方法在不同評價指標(biāo)上的性能表現(xiàn)和提升。

3.1 評價指標(biāo)

學(xué)生人體檢測實驗將比較人臉檢測算法和Mask R-CNN算法的性能。因二者都屬于目標(biāo)檢測領(lǐng)域，故該實驗采用目標(biāo)檢測算法最常用的指標(biāo)：檢測速度和MS COCO 目標(biāo)檢測挑戰(zhàn)中使用的、評估精度。分別表示IOU 設(shè)置的閾值為0.5 和0.75 時的平均精度（Average Precision，AP）。APcoco是IOU 設(shè)置的閾值從0.5～0.95，以0.05 的步長，分別計算AP 最后將所有結(jié)果取的均值。重疊比（Intersection Over Union，IOU）的計算公式如下：

設(shè)學(xué)生人體檢測或人臉檢測預(yù)測的任意一個邊界框為向量b，其對應(yīng)的真實邊界框為向量bg。

人臉角度篩選實驗和系統(tǒng)驗證實驗分別采用平均精度均值（Mean Average Precision，MAP）和準(zhǔn)確率η作為評價指標(biāo)，如式（6）和（7）所示：

其中：N表示學(xué)生個數(shù)，TP（True Positive）是正確檢測到的出勤學(xué)生數(shù)量，F(xiàn)P（False Positive）是檢測錯誤的學(xué)生，TN（True Negative）是正確檢測到的缺席學(xué)生數(shù)量。

3.2 學(xué)生人體檢測實驗

實驗對比了本文采用的Mask R-CNN 算法和課堂考勤系統(tǒng)中常用的三種人臉檢測算（Voila-Jones［9］、MTCNN［10］、Tinyface［12］）在平均精度和檢測速度上的差異。數(shù)據(jù)采集了同一間教室12個課堂的200張全景圖片。采集方式為在學(xué)生正常上課的情況下，每2 min 保存一張全景圖片，并對每一張全景圖內(nèi)的學(xué)生人臉和人體分別進行人工標(biāo)注作為驗證集。實驗結(jié)果如圖4和表1所示。

圖4 針對某圖的4種算法檢測結(jié)果Fig.4 Detection results of four algorithms of a certain photograph

表1 是4 種算法根據(jù)評價指標(biāo)在200 張數(shù)據(jù)集上的實驗結(jié)果。除Voila-Jones 算法，其他3 種深度學(xué)習(xí)的算法均使用GPU 進行加速。從檢測速度上看，傳統(tǒng)的Voila-Jones 算法在不適用GPU 加速時的速度明顯比深度學(xué)習(xí)算法檢測速度上高一個數(shù)量級。但是在檢測精度上，深度學(xué)習(xí)算法要明顯優(yōu)于Voila-Jones算法。

表1 四種算法結(jié)果Tab.1 Results of four algorithms

在3 種人臉檢測算法中，Tiny-face 算法在APcoco、三個指標(biāo)上都明顯高于其他2 種人臉檢測算法。與MTCNN 人臉檢測算法相比，Tiny-face 算法在指標(biāo)上具有明顯優(yōu)勢，高出約15 個百分點。雖然Tiny-face 算法在指標(biāo)上與Mask R-CNN 算法效果相同，但是Mask R-CNN 算法能夠兼顧在不同IOU 閾值下的AP值、APcoco、指標(biāo)上分別提升了約17個百分點和36個百分點。這是由于人體比人臉面積更大，在一定程度上降低了檢測難度。與Tiny-face算法相比，Mask R-CNN 算法耗時減少了57%。

圖4 是對同一張教室全景圖采用不同算法的檢測結(jié)果，其中的矩形框是檢測到的人臉或人體的邊界框。為保護學(xué)生的隱私權(quán)，對結(jié)果圖片進行了人工打碼。圖4（a）、（b）、（c）三種人臉檢測算中，檢測效果最好的是Tiny-face算法，只漏檢了最后一排低頭和被遮擋的兩個學(xué)生。Voila-Jones 算法和MTCNN 算法分別漏檢了8 個和5 個學(xué)生。圖4（d）采用Mask R-CNN 人臉檢測算法的檢測結(jié)果優(yōu)于Tiny-face 算法，所有學(xué)生都被檢測到。

因此Mask R-CNN 算法在精度和檢測速度上都優(yōu)于Tinyface 人臉檢測算法。從實驗結(jié)果可知，本文提出的學(xué)生人體檢測方法可以減少因為人臉信息缺失造成的學(xué)生漏檢。

3.3 人臉角度篩選實驗

人臉角度篩選方法可以用在注冊階段和識別階段。本實驗的目的是驗證在兩個階段均采用人臉角度篩選方法會提高最終識別的準(zhǔn)確率，并減小注冊時的數(shù)據(jù)量。本實驗的對象為某課堂的14 名學(xué)生。以該課堂第一次上課時采集的數(shù)據(jù)作為訓(xùn)練集，后續(xù)三周的數(shù)據(jù)作為人臉識別的測試集。

在注冊階段，采用人臉角度篩選方法為14 名學(xué)生每人篩選出10 張正面人臉圖像，共計140 張，制作成篩選訓(xùn)練集Train-With10。在后續(xù)三周的課堂上，使用同樣的方式采集每名學(xué)生正面人臉圖像共計420 張，制作成篩選測試集Test-With10。為進行對照實驗，在注冊和識別階段，通過MTCNN檢測算法對每名學(xué)生的視頻流進行裁剪，再由人工為每名學(xué)生篩選出20 張不同角度的人臉圖像，制作成多姿態(tài)人臉數(shù)據(jù)集Train-Without20 和Test-Without20。數(shù)據(jù)集的詳細介紹如表2 所示。因為經(jīng)過人臉角度篩選后的人臉圖片比多姿態(tài)人臉圖片少，所以兩種類型的數(shù)據(jù)集的大小不同。

圖5 為某學(xué)生的8 張人臉圖片：第一行的4 張圖片來自于篩選數(shù)據(jù)集；第二行的4 張圖片來自于多姿態(tài)人臉數(shù)據(jù)集。由圖可知，篩選數(shù)據(jù)集中的圖像為正面人臉圖像，不同圖像中的人臉角度差別較??；而在多姿態(tài)人臉數(shù)據(jù)集中，有回頭、側(cè)臉和低頭的人臉圖像，人臉角度差異較大。

表2 數(shù)據(jù)集介紹Tab.2 Introduction of datasets

圖5 兩種數(shù)據(jù)集圖片樣例Fig.5 Sample images of two datasets

實驗使用訓(xùn)練集Train-With10 和Train-Without20 分別采用Facenet算法［24］訓(xùn)練對應(yīng)的人臉分類模型，并在Test-With10和Test-Without20 這兩個測試集上測試其性能。實驗結(jié)果如表3 所示，兩個模型在篩選過的Test-With10 測試集上的MAP值均高于不篩選的Test-Without20 測試集，分別提高了1 個百分點和5 個百分點。在篩選過的測試集上，使用篩選過的訓(xùn)練模型（Train-With10 模型）的MAP 值比不篩選的模型（Train-Without20模型）提高了3個百分點。

表3 模型測試結(jié)果 單位：%Tab.3 Model test results unit：%

在表3 中，Train-Without20 模型在Test-Without20 測試集上的準(zhǔn)確率為90%，其物理含義是在注冊和識別時均采用多姿態(tài)人臉方法的準(zhǔn)確率為90%；同理，Train-With10 模型在Test-With10測試集上的準(zhǔn)確率表示在注冊和識別時均采用人臉角度篩選方法的準(zhǔn)確率為94%。由此可知，在注冊和識別過程中均采用人臉角度篩選方法，與多姿態(tài)人臉注冊和識別的方法相比，可以將識別準(zhǔn)確率提高4個百分點。

為證實采用人臉角度篩選的方法可以減少學(xué)生注冊時的數(shù)據(jù)量，將訓(xùn)練集Train-With10 中每個人的圖片從10 張減少至5 張，記為訓(xùn)練集Train-With5。訓(xùn)練集Train-With10 和Train-With5 分別用于模型訓(xùn)練并在Test-With10 測試集上進行測試。兩個模型在測試集上的MAP 值均為94%。因此在保證識別率的同時，可以減少數(shù)據(jù)量，對每個同學(xué)只采集5 張圖片制作訓(xùn)練集。

3.4 系統(tǒng)驗證實驗

為測試整個系統(tǒng)的性能，對3.3 節(jié)的同一實驗對象進行實時課堂識別。一共檢測了6 節(jié)課，每次上課時間相隔一周。6 次識別中5 次識別的準(zhǔn)確率為100%；1 次為92.8%，即一位同學(xué)被誤判。從系統(tǒng)實驗結(jié)果分析，本系統(tǒng)識別的準(zhǔn)確率較高。

4 結(jié)語

本文提出一種聯(lián)合學(xué)生人體檢測和人臉角度篩選的方法，改進現(xiàn)有系統(tǒng)的整體框架和學(xué)生注冊方案。研究表明人體檢測方法能夠有效緩解因人臉信息缺失造成的人臉漏檢問題；在注冊和識別階段均采用人臉角度篩選方法可以減少注冊需要的數(shù)據(jù)量，提高識別準(zhǔn)確率，在課堂應(yīng)用場景下優(yōu)于建立多姿態(tài)人臉數(shù)據(jù)集的方法。本文為課堂學(xué)生出勤率檢測提供了一種新的解決思路，具有一定的實踐意義。在后續(xù)課堂人臉識別的研究中，可以考慮使用超分辨率圖像重建技術(shù)提高人臉識別的準(zhǔn)確率、降低硬件成本。