基于人臉識別的視聽殘障學(xué)生教學(xué)課堂考勤系統(tǒng)

卓然 高飛 牟遠(yuǎn)明 楊初華

摘要：本文基于人臉識別技術(shù)，采用人臉識別結(jié)合人臉特征匹配的方法，并根據(jù)視聽障礙學(xué)生的特點(diǎn)，對視聽殘障課堂考勤系統(tǒng)進(jìn)行探索與設(shè)計(jì)，設(shè)計(jì)開發(fā)了一款視聽殘障學(xué)生的無感知課堂考勤系統(tǒng)并對存在的問題進(jìn)行了闡述。

關(guān)鍵詞：人臉識別;殘障學(xué)生教學(xué);無感知考勤

中圖分類號：TP183 ?文獻(xiàn)標(biāo)識碼：A ?論文編號：1674-2117（2021）07-0101-04

引言

近年來，隨著國家對特殊教育的重視，殘疾人教育公平得到了社會各界人士的關(guān)注。教育部等七部門印發(fā)的《第二期特殊教育提升計(jì)劃（2017—2020年）》的總體要求為：到2020年，各級各類特殊教育普及水平全面提高，殘疾兒童少年義務(wù)教育入學(xué)率達(dá)到95%以上，非義務(wù)教育階段特殊教育規(guī)模顯著擴(kuò)大。

在課堂教學(xué)中，要保證正常的課堂秩序，課堂考勤是不可缺少的關(guān)鍵一環(huán)。在各類殘疾障礙學(xué)生當(dāng)中，視力障礙學(xué)生和聽力障礙學(xué)生的課堂考勤存在的困難比較突出。其中，視力障礙學(xué)生在考勤時(shí)因?yàn)樽陨硪暳φ系K，不能查看輸出設(shè)備上的電子考勤表單，通常采用人工大聲宣讀被考勤人的名單來進(jìn)行單獨(dú)考勤;而聽力障礙學(xué)生在考勤時(shí)，因自身聽力障礙，不能采用聽讀方式進(jìn)行考勤，通常通過手語結(jié)合投影儀投放考勤表單進(jìn)行考勤。但這些考勤方式都存在局限性，常常出現(xiàn)被考勤人注意力不集中而錯(cuò)過考勤的情況，嚴(yán)重影響了課堂考勤的效率。為此，采用人臉識別技術(shù)進(jìn)行無感知考勤成為特殊教育領(lǐng)域課堂教學(xué)的研究熱點(diǎn)之一。

隨著信息技術(shù)的發(fā)展，人臉識別技術(shù)在各個(gè)領(lǐng)域中的應(yīng)用日漸深入，很多學(xué)者開始探討該技術(shù)在課堂管理和課堂考勤方面的應(yīng)用。文獻(xiàn)[6]中，官瑞坤等以人臉識別技術(shù)為基礎(chǔ)，以Face++為云平臺設(shè)計(jì)了Android智能考勤系統(tǒng)，系統(tǒng)簡單易用，但僅支持Android系統(tǒng);文獻(xiàn)[7]中，金維香等通過OpenCV與Python語言相結(jié)合，基于人臉識別技術(shù)設(shè)計(jì)的課堂考勤系統(tǒng)，提高課堂考勤效率;文獻(xiàn)[8]中，牛作東等基于計(jì)算機(jī)視覺技術(shù)，根據(jù)MVC架構(gòu)搭建系統(tǒng)整體結(jié)構(gòu)，設(shè)計(jì)了基于深度學(xué)習(xí)的計(jì)算機(jī)視覺模型進(jìn)行人臉檢測和識別，通過Web服務(wù)實(shí)現(xiàn)實(shí)時(shí)考勤功能;文獻(xiàn)[9]中，朱靖嫻等利用人臉識別技術(shù)實(shí)現(xiàn)了基于Java的在線考勤系統(tǒng)，存在著一定的考勤錯(cuò)誤率;文獻(xiàn)[10]中，葉璠等基于MTCNN人臉檢測技術(shù)，利用VGG19神經(jīng)網(wǎng)絡(luò)提取出的特征訓(xùn)練SVM模型，確保識別的可靠性。

上述的考勤方法，有各自的優(yōu)勢和不足，但是應(yīng)用到視聽殘障學(xué)生的考勤有較大的困難。本文基于人臉識別技術(shù)，采用的是虹軟sdk和c#語言，并根據(jù)視聽障礙學(xué)生的特點(diǎn)，對視聽障課堂考勤系統(tǒng)進(jìn)行探索與設(shè)計(jì)。

系統(tǒng)設(shè)計(jì)

基于人臉識別的視聽殘障學(xué)生教學(xué)課堂考勤系統(tǒng)功能可描述為：通過人臉注冊模塊對各類殘障學(xué)生進(jìn)行人臉注冊以建立人臉庫;通過人臉識別模塊判斷學(xué)生的簡單信息并存儲;通過圖像識別模塊，進(jìn)行圖片檢測，可識別圖片的年齡、性別等信息，提取人臉特征并添加標(biāo)記;通過視頻檢測模塊控制攝像頭采集課堂圖像，檢測人臉并與人臉庫進(jìn)行比對，實(shí)現(xiàn)人臉無感知考勤;通過數(shù)據(jù)庫模塊，存儲人臉特征信息，經(jīng)過識別與比對過程后，記錄學(xué)生考勤的信息。本系統(tǒng)開發(fā)成本低，搭設(shè)簡單，兼容市面上各類攝像頭;支持離線服務(wù)，可在無網(wǎng)絡(luò)環(huán)境下使用，本地化部署，保證數(shù)據(jù)的安全;可在正常光線與合適的角度下進(jìn)行人臉查找和人臉檢測，能有效判斷學(xué)生的性別和年齡等信息;能進(jìn)行RGB活體檢測和IR活體檢測，防止照片考勤。系統(tǒng)界面如圖1所示。

系統(tǒng)主要功能的實(shí)現(xiàn)

1.人臉注冊模塊

人臉注冊模塊最重要的功能是對人臉庫圖片進(jìn)行人臉檢測和提取人臉特征，最后把相關(guān)數(shù)據(jù)保存到數(shù)據(jù)庫模塊。該模塊需預(yù)先導(dǎo)入人臉庫圖片，可手動選擇圖片的路徑，模塊預(yù)設(shè)圖片的常見格式進(jìn)行圖片的選擇，可以同時(shí)導(dǎo)入多個(gè)圖片，導(dǎo)入的同時(shí)對圖片格式的適用性進(jìn)行檢查。人臉檢測之前，需要對圖片進(jìn)行檢查和處理，對過大的圖片進(jìn)行剪裁，處理后得到的圖片寬度也有相應(yīng)的要求，以便于后續(xù)的人臉檢測操作。

人臉檢測操作通過虹軟FaceUtil模塊中的DetectFace函數(shù)進(jìn)行檢測，通過循環(huán)語句判斷每一張圖片的檢測結(jié)果，將檢測的圖片信息存入圖片暫存列表中。人臉檢測使用的語句為：ASF_MultiFaceInfo multiFaceInfo = FaceUtil.DetectFace（pImageEngine， image）。通過如下語句將人臉特征結(jié)構(gòu)體的指針轉(zhuǎn)換為人臉特征結(jié)構(gòu)：MRECT rect = MemoryUtil.PtrToStructure（multiFaceInfo.faceRects）。

提取人臉特征操作需從圖片暫存列表中讀取圖片，使用虹軟模塊中的ExtractFeature函數(shù)進(jìn)行圖片中人臉特征的提取，若提取成功，則將人臉特征值存入人臉特征列表。提取人臉特征使用的語句為：IntPtr feature = FaceUtil.ExtractFeature（pImageEngine， image， out singleFaceInfo）。

2.圖像識別模塊

圖像識別模塊的主要功能是檢測圖像是否可用，通過虹軟模塊進(jìn)行人臉檢測，并進(jìn)行年齡檢測、性別檢測和3DAngle檢測，檢測結(jié)束后提取人臉特征，并用矩形框?qū)θ四樳M(jìn)行標(biāo)記并顯示。圖像具體要求為不超過2MB，圖像地址有效，圖像寬度為4的倍數(shù)，若圖像尺寸過大可以進(jìn)行裁剪處理。各種檢測均使用的是虹軟FaceUtil模塊中的檢測函數(shù)，如性別檢測使用的語句為：ASF_GenderInfo genderInfo = FaceUtil.GenderEstimation（pImageEngine， imageInfo， multiFaceInfo， out retCode_Gender）。檢測完畢將人臉進(jìn)行標(biāo)記的語句為：srcImage = ImageUtil.MarkRectAndString（srcImage， （int）（temp.left * scaleRate）， （int）（temp.top * scaleRate）， （int）（temp.right * scaleRate） - （int）（temp.left * scaleRate）， （int）（temp.bottom * scaleRate） - （int）（temp.top * scaleRate）， ageTemp， genderTemp， picImageCompare.Width）。

3.視頻檢測模塊

視頻檢測模塊按照功能來分可以分為以下三個(gè)部分：初始化檢測、RGB攝像頭事件和RGB-IR攝像頭事件。該模塊能實(shí)現(xiàn)自動檢測攝像頭并獲取圖像，檢測圖像中的人臉并標(biāo)注矩形框，進(jìn)行對應(yīng)的活體檢測并將信息傳到數(shù)據(jù)庫。具體如圖2所示。

模塊中，初始化檢測主要檢測的是攝像頭的數(shù)量和類型，以確保程序的正常運(yùn)行。當(dāng)程序檢測到視頻檢測按鈕被點(diǎn)擊時(shí)，開始初始化檢測，以防出現(xiàn)點(diǎn)擊視頻檢測按鈕之前將攝像頭拔掉的情況。若未檢測到攝像頭，則返回相應(yīng)的提示并返回。若攝像頭已經(jīng)開啟，則關(guān)閉攝像頭以防占用，并將閾值控件、各個(gè)按鈕以及各類參數(shù)重置。若檢測到RGB-IR攝像頭，則進(jìn)行RGB-IR攝像頭加載，雙攝標(biāo)志調(diào)為True;若檢測到RGB攝像頭，則加載對應(yīng)的攝像頭。

若檢測到的是RGB攝像頭，則啟動RGB攝像頭事件。首先確保RGB攝像頭正常運(yùn)作，得到當(dāng)前攝像頭下的圖片，獲得格式為Bitmap，檢測人臉，對人臉進(jìn)行畫框，將上一幀檢測結(jié)果顯示到程序頁面上。檢測過程保證只檢測一幀，可防止頁面卡頓以及出現(xiàn)其他內(nèi)存被占用的情況。通過排入線程池來進(jìn)行異步處理提取特征值和比對，以防止程序卡頓。先將位圖格式調(diào)整為ImageInfo類，然后進(jìn)行RGB活體檢測，并提取比對結(jié)果，將結(jié)果顯示在頁面上。

若檢測到的是RGB-IR攝像頭，且攝像頭正常工作，則獲取IR攝像頭的圖片。具體流程與RGB攝像頭的流程基本一致，在檢測人臉框時(shí)，可檢測判斷RGB圖片的人臉框與IR攝像頭檢測的人臉庫偏移量是否在誤差允許范圍內(nèi)，增加檢測的準(zhǔn)確率。最后進(jìn)行的是IR活體檢測，并將結(jié)果顯示在頁面上。

其中的RGB活體檢測語句如下：ASF_LivenessInfo liveInfo = FaceUtil.LivenessInfo_RGB（pVideoRGBImageEngine， imageInfo， multiFaceInfo， out retCode_Liveness）。IR活體檢測的語句如下：ASF_LivenessInfo liveInfo = FaceUtil.LivenessInfo_IR（pVideoIRImageEngine， irImageInfo， irMultiFaceInfo， out retCode_Liveness）。

4.數(shù)據(jù)庫模塊

數(shù)據(jù)庫模塊的主要功能是保存人臉特征信息，便于與實(shí)時(shí)視頻中的人臉特征信息進(jìn)行比對，且相似度大于閾值的視為比對成功。比對成功的學(xué)生信息保存入考勤數(shù)據(jù)庫，記作考勤成功，系統(tǒng)根據(jù)課程表事先會設(shè)置好時(shí)間和日期，本次考勤的結(jié)果會自動計(jì)入數(shù)據(jù)庫的下一項(xiàng)，以節(jié)省考勤的時(shí)間。

存在的問題

本系統(tǒng)在設(shè)計(jì)時(shí)，考慮過視聽障礙學(xué)生應(yīng)用臉部識別的有效性，因?yàn)槿四樧R別技術(shù)不同于虹膜識別技術(shù)，它是將臉部特征轉(zhuǎn)換為一組矢量數(shù)據(jù)，然后通過對該數(shù)據(jù)比對來確定學(xué)生的考勤情況。雖然在實(shí)際測試中能順利實(shí)現(xiàn)對視聽障礙學(xué)生的臉部識別，但因?yàn)橐暵犝系K課堂的特殊性，在實(shí)際測試時(shí)也出現(xiàn)了一些的問題。

1.視力障礙學(xué)生戴墨鏡的問題

在實(shí)際課堂教學(xué)過程中，有部分視力障礙學(xué)生會佩戴墨鏡，究其原因是視力障礙學(xué)生佩戴墨鏡能創(chuàng)造無光的學(xué)習(xí)環(huán)境。但是如果佩戴墨鏡，會覆蓋眼睛附近的特征點(diǎn)，造成識別度很低。在實(shí)際課堂教學(xué)中若要克服這個(gè)問題，可以與學(xué)生預(yù)先協(xié)商一個(gè)時(shí)間段，在此時(shí)間段中摘掉眼鏡，等考勤完成后再戴上。

2.視力障礙學(xué)生人臉朝向問題

在教學(xué)過程中，因?yàn)橐暳φ系K學(xué)生主要通過聽覺來學(xué)習(xí)，所以聽課時(shí)學(xué)生臉部朝向是隨機(jī)的。因此，臉部朝向問題造成的系統(tǒng)無法考勤的問題也是存在的。目前解決問題的方法，一是延長考勤的時(shí)間，等待學(xué)生臉部朝向變換以實(shí)現(xiàn)識別考勤，二是提醒學(xué)生保持良好的坐姿。

3.學(xué)生隱私保護(hù)問題

視聽障礙學(xué)生對個(gè)人隱私十分重視，對于人臉識別這一新興技術(shù)和考勤系統(tǒng)容易出現(xiàn)理解偏差，教師必須做好解釋工作。在實(shí)行人臉識別考勤之前，要先征求學(xué)生的意見，解釋考勤系統(tǒng)運(yùn)作的原理，并強(qiáng)調(diào)該系統(tǒng)只產(chǎn)生考勤數(shù)據(jù)，不錄像并且不涉及學(xué)生的個(gè)人隱私，取得學(xué)生理解后方可執(zhí)行后續(xù)操作。

結(jié)束語

人臉識別技術(shù)在視力障礙課堂的應(yīng)用研究剛剛起步，研究表明，基于人臉識別技術(shù)的考勤系統(tǒng)能滿足大部分視聽障礙學(xué)生的考勤需求，能有效提高視聽障礙課堂的考勤效率，相較于其他考勤方式有很大的優(yōu)勢。但是，因?yàn)橐暵犝系K學(xué)生本身的特殊性，該系統(tǒng)還有一些問題有待改善。對于這些問題，將在后續(xù)的研究中深入探索。

參考文獻(xiàn)：

[1]教育部等七部門.第二期特殊教育提升計(jì)劃（2017-2020年）[Z].2017-07-18.

[2]王伯槐.基于人臉識別的高校考勤系統(tǒng)的設(shè)計(jì)[J].物聯(lián)網(wǎng)技術(shù)，2017（10）：62-63.

[3]陳明遜.人臉識別學(xué)生管理系統(tǒng)的設(shè)計(jì)[J].電子世界，2018（20）：206.

[4]杜雅林.基于Emgu_CV的人臉識別[J].福建電腦，2015（04）：24-25.

[5]劉瑞歌.基于EmguCV的人臉考勤系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].濱州學(xué)院學(xué)報(bào)，2019（04）：65-69.

[6]官瑞坤.基于Face++的“刷臉”課堂考勤系統(tǒng)[J].信息系統(tǒng)工程，2017（03）：99-10.

[7]金維香.基于OpenCV的人臉識別課堂考勤系統(tǒng)[J].浙江水利水電學(xué)院學(xué)報(bào)，2019（6）：58-62.

[8]牛作東.基于計(jì)算機(jī)視覺的課堂實(shí)時(shí)考勤系統(tǒng)設(shè)計(jì)[J].電子測試，2020（4）：60-62.

[9]朱靖嫻.基于人臉識別的考勤系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].無線互聯(lián)科技，2019（3）：61-63.

[10]葉璠.基于人臉識別的課堂考勤系統(tǒng)研究與實(shí)現(xiàn)[D].西安：陜西師范大學(xué)，2019.

基金項(xiàng)目：浙江省教育廳高等學(xué)校訪問學(xué)者教師專業(yè)發(fā)展項(xiàng)目（批準(zhǔn)號：fx2019122）。