基于MTCNN的輔助課程考勤及助學(xué)APP的設(shè)計與實現(xiàn)

隨著電子娛樂的日益發(fā)展，越來越多的學(xué)生癡迷于這些電子娛樂，造成頻繁曠課、逃課和退課等現(xiàn)象，從而造成不良教學(xué)秩序和教學(xué)安全隱患。現(xiàn)如今，教師又面臨較沉重的教學(xué)負重，難以有效管理課堂考勤和推進課堂互動。而曠課學(xué)生缺課多，且缺乏自學(xué)能力，容易導(dǎo)致這些學(xué)生掌握知識明顯不足，教師又往往缺乏相應(yīng)的補救措施。另外，傳統(tǒng)考勤方式不僅存在一定的遺漏和耽誤課程教學(xué)，還存在一定的虛假簽到以至產(chǎn)生安全風(fēng)險等問題。因此，本文結(jié)合前期調(diào)研工作，研發(fā)了一款基于MTCNN的輔助課程考勤及助學(xué)APP，通過利用MTCNN進行人臉檢測和輕量級MobileFaceNet模型進行特征提取，結(jié)合相似度計算實現(xiàn)高效的考勤管理，以從而提升學(xué)生課堂參與度。

一、引言

隨著互聯(lián)網(wǎng)技術(shù)的迅速發(fā)展，越來越多的電子娛樂產(chǎn)品日益豐富，日漸龐大的學(xué)生群體開始沉迷其中，這不僅存在較嚴(yán)重的曠課、退課現(xiàn)象，使得他們無法很好地獲取知識和技能，還帶來了不可忽略的校園安全風(fēng)險。與此同時，授課教師由于繁重的教學(xué)、科研和管理工作，以及學(xué)生數(shù)量日益增加，對此并沒有恰當(dāng)?shù)呐e措，導(dǎo)致學(xué)生跟不上課程教學(xué)進度，產(chǎn)生“一步錯，步步錯”的問題。此外，傳統(tǒng)的考勤方式容易出錯以及考勤表有丟失的風(fēng)險。這些問題正在日益成為社會關(guān)注與討論的話題之一。

隨著深度學(xué)習(xí)的日益發(fā)展，相關(guān)技術(shù)越來越成熟且吸引眼球，而CNN技術(shù)更是其中的佼佼者，在此基礎(chǔ)之上發(fā)展的MTCNN模型則更為高效與成熟；由于是開發(fā)安卓APP，性能指標(biāo)有一定的要求，而基于MTCNN技術(shù)的輕便小巧的MobileFaceNet是一種專門用在手機開發(fā)上的一種輕量級人臉驗證網(wǎng)絡(luò)，參數(shù)量和運算量相對較少，穩(wěn)定性和應(yīng)用能力都有一定的保障，相對其他模型更加適合移動平臺。

二、相關(guān)理論及技術(shù)

（一）MTCNN基本原理與結(jié)構(gòu)

MTCNN是一種多任務(wù)級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)，其本質(zhì)是一種針對人臉檢測與關(guān)鍵點定位的機器學(xué)習(xí)算法。這種算法的基本原理是通過連接多個卷積神經(jīng)網(wǎng)絡(luò)以從粗略到精細的篩選和檢測人臉各個區(qū)域，并進一步學(xué)習(xí)如何預(yù)測關(guān)鍵點，其主要由三個CNN網(wǎng)絡(luò)連接而成。其中，每個網(wǎng)絡(luò)的任務(wù)都有各自的側(cè)重點，但也脫離不開CNN的范圍：P網(wǎng)絡(luò)切割與生成人臉候選區(qū)域，R網(wǎng)絡(luò)則是對P網(wǎng)絡(luò)生成的候選區(qū)域精挑細選，O網(wǎng)絡(luò)則對最終的人臉區(qū)域和關(guān)鍵點分別進行定位和預(yù)測。

在結(jié)構(gòu)上，MTCNN的三個網(wǎng)絡(luò)極度相似，包含大量的卷積層、池化層、全連接層等等。其中，卷積層負責(zé)提取人臉圖像的特征，池化層用于降低特征圖的維度以降低后續(xù)計算的難度，全連接層則負責(zé)預(yù)測和輸出結(jié)果，通過多層次的結(jié)構(gòu)，MTCNN得以準(zhǔn)確和高效地進行人臉圖像識別如圖1所示。

MTCNN（Multi-Task Cascaded Convolutional Networks）人臉檢測過程可以描述如下：

生成圖像金字塔：對人臉圖像進行算法建議的尺度進行重復(fù)和多次放縮（通常在0.70—0.80之間），最后直到最小尺寸達到P網(wǎng)絡(luò)的標(biāo)準(zhǔn)要求（12×12大小）。

Pnet篩選：人臉圖片輸入到P網(wǎng)絡(luò)后，首先生成大量的候選人臉框，接著通過分類得分篩選，并進一步使用偏移量校準(zhǔn)，最后利用非極大值抑制（NMS）基于IOU值進一步篩選更佳的結(jié)果。

Rnet精調(diào)：P網(wǎng)絡(luò)利用得到對應(yīng)的候選框坐標(biāo)，以此截取對應(yīng)位置（截取時采用最大邊長的正方形以避免形變），進一步的要調(diào)整到24×24的標(biāo)準(zhǔn)大小，送至R網(wǎng)絡(luò)精細精調(diào)，通過分類得分篩選、偏移量調(diào)整和NMS等手段，進一步減少候選集合。

Onet的輸出與預(yù)測：R網(wǎng)絡(luò)精挑細選之后，剩余的候選圖片集被輸送到O網(wǎng)絡(luò)里面，經(jīng)過分類得分篩選，框調(diào)整和NMS等方式后，最后得到相對精確的人臉區(qū)域位置和關(guān)鍵點。

綜上所述，整個過程借助三個CNN網(wǎng)絡(luò)（Pnet、Rnet、Onet）級聯(lián)實現(xiàn)，從大概到相對精確的鎖定人臉區(qū)域位置和預(yù)測關(guān)鍵點，實現(xiàn)了高效準(zhǔn)確的人臉檢測。

三、基于MTCNN的輔助課程考勤系統(tǒng)的設(shè)計與實現(xiàn)

本文引入了一個基于M T C N N的輔助課程考勤及助學(xué)的安卓APP，其系統(tǒng)通過使用基于MTCNN的MobileFaceNet模型進行提取使用者的人臉特征和實時檢測人臉，以達到自動考勤的目的。下面，筆者將對整體的系統(tǒng)構(gòu)造和算法以及實現(xiàn)過程進行介紹。

該應(yīng)用基于Androidstudio和IDEA進行開發(fā)，系統(tǒng)主要包括人臉檢測、特征提取和相似度計算三個模塊。人臉檢測模塊利用MTCNN模型實現(xiàn)實時檢測，特征提取模塊采用MobileFaceNet模型提取人臉特征，相似度計算模塊則通過比較特征向量的距離來實現(xiàn)身份匹配。

可如何使用MTCNN模型進行人臉和活體檢測的呢？首先，MTCNN是一個多任務(wù)級聯(lián)卷神經(jīng)網(wǎng)絡(luò)，通過訓(xùn)練大量人臉數(shù)據(jù)，MTCNN能夠高效和準(zhǔn)確地判斷活體和定位人臉特征和關(guān)鍵點，并且獲取相關(guān)的人臉框位置和大小。

進一步的，為了能夠高效地和不占用太多性能地提取人臉特征，本系統(tǒng)利用了MobileFaceNet模型作為實現(xiàn)的方式，該模型作為一個輕量級的機器學(xué)習(xí)網(wǎng)絡(luò)，能夠在有限的資源基礎(chǔ)上實現(xiàn)高識別精度和自動降低計算維度和復(fù)雜度，例如輸入了一個人臉圖像，該模型就能夠給出一個128維的特征向量，用于表示人臉信息。

人臉比對中相似度計算是必不可少的一環(huán)，本系統(tǒng)通過對應(yīng)的匹配方式來分別計算特征向量對應(yīng)的距離以判斷是否是本人打卡，以及將新提取的特征與庫存的特征進行比對找出可能的特征并返回對比的相似度。

四、結(jié)語

基于MTCNN的輔助課程考勤及助學(xué)APP，以其高效的人臉識別技術(shù)和精準(zhǔn)的數(shù)據(jù)分析功能，有效解決了傳統(tǒng)考勤方式的不足，同時助力學(xué)生提升學(xué)習(xí)效果。通過這款A(yù)PP，教師能更輕松地管理學(xué)生出勤，學(xué)生則能更好地鞏固課堂知識。這款A(yù)PP主要在于能夠為高校課堂考勤提供一些借鑒，還將為師生提供更加便捷的學(xué)習(xí)管理工具。

作者單位： 西藏大學(xué)信息科學(xué)技術(shù)學(xué)院

基金項目：西藏大學(xué)本科生“大學(xué)生創(chuàng)新訓(xùn)練”項目，項目名稱：基于MTCNN的輔助課程考勤及助學(xué)APP的設(shè)計與實現(xiàn)（項目編號：2024XCX045）。