基于機(jī)器視覺的學(xué)生上課專注度精準(zhǔn)分析系統(tǒng)

金 威，李韶遠(yuǎn)，林明佳，王海政

（天津職業(yè)技術(shù)師范大學(xué)，天津300222）

1 系統(tǒng)的總體設(shè)計(jì)

專注度分析系統(tǒng)主要包括硬件、軟件設(shè)計(jì)兩個(gè)部分。硬件主控部分對(duì)攝像頭圖像的采集與圖像數(shù)據(jù)流的網(wǎng)絡(luò)傳輸、服務(wù)器與數(shù)據(jù)庫(kù)的搭建與數(shù)據(jù)分析處理、人臉檢測(cè)與分析與卷積神經(jīng)網(wǎng)絡(luò)的模型判別、APP客戶端的圖像幀專注度分析結(jié)果的顯示。硬件部分使用嵌入式控制器驅(qū)動(dòng)高清攝像頭進(jìn)行圖像獲取，將每幀圖像數(shù)據(jù)通過Wi-Fi模塊綁定IP地址與端口號(hào)對(duì)接到云服務(wù)器中，進(jìn)行數(shù)據(jù)實(shí)時(shí)上傳[3]。軟件部分由服務(wù)器接收?qǐng)D像數(shù)據(jù)進(jìn)行處理，并與神經(jīng)網(wǎng)絡(luò)中已訓(xùn)練好的模型進(jìn)行卷積，得出圖像內(nèi)學(xué)生的專注度數(shù)據(jù)，并保存到MySQL數(shù)據(jù)庫(kù)內(nèi)，再由基于安卓的客戶端應(yīng)用程序，通過HTTP協(xié)議請(qǐng)求服務(wù)器，獲取數(shù)據(jù)庫(kù)中已處理好的專注度數(shù)據(jù)，進(jìn)行分析與處理并顯示在界面中。客戶端應(yīng)用程序適用于Android操作系統(tǒng)的手機(jī)終端，對(duì)ISO操作系統(tǒng)不支持[4]。系統(tǒng)的總體框圖如圖1所示。

圖1 系統(tǒng)的總體框圖

2 系統(tǒng)的硬件設(shè)計(jì)

系統(tǒng)的硬件部分由STM32嵌入式控制器、高清攝像頭OV7670、ESP8266-12高速網(wǎng)絡(luò)傳輸Wi-Fi模塊組成。硬件電源由5 V適配器進(jìn)行供電，易安裝于教室內(nèi)。5 V電源通過ASM1117-3.3V穩(wěn)壓芯片給STM32主控與Wi-Fi模塊供電，OV7670攝像頭的供電電壓為5 V。外殼部分由3D打印材料按尺寸定制，整體設(shè)備尺寸在30 cm×20 cm左右。

硬件部分的核心是STM32控制器，內(nèi)部通過驅(qū)動(dòng)OV7670攝像頭采集當(dāng)前的圖像數(shù)據(jù)，將圖像數(shù)據(jù)對(duì)接高速串口，將圖像數(shù)據(jù)流輸出到串口，而串口部分連接的是Wi-Fi模塊，該模塊在開機(jī)后自動(dòng)進(jìn)行配置，根據(jù)寫入芯片的服務(wù)器地址，端口號(hào)等信息與服務(wù)器進(jìn)行對(duì)接，在完成初始化配置之后，再?gòu)拇谥凶x取數(shù)據(jù)流，將圖像幀數(shù)據(jù)通過串口傳輸?shù)絎i-Fi模塊中，再通過TCP網(wǎng)絡(luò)數(shù)據(jù)協(xié)議發(fā)送到云服務(wù)器端。若模塊初始化失敗，系統(tǒng)將處于等待狀態(tài)，并以一秒一次的周期不斷嘗試連接服務(wù)器，直到服務(wù)器作出回應(yīng)并身份校驗(yàn)成功后，系統(tǒng)才開始正常運(yùn)行。硬件終端如圖2所示。

圖2 硬件控制終端

3 系統(tǒng)的軟件設(shè)計(jì)

3.1 卷積神經(jīng)網(wǎng)絡(luò)模型

卷積模型部分采用的框架TensorFlow2.0+OPEVCV，模型采用Python語(yǔ)言，基于Pycharm平臺(tái)進(jìn)行編寫，卷積網(wǎng)絡(luò)模型主要工作流程是對(duì)數(shù)據(jù)庫(kù)進(jìn)行請(qǐng)求，用以獲取通過服務(wù)器接收到的一幀圖像數(shù)據(jù)，并對(duì)圖像數(shù)據(jù)流進(jìn)行格式整理、數(shù)據(jù)轉(zhuǎn)換，然后對(duì)圖像中人臉進(jìn)行識(shí)別，采集人臉特征點(diǎn)，并將有關(guān)專注度的臉部特征點(diǎn)進(jìn)行提取，再進(jìn)行過濾，得到卷積神經(jīng)網(wǎng)絡(luò)可以識(shí)別的特征點(diǎn)數(shù)據(jù)，隨后再送入基于VGG16的卷積神經(jīng)網(wǎng)絡(luò)[5]。在送入VGG16網(wǎng)絡(luò)之前中，已準(zhǔn)備有將近50 000張的訓(xùn)練數(shù)據(jù)，用于提高模型的預(yù)測(cè)準(zhǔn)確度，為避免系統(tǒng)在運(yùn)行時(shí)將時(shí)間耗費(fèi)在訓(xùn)練網(wǎng)絡(luò)上，在搭建模型后，已將大量的數(shù)據(jù)進(jìn)行訓(xùn)練，并已得出最佳權(quán)重參數(shù)[6]。在喂入網(wǎng)絡(luò)之前，系統(tǒng)會(huì)先將已有的訓(xùn)練數(shù)據(jù)進(jìn)行訓(xùn)練，得到最優(yōu)的優(yōu)化參數(shù)，大大減少了訓(xùn)練所需要的時(shí)間，系統(tǒng)還具有隔時(shí)自動(dòng)訓(xùn)練的功能，當(dāng)所傳輸?shù)膱D像數(shù)據(jù)超過1 000張時(shí)，系統(tǒng)重新對(duì)圖像數(shù)據(jù)進(jìn)行訓(xùn)練，得到新的權(quán)重參數(shù)。每次傳輸一幀圖像都會(huì)通過訓(xùn)練好的參數(shù)進(jìn)行預(yù)測(cè)，得出結(jié)果后將驅(qū)動(dòng)數(shù)據(jù)庫(kù)，并將預(yù)測(cè)好的數(shù)據(jù)直接保存到數(shù)據(jù)庫(kù)內(nèi)，供服務(wù)器提取數(shù)據(jù)，響應(yīng)給客戶端。整個(gè)模型搭建在云端服務(wù)器中，部署在云端最大的好處就是實(shí)時(shí)性強(qiáng)，可以自動(dòng)進(jìn)行數(shù)據(jù)訓(xùn)練與卷積，無(wú)需每次進(jìn)行手動(dòng)操作，且云端服務(wù)器隨時(shí)可以接收請(qǐng)求信息，并進(jìn)行處理，可以極大地提高效率，節(jié)省訓(xùn)練時(shí)間[7]。整個(gè)網(wǎng)絡(luò)的工作流程如圖3所示。

圖3 神經(jīng)網(wǎng)絡(luò)工作流程圖

3.2 服務(wù)器的搭建與部署

服務(wù)器是硬件數(shù)據(jù)與軟件數(shù)據(jù)進(jìn)行交互的前提，使用Java語(yǔ)言進(jìn)行編寫，Java語(yǔ)言適用于移動(dòng)端與服務(wù)器端的開發(fā)，故被采納。在專注度分析系統(tǒng)中，服務(wù)器主要有兩個(gè)客戶端對(duì)象，即硬件客戶端與軟件客戶端。

在與硬件交互時(shí)，采用TCP點(diǎn)對(duì)點(diǎn)的數(shù)據(jù)流傳輸，因?yàn)橄鄬?duì)于硬件部分而言，客戶端只有一個(gè)，而且相對(duì)于硬件的Wi-Fi模塊而言，TCP的數(shù)據(jù)流傳輸方式相較于其他傳輸方式較為便捷，只需在供網(wǎng)后指定服務(wù)器地址與服務(wù)器所開辟的端口號(hào)即可進(jìn)行數(shù)據(jù)對(duì)接[8]。而在軟件服務(wù)器中，需要提供給不同的客戶端響應(yīng)結(jié)果，而非單純的數(shù)據(jù)流傳遞。所以在與硬件和軟件客戶端交互時(shí)所采用的數(shù)據(jù)交互協(xié)議是不同的。

在與軟件客戶端交互時(shí)，采用輕量級(jí)的Tomcat服務(wù)器。該類型服務(wù)器雖廣泛應(yīng)用在Web方面[9]，但本系統(tǒng)在服務(wù)器部分也是以Web架構(gòu)來(lái)進(jìn)行開發(fā)的，其數(shù)據(jù)在傳輸中具有較強(qiáng)的可靠性，適用于一對(duì)多的服務(wù)器-客戶端架構(gòu)中，且有請(qǐng)求與響應(yīng)，相比TCP數(shù)據(jù)流而言，Web架構(gòu)不需要長(zhǎng)時(shí)間等待連接，當(dāng)有請(qǐng)求時(shí)再響應(yīng)，就無(wú)需占用太多資源，所以多端數(shù)據(jù)互傳更適用于Web架構(gòu)，此架構(gòu)在專注度分析系統(tǒng)中也同樣適用，服務(wù)器主要用于接收硬件Wi-Fi模塊發(fā)送的圖像幀數(shù)據(jù)，在完成一系列的數(shù)據(jù)交互與邏輯判斷后，最后將部署到阿里云主機(jī)內(nèi)[10]，云服務(wù)器將提供遠(yuǎn)程連接的用于客戶端的遠(yuǎn)程訪問與請(qǐng)求的公網(wǎng)IP地址。可提供硬件訪問，并將圖像數(shù)據(jù)送入數(shù)據(jù)庫(kù)內(nèi)再由服務(wù)器中轉(zhuǎn)送入卷積神經(jīng)網(wǎng)絡(luò)中，再返回出結(jié)果，并將結(jié)果保存到MySQL數(shù)據(jù)庫(kù)內(nèi)。當(dāng)有客戶端在請(qǐng)求數(shù)據(jù)時(shí)，服務(wù)器將通過JDBC驅(qū)動(dòng)MySQL數(shù)據(jù)庫(kù)，將數(shù)據(jù)進(jìn)行讀取，并判斷請(qǐng)求方校驗(yàn)是否正確，若不是本系統(tǒng)的客戶端請(qǐng)求服務(wù)器，將返回錯(cuò)誤結(jié)果；在本系統(tǒng)客戶端請(qǐng)求服務(wù)器并校驗(yàn)成功后，服務(wù)器返回的將是已通過卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)出的專注度百分比數(shù)據(jù)即正確結(jié)果[11]。服務(wù)器的工作流程如圖4所示。

圖4 服務(wù)器的工作流程圖

3.3 客戶端應(yīng)用程序的編寫

客戶端采用Android應(yīng)用程序是用來(lái)提供用戶進(jìn)行人機(jī)交互的界面，基于Andorid的客戶端特點(diǎn)在于應(yīng)用范圍廣，現(xiàn)如今人們大部分使用的都是基于安卓系統(tǒng)的手機(jī)，所以可以廣泛應(yīng)用于不同品牌的安卓系統(tǒng)中，除此以外，安卓系統(tǒng)還具有開發(fā)方便、使用方便等優(yōu)點(diǎn)，客戶端主要使用Java語(yǔ)言并在Eclipse IDE開發(fā)平臺(tái)進(jìn)行程序的編寫[12]。在客戶端中通過HTTP網(wǎng)絡(luò)通信協(xié)議，請(qǐng)求服務(wù)器來(lái)進(jìn)行身份校驗(yàn)，并在需要獲得識(shí)別結(jié)果時(shí)發(fā)送請(qǐng)求數(shù)據(jù)，用以獲得已經(jīng)預(yù)測(cè)出的學(xué)生的專注度數(shù)據(jù)[13]，與此同時(shí)，圖像在APP界面中會(huì)進(jìn)行隔時(shí)刷新，所有的圖像數(shù)據(jù)都是通過服務(wù)器從數(shù)據(jù)庫(kù)中調(diào)取，在通過安卓的Activity對(duì)數(shù)據(jù)進(jìn)行顯示。APP的使用極為便捷，直接將編譯通過的APK安裝包安裝到安卓手機(jī)上即可進(jìn)行使用。客戶端應(yīng)用程序界面如圖5所示。

圖5 客戶端APP界面圖

4 結(jié)束語(yǔ)

在教學(xué)過程中，學(xué)生的上課的專注度是影響學(xué)生成績(jī)和教學(xué)效果的重要因素，因而是眾多家長(zhǎng)重點(diǎn)關(guān)注的問題。AI教學(xué)的根本是提升學(xué)生自身的學(xué)習(xí)力，在算法愈發(fā)有效率、富有科學(xué)性，真人教師愈發(fā)親密、具有人格魅力的情況下，學(xué)生所提高的不僅僅是某些知識(shí)點(diǎn)、知識(shí)脈絡(luò)的掌握程度，甚至超越了學(xué)科知識(shí)體系，他們會(huì)擁有自己的學(xué)習(xí)力、學(xué)習(xí)勁頭、學(xué)習(xí)習(xí)慣，即所謂“授人以漁”[14]。目前絕大部分學(xué)校是通過教師肉眼主觀判斷學(xué)生上課專注度的情況，這種方式不僅占用教師上課時(shí)間，分散教師注意力，而且對(duì)于學(xué)生而言，肉眼判斷的準(zhǔn)確率低，導(dǎo)致上課效果的測(cè)評(píng)效果欠佳[15]。特別是無(wú)法實(shí)時(shí)統(tǒng)計(jì)和分析上課時(shí)學(xué)生的專注度，從而產(chǎn)生一定的滯后性。研究本項(xiàng)目可以很好地對(duì)學(xué)生上課專注度進(jìn)行測(cè)評(píng)，以人工智能的手段進(jìn)行實(shí)時(shí)監(jiān)測(cè)，可以使得教師在上課時(shí)注意力更集中，更好地提高教學(xué)質(zhì)量。