基于多元數(shù)據(jù)融合的課堂表現(xiàn)智能檢測系統(tǒng)設(shè)計

李雨嶠

摘 ? 要：為了評估學(xué)生的上課行為，文章采用最新的頭部姿態(tài)估計技術(shù)。此項(xiàng)技術(shù)能夠捕捉當(dāng)前人頭部所做的各種動作與角度，例如低頭、轉(zhuǎn)頭、仰頭等。低頭是大多數(shù)學(xué)生課堂上使用手機(jī)的慣用姿勢，可以利用此項(xiàng)技術(shù)來監(jiān)測其頭部姿態(tài)從而進(jìn)行評估?？紤]到人臉檢測的定位準(zhǔn)確度問題，以及學(xué)生低頭的動作不一定是使用手機(jī)，文章同時引入了無線信號偵測技術(shù)，捕獲并檢測當(dāng)前教室里由于學(xué)生使用手機(jī)造成信號頻繁收發(fā)的終端位置，與人臉檢測的定位相結(jié)合，交叉定位，從而獲得更精準(zhǔn)的定位效果。

關(guān)鍵詞：人臉檢測;頭部姿態(tài)估計;無線信號偵測

本項(xiàng)目考慮到課堂使用情景，因此擬將使用便捷、功能齊全的Jetson TX2開發(fā)板作為主要開發(fā)平臺。人臉檢測方面，為了提高識別效率與準(zhǔn)確率，使用Dlib庫的機(jī)器學(xué)習(xí)算法與庫，實(shí)現(xiàn)基于深度學(xué)習(xí)的人臉檢測功能。采樣方面，文章使用了ZED雙目攝像頭，其視角較廣、分辨率高，同時有著景深探測的功能。無線信號偵測方面，使用無線網(wǎng)卡與天線結(jié)合來實(shí)現(xiàn)信號數(shù)據(jù)抓包，并通過tcpdump和wireshark進(jìn)行解析[1]。

1 ? ?基于深度學(xué)習(xí)和 CNN 算法的人臉檢測

關(guān)于人臉檢測，目前有許多經(jīng)典算法，其中比較傳統(tǒng)的例如特征臉法，其原理是先將圖像灰度化，然后將圖像每行首尾相接拉成列向量。為了降低運(yùn)算量，需要使用PCA降維，并使用分類器進(jìn)行分類，可以使用 KNN，SVM、神經(jīng)網(wǎng)絡(luò)等。其中卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）是近幾年興起的神經(jīng)網(wǎng)絡(luò)，可以實(shí)現(xiàn)圖片的特征提取和降維，并且由于使用到了GPU進(jìn)行輔助計算，效果比傳統(tǒng)的檢測算法要好得多[2]。

1.1 ?訓(xùn)練模型

卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程分為兩個階段。第一個階段是數(shù)據(jù)由低層次向高層次傳播的階段，即前向傳播階段。另一個階段是，當(dāng)前向傳播得出的結(jié)果與預(yù)期不相符時，將誤差從高層次向底層次進(jìn)行傳播訓(xùn)練的階段，即反向傳播階段。訓(xùn)練過程為：

（1）網(wǎng)絡(luò)進(jìn)行權(quán)值的初始化。

（2）輸入數(shù)據(jù)經(jīng)過卷積層、下采樣層、全連接層的前向傳播得到輸出值。

（3）求出網(wǎng)絡(luò)的輸出值與目標(biāo)值之間的誤差。

（4）當(dāng)誤差大于期望值時，將誤差傳回網(wǎng)絡(luò)中，依次求得全連接層、下采樣層、卷積層的誤差。各層的誤差可以理解為對于網(wǎng)絡(luò)的總誤差，網(wǎng)絡(luò)應(yīng)承擔(dān)多少;當(dāng)誤差等于或小于期望值時，結(jié)束訓(xùn)練。

（5）根據(jù)求得誤差進(jìn)行權(quán)值更新，然后進(jìn)入第二步。

1.2 ?檢測人臉

得到訓(xùn)練后的人臉模型后，使用分類器將圖片或者視頻流輸入并得到識別后的輸出。文章采用了Dlib庫的框架和算法進(jìn)行檢測，首先，將攝像頭捕獲的圖片流進(jìn)行預(yù)處理，例如裁剪、灰度化;其次，使用dlib.cnn_face_detection_model方法進(jìn)行識別處理。一旦圖片中包含條件足夠識別出的人臉，該方法會返回人臉矩形框架的坐標(biāo)矩陣，分別對應(yīng)人臉框架的左上角、右下角，并在圖片中將人臉框出[3]。

一開始采用的并非CNN算法，而是使用的傳統(tǒng)特征提取，雖然也能做到檢測人臉，但是當(dāng)達(dá)到一定距離，人臉較小，或者光線不夠充足時，檢測效果便會大打折扣。而使用了CNN算法之后，即使是較為黑暗的光線環(huán)境或者較遠(yuǎn)的距離，依然能夠做到準(zhǔn)確識別[4]。

2 ? ?頭部姿態(tài)估計

頭部姿態(tài)估計（Head pose Estimation，HPE）是通過一幅面部圖像來獲得頭部姿態(tài)角的算法，跟飛機(jī)飛行的原理類似，即計算pitch，yaw和roll這3個歐拉角，學(xué)名分別為俯仰角、偏航角和滾轉(zhuǎn)角，其算法步驟一般為：

（1）2D 人臉關(guān)鍵點(diǎn)檢測。

（2）3D 人臉模型匹配。

（3）求解 3D 點(diǎn)和對應(yīng) 2D 點(diǎn)的轉(zhuǎn)換關(guān)系。

（4）根據(jù)旋轉(zhuǎn)矩陣求解歐拉角。

2.1 ?2D人臉關(guān)鍵點(diǎn)檢測

根據(jù)前一項(xiàng)人臉檢測的結(jié)果，在獲得了人臉的矩形區(qū)域后，便對其內(nèi)的人臉進(jìn)行關(guān)鍵點(diǎn)檢測。檢測過程同樣采用了Dlib庫的分類算法，引入了經(jīng)典的人臉68特征點(diǎn)模型（"shape_predictor_68_face_landmarks.dat"）進(jìn)行匹配。為了簡化算法并節(jié)約資源，本文只取以下幾個特征點(diǎn)：鼻尖、雙頰、左眼角、右眼角、左嘴角、右嘴角，便足以表示一個臉的特征。

2.2 ?3D人臉模型匹配

Dlib算法中內(nèi)置了一個3D人臉模型，把關(guān)鍵點(diǎn)的空間位置全部標(biāo)記出來，充當(dāng)真實(shí)臉的空間位置。

然而，一個3D模型不能表示所有的人臉，即對所有人采用同一個3D人臉模型并不精確，因此，引入三維形變模型（3D Morphable Model，3DMM），對不同人可以擬出相應(yīng)的3D臉模型，可以使得關(guān)鍵空間點(diǎn)的位置更加精確，但代價是計算量變大。

2.3 ?關(guān)系轉(zhuǎn)化與求解歐拉角

一個物體對于相機(jī)的姿態(tài)可以用兩個矩陣表示：平移矩陣和旋轉(zhuǎn)矩陣。其中平移矩陣是指物體相對于相機(jī)的空間位置關(guān)系矩陣，用T表示;旋轉(zhuǎn)矩陣指物體相對于相機(jī)的空間姿態(tài)關(guān)系矩陣，用 R 表示。

為了使現(xiàn)實(shí)空間的坐標(biāo)能夠和圖片中像素的坐標(biāo)形成映射，需要引入世界坐標(biāo)系（UVW）、相機(jī)坐標(biāo)系（XYZ）、圖像中心坐標(biāo)系（uv）和像素坐標(biāo)系（xy），轉(zhuǎn)換關(guān)系如下。

世界坐標(biāo)系到相機(jī)坐標(biāo)系：

相機(jī)坐標(biāo)系到像素坐標(biāo)系：

因此，像素坐標(biāo)系和世界坐標(biāo)系的關(guān)系如下：

如此，得到世界坐標(biāo)系中點(diǎn)的位置、像素坐標(biāo)位置和相機(jī)參數(shù)便可以知道旋轉(zhuǎn)和平移矩陣。

求解歐拉角：

這3個角是文章提到的俯仰角、偏航角和滾轉(zhuǎn)角了，用 y，x，z 來表示。只要取其中的y，即俯仰角，便可判斷學(xué)生的抬頭低頭姿態(tài)。

3 ? ?基于雙目攝像頭的空間測距

要獲取目標(biāo)學(xué)生的位置，需要得到該對象相對于攝像頭的角度和距離。在距離方面，普通的攝像頭無法獲取二維圖像中對象的景深距離，因此使用了ZED雙目景深攝像頭來完成這一功能。雙目攝像頭的原理與人眼相似，通過對兩幅圖像視差的計算，直接對前方景物（圖像所拍攝到的范圍）進(jìn)行距離測量，而無需判斷前方出現(xiàn)的是什么類型的障礙物。

ZED雙目攝像頭的強(qiáng)大之處在于可以自己計算拍攝得到景物的景深3D點(diǎn)云圖，便可以憑借景深圖獲取到圖像中任意一點(diǎn)的深度Z。

對于空間中的任意一點(diǎn)，要想知道其相對于原點(diǎn)，也就是相機(jī)的距離，需要得知其3個維度x，y和z的值。在人臉檢測中已經(jīng)獲得了人臉矩形框的坐標(biāo)值，因此將矩形框的中點(diǎn)坐標(biāo)x和y帶入并賦值到3D點(diǎn)云圖中，通過公式sqrt（x2+y2+z2）便能求出空間點(diǎn)，也就是某學(xué)生的距離相機(jī)的距離。

4 ? ?無線信號偵測

無線信號偵測與網(wǎng)絡(luò)定位模塊主要使用了接收信號強(qiáng)度（Received Signal Strength Indicator，RSSI）信號定位技術(shù)，通過采集空間中的電子足跡，給出移動設(shè)備的方位角，從而實(shí)現(xiàn)視覺—電子信號雙重定位，提高無線定位的準(zhǔn)確性。

電子足跡即移動設(shè)備的介質(zhì)訪問控制（Media Access Control，MAC）地址、IP等，采集空間中的電子足跡，主要通過網(wǎng)卡抓包解析報文內(nèi)容，處理電子信號，獲得報文中的信號強(qiáng)度，從而定位可能的移動設(shè)備相對于天線的角度，將該結(jié)果返回給系統(tǒng)，系統(tǒng)將該結(jié)果與視覺信號定位結(jié)果做一個匹配，檢查該方向上是否有低頭狀態(tài)的學(xué)生，與頭部姿態(tài)估計模塊的結(jié)果相結(jié)合，得出最終分析結(jié)論。

為了多方位獲取不同方向的電子信號，文章將天線裝在了一個水平270°旋轉(zhuǎn)的簡易3D云臺上，讓其以勻速周期性擺動，實(shí)現(xiàn)多方位信號的捕獲。

RSSI是無線發(fā)送層的可選部分，用來判定鏈接質(zhì)量，以及是否增大廣播發(fā)送強(qiáng)度。定向天線在不同方向上檢測到某個IP信號的RSSI強(qiáng)度是不同的，當(dāng)天線未對準(zhǔn)IP所在位置的時候，天線所檢測到的信號強(qiáng)度是微弱的，可是當(dāng)天線對準(zhǔn)IP所在位置時，所檢測到的RSSI強(qiáng)度會有一個大幅提升，可以通過接收到的信號強(qiáng)弱測定信號點(diǎn)與接收點(diǎn)的相對角度，進(jìn)而根據(jù)相應(yīng)數(shù)據(jù)進(jìn)行定位計算。

RSSI信息儲存在數(shù)據(jù)幀前面一個叫radiotap的部分，包含了如信號強(qiáng)度、頻率等信息，是ieee802.11 的標(biāo)準(zhǔn)。內(nèi)容如圖1所示。

其中，Antenna signal是所需要使用的字段。通過使用定向天線對不同方向抓包，考慮到所測試空間之外的電子信號的影響，會過濾掉信號極其微弱的數(shù)據(jù)包，然后對比相同MAC地址報文的信號強(qiáng)度，就可以找到信號強(qiáng)度最大的報文，從而依據(jù)抓包的時間得到天線抓到信號強(qiáng)度最大包的角度。說明這個角度方向上有一個移動設(shè)備正在頻繁使用網(wǎng)絡(luò)，達(dá)到文章的目的。具體的流程如下。

首先，將無線網(wǎng)卡設(shè)置成monitor模式，使用iwconfig命令：

# iw wlan0 interface add mon0 type monitor

添加一個別名mon0，設(shè)置為monitor模式，并用# ifconfig mon0 up 啟用mon0進(jìn)行網(wǎng)絡(luò)監(jiān)聽。

其次，啟動旋轉(zhuǎn)云臺使得定向天線開始旋轉(zhuǎn)，記錄啟動時間，同時開始使用tcpdump工具進(jìn)行抓包，并保存到一個CAP文件中。在存儲的文件中包含了抓到的每一個包的時間、信號強(qiáng)度、MAC地址等信息。之后使用Python的scapy庫讀取文件進(jìn)行數(shù)據(jù)包的解析，將需要的數(shù)據(jù)提取出來并且進(jìn)行篩選分析，最后得出有頻繁報文交換的角度，和頭部姿態(tài)估計模塊進(jìn)行整合。

5 ? ?系統(tǒng)構(gòu)成以及初步效果

系統(tǒng)的實(shí)現(xiàn)分為以下幾個步驟：（1）云臺帶動定向天線做180°周期性轉(zhuǎn)動。（2）天線和無線網(wǎng)卡檢測方向上信號強(qiáng)度高的報文并捕獲。（3）統(tǒng)返回信號較強(qiáng)的方向角度。（4）攝像頭捕獲當(dāng)前課堂視頻并進(jìn)行人臉檢測。（5）對每一個人臉求出其中心點(diǎn)的距離。（6）求出離 S3 返回方向最近的目標(biāo)人臉。（7）對該目標(biāo)人臉進(jìn)行頭部姿態(tài)估計，如果檢測到低頭則判斷為使用電子設(shè)備。初步實(shí)現(xiàn)效果如圖2所示。

對于每一位學(xué)生，系統(tǒng)對其劃分以下狀態(tài)：

（1）正常抬頭，身邊沒有移動終端收發(fā)信號（標(biāo)綠）。

（2）低頭，身邊沒有移動終端收發(fā)信號（標(biāo)藍(lán)）。

（3）正常抬頭，身邊有移動終端收發(fā)信號（標(biāo)藍(lán)）。

（4）低頭，身邊有移動終端收發(fā)信號（標(biāo)紅）。

假設(shè)圖2中3人處于一個課堂，系統(tǒng)捕捉到了3人的人臉以及距離攝像頭的位置信息。而只有中間的人手持電子設(shè)備并且在使用移動設(shè)備收發(fā)信號，但是沒有低頭，因此系統(tǒng)將此人標(biāo)藍(lán)。再如圖3所示，中間人低頭并且被系統(tǒng)檢測到之后，符合使用“移動終端+低頭”這一條件組合，因此，判定其為在課堂上使用手機(jī)終端信息的行為，將其標(biāo)紅。

6 ? ?結(jié)語

本系統(tǒng)能夠基本實(shí)現(xiàn)對學(xué)生在小型課堂上是否使用智能終端設(shè)備狀態(tài)的判斷，但是受限于設(shè)備性能，最多只能容納10～20人，識別的最遠(yuǎn)距離為7～10 m，且準(zhǔn)確率受環(huán)境光照影響較大。此外，即使判斷出學(xué)生在課堂上低頭使用移動終端，也不能立刻判斷其行為屬于開小差，也有可能是查詢資料等，更加細(xì)致的判斷則需要進(jìn)一步的研究。

[參考文獻(xiàn)]

[1]PATACCHIOLA M，CANGELOSI A.Head pose estimation in the wild using convolutional neural networks and adaptive gradient methods[J].Pattern Recognition，2017（33）：71.

[2]劉翠玲，王美琴，高振明.基于Linux的無線網(wǎng)絡(luò)監(jiān)聽方法與實(shí)現(xiàn)[J].山東大學(xué)學(xué)報（理學(xué)版），2004（5）：90-94.

[3]WANG J，CHEN Y，F(xiàn)U X，et al.3DLoc：Three dimensional wireless localization toolkit[C].Chengdu：IEEE International Conference on Distributed Computing Systems，2010.

[4]ZHANG B，TENG J，ZHU J，et al.EV-Loc：Integrating electronic and visual signals for accurate localization[C].South Carolina：Acm Mobihoc.IEEE Press，2012.

Designed on intelligent detection system for classroom

perfprmance based on multivariate data fusion

Li Yuqiao

（Southeast University， Nanjing 211189， China ）

Abstract：In order to assess students'behavior in class， this paper used the latest head posture estimation techniques. This technology can capture the current persons head to do a variety of movements and angles， such as bow， turn， head， etc. Since lowering the head is the dominant posture of most students in class， ?can use this technology to monitor their head posture for evaluation. Considering the positioning accuracy of face detection problem， as well as the students action is not necessarily the bowed their heads and the use of mobile phones， this paper also introduced the wireless signal detection technology， capture and detection current caused by students use mobile phones in the classroom signal frequency transceiver terminal location， combined with the positioning of the face detection， cross positioning， in order to gain more accurate positioning results.

Key words：face-detection; head pose estimation; wireless signal detection