基于頭部姿態(tài)的學(xué)習(xí)注意力判別研究

郭 赟， 張劍妹， 連 瑋

(1.山西師范大學(xué)數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院，臨汾 041004；2.長(zhǎng)治學(xué)院計(jì)算機(jī)系，長(zhǎng)治 046011)

英國(guó)教育家洛克在《教育漫話》一書(shū)中指出:“教育的技巧就在于能夠很好集中學(xué)生的注意力，并且可以持續(xù)保持他們的注意力”[1]。任何教學(xué)活動(dòng)都是從注意力開(kāi)始并伴隨學(xué)生記憶內(nèi)化為認(rèn)知力的。對(duì)于學(xué)生來(lái)說(shuō)，注意力在學(xué)生的整個(gè)心理活動(dòng)占有很大比重，只有注意力集中才可以進(jìn)一步思考和記憶，更好地完成學(xué)業(yè)活動(dòng)。

在互聯(lián)網(wǎng)+教育環(huán)境下，各種在線教學(xué)資源得到了迅速發(fā)展，在線學(xué)習(xí)方式也達(dá)到了廣泛的應(yīng)用，但傳統(tǒng)課堂教學(xué)仍然是向?qū)W生傳授知識(shí)的主要形式。學(xué)習(xí)注意力是學(xué)生學(xué)習(xí)效率的一個(gè)重要因素，直接影響學(xué)生課堂學(xué)習(xí)效率的提高。當(dāng)前，對(duì)注意力的分析主要有兩種方式：第一種方式是運(yùn)用可穿戴式設(shè)備[2-3]對(duì)學(xué)生的注意力進(jìn)行分析，但是可穿戴式設(shè)備價(jià)格較為昂貴并不能大面積的對(duì)學(xué)生課堂注意力進(jìn)行分析研究；第二種方式是運(yùn)用計(jì)算機(jī)視覺(jué)[4-5]對(duì)學(xué)習(xí)者的面部表情、眼睛和嘴巴的閉合程度進(jìn)行注意力分析研究，但是在實(shí)際運(yùn)用過(guò)程中，由于學(xué)生課堂人數(shù)眾多且眼睛、嘴巴等區(qū)域面積較小存在遮擋等問(wèn)題，對(duì)人體視線方向檢測(cè)存在諸多困難，無(wú)法精確地對(duì)學(xué)習(xí)者進(jìn)行注意力分析。

近年來(lái)越來(lái)越多的研究者開(kāi)始運(yùn)用頭部姿態(tài)對(duì)學(xué)習(xí)者注意力進(jìn)行分析研究。通常人體的思維方式是可以根據(jù)頭部旋轉(zhuǎn)方向和運(yùn)動(dòng)狀態(tài)來(lái)表現(xiàn)[6]。例如，當(dāng)人們?cè)谡勗挄r(shí)通過(guò)利用朝誰(shuí)點(diǎn)頭來(lái)確定和誰(shuí)說(shuō)話，對(duì)于注視某個(gè)目標(biāo)用戶通常會(huì)正視該目標(biāo)而不會(huì)斜視某個(gè)目標(biāo)。人的頭部轉(zhuǎn)向已經(jīng)作為一種非語(yǔ)言的標(biāo)志來(lái)傳遞信息，所以可以看出人的注意力與頭部姿態(tài)和人眼注視方向是有一定關(guān)聯(lián)性的，在大多數(shù)情況下是可以通過(guò)對(duì)頭部姿態(tài)的研究來(lái)分析人的注意力方向的。Stephen等[7]研究發(fā)現(xiàn)，在多數(shù)情況下用戶的注意目標(biāo)行為是可以通過(guò)分析頭部姿態(tài)角度獲得的；陳平等[8]通過(guò)隨機(jī)級(jí)聯(lián)回歸樹(shù)對(duì)人臉特征點(diǎn)進(jìn)行檢測(cè)，并運(yùn)用N點(diǎn)透視(pespective-n-point，PNP)算法進(jìn)行頭部姿態(tài)估計(jì)實(shí)現(xiàn)了學(xué)生注意力的可視化；董力賡等[9]提出一種推理用戶注意力目標(biāo)的動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)模，并將其應(yīng)用于智能廚房用戶注意力目標(biāo)分析中；Smith等[10]、Zhang等[11]等研究通過(guò)分析固定位置的多個(gè)關(guān)注目標(biāo)和多用戶位置的單個(gè)關(guān)注目標(biāo)來(lái)監(jiān)控用戶在戶外環(huán)境中的注意目標(biāo)行為；盧希[12]通過(guò)傳感器收集學(xué)生的學(xué)習(xí)行為數(shù)據(jù)來(lái)分析學(xué)習(xí)者的學(xué)習(xí)狀態(tài)；Masset等[13]運(yùn)用注意力檢測(cè)模型建立了一個(gè)人機(jī)交互系統(tǒng)，可以有效判斷在多人環(huán)境中確定目標(biāo)人物的位置及頭部姿態(tài)等相關(guān)信息；余繞東[14]通過(guò)收集學(xué)習(xí)者的面部及眼部信息，開(kāi)發(fā)了一種智能注意力檢測(cè)系統(tǒng)來(lái)檢測(cè)學(xué)習(xí)者狀態(tài)。通過(guò)對(duì)上述相關(guān)文獻(xiàn)的研究發(fā)現(xiàn)，大多數(shù)的研究方法都對(duì)設(shè)備有一定的要求。文獻(xiàn)[9]中所提到的需要多個(gè)攝像頭和顯示屏，還有的方法則需要Kinect傳感器和眼動(dòng)儀等，這些設(shè)備價(jià)格都比較昂貴不適合大規(guī)模使用；而文獻(xiàn)[8]提出的低成本學(xué)生注意力分析法，則需要對(duì)學(xué)生的課堂學(xué)習(xí)情況進(jìn)行實(shí)時(shí)監(jiān)測(cè)來(lái)及時(shí)了解學(xué)生的注意力情況，但在實(shí)際應(yīng)用中老師不可能時(shí)刻關(guān)注學(xué)生注意力檢測(cè)系統(tǒng)。

基于以上方法的弊端，提出學(xué)生課堂注意力檢測(cè)方法。通過(guò)高清攝像頭對(duì)學(xué)生課堂學(xué)習(xí)情況進(jìn)行采集，并運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)和比例正交投影迭代變換(pose from orthography and scaling with iteratons, POSIT)算法對(duì)學(xué)生頭部姿態(tài)進(jìn)行估計(jì)，從而對(duì)學(xué)生課堂注意力進(jìn)行判別。實(shí)驗(yàn)通過(guò)模擬單個(gè)學(xué)生日常課堂學(xué)習(xí)行為習(xí)慣進(jìn)行檢測(cè)。實(shí)驗(yàn)表明，本文模型可以有效檢測(cè)學(xué)生的注意力分散情況并對(duì)學(xué)生整堂課的學(xué)習(xí)情況進(jìn)行評(píng)價(jià)，可以給教師提供學(xué)生的學(xué)習(xí)情況信息，為學(xué)生下一階段的學(xué)習(xí)情況作出預(yù)警提示。初步證明了該方法的有效性。下一步將拓展到對(duì)多人的學(xué)生課堂注意力進(jìn)行檢測(cè)，進(jìn)一步增加模型的實(shí)用性。

1 研究背景

1.1 學(xué)生注意力研究場(chǎng)所

為對(duì)學(xué)生課堂學(xué)習(xí)注意力進(jìn)行分析，運(yùn)用高清攝像頭對(duì)學(xué)生課堂學(xué)習(xí)情況進(jìn)行采集。如圖1所示，教室長(zhǎng)和寬分別為9 m和7 m，黑板長(zhǎng)和寬分別為4 m和1.5 m，黑板離地高度為1 m。在研究中利用安置在教室正前方的攝像頭(A)對(duì)學(xué)生課堂學(xué)習(xí)情況進(jìn)行采集，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)和POSIT算法對(duì)學(xué)生的頭部姿態(tài)進(jìn)行估計(jì)，獲取頭部旋轉(zhuǎn)信息的俯仰角(θpitch)、偏航角(θyaw)、旋轉(zhuǎn)角(θRoll) 3個(gè)維度的數(shù)據(jù)，如圖2所示，以實(shí)現(xiàn)對(duì)學(xué)生課堂學(xué)習(xí)注意力的分析。

圖1 教室布局Fig.1 Classroom layout

圖2 頭部旋轉(zhuǎn)方向Fig.2 Head rotation direction

1.2 學(xué)生學(xué)習(xí)注意力分析

研究的主要目的是判別學(xué)生的注意力，根據(jù)頭部姿態(tài)估計(jì)學(xué)生的視線是否集中在黑板區(qū)域來(lái)確定學(xué)生的注意力方向。如圖3所示，當(dāng)學(xué)生的視線集中在黑板內(nèi)的某一點(diǎn)時(shí)，如P1，則認(rèn)為學(xué)生注意力集中；與之相反的是，當(dāng)學(xué)生的視線長(zhǎng)時(shí)間偏離在黑板區(qū)域之外時(shí)，如P2，則認(rèn)為學(xué)生注意力分散。一般情況下，人們并不習(xí)慣于斜著眼睛注視其關(guān)注的目標(biāo)，因此，可以將頭部姿態(tài)的旋轉(zhuǎn)方向近似地看成學(xué)生的視線方向來(lái)分析學(xué)生的注意力情況。如圖1所示，假設(shè)學(xué)生坐在教室第1排，當(dāng)學(xué)生在C點(diǎn)注視黑板區(qū)域時(shí)，頭部幾乎不需要旋轉(zhuǎn)就可以觀察到黑板區(qū)域，此時(shí)學(xué)生的頭部旋轉(zhuǎn)范圍最小；當(dāng)學(xué)生在B點(diǎn)注視黑板區(qū)域時(shí)，頭部向右旋轉(zhuǎn)即為學(xué)生向右觀察黑板區(qū)域的最大范圍；當(dāng)學(xué)生在D點(diǎn)注視黑板區(qū)域時(shí)，頭部向左旋轉(zhuǎn)即為學(xué)生向左觀察黑板區(qū)域的最大范圍；當(dāng)學(xué)生依次坐在第2排或者更靠后的位置時(shí)，頭部旋轉(zhuǎn)范圍會(huì)逐級(jí)減小。選擇黑板邊緣作為學(xué)生注意力分散的邊界域。當(dāng)學(xué)生坐在B或者D點(diǎn)時(shí)，向黑板左右邊界注視時(shí)即為偏航角(θYaw)的旋轉(zhuǎn)范圍；當(dāng)學(xué)生坐在C點(diǎn)時(shí)，向黑板上下邊界注視時(shí)即為俯仰角(θPitch)的旋轉(zhuǎn)范圍；旋轉(zhuǎn)角(θRoll)為頭部向左或向右偏離，正如學(xué)生在學(xué)習(xí)過(guò)程中經(jīng)常會(huì)拿胳膊扶著頭部注視黑板的行為，此時(shí)并不影響學(xué)生向黑板區(qū)域注視的視線范圍。因此本文只關(guān)注學(xué)生在俯仰角(θPitch)和偏航角(θYaw)方向上的頭部旋轉(zhuǎn)范圍。

圖3 學(xué)生注意力情況Fig.3 Attention of students

依據(jù)教室環(huán)境建立坐標(biāo)系，以黑板上沿中心點(diǎn)為坐標(biāo)原點(diǎn)，以原點(diǎn)水平向右的方向?yàn)閄軸正方向，以垂直原點(diǎn)方向?yàn)閅軸正方向，以垂直XY平面指向?qū)W生的方向?yàn)閆軸的正方向。根據(jù)學(xué)生頭部視線到達(dá)黑板邊緣作為學(xué)生行為異常的判別標(biāo)準(zhǔn)，如圖4所示，α1、α2、β1、β2作為學(xué)生頭部偏轉(zhuǎn)異常的閾值，α1、α2即為學(xué)生θYaw方向旋轉(zhuǎn)范圍；β1、β2為學(xué)生θPitch方向旋轉(zhuǎn)范圍。當(dāng)頭部旋轉(zhuǎn)范圍超出閾值時(shí)，即可認(rèn)為學(xué)生的視線在黑板區(qū)域之外，則判定為注意力分散。假設(shè)黑板的長(zhǎng)度為h,寬度為d，頭部中心點(diǎn)坐標(biāo)為F(x,y,z)。當(dāng)學(xué)生坐在教室第1排，學(xué)生坐在圖1所示的B和D點(diǎn)向黑板左右邊緣注視時(shí)，即為學(xué)生在θYaw方向的頭部最大旋轉(zhuǎn)范圍，記為式(1)；當(dāng)學(xué)生坐在C點(diǎn)向黑板上下邊緣注視時(shí)，即為學(xué)生在θPitch方向的頭部最大旋轉(zhuǎn)范圍，記為式(2)。依據(jù)實(shí)際教學(xué)環(huán)境，假設(shè)頭部中心點(diǎn)和眼睛重合，且成年學(xué)生的眼睛離地面的高度為1.2 m，則確定學(xué)生的頭部旋轉(zhuǎn)范圍為θPitch方向[-6°,29°]，θYaw方向[-47°,47°]。

(1)

(2)

圖4 頭部偏轉(zhuǎn)范圍Fig.4 Head deflection range

2 基于頭部姿態(tài)分析的注意力判別過(guò)程

2.1 基于頭部姿態(tài)的學(xué)生注意力判別方法

提出一種基于學(xué)生頭部姿態(tài)的注意力判別方法，采用學(xué)生頭部姿態(tài)角度作為學(xué)生注意力的判別指標(biāo)，建立相應(yīng)的學(xué)生注意力判別系統(tǒng)。提出了4個(gè)步驟的學(xué)生注意力判別流程，即數(shù)據(jù)的提取、人臉面部特征點(diǎn)的定位、頭部姿態(tài)角度估計(jì)和注意力判別檢測(cè)。本文方法需要事先利用安裝在黑板正上方中心的高清攝像頭(A)對(duì)學(xué)生的課堂學(xué)習(xí)情況進(jìn)行錄像采集，再采用圖5所示的流程對(duì)學(xué)生頭部姿態(tài)進(jìn)行檢測(cè)，并利用學(xué)生注意力檢測(cè)系統(tǒng)對(duì)學(xué)生課堂的學(xué)習(xí)情況進(jìn)行檢測(cè)。

圖5 學(xué)生注意力判別方法基本流程Fig.5 Basic flow chart of student attention discrimination method

通過(guò)以下4步操作，對(duì)學(xué)生注意力進(jìn)行檢測(cè)分析。

(1)視頻幀獲取。通過(guò)高清攝像頭采集學(xué)生日常課堂學(xué)習(xí)情況，包括認(rèn)真學(xué)習(xí)、左顧右盼和低頭看手機(jī)等日常學(xué)習(xí)習(xí)慣，并獲取學(xué)生學(xué)習(xí)視頻幀。

(2)人臉特征點(diǎn)檢測(cè)。通過(guò)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)對(duì)學(xué)生面部圖像68個(gè)特征點(diǎn)進(jìn)行檢測(cè)定位，為運(yùn)用POSIT算法進(jìn)行頭部姿態(tài)檢測(cè)提供二維信息。

(3)頭部姿態(tài)檢測(cè)。通過(guò)求解POSIT獲得 2D/3D 之間的映射關(guān)系，得到頭部姿態(tài)的旋轉(zhuǎn)與平移矩陣。

(4)學(xué)生注意力檢測(cè)。根據(jù)學(xué)生的頭部姿態(tài)信息運(yùn)用注意力檢測(cè)系統(tǒng)對(duì)學(xué)生整堂課的學(xué)習(xí)情況進(jìn)行檢測(cè)。

由于在數(shù)據(jù)獲取階段采用專業(yè)處理軟件獲取視頻幀，所以接下來(lái)將重點(diǎn)對(duì)人臉面部特征點(diǎn)檢測(cè)、學(xué)生頭部姿態(tài)角度計(jì)算、學(xué)生注意力判別方法等3個(gè)方面進(jìn)行論述。

2.2 基于卷積神經(jīng)網(wǎng)絡(luò)的人臉特征點(diǎn)定位

卷積神經(jīng)網(wǎng)絡(luò)因其對(duì)視覺(jué)檢測(cè)有較好的魯棒性已成為圖像研究領(lǐng)域的熱點(diǎn)。故采用深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)生頭部姿態(tài)研究，參考Zhou等[15]運(yùn)用的深度卷積神經(jīng)網(wǎng)絡(luò)(deeping convolutional neural network,DCNN)采取4個(gè)層級(jí)的“由粗到精”特征點(diǎn)檢測(cè)，由于第4層級(jí)的檢驗(yàn)誤差較第3層級(jí)提升較小，為了提升運(yùn)行效率采用3個(gè)層級(jí)的網(wǎng)絡(luò)對(duì)內(nèi)部關(guān)鍵點(diǎn)和外部關(guān)鍵點(diǎn)進(jìn)行特征點(diǎn)檢測(cè)。其中，第1層主要獲取面部器官的內(nèi)部邊界域，第2層將粗定位出51個(gè)關(guān)鍵點(diǎn)預(yù)測(cè)位置；第3層將依據(jù)不同器官進(jìn)行從粗到精的定位，并輸出51個(gè)關(guān)鍵點(diǎn)位置。同時(shí)針對(duì)外部輪廓使用一個(gè)簡(jiǎn)單的網(wǎng)絡(luò)級(jí)聯(lián)，采用兩個(gè)層級(jí)進(jìn)行檢測(cè)，首先獲得面部外部輪廓邊界，其次在對(duì)外部輪廓進(jìn)行特征點(diǎn)定位，最終面部68個(gè)關(guān)鍵點(diǎn)由內(nèi)、外輪廓關(guān)鍵點(diǎn)進(jìn)行相加得到，如圖6所示。

圖6 級(jí)聯(lián)網(wǎng)絡(luò)結(jié)構(gòu)Fig.6 Cascading network structure

圖7 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Fig.7 Convolutional neural network structure

在對(duì)內(nèi)部輪廓和外部輪廓的特征點(diǎn)進(jìn)行檢測(cè)時(shí)要把損失函數(shù)進(jìn)行分離，由于背景和局部紋理信息的不同，會(huì)導(dǎo)致在定位各關(guān)鍵點(diǎn)時(shí)存在不平衡。在外部輪廓檢測(cè)時(shí)，由于背景信息不同可能會(huì)提供一些干擾信息；而在內(nèi)部輪廓的檢測(cè)時(shí)，每個(gè)關(guān)鍵點(diǎn)的位置信息和難易程度也各不相同。這將導(dǎo)致內(nèi)、外輪廓在訓(xùn)練中存在不平衡，因此需要分別計(jì)算損失函數(shù)對(duì)兩個(gè)子系統(tǒng)進(jìn)行單獨(dú)訓(xùn)練以防止過(guò)度擬合。

在輸入網(wǎng)絡(luò)模型之前要對(duì)圖像進(jìn)行預(yù)處理，把圖像數(shù)據(jù)歸一為均值和方差分別為0和1，其次把數(shù)據(jù)映射到[-1,1]區(qū)間。為了防止在剪裁時(shí)可能漏剪了一部分人臉圖像，所以把剪裁區(qū)域擴(kuò)大了15%，以此來(lái)保證全部的信息都可以檢測(cè)得到。在訓(xùn)練網(wǎng)絡(luò)中，以DCNN作為基本組成部分，模型把原始圖像作為輸入，并對(duì)所需點(diǎn)的坐標(biāo)進(jìn)行回歸。圖7所地為基本的深度網(wǎng)絡(luò)結(jié)構(gòu)。網(wǎng)絡(luò)在卷積層后面連接的是最大池化層，并在高層采用非共享卷積層，不同位置采用不同的參數(shù)以確保對(duì)五官的特征檢測(cè)。

網(wǎng)絡(luò)有3個(gè)卷積層和3個(gè)池化層相連接，輸入的圖像對(duì)與每一個(gè)卷積層都對(duì)應(yīng)的有多個(gè)卷積核，并輸出卷積結(jié)果。設(shè)輸入的第t個(gè)卷積層為It，則根據(jù)式(1)計(jì)算：其中I為輸入的卷積層，F(xiàn)和B是可調(diào)參數(shù)，同時(shí)運(yùn)用雙曲正切函數(shù)和絕對(duì)值函數(shù)以保證網(wǎng)絡(luò)的非線性。

(3)

同時(shí)在每個(gè)卷積層后面加一個(gè)無(wú)重疊區(qū)域的最大池化層，用公式表示為

(4)

在卷積層和最大池化層后加一個(gè)非共享權(quán)值得卷積層，并將輸出結(jié)果作為特征，用一到兩個(gè)全連接層進(jìn)行特征點(diǎn)回歸。

(5)

系統(tǒng)運(yùn)用3種不同的網(wǎng)絡(luò)結(jié)構(gòu)，如表1所示，其中網(wǎng)絡(luò)1是對(duì)內(nèi)部輪廓關(guān)鍵點(diǎn)進(jìn)行預(yù)測(cè)，網(wǎng)絡(luò)2是對(duì)外部輪廓關(guān)鍵點(diǎn)預(yù)測(cè)，網(wǎng)絡(luò)3是其余結(jié)構(gòu)點(diǎn)預(yù)測(cè)。

表1 級(jí)聯(lián)卷積網(wǎng)絡(luò)結(jié)構(gòu)Table 1 Concatenated convolution network structure

2.3 基于POSIT算法求解頭部姿態(tài)

采用POSIT算法求解三維空間內(nèi)的頭部姿態(tài)角度。該算法以三維頭部模型，二維面部特征點(diǎn)以及攝像機(jī)參數(shù)作為輸入來(lái)確定三維空間內(nèi)的頭部姿態(tài)角度[16]。POSIT算法有兩部分組成：第1部分先用弱透視投影模型代替透視投影模型，通過(guò)對(duì)物體旋轉(zhuǎn)矩陣和平移向量的計(jì)算得出頭部姿態(tài)的估計(jì)值；第2部分用前面的估計(jì)值再進(jìn)行第1部分的計(jì)算。這樣不斷重復(fù)以上兩步，直到達(dá)到要求為止。因此算法選用左右眼角、鼻尖、左右嘴角作為輸入進(jìn)行頭部姿態(tài)估計(jì)。首先建立3個(gè)坐標(biāo)系。即圖像坐標(biāo)系、攝像機(jī)坐標(biāo)系和目標(biāo)坐標(biāo)系，設(shè)目標(biāo)坐標(biāo)系為a=(x,y,z)且以目標(biāo)為坐標(biāo)中心；攝像機(jī)坐標(biāo)系為b=(X1,Y1,Z1)且以攝像頭為坐標(biāo)中心；圖像坐標(biāo)系為c=(x0,y0)，且圖像中心為(c0,d0)，攝像機(jī)焦距為f，攝像機(jī)參數(shù)矩陣為[fx,fy,c0,d0]，攝像機(jī)坐標(biāo)系可以通過(guò)投影M變換表示，其中ΠM表示為三維坐標(biāo)與二維坐標(biāo)的轉(zhuǎn)換關(guān)系函數(shù)。

(6)

首先建立旋轉(zhuǎn)矩陣R和平移向量T：

(7)

透視投影變換為

(8)

根據(jù)攝像頭內(nèi)參數(shù)矩陣和f與x0、y0的比例關(guān)系，設(shè)一個(gè)像素的位置為(c,d)，則對(duì)應(yīng)得x0、y0為x0=(c-c0)f/fx，y0=(d-d0)f/fy，因?yàn)槟繕?biāo)坐標(biāo)系為a=(x,y,z)，則得出：

(9)

式(9)中：w=Z1/TZ,s=f/TZ，假設(shè)物體的所有點(diǎn)在同一個(gè)深度上，且w=Z1/TZ1≈1，由此可以得出：

(10)

由于(x0,y0)和(X1,Y1,Z1)認(rèn)為是已知的，因此該方程可以看作是8個(gè)獨(dú)立方程求解旋轉(zhuǎn)矩陣R和平移向量T，并通過(guò)矩陣R和向量T計(jì)算相應(yīng)三維空間角度為

θYaw=atan2(R32,R33)

(11)

(12)

θRool=atan2(R21,R11)

(13)

2.4 學(xué)生注意力判別標(biāo)準(zhǔn)

注意力分散判別是指學(xué)生的視線因?yàn)槟撤N原因偏離前方黑板區(qū)域而進(jìn)行的注意力判別研究，由于學(xué)生的注意力主要集中在前方黑板的視線區(qū)域，并且頭部運(yùn)動(dòng)集中在俯仰角(θPitch)和偏航角(θYaw)方向上，所以本文只關(guān)注在特定區(qū)域內(nèi)的頭部姿態(tài)。依據(jù)2.2節(jié)確定了學(xué)生的頭部旋轉(zhuǎn)范圍為θPitch方向[-6°,29°]，θYaw方向[-47°,47°]。當(dāng)學(xué)生的頭部旋轉(zhuǎn)范圍超出這個(gè)角度時(shí)，認(rèn)為學(xué)生的視線偏離黑板區(qū)域，即為注意力分散。依據(jù)學(xué)生實(shí)際學(xué)習(xí)情況，學(xué)生偶爾視線偏離黑板區(qū)域一兩次，并不能說(shuō)明學(xué)生注意力不集中，只有學(xué)生視線偏離黑板區(qū)域一定時(shí)間時(shí)才可以確定為注意力分散。因此設(shè)計(jì)了分兩步的判別標(biāo)準(zhǔn)。第1步檢測(cè)單次視線偏離時(shí)長(zhǎng)，當(dāng)單次頭部旋轉(zhuǎn)角中有一個(gè)角超出閾值持續(xù)時(shí)間>2 s時(shí)，則計(jì)數(shù)并判斷為注意力分散；第2步檢測(cè)視線偏離所占總時(shí)間比值，當(dāng)頭部旋轉(zhuǎn)角中有一個(gè)角超出閾值的時(shí)間比例大于或等于65%時(shí)，則判斷為課堂注意力不集中；當(dāng)超出閾值的時(shí)間比例大于或等于45%且小于65%時(shí)，則判斷為課堂注意力一般；否則判斷為課堂注意力集中。根據(jù)上述判別規(guī)則設(shè)計(jì)了注意力判別系統(tǒng)，如圖8所示。

圖8 注意力判別系統(tǒng)Fig.8 Attention discrimination system

3 實(shí)驗(yàn)結(jié)果與分析

3.1 頭部姿態(tài)的實(shí)驗(yàn)分析

為了驗(yàn)證姿態(tài)估計(jì)的有效性，采用公開(kāi)的Biwi Kinect數(shù)據(jù)集對(duì)頭部姿態(tài)估計(jì)方法進(jìn)行精度測(cè)試。此數(shù)據(jù)集是通過(guò)微軟的Kinect統(tǒng)計(jì)得到的，數(shù)據(jù)集共有1 500張圖像，有20個(gè)不同姿態(tài)的圖像和24段視頻幀，并且對(duì)數(shù)據(jù)集中每個(gè)圖像的位置和角度都做了標(biāo)定,如圖9所示。實(shí)驗(yàn)在8 GB RAM的Inter(R) Core(TM) i5-7500 3.40GHz處理器和64位Windows10操作系統(tǒng)中實(shí)現(xiàn)。開(kāi)發(fā)環(huán)境OpenCV庫(kù)。

圖9 Biwi Kinect數(shù)據(jù)樣本庫(kù)Fig.9 Biwi Kinect data sample database

提出基于卷積神經(jīng)網(wǎng)絡(luò)和POSIT算法相結(jié)合的行頭部姿態(tài)分析方法，并運(yùn)用Biwi Kinect數(shù)據(jù)集[17]進(jìn)行頭部姿態(tài)旋轉(zhuǎn)角計(jì)算，以獲取俯仰角、偏航角、旋轉(zhuǎn)角的估計(jì)值，把其估計(jì)值與數(shù)據(jù)集中標(biāo)定值之間的差值絕對(duì)值作為估計(jì)值的誤差。實(shí)驗(yàn)過(guò)程選用1 300張圖像進(jìn)行模型訓(xùn)練，200張圖像進(jìn)行測(cè)試。首先進(jìn)行數(shù)據(jù)擴(kuò)增，通過(guò)對(duì)訓(xùn)練圖片進(jìn)行順、逆時(shí)針和鏡像的變換，得到了6 500張圖像；在訓(xùn)練過(guò)程中輸入60×60的人臉圖像對(duì)人臉輪廓進(jìn)行剪裁，剪裁后的人臉圖像在對(duì)人臉內(nèi)部關(guān)鍵點(diǎn)進(jìn)行粗定位。粗定位預(yù)測(cè)到的關(guān)鍵點(diǎn)，再通過(guò)剪裁出40×40人臉局部圖像，包括雙眼、鼻尖、嘴角和眉毛的4個(gè)區(qū)域，以關(guān)鍵點(diǎn)為中心對(duì)剪出的4個(gè)局部區(qū)域圖進(jìn)行人臉關(guān)鍵點(diǎn)精定位，隨后根據(jù)其檢測(cè)到的人臉特征點(diǎn)通過(guò)POSIT算法對(duì)其頭部姿態(tài)角度進(jìn)行計(jì)算。如表2[8,18-21]所示，運(yùn)用本方法所得到的θPitch、θYaw和θRoll的平均角度誤差分別為 3.0°、4.0°、3.9°，準(zhǔn)確率為92.7%。實(shí)驗(yàn)表明本文提出的方法對(duì)頭部姿態(tài)估計(jì)有效。為了更好地驗(yàn)證本文方法的效率，選用BiWi姿態(tài)數(shù)據(jù)庫(kù)中連續(xù)的一百幀頭部姿態(tài)信息和文獻(xiàn)[20]進(jìn)行對(duì)比，圖10所示為連續(xù)的一百幀姿態(tài)信息表示結(jié)果。可以看出，本文的方法曲線更加的圓滑，更加符合真實(shí)的姿態(tài)信息，驗(yàn)證了本文方法的魯棒性較好。

表2 本文算法與當(dāng)前頭部姿態(tài)估計(jì)方法的比較Table 2 The algorithm is compared with the current head pose estimation method

圖10 兩種不同算法的比較結(jié)果Fig.10 Comparison results of two different algorithms

3.2 學(xué)生注意力判別分析

基于以上分析，由學(xué)生注意力判別標(biāo)準(zhǔn)來(lái)對(duì)學(xué)生課堂學(xué)習(xí)注意力進(jìn)行分析研究。為驗(yàn)證本方法的檢測(cè)效果，設(shè)計(jì)了由學(xué)習(xí)者模仿學(xué)生傳統(tǒng)課堂學(xué)習(xí)過(guò)程，測(cè)試學(xué)生無(wú)規(guī)律的認(rèn)真聽(tīng)講、低頭看手機(jī)和左顧右盼等學(xué)生日常學(xué)習(xí)課堂行為。選用高清攝像頭，像素1 200萬(wàn)，作為采集工具，把攝像機(jī)固定在學(xué)習(xí)者正前方的2 m處，通過(guò)對(duì)采樣視頻的分析來(lái)檢測(cè)學(xué)生學(xué)習(xí)注意力情況，記錄學(xué)習(xí)者在普通光照條件下60 s內(nèi)的學(xué)習(xí)過(guò)程。

算法實(shí)現(xiàn)過(guò)程：學(xué)生坐在攝像機(jī)前，攝像頭會(huì)記錄學(xué)生的學(xué)習(xí)情況，后通過(guò)注意力檢測(cè)系統(tǒng)對(duì)學(xué)生學(xué)習(xí)過(guò)程的每一幀圖像進(jìn)行檢測(cè)，記錄學(xué)生的頭部旋轉(zhuǎn)信息，將其中有一角超出范圍的記為1，沒(méi)有超出的記為0。首先記錄2 s內(nèi)連續(xù)為1時(shí)，則判定為注意力分散并計(jì)數(shù)，其次計(jì)算單位時(shí)間內(nèi)記錄為1的和占總時(shí)間的比值并輸出學(xué)生課堂注意力情況。由此可以統(tǒng)計(jì)出注意力分散次數(shù)和學(xué)生單位時(shí)間內(nèi)注意力情況。部分典型行為截圖如圖11所示。

圖11 學(xué)習(xí)者行為截圖Fig.11 Screenshot of learner behavior

依據(jù)上述實(shí)驗(yàn)數(shù)據(jù)結(jié)果，構(gòu)造了注意力分散曲線圖，如圖12所示。其中縱坐標(biāo)分散比值為注意力分散檢測(cè)時(shí)間段內(nèi)頭部偏離閾值幀數(shù)占該時(shí)段總幀數(shù)的比值。同時(shí)與其他算法進(jìn)行比較，如表3[22]所示。由表3可知，本文方法的學(xué)生注意力檢測(cè)準(zhǔn)確率為88.7%，相較于傳統(tǒng)算法有所提高，但本文方法對(duì)于頭部朝下時(shí)還存在誤檢的情況，原因在于訓(xùn)練模型的數(shù)據(jù)量較少，以后研究有待進(jìn)一步完善。

圖12 注意力分散檢測(cè)比Fig.12 Attention distraction detection ratio

算法注意分散次數(shù)檢測(cè)錯(cuò)誤次數(shù)準(zhǔn)確率/%頭部偏轉(zhuǎn)檢測(cè)[22]16287.5本文結(jié)果17288.7

4 結(jié)論

提出了一種基于頭部姿態(tài)分析的學(xué)生注意力判別方法。首先，運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)對(duì)人臉面部特征點(diǎn)進(jìn)行提取，并基于POSIT算法計(jì)算人體頭部姿態(tài)角度，最后運(yùn)用注意力判別標(biāo)準(zhǔn)對(duì)學(xué)生注意力進(jìn)行分析研究。通過(guò)實(shí)驗(yàn)分析本文提出的方法可以有效監(jiān)測(cè)學(xué)生的課堂注意力情況，對(duì)學(xué)校課堂教學(xué)研究有一定的理論意義。下一步將繼續(xù)優(yōu)化本文算法模型，嘗試與其他研究方法相結(jié)合對(duì)學(xué)生注意力進(jìn)行研究，同時(shí)將研究成果推廣到多人課堂學(xué)習(xí)注意力的分析判別，最大程度提高注意力分析的魯棒性和實(shí)用性。