基于視頻關(guān)鍵幀分析的課堂教學(xué)效果研究

孫元 陳立軍 吳慶妍

摘要：目前針對課堂教學(xué)效果的研究很多，大多依據(jù)源于問卷調(diào)查之類的主觀數(shù)據(jù)，但是將主觀數(shù)據(jù)作為依據(jù)得到的結(jié)果是否準(zhǔn)確有待商榷。本文針對學(xué)生上課期間的姿態(tài)、表情等視頻信息進(jìn)行提取的關(guān)鍵幀進(jìn)行分析，客觀地直接獲得學(xué)生上課期間的學(xué)習(xí)狀態(tài)信息，以該表現(xiàn)為依據(jù)，針對教師整個授課期間或者部分授課時間或者某一個知識點(diǎn)的學(xué)生表現(xiàn)提醒教師繼續(xù)沿用或者改進(jìn)授課方式、方法，從而達(dá)到更好的授課效果。

關(guān)鍵詞：課堂教學(xué)；視頻；關(guān)鍵幀

中圖分類號：G642.0 文獻(xiàn)標(biāo)志碼：A 文章編號：1674-9324（2018）38-0184-02

目前針對課堂教學(xué)效果的研究很多，比如：馮利英等教師發(fā)表的“高校教師課堂教學(xué)效果評價研究綜述”建立了科學(xué)系統(tǒng)、操作性強(qiáng)的評價指標(biāo)體系[1]；劉堅(jiān)等教師發(fā)表的“基于多元統(tǒng)計分析的高校課堂教學(xué)質(zhì)量評價研究”針對高校課堂教學(xué)質(zhì)量評價進(jìn)行了主成分分析及聚類分析。聚類分析對各個教師進(jìn)行了有效分類，使得評價結(jié)果更加科學(xué)[2]；吳國譽(yù)等教師發(fā)表的“以學(xué)生為本的高校課堂教學(xué)評價指標(biāo)體系研究”從學(xué)術(shù)性、互動性、成長性、差異性、導(dǎo)向性和可測性等多方面構(gòu)建“以學(xué)生為本”的教學(xué)評價指標(biāo)體系[3]。

以上研究大多依據(jù)于問卷調(diào)查之類的主觀數(shù)據(jù)得來，雖然分析的方法很多，但是將主觀數(shù)據(jù)作為依據(jù)得到的結(jié)果是否準(zhǔn)確有待商榷。目前需要有更為客觀的學(xué)生課堂數(shù)據(jù)作為依據(jù)，在此基礎(chǔ)上再進(jìn)行的各種方法分析才具有更為客觀的意義。本論文就是客觀地針對如何提取授課過程中學(xué)生學(xué)習(xí)狀態(tài)來進(jìn)行的，進(jìn)而依據(jù)學(xué)生聽課狀態(tài)分析教學(xué)效果，從而進(jìn)一步延續(xù)或者改進(jìn)教學(xué)方式、方法。

本論文中所使用的視頻關(guān)鍵幀處理方法主要利用深度學(xué)習(xí)來實(shí)現(xiàn)，深度學(xué)習(xí)使用了分層抽象的思想，高層的概念通過低層的概念學(xué)習(xí)得到。這一分層結(jié)構(gòu)通常使用逐層訓(xùn)練算法構(gòu)建而成，并從中選取有助于機(jī)器學(xué)習(xí)的有效特征，很多深度學(xué)習(xí)算法都是以無監(jiān)督學(xué)習(xí)的形式出現(xiàn)的，因此這些算法能被應(yīng)用于其他算法無法企及的無標(biāo)簽數(shù)據(jù)，這一類數(shù)據(jù)比有標(biāo)簽的數(shù)據(jù)更為豐富，也更容易獲得，這一點(diǎn)成為深度學(xué)習(xí)的重要優(yōu)勢。下面就本論文實(shí)施過程進(jìn)行重點(diǎn)論述。

一、標(biāo)準(zhǔn)學(xué)生上課狀態(tài)入庫

基于大數(shù)據(jù)思維，采集學(xué)生上課過程中狀態(tài)視頻信息，提取出其中標(biāo)準(zhǔn)的學(xué)生上課狀態(tài)：學(xué)生姿態(tài)以及面目表情。其中學(xué)生姿態(tài)包含：認(rèn)真聽講、舉手、低頭、看手機(jī)、睡覺、長時間寫字不抬頭、同學(xué)兩兩之間側(cè)頭交頭接耳等；如果采集的數(shù)據(jù)足夠清晰，可以采集聽課過程中的學(xué)生面目表情進(jìn)行各種聽課狀態(tài)的分析。學(xué)生面目表情包含：睜眼、皺眉、閉眼、用手支撐頭部并眼部斜視、同學(xué)兩兩之間側(cè)頭交頭接耳等。

利用視頻關(guān)鍵幀的顏色、紋理、形狀等多維度特征將這些學(xué)生上課期間的標(biāo)準(zhǔn)狀態(tài)信息錄入數(shù)據(jù)庫。

1.基于視頻提取關(guān)鍵幀。由于整個上課過程都是基于一個鏡頭進(jìn)行的，所以不需要鏡頭切換的算法。首先把視頻的第一個關(guān)鍵幀作為基本關(guān)鍵幀，確定學(xué)生所在位置，提取相關(guān)狀態(tài)，將各個學(xué)生的狀態(tài)和標(biāo)準(zhǔn)庫中的學(xué)生狀態(tài)進(jìn)行比較，分析確定剛剛上課時學(xué)生的基本狀態(tài)，如果聽課比例較低，則說明需要調(diào)動積極性，或者說明學(xué)生上堂課精力消耗過多。為了避免整個上課過程中提取關(guān)鍵幀缺失的問題，利用漸變提取關(guān)鍵幀的方式。漸變提取關(guān)鍵幀的方法就是在提取一個關(guān)鍵幀之后一段時間內(nèi)播放的視頻中和最近一個提取的關(guān)鍵幀的多維度特征計算的差值沒有達(dá)到給定的閾值，那么就按照時間間隔經(jīng)驗(yàn)值在視頻中提取一個關(guān)鍵幀，比如：間隔5秒或者10秒等提取一個漸變關(guān)鍵幀。針對于切變的關(guān)鍵幀提取方法：當(dāng)前一個關(guān)鍵幀與后一關(guān)鍵幀多維度特征比較結(jié)果高于給定的閾值時，需要提取這一變化較大的關(guān)鍵幀作為下一個視頻關(guān)鍵幀。該閾值的設(shè)定依據(jù)于學(xué)生姿態(tài)以及面目表情在聽課期間的變化比例，對于該變化與前一提取關(guān)鍵幀學(xué)生聽課狀態(tài)比值高出或低于5%，那么就提取；當(dāng)然這一經(jīng)驗(yàn)值的設(shè)定需要在實(shí)踐過程中進(jìn)行總結(jié)而得，目前暫定為5%。

2.針對于關(guān)鍵幀的處理。視頻關(guān)鍵幀的處理有多種方式，首先提取相關(guān)的多維度特征，即提取顏色、紋理、形狀等特征進(jìn)行比對，如果學(xué)生位置不變化，那么整個身體的顏色基調(diào)基本一致，如果學(xué)生的姿態(tài)發(fā)生變化：（1）由坐姿變成趴在桌子上，那么顏色特征的提取比對就具有非常大的意義，當(dāng)然針對以上情況，形狀特征的提取和比較也非常有意義，這是一種針對坐姿變化的特征比對方法。學(xué)生從抬頭到低頭的變化可以利用將頭部顏色和紋理進(jìn)行結(jié)合對比進(jìn)行獲取。（2）學(xué)生將手機(jī)拿到桌面上看的時候頭部不會是直視前方，關(guān)鍵幀中獲取的是一部分頭頂、一部分臉部，和標(biāo)準(zhǔn)的聽課姿態(tài)中頭部信息比較，頭部要比顯示的比例要更多，當(dāng)然也可以加入眼睛部分的特征，因?yàn)槠溲劬Σ糠植粫币暻胺剑侵币暻胺阶魏蟊郴蛘咧币曌烂妫@樣就可以根據(jù)顏色和紋理兩個特征的結(jié)合與標(biāo)準(zhǔn)聽課姿態(tài)進(jìn)行比對。（3）睡覺的姿態(tài)可以通過形狀特征比對即可，由于睡覺姿態(tài)沒有學(xué)生坐姿的形狀特征，只有座椅，所以簡單地通過分析關(guān)鍵幀的形狀特征就可以達(dá)到目的。（4）長時間寫字不抬頭：由于該姿態(tài)頭部不是被前面的座椅后背完全擋住，所以長時間低頭，手臂不在頭部下面，說明是在寫東西，不是睡覺。由于是長時間處于該姿態(tài)，說明這段時間沒有抬頭聽課，所以分類到不認(rèn)真聽課類別中。

以上屬于面目表情的分析，由于上課學(xué)生可能人數(shù)眾多，所以需要對提取的關(guān)鍵幀進(jìn)行分塊處理：首先將視頻關(guān)鍵幀按照座位或者按照學(xué)生的形狀特征進(jìn)行分塊處理，在獲得了學(xué)生上課位置信息之后，再定位頭部所在位置，進(jìn)一步對頭部幾個主要區(qū)域進(jìn)行分塊處理，比如提取學(xué)生的眼睛狀態(tài)、眉毛狀態(tài)等多種面部器官的特征，為分析面目表情信息做好前期鋪墊。利用深度學(xué)習(xí)與面目表情相結(jié)合是將特征提取和模式分類在同一個模型中依次實(shí)現(xiàn)，利用它特殊的結(jié)構(gòu)特點(diǎn)，先逐層地進(jìn)行特征學(xué)習(xí)，以得到類似人腦認(rèn)知的抽象特征，然后在模型中直接用于分類。

以下的幾種表情屬于比較細(xì)小的特征，需要有清晰程度較高的攝像設(shè)備才可以做到：（1）睜眼或閉眼：主要分為兩種狀態(tài)，一種是睜眼，一種是閉眼。利用人臉識別算法中針對眼睛的瞳孔位置以及大小來判定是否處于睜眼的狀態(tài)，否則就屬于閉眼。（2）皺眉：首先定位該位置在兩眉之間，平滑和褶皺的比較。（3）用手支撐頭部并眼部斜視：該姿態(tài)可以利用形狀特征與學(xué)生正常聽課姿態(tài)比較即可獲得。（4）同學(xué)兩兩之間側(cè)頭交頭接耳：該姿態(tài)主要從頭部角度分析，由于側(cè)頭說話，面部特征與頭頂特征比例不同，同時鄰座兩個人相向側(cè)身，將兩個側(cè)身相對作為一個整體分析。

二、采集學(xué)生上課狀態(tài)并比對

采集學(xué)生上課過程中狀態(tài)視頻和教師的板書或者演示文稿，基于漸變和切變等原理提取學(xué)生狀態(tài)的視頻關(guān)鍵幀，針對學(xué)生聽課狀態(tài)、基于計算機(jī)視覺提取關(guān)鍵幀的多維度特征，將特征結(jié)果與數(shù)據(jù)庫中的標(biāo)準(zhǔn)學(xué)生上課狀態(tài)進(jìn)行比對，得到學(xué)生上課各種狀態(tài)。

1.分析學(xué)生上課狀態(tài)數(shù)據(jù)。分析依據(jù)如下：姿態(tài)中認(rèn)真聽講、舉手表明學(xué)生認(rèn)真聽課；低頭、看手機(jī)、睡覺、長時間寫字不抬頭等說明學(xué)生沒有認(rèn)真聽課。針對面目表情：皺眉，說明可能有難度，沒有聽懂；點(diǎn)頭，說明學(xué)生已經(jīng)領(lǐng)悟了所講授的知識；睜眼，說明認(rèn)真聽講；閉眼，說明雖然抬頭了，但是比較疲倦，沒有聽課；用手支撐頭部并眼部斜視，說明沒有認(rèn)真聽講；同學(xué)兩兩之間側(cè)頭交頭接耳，說明學(xué)生對講解的知識點(diǎn)有疑問或者沒有認(rèn)真聽課。基于以上學(xué)生狀態(tài)分析出絕大部分、部分、少部分等多種比例學(xué)生屬于認(rèn)真或不認(rèn)真聽課，進(jìn)而作為教師改進(jìn)或延續(xù)授課方式、方法的依據(jù)。

2.分析數(shù)據(jù)結(jié)果更改或延續(xù)教師授課方式、方法。在分析出絕大部分、部分、少部分等多種比例學(xué)生屬于認(rèn)真或不認(rèn)真聽課之后，對于學(xué)生認(rèn)真聽課時段的授課內(nèi)容以及授課方式，授課教師要總結(jié)是何種原因讓大部分學(xué)生能夠認(rèn)真聽講，比如：授課內(nèi)容、授課方式、案例生動程度、與現(xiàn)實(shí)產(chǎn)品結(jié)合的情況等多種原因，在今后的授課過程中要延續(xù)該方式、方法；對于一部分學(xué)生上課期間認(rèn)真聽講而另一部分不認(rèn)真聽講的，需要分析是不是方式、方法有問題，做出適當(dāng)?shù)恼{(diào)整；如果大部分學(xué)生上課期間不認(rèn)真聽講，那么要改進(jìn)教學(xué)方式、方法。

三、總結(jié)

通過本論文的相關(guān)想法以及實(shí)現(xiàn)，可以利用課堂上學(xué)生的狀態(tài)以及表情信息作為判斷學(xué)生學(xué)習(xí)狀態(tài)的標(biāo)準(zhǔn)，由此授課教師可以繼續(xù)保持或者改變授課方式、方法，最終達(dá)到講授的知識點(diǎn)被學(xué)生吸收的目的。

參考文獻(xiàn)：

[1]馮利英，等.高校教師課堂教學(xué)效果評價研究綜述[J].內(nèi)蒙古工業(yè)大學(xué)學(xué)報（社會科學(xué)版），2014：81-85.

[2]劉堅(jiān)，等.基于多元統(tǒng)計分析的高校課堂教學(xué)質(zhì)量評價研究[J].保險職業(yè)學(xué)院學(xué)報（雙月刊），2012：84-87.

[3]吳國譽(yù)，等.以學(xué)生為本的高校課堂教學(xué)評價指標(biāo)體系研究[J].教育探索，2015，（10）：19-23.