課堂教學視頻中的S-T行為智能識別研究*

周鵬霄 鄧 偉 郭培育 劉清堂

（1．華中師范大學 教育信息技術學院，湖北武漢 430079；2．華中師范大學 信息化與基礎教育均衡發展協同創新中心，湖北武漢 430079）

一 研究的背景及意義

如今，教育信息化在實際課堂的應用逐漸成熟，教師信息技術素養逐步提高，教師使用視頻技術開展課堂教學活動也逐漸成為一種常見現象；同時，大量的教學視頻隨著教學的需要而出現，讓學生能夠在課下補充學習，教師之間也能互相借鑒教學策略。受“教師即研究者”的相關理論及研究的影響，人們認識到分析教學視頻中的教學行為，對教學實踐做出精確分析與診斷，在調整教師課堂模式、提升教師執教能力方面具有不可替代的作用[1]。課堂教學視頻能夠真實、全面地再現課堂教學的復雜性和動態性，但處理這項工作將需要大量的專業工作人員、耗費大量的時間。因此，視頻的教學信息提取過程智能化刻不容緩。

本研究的目的是實現課堂教學視頻的主體行為識別智能化。算法在功能上實現對教學視頻自動分析與編碼、得到主體行為序列、計算Rt與Ch值、判斷分析教學視頻的教學模式。研究結果既可供教育工作者分析診斷課堂教學行為、判斷課堂教學模式，又有助于教師反思課堂教學、根據分析平臺結果改進教學行為，有助于教師提升實際工作中的課堂實踐技能，促進學校合作文化形成和教師專業發展。

二 研究依據

本研究對教學視頻主體行為分析的依據主要是S-T（Student-Teacher）分析法，主要用于對教學過程的定量分析。它是一種客觀有效的、圖形化的教學分析方法，可以有效記錄、分析、研究教學過程[2]。在研究過程中，首先是對視頻數據進行收集。S-T教學分析通過觀察實際教學過程或者觀看錄像資料，以一定的采樣頻率對課堂教學視頻進行采樣記錄，并根據樣本點的行為類別（如表1所示）以相應的符號S和T記入，構成S-T數據；然后根據該數據繪制S-T曲線進行教學分析；再次，依據已經搜集的數據進行分析，從而確定教學模式。統計總行為個數中教師行為（T）的個數為c，計算連續相同行為的連數為g，按照公式（1）、（2）計算Rt（課堂教學中的教師行為占有率）和Ch（師生行為轉化率）的值：

最后，根據Rt、Ch的值確定四種不同的教學模式，如表2所示。

表1 T行為和S行為的具體表現形式

表2 教學模式及其標準條件

三 視頻幀圖像主體行為特征檢測

1 人臉檢測

本研究采用的人臉檢測是基于統計理論的 AdaBoost方法，在這個算法中將人臉圖像用Harr-like特征表示，引入了“積分圖”對圖像進行表達，這樣減少了計算特征值所耗費的時間[3][4]。本研究采用的人臉檢測方法是運用OpenCV自帶的分類器，研究對象課堂教學視頻的特點是教師與學生都是非靜止狀態，臉部并非一直正對攝像頭。因此，基于上述這些特點，本研究的做法是不選擇正臉分類器，而是選用側臉檢測分類器，利用分類器可以編出一個人臉檢測的程序[5]。

2 輪廓檢測

通過比較發現，教師行為狀態的圖像較為簡單、輪廓較為清晰，而學生行為狀態的圖像多數比較復雜、輪廓線條較多。所以，可以將輪廓檢測結果作為最終主體行為特征判定的因素之一，本研究通過過濾較小輪廓，對符合條件的輪廓數量與大小進行統計并保存。

（1）輪廓檢測概述

在對圖像進行目標檢測時，圖像輪廓是重要的提取信息。輪廓檢測其實就是對圖像進行封閉邊緣線條內部的像素掏空，保留封閉的輪廓形狀過程，通過依次對封閉輪廓的輪廓點進行遍歷，獲取坐標點、輪廓面積、輪廓數量等數據，推測圖像中主題目標物的特征。

（2）輪廓檢測算法介紹

輪廓檢測目標是對指定圖像進行輪廓提取，并且過濾掉小面積輪廓，最后獲取有參考價值的輪廓并保存相關信息。圖像輪廓檢測的基本步驟如圖1所示。

圖1 圖像輪廓檢測的基本步驟

3 主體動作幅度檢測

判定課堂教學視頻中主體行為，需要對視頻幀圖像的變化進行研究，本研究主要是對視頻前后幀圖像中主體動作幅度進行檢測計算，從而推測主體是教師行為還是學生行為。這個過程包括兩個部分：①調用兩幅視頻的相近幀圖像，對其做差，得到差值的二值圖像；②對得到的差值二值圖像進行連通域的檢測與面積計算——若得出的面積小于一個值，那么可以確定此階段運動主體所占面積較小，即很大概率上判定主體是教師，因為教師通常在講臺，與其它可運動目標的重疊較少；反之，若面積大于一個值，那么可以確定此階段運動主體所占面積較大，即很大概率上判定主體是學生，因為學生的行為特征表現在圖像上是大面積重疊的目標。

①圖像作差。圖像作差是對兩幅同樣大小的圖像按照“長*寬”矩陣數組順序進行點數據作差，得出差值的第三幅圖像即為差值圖像。

②統計連通域數據。為了得到差值圖所表示的差值大小，本研究主要對連通域的面積、長度、寬度等數據進行統計，所用的處理對象是二值圖像，處理后的結果是標識出最大連通域的輪廓并得到其面積、長度。

4 視頻幀圖像主體行為特征分析

本研究根據之前對課堂教學視頻幀圖像所進行的各種檢測結果，將數據總結、保存，利用貝葉斯因果網[6][7]對主體行為特征進行推斷模型設計，從而判定視頻幀圖像的主體行為，并應用于最終課堂教學視頻的數據計算、圖表繪制與模式判定。

（1）行為特征識別的依據

本研究選擇貝葉斯因果網作為判定主體行為特征的推理模型，這個模型起源于人工智能領域，是一種將概率統計應用于數據分析、進行不確定性推理和復雜領域的工具，因其直觀易懂且適合計算機處理，相關缺失證據會在某些事實缺失的時候減弱對被查詢變量的影響。即在本研究中，對課堂教學視頻進行圖像識別與主體特征檢測，從而對主體行為進行不確定推測，適當減弱其中一種檢測的誤差造成的影響。

表3 根據貝葉斯因果網的行為特征識別設計

（2）行為特征識別的設計

對比之前對課堂教學視頻幀圖像進行的各種檢測結果，根據不同的數據傾向判定不同的主體行為，本研究基于貝葉斯因果網設計了課堂教學視頻主體行為特征的推測過程，如表3所示。

在表 3中，行為①人臉檢測結果數目為零，即教學視頻中沒有人臉，推測為課件播放，或者黑板板書，課堂情境為教師正在進行解說教學內容或者進行媒體展示等教學說動，所以判定為T行為。行為②、③人臉檢測結果數目為一個（可能是一個教師或者一個學生），若輪廓數目較少（如行為②），那么可推測是教師，因為教師背景環境較為簡單，輪廓檢測數目與學生圖像相比要少，即教學情境描述為教師一人畫面，在進行解說、示范、提問等T行為；若主體動作幅度檢測較大，即相鄰幀圖像作差后差值不為0的區域面積較大，表示整個圖像變化主體區域較大（如行為③），那么可推測是有學生背景的少數學生特寫，即教學情境描述為一個學生在發言，或者學生思考、記筆記等的特寫，為S行為。行為④人臉檢測結果數目為大于一個，表示課堂教學視頻中的主體為兩個或兩個以上，而不管輪廓檢測數目和主體動作幅度檢測是多少，都可判定是有多數學生畫面的教學活動，所以課堂情境為學生聽講、思考、記筆記等S行為。如此，根據貝葉斯因果網設計的課堂教學視頻主體行為特征推測模型，可以獲取主體行為的數據信息，然后根據該數據繪制S-T曲線進行教學分析。

四 實驗測試與分析

1 算法運行結果

為了實現課堂教學視頻的計算機自動化S-T分析，本文研究課堂教學視頻中的主體行為智能識別算法。通過之前的視頻分析與圖像識別得到主體行為特征，再經過貝葉斯因果網推測主體行為類別，可以確定教學行為序列，進一步判定課堂教學視頻的教學模式。通過運行本文算法，直接得到的教學視頻信息有視頻幀數、采樣總數、教師行為與學生行為數量、Rt與Ch的值以及教學模式的類型。

2 測試分析

（1）課堂教學視頻分類

本研究將課堂教學視頻分為兩類：一是標準剪輯類型，鏡頭是教師、課件、學生三種畫面，主體比較明確，如圖2所示；二是監控角度類型，一般由面向教師與面向角度組成，圖像主體相對復雜，如圖3所示。

圖2 標準剪輯類型

圖3 監控角度類型

（2）算法測試對比分析

為了從實際應用角度更好地檢測本算法，本研究采用兩類課堂教學視頻對算法進行測試，測試視頻每兩秒采樣一幀，分析其行為特征。表4中是10個視頻的測試結果，包括視頻時長、人工計算與算法分析得到的教學模式比對以及對課堂教學視頻采樣序列的匹配率。

表4 算法測試比對表

從準確度角度分析，對于第一類較為標準的課堂教學視頻，教學模式的判斷基本是正確的，采樣圖像序列的行為分析匹配率在 93%～96%之間，基本完成算法設計的目的；對于第二類拍攝環境較為復雜的課堂教學視頻，教學模式的判斷結果較差，同時觀察采樣序列的匹配率在64%～80%之間，說明仍存在較大誤差（即20%～36%的圖片分析錯誤），這是教學視頻主體分析錯誤所致。

對于第一類類型課堂教學視頻，算法分析符合率較高，是因為視頻畫面比較標準，由教師講授畫面、課件畫面、學生畫面組成，行為特征也較為明顯。因此，測試結果與人工計算結果基本相同。而對于第二類型的測試結果，主體行為分析錯誤的原因有許多，主要為：當教師背過身體板書時，因無法檢測到人臉，此時人臉個數為零，從而造成主體行為判斷失誤；當教師與學生同時存在于視頻中時，學生大多背向教師，但不乏學生側臉被檢測到，檢測到的人臉數可能是2個及以上，判斷為學生行為而造成失誤。

五 總結與展望

本研究對課堂教學視頻類型中主體行為特征分析有了一定的進展，通過初步的視頻預處理、人臉檢測、輪廓檢測、主體運動幅度檢測，將結果依據貝葉斯因果網推斷圖像所在的視頻幀中的行為類型，最終得到的行為序列依據 S-T分析計算方法判定出教學視頻的教學模式，得到結論的準確度會隨著課堂教學視頻的環境復雜度而降低。算法較為標準的拍攝視頻有一定的智能分析能力，但教學視頻行為的智能分析是一個比較復雜的課題，主要是因為視頻中有許多不明晰特征，部分視頻片段很難用簡單的人臉檢測和輪廓檢測得到準確的主體行為特征，所以有誤差的分析過程造成了結果的偏差。由于教學視頻行為的智能分析是一個包含許多細節識別的課題，因此需要研究者將各種情況都考慮到，才能得到更準確的結果。

根據目前的研究進度，未來的研究工作主要圍繞以下幾點：①研究人頭檢測，精確判斷視頻幀圖像中人的個數，僅僅從人臉檢測角度判斷人數不夠準確；②精準教師的目標路徑跟蹤，如果能夠準確判定教師的行為，自然能準確得到教學視頻的教學模式；③將整個算法過程可視化，讓操作更加方便。

[1]劉飛,劉雁,黃成云.基于 S-T分析法的教學過程對比分析——以網易視頻公開課為例[J].中國教育信息化,2012,(11):58-60.

[2]程云,劉清堂,王鋒,等.基于視頻的改進型S-T分析法的應用研究[J].電化教育研究,2016,(6):90-96.

[3]馮滿堂,馬青玉,王瑞杰.基于人臉表情識別的智能網絡教學系統研究[J].計算機技術與發展,2011,(6)193-196.

[4]朱興統,習洋洋.基于C++和OpenCV的人臉識別系統的設計與實現[J].自動化與儀器儀表,2014,(8):127-128、131.

[5]劉子源,蔣承志.基于OpenCV和Haar特征分類器的圖像人數檢測[J].遼寧科技大學學報,2011,(4):384-388.

[6]王影,李春好.貝葉斯因果圖的構建與應用[J].統計與決策,2016,(7):25-28.

[7]明安龍,馬華東,傅慧源.多攝像機監控中基于貝葉斯因果網的人物角色識別[J].計算機學報,2010,(12):2378-2386.