計算機視覺在多媒體教學課堂學習行為分析中的技術實踐

摘要：計算機視覺技術的發展為解決多媒體教學中學生的課堂學習行為分析提供了新的思路。概述了多媒體教學系統的構成、計算機視覺技術的基本原理以及課堂學習行為分析的主要需求，闡述了基于計算機視覺的課堂學習行為分析系統的總體架構設計、多媒體教學設備集成方案、視覺算法選擇、學習行為數據采集與預處理、學習行為特征提取與表示以及學習行為分析與評估模型構建等關鍵技術，最后評估了該系統在不同教學場景下的性能表現。

關鍵詞：多媒體教學；行為分析；計算機視覺；特征提取

一、前言

多媒體教學系統集合了計算機、網絡、音視頻等技術，為教學活動提供了豐富、直觀、生動的教學資源和手段。課堂學習行為分析是教學的重要環節，通過觀察、記錄和分析學生學習行為，教師可以有針對性地調整教學策略。傳統的多媒體教學系統側重教學內容的呈現，行為分析依賴教師的主觀觀察和經驗判斷，存在效率低、主觀性強等問題。計算機視覺（Computer Vision）是人工智能領域的重要分支，用算法分析和理解圖像、視頻數據，感知理解現實世界。將計算機視覺技術應用于課堂學習行為分析，可以捕捉、跟蹤和分析學生的學習行為，從而客觀評測學生學習狀態。

二、相關技術概述

（一）多媒體教學系統構成

多媒體教學系統是集成了計算機硬件、軟件、網絡通信、音視頻處理等技術的復雜系統，硬件部分通常由教師端計算機、學生端計算機、服務器、交換機、路由器、投影儀、電子白板、音響、攝像頭等設備組成。教師端計算機控制教學內容的呈現和交互，學生端用于接收和顯示教學內容，完成互動練習。系統的核心功能是處理課程管理、教學活動組織、學習行為追蹤、教學效果評估等主要業務，采用微服務架構，各模塊之間通過RESTful API通信。網絡形式一般采用C/S或B/S架構，通過局域網或廣域網架設端到端通信。本研究擬在多媒體教學系統中置入學習行為分析模塊，思路如圖1右側所示。

（二）計算機視覺技術原理

計算機視覺的基本原理可概括為“圖像表示－特征提取－模型學習－視覺推理”的連續過程。圖像表示是將圖像信號轉換為適合計算機處理的數字化形式。特征提取是關鍵步驟，目的是選擇能夠刻畫圖像視覺屬性的特征描述，可分為底層特征和高層特征兩類，模型學習是利用訓練數據集，優化特征到語義映射的過程，利用學習到的模型執行視覺推理，即可分析和預測新的圖像或視頻，輸出語義標簽或描述信息。

（三）課堂學習行為分析需求

從應用來看，多媒體教學的課堂學習行為分析需求包括：

1.學習專注度評估[1]

學生在課堂上的注意力投入程度，與學習效果密切相關。利用視覺分析技術，通過學生的視線追蹤、面部表情、肢體動作等信息，客觀量化學生的專注狀態，發現走神、瞌睡等情況。

2.學習情緒識別

基于表情識別、語音分析等技術，從學生的面部微表情、聲音語調等細節入手，實時推理學生的情緒狀態（高興、憤怒、厭惡、驚訝等）。

3.學習行為識別

學習行為反映了學生在課堂上的參與和互動方式，可進一步劃分為個體行為（聆聽、筆記、發言、舉手、練習）和社會行為（提問、討論、辯論、合作）。利用行為檢測、姿態估計、群體運動分析等技術，可以自動分析學生的課堂行為序列。

4.學習效果評價

利用學生的課堂專注度、情緒狀態、參與行為等指標，推斷其對知識點的掌握程度，還可以結合作業、測驗等過程性評價，實時診斷學生的學習困難和誤區。

三、基于計算機視覺的課堂學習行為分析技術實踐

（一）架構設計

研究設計了基于計算機視覺的課堂學習行為分析系統，其架構遵循“前端感知－邊緣計算－云端服務”的設計理念，多層解耦[2]，如圖2所示。

數據采集層部署于教區現場，采集的數據上傳至邊緣計算節點預處理，并通過MQTT協議將預處理后的數據實時傳輸至云端和行為分析層，在云服務支持下，數據處理層執行清洗、同步、融合，提取學生特征，形成行為描述數據，匯總入行為分析層，構建學生行為的時空表示模型。

（二）多媒體教學設備集成方案

教室現場，部署了一組由N個節點組成的邊緣計算集群，各設備通過有線或無線網絡與邊緣節點連接，并通過統一的設備描述模型（UPnP、OneM2M等）對外提供狀態信息和控制接口。邊緣節點采用Node.js開發，內置了Redis緩存和SQLite持久化數據庫，通過Mosca搭建MQTT代理服務器，將設備的實時數據以主題（Topic）的形式發布到消息總線上，供其他節點訂閱和消費。多個邊緣節點間采用Raft一致性算法，通過選主和日志復制機制動態維護設備信息的全局視圖。教室現場的音視頻采集方面，綜合考慮了成像質量、同步精度、數據帶寬等因素，最終選定如下方案。

1.視頻采集

采用4臺高清攝像機（索尼FDR-AX60）和2臺全景相機（Insta360 Pro 2），通過HDMI/USB接口分別接入4個邊緣節點。高清攝像機以30幀/秒的幀率錄制1080P RGB視頻，用于捕捉學生的細粒度表情、手勢等信息。全景相機則以8K分辨率、60幀/秒的幀率錄制360度全景視頻，用于獲取教室整體行為信息。考慮到全景視頻數據量大，在節點本地使用FFmpeg進行H.265編碼壓縮，并通過RTMP協議推送到流媒體服務器上。

2.音頻采集

布置了1個由8個麥克風單元組成的環形陣列（ReSpeaker Mic Array v2.0），通過USB接口接入1個邊緣節點。麥克風陣列可實現5米半徑內的遠場拾音，采用PDM脈沖密度調制技術，以16kHz采樣率、4通道同步錄制音頻。節點本地運行WebRTC音頻引擎，提供自動增益控制（AGC）、回聲消除（AEC）、噪聲抑制（NS）等實時音頻處理功能，并通過Opus編碼后上傳至云端。

來自不同節點的多模態數據通過Apache Pulsar分布式消息流平臺進行收集和存儲，Pulsar提供原生的Presto/Spark/Flink連接器。

（三）學習行為數據采集與預處理

1.視頻數據

利用教室前后方的RGB攝像頭和全景相機，采集教師、學生的視頻數據。對采集到的視頻流進行解碼和幀提取，然后使用視覺算法檢測學生的身份、位置、姿態、表情、手勢等信息，并結構化存儲為幀級別的元數據記錄。為提高處理效率，采用基于自適應編碼策略動態調整視頻的編碼比特率。例如，當學生處于專注狀態時，提高編碼質量，以獲取更多行為細節；當學生處于發呆、瞌睡等非專注狀態時，降低編碼質量，僅作標記，以節省計算和存儲資源。

2.音頻數據

利用教室中的麥克風陣列采集老師和學生的語音數據。對多通道音頻執行噪聲消除、混響抑制等預處理，提升音質，然后使用聲源定位算法估計不同學生的聲音方位，使用說話人分割（Speaker Diarization）算法自動檢測和分割不同學生的語音片段。對分割后的語音片段，提取梅爾頻率倒譜系數、基音頻率等聲學特征，用于情緒識別、語音轉寫等后續分析。

3.筆跡數據

通過電子白板、互動屏等書寫設備，記錄學生在課堂練習、互動討論中的筆跡行為。重點關注學生筆跡的內容、形狀、力度、速度等屬性，提取關鍵特征點。在筆跡識別方面，使用基于Attention的Seq2Seq模型和ConnNet等算法，在線識別手寫數學公式、化學符號，結合字符檢測和場景文本識別，提取學生書寫的文本內容，用于語義理解和問答分析。

4.傳感器數據（非全面覆蓋，部分教區試點）

在座椅、桌面等教具上布置壓力、紅外等傳感器，采集學生的坐姿、皮膚溫度等生理和行為數據。將結構化的傳感器數據與視頻、音頻數據進行時間同步。

（四）學習行為特征提取與表示

在對原始行為數據進行采集和預處理之后，需要進一步提取高層語義特征，刻畫學生行為的內在模式和規律：

1.時間維度的特征

重點刻畫學生行為在時間軸上的分布、持續、頻率、周期等動態特性，度量學生參與度的趨勢變化，檢測學生專注度的突發模式。使用Fourier變換、小波分析等方法挖掘學生行為的周期性。

2.空間維度的特征

重點刻畫學生在教室空間內的位置分布、交互模式等群體行為特征，統計不同區域內學生的人數、密度等指標，分析學生的座位親密度。針對教師的行為，參考類似于籃球比賽的戰術分析算法[3]，挖掘教師的移動規律、授課節奏等空間行為模式。

3.語義維度的特征

重點挖掘學生筆跡、語音等內容數據背后的情感傾向、話題分布、知識掌握等語義信息，使用Word2Vec、BERT等語言模型學習詞嵌入表示，采用了聲紋識別、情感分析、語音轉寫等技術，對學生發言、提問等語音片段進行話者分離、情緒識別和語義提取。

（五）學習行為分析與評估模型構建

1.學習專注度評估模型

設計了一個基于多尺度時空卷積網絡的專注度評估模型。模型以學生的面部表情、肢體動作等行為序列為輸入，首先通過多個并行的時空卷積分支提取不同感受野的時空特征，捕捉學生行為在時間和空間上的局部和全局模式，使用通道自適應機制調節不同卷積分支的重要性，突出與專注度判別最相關的行為模式[4]，最后通過全連接層整合各尺度的時空特征，預測學生專注程度的連續值。

2.學習情緒識別模型

針對學習情緒的動態性和個體差異性，提出一個個性化注意力循環網絡模型，模型采用雙向LSTM作為基本單元，以學生的面部表情、語音等多模態行為序列為輸入，首先在每個模態內部提取情感相關的時序特征，然后通過Modality Attention機制自適應地融合不同模態的情感表示，克服模態間的異構性和冗余性，建模不同時間步上情感狀態的全局依賴，同時引入學生個人畫像信息作為Query，最后通過softmax層預測學生的情緒類別。

3.知識掌握度診斷與預測模型

以學生的歷次答題記錄和課堂行為數據為輸入，首先使用Embedding層將答題結果、知識點、學習行為等異構信息映射到同一語義空間，采用多層編碼器提取答題序列的上下文表示和行為序列的時序表示，建模答題表現和學習行為之間的交互影響，動態調整兩類特征的權重，最后使用LSTM解碼器逐步生成學生對后續知識點的掌握概率。

四、行為識別準確度測試與分析

為評估課堂學習行為分析模型的性能，設計了一套定量和定性相結合的評估指標[5]：專注度評估的平均絕對誤差（MAE）、情緒識別的F1值、知識掌握度預測的AUC（Area Under Curve）值。對不同教學模式，選取了常規教學的多媒體輔助的常規課堂教學、多媒體實驗室教學、多媒體工業實訓教學、多媒體翻轉課堂教學等典型場景，分別部署系統進行為期一學期的常態化運行。

結果表明，模型在各類教學場景下均取得了較為理想的性能表現，行為識別的準確性和計算效率滿足實際應用需求。在專注度評估任務上，邀請5位有豐富教學經驗的老師，對50名學生在4周內的課堂表現進行主觀評分，作為對照組數據。將兩組數據與學生的期末考試成績進行相關性分析，可以看出，系統呈現出與學生學業績效的相關性顯著高于教師憑經驗的主觀判斷，表明了其在專注度評估上的有效性。

五、結語

將計算機視覺技術引入多媒體教學系統，對學生的學習行為進行自動化、智能化分析，不僅有助于減輕教師的工作負擔，提高教學效率，而且能夠為教學決策提供更加全面、客觀的依據。盡管在實際應用中還存在一些問題，但隨著教育數據的持續積累，相信這些問題終將得到有效解決。總的來說，將計算機視覺技術應用于多媒體教學課堂學習行為分析，是教育信息化發展的必然趨勢，對于推動教育現代化、提升教學質量具有重要意義。

參考文獻

[1]鄧子豪，梁艷.基于計算機視覺的課堂專注度檢測研究[J].軟件導刊，2024，23（08）：254-260.

[2]劉艷，李慶武，霍冠英，等.創新驅動的計算機視覺實驗教學設計及實驗系統研發[J].創新創業理論研究與實踐，2024，7（10）：18-23.

[3]羅偉.采摘機器人視覺圖像檢測應用研究——基于籃球動作捕捉的多媒體數據庫系統[J].農機化研究，2018，40（11）：203-207.

[4]李玉榮.基于計算機視覺技術的智能化課堂管理系統研究[J].通信與信息技術，2024（02）：130-136.

[5]鄒送上.面向計算機視覺的深度神經網絡模型優化與應用[D].長沙：湖南大學，2023.

作者單位：泉州師范學院

責任編輯：張津平、尚丹