計算機視覺識別技術在“智慧課堂”中的應用研究分析

王鵬程

(湖南民族職業學院，湖南岳陽414000)

1 計算機視覺識別技術概述

互聯網技術的普及已經是必然趨勢，傳統的數據存儲與數據傳輸已經無法滿足現代信息社會的節奏快、效率高、穩定強等需求。計算機數據的穩定傳輸是依靠各種IT 設備(如交換機、服務器、PC)支持的，大量的數據傳輸所需的大量IT 設備則需要依托大型的數據機房來保證專業的電力系統及運行環境的安全。視覺識別技術是以計算機技術和通信技術的發展為基礎的綜合性科學技術，歸根到底它是一種高度自動化的信息或者數據采集技術[1]。

2 信息化時代智慧課堂教育特征

所謂智慧課堂，是以建構主義學習理論為依據，以“互聯網+”的思維方式和大數據、云計算等新一代信息技術打造的智能、高效的課堂。它是基于動態學習數據分析和“云、網、端”的運用，實現教學決策數據化、評價反饋即時化、交流互動立體化、資源推送智能化(見圖1),創設有利于協作交流和意義建構的學習環境。智慧課堂的核心概念為：主動學習、學生參與、綜合式課程設計。智慧課堂學習，教師課前必須投入更多時間、心力、更高專業技術、成本去結合教學內容。這種學習形式也讓學生在課前必須投入長時間自主學習，在課堂上可與教師進行更深入的交流討論，并提升與他人互動、合作學習，一同完成任務的能力[2]。

圖1 信息化時代智慧課堂教育特征

作為科技行業巨頭的阿里、騰訊、百度、華為、科大訊飛、英特爾、平安科技等公司對智慧教育提出了相應的解決方案，下面將分別介紹目前國內幾種智慧課堂實現方案及特色。暢言智慧課堂核心技術有跨平臺的多屏互動方法、裝置及系統、全過程動態學習評價、智能翻譯、智能批改、語音搜索等。

阿里巴巴推出了AliOS 智慧教育解決方案，智慧課堂是AliOS 場景化產品之一。該智慧課堂主要有以下三個特點:第一，實現了教育設備互聯和統一管理，其中教育設備包括教育平板、教學一體機、電子班牌和學生手表等。第二，針對學生訪問的網址、內容和應用進行安全防護。第三，建立EDUsuite 接入ISV 生態，滿足學生教學需求，打破內容孤島。騰訊智慧課堂提供軟硬件一體化解決方案，通過AI 學情分析,實現因材施教，提高教學質量及學習效率。產品特點包括物聯感知的智慧教室、包含直播錄播和實時在線課堂等多教學模式以及包含課堂交互分析、學生表情識別和行為識別、教師語音轉寫和處理的課程評價和分析。

圖2 智慧課堂教學流程

智慧課堂的特征是基于動態學習數據分析，智慧課堂從依賴于存在教師頭腦中的教學經驗轉向依賴于對海量教學數據的分析。基于計算機視覺識別技術的智慧課堂通過在單一物理服務器上運行多臺虛擬機(VM),計算機資源的利用可以得到顯著提升。最終結果便是數據中心內硬件、能耗、冷卻與空間需求降低了。智慧課堂教學可根據需求實時反饋評價結果。

3 新時代智慧課堂在教育中應用現狀及優勢

3.1 應用現狀

第一，智慧課堂是基于“互聯網+”的智慧終端設備，精準安排下一步教學，以實現個性化教學，將因材施教落到實處。第二，有效地形成性評價手段能夠激發學生的思考熱情和學習興趣。傳統課堂上，教師一般總是喜歡提問善于表達和積極舉手的學生，從而使一部分學生失去了參與感。而智慧終端則是隨機抽取，每一位學生都有被選中的可能，因此便會激發所有學生思考，讓學生的思維始終保持在積極活躍的思考狀態。第三，“一對一”的學習環境可以實現個性化的教與學。

圖3 智慧課堂教學設計

智慧課堂是新時代課堂教學的一場革命，只有通過大膽實踐、不斷創新，積極開展利用智能技術加快推動人才培養模式、教學方法改革，探索泛在、靈活、智能的教育教學新環境建設與應用，才能引領推動中小學深入推進適合學生學習和思維發展規律的課堂教學新模式，為培養具有“創新精神、實踐能力”的一代新人發揮重要作用。針對激發學生學習動機，讓學生可于課前在網絡上進行合作學習，或由電子書或自行探索在線資源方式獲得印證或解答。學生在課堂探索電子書時，可和同學一起進行創造性學習專題，學習探索更多相關議題，教師也可在旁適當地給予協助及帶動更多的討論。與傳統課堂不同的地方在于，智慧課堂雖于課前觀看教學影片或教師準備之資料，并進行自我評估，但其課前的學習動機或許為被動式，學生無法與教材(影片)互動[3]。

3.2 智慧課堂教學的學生學習成效

學生于教學前、后進行成功智能(STAT)測驗、成就測驗及學習態度測量，其平均數和標準差如表1 所示。從表中可知，在組間差異方面，實驗組后測平均分數均高于對照組(不論是STAT、成就測驗或態度量表)；就組內的比較觀察可知，后測平均分數均高于前測平均分數(不論是實驗組或是對照組)。至于實驗組和對照組前后測平均分數，是否具有統計上顯著差異的意義，將使用獨立

表1 實驗組和對照組學習成效之平均數與標準差

樣本單因子共變量分析和相依樣本t 考驗進一步檢驗[4]。

本研究以獨立樣本單因子共變量分析，了解學生成就智能表現在智慧課堂教學前后是否有顯著差異。首先，以教學模式(組別)為自變項，STAT 后測總得分為依變項，STAT 前測總得分為共變量，進行組內回歸系數同質性檢定；結果未達顯著水平(F＝1.439；P＝0.235＞0.05) ，接受虛無假設，表示實驗組和對照組回歸線的斜率相同，顯示STAT 前測分數與組別(教學模式)之間沒有顯著的交互作用，可以兩組學生之前測分數為共變量，以調整未經實驗處理前，實驗組與對照組學生既有的差異，繼續進行獨立樣本單因子共變量分析。兩組學生的STAT前后測分數經獨立樣本單因子共變量分析的考驗結果如表3所示。由表3 可知，排除前測成績(共變項)對后測成績(依變項) 的影響后，自變項對依變項的影響效果檢定之F 值為14.282(P＝0.000＜0.05)，達到顯著水平，表示受試者的后測成績會因教學法方式的不同而有所差異。由此可知翻轉課堂教學和傳統教學模式教學(自變項)的實驗處理對于學生成功智能測驗分數造成的效果具有顯著的不同。

表2 實驗組和對照組STAT總測驗的單因子共變量分析摘要

4 計算機視覺識別技術在智慧課堂中應用

計算機視覺識別技術通過利用人臉識別、表情識別、文字識別、姿態識別、目標追蹤等多種深度學習方法智能化分析學生和教師的上課狀態，針對性地進行資源推送。為構建基于學情的智慧課堂服務師生，計算機視覺識別技術在智慧課堂中應用具體如下：學生疑惑度分析、教師生動度分析、黑板知識點檢測和基于學情的知識點推薦[5]。

4.1 學生疑惑度分析

在將計算機視覺識別技術應用到智慧課堂構建中，首先要克服在課堂環境下視頻中人臉較多，而單張人臉像素較低的難點，利用計算機識別技術的MTCNN 模型和Insgihtface 模型實現人臉檢測以及人臉身份的高精確度。在單人單幀人臉狀態分析上，利用靜態表情識別模型給出最初始的判斷之后，將人臉雙眼以及鼻子三個關鍵點角度的檢測納入專注度評判標準，修正靜態表情識別模型的最初結果，每個學生得出專注、困惑、正常三種上課狀態。在單秒學生狀態分析上，提出30 幀一秒的策略，對30 個單幀人臉疑惑度狀態分析結果進行加權后得出此秒學生狀態。對沒有檢測到學生人臉的幀以及秒數進行最近相似平滑處理，此秒結果如空缺，則相似于該學生最近檢測狀態，并且在此狀態上波動，直到發現新的狀態為止。

通過對學生關于當前知識點的疑惑狀態，根據其疑惑情況，學習資源推薦模塊向手機終端發送個性化、針對性的PPT、博客、視頻等學習資源。

4.2 教師生動度分析

在課堂上，教師的行為狀態可以反映出許多信息，比如從教師的授課語氣以及授課姿態變化中，可以看出當前學生的上課狀態以及當前知識點的重要程度，這些信息可以用來輔助智慧課堂的建設。

在將計算機視覺識別技術應用到智慧課堂構建中，需要針對課堂視頻中的授課教師進行目標定位，然后再進行姿態識別、生動度計算。目標定位使用計算機MTCNN+InsightFace 人臉識別方法，框出視頻中教師的人臉。姿態識別使用Open‐Pose 模型，檢測出視頻幀中人體姿態關鍵點的位置。生動度計算使用相鄰若干幀的教師姿態關鍵點的歐式距離。最后得出課堂中教師生動度變化曲線，為智慧課堂的其他部分提供教師授課狀態時間流信息。

4.3 黑板知識點檢測

黑板在課堂中扮演著至關重要的角色，該模塊關注于課堂教學過程中知識點講述時間流，設計并實現能夠自動分析課堂教學過程中知識點時間流的模塊。

在將計算機視覺識別技術應用到智慧課堂構建中可以通過對YOLOv3 算法的適應性改變以應用于對課堂黑板的位置檢測，繼而將CTPN 網絡與DenseNet 網絡相結合，實現對于黑板中文字位置的檢測與內容的識別，將識別結果與自定義知識庫內容通過正則表達檢索，分析課堂實時知識點內容。實時課堂知識點與學生當前疑惑度相結合進行分析，可以判斷學生對當前知識點是否疑惑，并進行疑惑知識點的復習推薦。同時老師能夠掌握學生的學習情況，搭建雙方溝通橋梁，服務師生。

4.4 基于學情知識點推薦

為了最大限度地提升高校學生課堂學習效率，根據學情實時解決學生面對各個知識點產生的疑惑，需要對困惑學生及時推送相關知識點輔助資源。一個良好的模型不僅要執行速度快，而且要能推送最有效且個性化的輔助學習資源。

在將計算機視覺識別技術應用到智慧課堂構建中擬采用基于知識表示的(Knowledge Representation,KR)Surprise 模型構建學習者之間、學習資源之間的相互關系，利用協同過濾算法構建推薦引擎對KR 模型產生語義關系進行評分預測產生有效推薦條目，以消息隊列的方式推薦給學生客戶端。

5 結束語

智慧課堂面對學生可以分析其面部狀況，面對老師可以分析其上課情況，面對黑板可以提取上課內容，獲取課堂上教師姿態生動度、學生疑惑度、黑板知識點的所有信息，能根據學生上課情況，及時進行疑惑知識點的推送。互聯網+教育融合創新不斷發展，教育信息化推動質量提升形成內在動力，智慧教育和智慧課堂正在發生深刻變革與轉型。