智慧學習環境下基于多模態數據的學習預警系統設計與分析

黃慶雙

摘? 要： 學習預警是提升混合學習效果的有效手段，如何在智慧學習環境下，應用大數據、人工智能等新興技術實現學習預警，是混合學習領域亟待解決的首要問題。文章在梳理已有研究成果的基礎上，提出來由核心目標層、工具層、內容層、技術層和結果層組成的“五位一體”的學習預警系統總體設計框架，并在總體設計框架基礎上，提出基于多模態數據的學習預警系統模型和干預機制過程模型。最后，對智慧學習環境下學習預警系統的設計開發提出了建議，以期為搭建智慧學習環境下的學習預警系統提供理論參考，為教學者實現個性化指導和精準教學搭建技術平臺。

關鍵詞： 智慧學習環境;多模態;學習預警;混合學習;Hadoop

【Abstract】： Learning early warning is an effective measure to improve the effect of blended learning. It is the primary problem to be solved urgently in the field of blended learning， how to apply emerging technologies such as big data and artificial intelligence to realize learning early warning in the intelligent learning environment. Based on the related results， this paper proposed the overall design framework of “five-in-one” learning early warning system， which is composed of core objective layer， tool layer， content layer， technology layer and result layer. Based on the framework， the learning early warning system model and intervention mechanism model based on multimodal data are proposed. Finally， suggestions are put forward on the design of the learning early warning system in the intelligent learning environment. It is expected to provide theoretical reference for building a learning warning system in an intelligent learning environment and build a technical platform for teachers to realize personalized guidance and precise teaching.

【Key words】： Intelligent learning environment; Multimodal; Learning early warning; Blended learning; Hadoop

0? 引言

隨著云計算、大數據、人工智能技術的不斷發展，有效利用新興技術手段促進“學習測量”的精準性，已成為教育領域關注的熱點話題。2018年，《教育信息化2.0行動計劃》中強調，將云計算、大數據和人工智能等新技術深入到教育的方方面面。這標志著，未來的教育教學環境將走向智能化、智慧化，混合式學習、泛在學習等新型教學模式將被廣泛應用。在智慧學習環境下，開展混合學習，將為更好的實施混合學習創造了條件。但對于開展混合學習來說，環境建設是基礎，提升學習質量才是關鍵。如何充分利用智慧學習環境，結合大數據和人工智能的方法對混合學習過程中，學生的學習

狀態（包括認知、行為、情感方面）進行測量，盡早發現問題并及時進行干預，將是提升混合學習效果的關鍵。因此，本研究試圖探索智慧學習環境下，通過采集多模態數據，結合大數據、人工智能方法設計學生學習預警系統，以期通過模型設計為系統開發提供理論參考，為教育者實施“精準教學”和“精準施策”搭建平臺，更為學校實施教育教學改革，提升人才培養質量提供有效手段。

1? 學習預警系統研究現狀

為了全面了解國內外學習預警系統的研究現狀，筆者通過國內外知名數據庫檢索了2009年-2019年十年間相關研究成果。分別以“學習預警”、“學業預警”、“學業危機”“Learning Warning”、“Warning System for learning”、“early intervention”為關鍵詞，在中國知網、萬方數據庫、SpringerLink、Web of Science中進行搜索。剔除不相關文獻后，剩余研究文獻28篇。從已有研究成果看，目前，國內外關于學習預警的研究成果相對較少，主要成果集中在近五年，特別是在線學習、大數據、學習分析技術發展后，關于在線學習環境的學習預警研究呈顯著增長趨勢。通過對文獻進一步梳理發現，關于在線學習預警系統設計研究的主要內容包括三個部分：一是預警系統的數據來源。由傳統的易采集和測量的結構化數據，逐步發展為不易量化的半結構化、非結構化數據與結構化數據相結合的混合數據類型。如美國的普渡大學開發的課程信號系統CS（Course signals），主要通過課程分數、學生排名、學習管理系統數據、前期學習成績以及學生個人信息等結構化數據預測學生輟學風險以及努力程度[1]。金義富等人通過收集課程（知識點、作業情況等與課程相關的顯性數據）、課堂（通過監控識別設備獲取學生聽課狀態、討論參與度、精力集中度等表情數據）、課外（鼠標點擊、學習時長等在線學習平臺數據以及身體狀況和社會系統數據等）數據，使用離群數據挖掘與分析方法，構建了“三位一體”的學習預警系統模型，并建立了兩類六級的信號預警系統及反饋機制[2]。二是數據的分析方法。隨著學習分析、數據挖掘和機器學習方法的不斷發展，深入挖掘大數據背后潛藏的奧秘，為實現精準的教學測評提供了依據。由美國Desire2Learn機構開發的學生成功系統（Student Success System）通過分析影響學生學習的主要因素，使用語義分析、學習分析技術判斷學生的學習狀態，對處于學習危機的學生，提供干預措施[3]。Marbouti等人通過調查學生課堂測試、

小組活動、家庭作業等數據，綜合使用邏輯回歸、神經網絡、支持下向量機、決策樹和樸素貝葉斯等方法對學生學習進行預警，效果良好[4]。王均霞等人通過收集學生在知識測評時產生的數據，使用貝葉斯網絡的分析方法，對學生知識點學習情況進行預警[5];三是預警信息的呈現方式。隨著個性化推薦和可視化技術的發展，學習預警信息的呈現方式由最初的分級信號燈提醒方式，逐步發展為學習結果的可視化報告。如，王林麗等人，在對比分析國外典型的學習預警系統基礎上，提出了使用電子郵件、紅綠燈和儀表盤進行系統自動干預與教師和管理者人工干預混合的干預策略[6]。牟智佳等人通過采集混合學習環境中學習者的學習行為數據，通過數據整合和分析技術實現對大數據的動態分析，以數字、圖表、儀表盤燈可視化形式進行預警[7]。

從已有研究成果看，大數據等新興技術的發展為學習預警系統注入了新的活力，通過采集大數據，并對其進行挖掘和分析，能夠提升學習預警的精準性。但是，學習預警是個復雜的系統，隨著教學環境和技術的不斷發展，學習預警系統的數據來源、采集方式、存儲方式以及分析方式也在不斷發生變化。本研究在已有研究基礎上，以智慧學習環境為背景，通過數據采集工具獲取反映學生學習狀態的多模態數據，基于Hadoop平臺開發框架對數據進行存儲，結合深度學習算法進行數據分析與處理，對預警學生采用人機混合的方式進行干預，形成智慧學習環境下基于多模態數據的學習預警系統。

2? 智慧學習環境下學習預警系統的功能框架

智慧學習環境是數字化學習環境的高端形態，是未來課堂教學環境發展的主要趨勢。智慧學習環境通過攝像頭、傳感器等數據采集工具，能夠實時獲取學生學習行為、狀態和結果數據，對實現細粒度精準的學習測量提供了技術工具。有效利用技術手段及時監控學生在學習過程中的學習狀態，并采取有效措施進行干預，有助于提升學生的學習質量和學習效果。因此，有必要構建一個能夠及時監測學生學習狀態的預警系統。

在構建學習預警系統之前，需要先厘清學習預警系統構建的目的是什么，實現預警系統需要具備哪些條件，從哪些維度進行預警，如何實現智能預警，以及如何呈現預警結果。結合這五個問題，本研究構建了智慧學習環境下“五位一體”的學習預警系統總體設計框架，如圖1所示。

2.1? 核心目標

學習預警系統設計的核心目標是系統架構的出發點和落腳點，它為系統其他組成部分的建立和實施指明了方向，使其他組成部分明確所做的一切工作都要圍繞這個核心目標進行。根據系統設計的初衷，學習預警系統的核心目標是提升學生學習效果，實現個性化指導，促進教師精準教學，提高院校人才培養質量。

2.2? 工具層

工具層是實現學習預警系統之前所需要考慮的準備工作。主要包括實現學習預警系統全過程數據采集和存儲所需的工具。對于數據采集工作，主要圍繞所需的不同維度數據進行采集。如對于在線學習平臺中的日志數據、點擊操作數據以及測試結果等數據的采集，一方面可以通過平臺的后臺管理系統獲取數據，另一方面可以使用專門的網絡爬蟲工具抓取所需數據。對于課程學習過程中，學生的學習狀態、社會交互和學習結果等多種類、多形式、多模態數據的采集，可以通過智慧教室錄播系統、網絡攝像頭等技術采集相應數據。為了更加精準的對學生進行預警，需要實時采集大量的結構化和非結構化數據，這就對數據存儲技術提出了新的要求。目前對于大數據存儲技術，主要使用Hadoop平臺中分布式文件存儲技術（HDFS），它能夠提供高吞吐量的應用程序訪問，并以流的方式訪問文件系統中的數據，特別適合處理大數據的運算和存儲。

2.3? 內容層

進行學習預警系統構建之前，除了考慮數據采集所需的工具，還要考慮能夠全面反映學生學習狀態的數據，進而通過系統的數據采集、分析與處理之后根據學生實際的學習狀態判斷是否對其進行預警。內容層是數據采集的理論依據，是進行數據分析和處理的理論基礎。如果內容層面考慮不全面，系統分析結果可能存在一定的偏差或片面。根據反映學生學習狀態的維度，內容層面主要圍繞學生的認知、行為和情感三個方面考慮影響學生學習的因素，并從這三個方面出發，以細粒度的方式收集相關變量。

2.4? 技術層

技術層是學習預警系統構建的核心和關鍵。技術層主要完成對數據的清理、篩選、整理和分析計算工作。通過多種類型數據的整合、計算處理之后，形成預警模型。當工具層獲取新數據到系統后，通過與預警模型進行比較，分析新輸入數據是否需要預警，為結果層提供判斷依據。技術層主要使用數據統計、數據挖掘、學習分析和機器學習等的相關技術方法，實現數據的分析、計算和處理。具體方法的選擇根據數據的類型、運算的速度、預警結合需求的不同選擇不同的算法。

2.5? 結果層

結果層是系統的輸出部分，是在數據采集工具獲取數據后，經過系統內部數據的分析處理而得到的可視化效果。一方面可以呈現每個學習者個體學習狀態變化情況的可視化報告，另一方面可以呈現班級全體學生在內容層面各個維度的狀態報告。根據學習者個體和整體的學習狀態，系統通過技術層的模型計算，分析是否需要預警。如果需要預警，系統將對學習者個人以系統自動干預與人工干預相結合的方式進行干預。對于班級全體學生的學習狀態，教師將根據可視化分析結果進行人工干預。

3? 基于多模態數據的學習預警系統模型設計與分析

3.1? 學習預警系統模型設計

傳統的學習預警系統多以分析在線學習過程中學習者的學習行為數據為主，對學生在學習過程中的學習狀態進行預警。而對于傳統的課堂學習來說，由于學習者在學習過程中的認知、行為、情感方面的數據采集不便，并且缺乏有效的方法進行數據分析與處理，因此，忽視了傳統課堂學習過程中學習者學習預警系統研究。智慧學習環境的出現，為實現線上、線下融合的混合學習過程中大數據的采集搭建了技術平臺。同時，隨著人工智能技術在教育領域的應用，使用深度學習分析方法對融合了多模態數據的建模提供了高效的數據分析方法。因此，本研究圍繞“五位一體”的總體設計框架，提出在智慧學習環境下，構建基于多模態數據的學習預警系統模型，對在未來智慧學習環境中的學習過程監控提供理論框架。其系統模型設計如圖2所示。

3.2? 學習預警系統模型分析

（1）數據來源

基于多模態數據的學習預警系統的基礎是能夠獲取多種類型的數據資源。結合智慧學習環境下開展混合學習的特點，數據來源包含學生參與在線學習云平臺的學習行為數據，學生在智慧教室環境中產生的課堂學習過程數據以及在學校綜合信息管理系統中能夠反映學習個體特征的信息。在線學習云平臺中的學習過程數據的采集，一方面可以通過在線學習云平臺的后臺數據庫獲取所需的數據，另一方面還可以使用Scrapy等爬蟲工具爬取相關數據，以便后期的處理和加工。智慧教室可以使用智能錄播系統或網絡攝像頭等錄制課堂教學視頻，從課堂教學視頻中分離課堂學生學習狀態、行為及面部表情數據，以便進一步分析。此外，在監測學生學習狀態時，除了學生在學習過程中的行為表現、情感變化、測評結果等數據之外，學生當下學習課程的先修課程以及相關課程學習情況，學生的學習風格以及心理狀態等因素都可能會對學生在學習過程中的學習狀態和效果產生一定的影響。因此，需要從學校綜合信息系統中采集相關數據以實現對學生學習狀態的精準預警。

（2）數據采集模塊

數據采集模塊是后期進行數據分析與處理的基礎，是整個系統正常運轉和影響分析結果有效性的關鍵環節。數據采集模塊主要通過數據來源層抽取能夠有效反映學習者在混合學習過程中學習狀態的數據。其中通過在線學習平臺獲取的數據主要包括平臺操作數據（視頻點擊數、視頻回放次數、學習時長）、社會交互數據（發帖量、回帖量、參與討論貼量、訪問聊天室次數）、測試結果數據（提交任務時間、任務完成情況、回答正確率）。這些數據主要反映學生者在在線學習過程中的投入程度。在課堂學習過程中，主要采集的數據包括：課堂聽課狀態數據（抬頭聽課時間、記筆記時間、看手機次數）、課堂互動數據（回答問題的次數、小組討論中發言次數、關注課堂講授持續時間）、課堂任務/測試數據（課堂任務完成度、任務/測試完成正確率等）和面部表情數據（高興、疑惑）。系統通過與學校綜合信息管理系統中對接，獲取學生個人的基本數據（學生個人基本信息、學習風格等）和課程相關信息（排名、掛科課程數、掛科課程與本課程相關度）以及學生心理狀態數據。

（3）數據存儲模塊

數據存儲模塊主要工作是為系統提供數據資源存儲的大數據倉庫。這些數據是數據采集模塊中的數據經過數據清洗、轉換后存儲到數據倉庫中。但由于數據來源的多樣性，存儲到數據倉庫中的數據包含了傳統數據庫中的TXT或EXCEL數據、關系型數據以及一些非結構化數據，這些數據需要存放到不同類型的數據庫中。為了提升數據存儲和處理速度，滿足不同類型數據的需要。數據存儲模塊主要采用Hadoop軟件中的HDFS和HBase分布式數據存儲技術，方便后期數據頻繁的讀寫和快速的加工處理。

（4）數據處理模塊

對于分布式計算，主要使用Hadoop中MapReduce分布計算框架，同時結合Mahout技術，實現基于多模態數據的深度學習模型的建立。為了持續不斷的優化模型，系統采用Spark技術實現離線模型訓練。在數據處理模塊中，最為重要的就是基于多模態數據深度學習模型設計。多模態數據的深度學習模型是實現學習預警系統的核心技術，模型算法的選擇直接影響到分析結果的可信度和有效性。本研究根據學習預警的目標以及數據采集的類型，主要使用卷積神經網絡（CNN）和長短期記憶網絡（LSTM）算法，結合混合型多模態數據融合策略，構建基于多模態數據的深度學習模型。

（5）可視化分析模塊

可視化分析模塊是為用戶端提供可視化分析結果所提供的服務。該模塊主要使用Echarts技術實現數據分析結果的可視化。呈現的內容包括學生個人學習狀態變化和學生整體學習狀態的變化。呈現的方式以圖表、儀表盤和雷達圖的形式呈現。系統除了對學生個體和群體的學習狀態進行可視化分析之外，還通過數據分析處理層對收集到的學生學習相關數據進行比對判斷，分析學習者個體當前學習狀態是否需要預警。如果需要預警，系統根據采集到的數據，通過歸因分析引擎分析影響學生學習狀態的主要原因，以發送提醒信息、推送個性化學習資源、鼓勵等的方式顯示在學生應用的客戶端上（平板、可穿戴設備等），實現的系統自動的個性化干預。若干預措施未發揮作用，學習者仍處于低投入的學習狀態。需要發揮教師提醒或其個別指導作用，使學生盡快調整學習狀態，投入到課堂學習過程中。若是班級學生整體學習狀態均低于模型標準，那么就需要教師及時調整教學進度和教學策略，激發學生學習熱情，調動學生學習積極性。具體干預模型如圖3所示。

4? 小結與反思

本研究主要參考Hadoop技術框架，設計了智慧學習環境下，基于多模態數據的學習預警系統。該系統的構建為未來智慧學習環境中，搭建混合學習預警系統提供了理論參考，為教學者及時了解學生個體及整體的學習狀態，實施個性化指導、精準教學提供技術工具。但是，系統模型的設計畢竟是處于理想狀態，若真正開發實現，一方面在數據采集方面需要進行更為精準和細粒度的劃分，另一方面在數據分析層，基于多模態的深度學習模型是核心技術，需要在系統開發之前，進行大量的前期實驗和模型訓練，以提升預警結果的有效性。

參考文獻

[1]Arnold K E， Pistilli M D. Course signals at Purdue： Using learning analytics to increase student success[C]// International Conference on Learning Analytics & Knowledge. 2012.

[2]金義富， 吳濤， 張子石， 等. 大數據環境下學業預警系統設計與分析[J]. 中國電化教育， 2016（2）： 69-73.

[3]Essa A， Ayad H. Improving student success using predictive models and data visualisations[J]. Research in Learning Technology， 2012， 20（sup1）： 19191.

[4]Marbouti F， Diefes-Dux H A. & Madhavan， K. （2016）. Models for ear?ly prediction of at-risk students in a course using standards-basedgrading[J]. Computers & Education， 103， 1-15.

[5]王均霞， 俞壯， 牟智佳， 等. 學習測評大數據支撐下面向知識點的學習預警建模與仿真[J]. 現代遠距離教育， 2019（04）： 28-37.

[6]王林麗， 葉洋， 楊現民. 基于大數據的在線學習預警模型設計——“教育大數據研究與實踐專欄”之學習預警篇[J]. 現代教育技術， 2016， 26（07）： 5-11.

[7]牟智佳， 李雨婷， 嚴大虎. 混合學習環境下基于學習行為數據的學習預警系統設計與實現[J]. 遠程教育雜志， 2018， 36（03）： 55-63.