基于學習分析技術的學習預警系統研究與設計

■ 龔藝 ，楊娟 ，紀娟

（1.四川廣播電視大學，四川 成都 610073；2.國家開放大學教育信息管理與信息系統研究中心，四川 成都 610073）

隨著大數據時代的到來，現代遠程教育正在發生著深刻的變革。在線學習成為現代遠程教育的重要學習形式，在線學習迅速發展的同時也存在諸多問題，如學習質量和效率低下、教師的個性化及適應性教學能力差、在線學習監控管理和評價不及時等[1]。有效地監控學習者學習情況、及時為學習者提供個性化支持服務，有助于提高學習者滿意度、保證遠程教育學習者學習質量并降低學生流失率。通過在線學習平臺中記錄的大量學習行為數據挖掘有效的信息，構建學習預警機制，既可為教學管理提供決策參考，又可為學習者提供幫助和指導[2]。學習預警是在線學習監控管理、個性化支持服務的重要環節。

國外的一些機構已經開發了預警系統，例如普渡大學利用學習分析技術分析學生學習情況及特點，從而預測存在學習危機的學生[3]。Desire2Learn通過分析學習成績、文檔和工具使用以及參與社會化學習程度等數據，辨別“危險”中的學生并進行跟蹤干預，提供合適的幫助[4][5]。學習分析技術的發展，為遠程教育學習預警系統的構建提供了新的視角，學習分析技術在教育中的應用使人們對學習發生和發展的認證更加明晰，對學習的監控和預警更加直觀和便捷[6]。

美國高等教育信息化協會最早將“學習分析”定義為：“使用數據和模型預測學生的收獲和具有處理這些信息能力的行為。”[7]學者何克抗[8]將學習分析技術定義為利用各種數據收集和數據分析工具，從海量數據中，通過收集、測量、分析和報告等方式，提取出有價值的各種信息從而為教與學以及教學管理提供輔助決策的技術。學習分析技術注重監測和預測學生的學習成績，即發現潛在問題，為教學過程提出有針對性的改進策略和教育策略[9]。遠程教育學習預警系統，旨在通過提取在線學習平臺中學習者產生的大量行為數據，例如學習者的學習次數和頻率、學習時長、測評完成情況、使用學習資源的數量、參與學習討論的次數等。根據學習分析技術，對其上述大量數據進行采集、處理和分析，深入了解學習者在線學習狀態，為教學管理者提供數據分析以幫助其了解海量學習者的學習情況，及時發現存在學習“危機”的學習者，以便提供有針對性的學習支持服務、人工干預、個性化教學服務等，為最終構建個性化、智能化的在線學習系統提供實現基礎。

本研究根據學習分析技術，構建遠程教育學習者預警系統，建立預警系統框架，并解決了預警系統中兩個核心問題，數據收集和預測模型構建，為學習預警系統的實現提供了參考。

一、在線學習預警因素分析

遠程教育學習者大多為成年學習者，其主要是利用工作之余通過電腦、手機、平板等設備進行在線學習。在線學習平臺采集了大量學習者通過各類設備學習的學習行為數據，從這些大量的行為數據中找出能反映學習者在線學習情況，更好預測學習者未來學習成績的指標變量是進行學習預警的重要環節。

本研究以國家開放大學Moodle在線學習平臺在線學習行為數據與終結性期末成績數據作為數據分析的依據，希望利用學習分析技術發現遠程學習者在線學習行為數據與學習成績的關系，找出與學習成績相關性較大的在線學習行為指標，有助于更準確地預測未來學習成績，達到學習預警的目的。

學習者的學習投入狀況可以作為預測其學習成就的指標[10]。在網絡學習空間中，學習者的學習投入具有時間、空間特性，表現為學習者的參與、專注、規律和交互四個維度[11]。對在線學習平臺采集的大量學習行為數據，分別從參與、專注、規律和交互四個維度選擇多項指標與終結性期末成績進行了Pearson相關性檢驗，檢驗結果如表1所示。

表1 預警因素與成績的相關性分析

表1表明，學習者平臺模塊利用頻次、出勤天數、測驗模塊利用頻次、出勤周數、論壇發帖數、論壇發主帖數與學習者成績的相關系數均為正值，即呈正相關關系，在顯著水平上，P值均小于0.01，表示為顯著相關。通過上述在線學習行為指標與學習成績相關性分析，本研究在學習預警系統中，采用平臺模塊利用頻次、出勤天數、測驗模塊利用頻次、出勤周數、論壇發帖數、論壇發主帖數上述6個指標作為學習預警中預測的指標變量。

二、學習成績預測建模

獲得較為完備的數據后，所要做的就是根據已有的理論和方法對數據進行分析，這是學習分析的核心[12]。通過遠程學習者在線學習行為數據和學習者期末學習成績采集與分析，期望能從數據中發現學習行為與學習成績之間的關系，建立預測模型，并根據預測模型在未來對學習者的學習行為數據進行分析并預測學習成績，及時發現學習成績可能不達標的學習者，從而發出預警信息。這也是學習分析技術中數據分析核心環節。

在數據挖據中，預測的目標是離散值時為分類問題，連續值時為回歸問題。本研究將學習成績值離散為“合格”和“不合格”兩個值，對于學習成績的預測實際上就是數據挖掘中的分類問題。分類問題是根據數據集的特點構造一個分類器，利用分類器對未知類別的樣本賦予類別的一種技術[13]。在機器學習、統計學和神經網絡等領域，已經有許多經典的分類預測方法。目前，常用的分類算法有樸素貝葉斯網絡、決策樹、人工神經網絡和支持向量機等[14]。

數據分類一般由兩步完成，第一步用已知的實例集構建分類器[15]。首先需要將數據集劃分出訓練集和測試集，通過分類算法對訓練集進行訓練，得到分類模型，這一步是一個有指導的學習過程。第二步使用構建好的分類器分類未知實例[16]。也就是使用第一部分中得到的分類模型對測試數據集進行預測，如果模型的準確率可以接受，就可以用它來對未知的數據集進行分類。

本研究采用國家開放大學遠程學習者在線學習行為采集數據和期末考試成績數據作為研究樣本共計129432條，其中學習者48043名，共501門課程的數據。本研究選取R語言作為分類實驗工具，R語言是一款統計分析開源工具，在數據挖掘、統計計算等方面表現優秀。

（一）實驗過程

為了更好地驗證分類算法，采用十折交叉驗證法（10-fold cross-validation），即將數據集平均分成十份，輪流將其中九份作為訓練數據，根據數據分類第一步，應用樸素貝葉斯算法、C5.0決策樹算法、前饋反向傳播神經網絡算法、支持向量機算法四種算法，分別構建學習者學習成績預測模型。再根據數據分類第二步，結合第一步中的評估模型，用剩下的一份數據集作為測試數據集進行測試，并記錄每一次的測試結果。

數據挖掘領域通常利用精確率、召回率和F值等評價指標進行模型評價。精確率是指被分類模型正確預測的百分率。召回率指真實值被正確識別的百分率[17]。精確率、召回率和F值的具體計算公式如下：

式中，P表示精確率；R表示召回率，F表示召回率，是精確率和召回率的調和平均。TP表示假設正確識別為此類的樣本數目，FP表示為原本不是此類但是被錯誤地分為此類的樣本數目。

在實驗中，分別統計了四種算法十次測試中得到的精確率、召回率和F值并求十次測試結果的均值，得到的結果如表2所示。

表2 學習者成績預測算法結果

ROC 曲線 (receiver operating characteristics curve，接收者操作特征曲線)分析是可視化地評估分類器性能，從而進行模型選擇的方法[18]。ROC曲線是根據不同的二分類方式，以靈敏度為縱坐標，特異度為橫坐標繪制的曲線。本研究通過ROC曲線進一步評估分類器，四個分類算法的ROC曲線如圖1所示。

圖1 ROC曲線

（二）預測結果分析

在對分類算法的評測中，精確率和召回率取值范圍為[0，1]，數值越接近1，說明分類算法越好，但是精確率和召回率有可能出現矛盾的情況，即精確率高而召回率低，或者精確率低而召回率高，F值是兩者的加權調和平均，F值高時更能說明分類算法的有效性。對上述樣本數據的測試統計結果顯示，C5.0決策樹、前向反饋傳播神經網絡和支持向量機三種算法在精確率、召回率和F值三者中均出現了趨近于0的值，而基于樸素貝葉斯算法的成績預測結果顯示，精確率、召回率和F值均接近于1，是四個分類算法中表現最為優秀的學習者成績預測算法。

從ROC曲線結果來看，根據ROC分析思想，計算AUC(area under the ROC curve，ROC 曲線下方面積)即可獲得評價分類器識別能力的量化評價指標，面積越大，分類器的分類能力越好[19]。在圖1所示的ROC曲線結果分析中，C5.0決策樹、前向反饋傳播神經網絡、支持向量機和樸素貝葉斯算法的AUC值分別是0.542、0.502、0.500和0.989，總體來看，樸素貝葉斯算法在預測學習者成績的ROC曲線下面積AUC值最大，對系統靈敏度和特異度兼顧性更好，預測算法價值更高。

綜合上述分析，樸素貝葉斯算法作為學習預警系統中學習者學習成績預測的主要算法。

三、基于學習分析技術的學習預警系統設計

學習分析技術是從教育領域的海量數據中提取隱含的、未知的及有潛在應用價值信息或模式的工具，也是一種決策輔助工具[18]。伊萊亞斯提出學習分析技術下的持續改進環模型，模型包括三個循環改進的過程，分別是數據收集、數據處理包括聚合預測等、在數據處理的基礎上將結果進行應用并提出數據收集處理優化措施，從而持續改進模型。我國學者吳永和等人將學習分析技術框架歸納為整個系統分為數據層、分析層、報告層和干預層。其中數據層主要獲取學習者相關學習數據，送入系統分析層由分析引擎進行數據分析，之后在儀表盤上按學習者、教學者、管理者三大利益需求產生可視化報告，并在此基礎上對學習者進行干預并完成自適應過程[19]。依據本研究中影響學習成績的在線學習行為因素分析和學習成績的預測模型的構建，在對已有學習分析技術模型研究的基礎上，設計了學習成績預警系統。學習成績預警系統設計如圖2所示。

圖2 學習預警系統設計

本研究將學習預警系統設計為三層，包括數據層、分析層和報告干預層，其中數據層負責采集學習者在線學習行為數據和學習者的成績數據，采集的數據主要采用本研究中線上學習預警因素中6個指標以及在期末時作為訓練數據用途的學習者期末成績。采集結束后對數據進行清洗、離散化等數據處理，數據處理結束后轉入學習預警數據庫，以免對在線學習平臺和學習管理系統的數據庫運行效率造成影響。

分析層利用采集的學習者在線學習行為數據和成績數據，根據本研究上述分析中的學習預警模型，主要通過樸素貝葉斯算法，建立預測模型，預測模型建立成功后對需要預測的學習者在線學習行為數據進行預測。為了能夠在學期早期及時預警學習者情況，對于預測模型的練習數據采集需要從上一學期中期開始每周采集一次學習者學習行為數據，學期結束后取得學習者的期末成績數據，分別建立不同周對應的預測模型并保存作為下學期預測使用。下學期中期開始后利用相應的周預測模型進行預測，得出每周的預測數據，通過每周的預測，形成較為動態的分析，有利于幫助管理者、教學者、學習者動態掌握學習者在線學習的情況，進行學習改進。及時將學習者預測結果名單和在線學習行為情況等信息反饋給學習管理系統，便于管理者和教學者及時了解學習者學習情況，對于危機學習者再通過學習者自我評價采集、電話訪問、學習進度、學習儀表盤等，及時了解學習者學習情況，并掌握學習者學習中存在的特殊問題給予相應的學習支持服務。針對學習者本人，在線學習平臺也會通過微信提醒、學習儀表盤、學習者進度、資源推送等方式，及時告知學習者存在的問題以及需要努力的方向，幫助學習者了解自身的學習情況以及同門課程學習者的平均水平，幫助了解自身存在的不足，促進學習者加強學習，提高學習積極性，并針對自身存在的不足及時補缺。

在報告與干預層中，通過自我評價、微信反饋、學習進度條、數字儀表盤和資源推送五個方面對學習者進行報告和干預。其中自我評價主要從主觀方面了解學習者學習中存在的主觀問題因素，以更全面地了解學習者學習情況；微信反饋則通過向學習者發送預警信息、課程學習通知消息、課程任務提醒消息、討論通知等，與學習者產生緊密互動，以幫助提高學習者學習積極性；學習進度條提示學習者課程學習進度情況，例如課程練習完成比例、視頻文本等資源閱讀比例、參與論壇討論活躍度等信息；數字儀表盤則從縱向上提示學習者課程中其他學習者平均學習進度情況，通過對其他學習者平均進度學習情況了解，學習者了解同一門課程的學習者中，自身在各類學習項目中學習進度屬于平均水平以上還是以下，如果處于平均水平線以下則警示學習者及時調整自身的學習進度，例如練習量不夠，或者是視頻文本資源閱讀量不足，或者討論積極性低等，學習者可以根據儀表盤的提示有針對性地進行自我改進，從而達到提高學習者學習質量的目的。

四、討論

對于遠程教育在線學習中存儲的海量在線學習行為數據，利用學習分析技術，構建遠程學習者學習預警系統。本研究首先研究了學習預警所需要采集的基礎數據指標，并在數據收集的基礎上構建學習成績預測模型，通過多種分類算法在大數據樣本的實驗中進行比較，選擇了預測結果表現優秀的樸素貝葉斯算法作為學習者學習成績的預測算法，具有較高的可行性。最后，在學習分析技術系統框架的基礎上，設計了遠程學習者學習預警系統的基本框架，為未來遠程教育在線學習學習預警系統的構建提供了參考依據。

學習預警的建立，為教育中的學習者、教學者、管理者提供了教學過程中的數據分析和決策支持，在海量學習者中及時發現具有潛在學習“危機”的學習者，通過數據儀表盤、學習進度圖等方式為學習者提供及時的預警提示，同時管理者與教學者可以及時發現存在危機的學習者，以便及時給予學習支持服務，提高學習者的學習成功率，同時也有助于降低學習者輟學率。筆者主要解決了學習預警中數據收集和預測算法以及預警系統的設計，在預警后的報告與干預中，尚需要更進一步地研究預警報告和預警干預實施細則，使其能為學習者和教學者提供較為直觀清晰的預警報告，并提供較為智能的干預措施。學習分析技術在國內教育領域逐漸受到研究者的熱切關注，將學習分析技術應用于遠程教育中，從海量數據中發掘出有意義的數據關聯，為提高遠程教育質量，實現個性化學習提供了有益的視角。