結合學生行為模式分析的成績早期預警研究

張明焱，杜 旭，李 浩

華中師范大學國家數字化學習工程技術研究中心，武漢 430079

在線學習已成為當今教育系統中必不可少的學習方式，通過分析學生的在線學習行為以支持相關的教學決策或觸發相應的教學干預[1-2]吸引了大量的研究工作[3]。該研究領域也被稱為學習分析（learning analysis）。早期預警（early warning）是學習分析領域中的一個熱門主題[4]。早期預警通過構建預測模型在學期較早階段預測學生的最終成績，以識別出盡可能多的不及格風險（簡稱at-risk）學生，方便教師在學期結束前采取干預措施，最終降低學生不及格的比例[5]。但僅識別出at-risk學生無法幫助教師采取有針對性的干預措施。已有的研究表明，識別關鍵預測因子，找出造成at-risk的因素對于教師采取針對性的教學干預措施意義重大[6-7]。因此，早期預警的核心問題是：（1）提高at-risk學生的識別率；（2）確定合適的干預時間點；（3）提供有效的干預信息。

國內外學者都對早期預警進行了研究。Wang 等人[8]利用改進的Apriori算法對學生成績數據進行分析，找出數據中隱藏的課程關聯規則，然后將這些規則應用于學生成績預警，及時找出可能出現不及格的課程，并對部分學生給出警示，加強學習監督。Ak?ap?nar等人[9]使用學生閱讀電子書的數據和機器學習模型預測學生最終成績。為了確定采取干預措施所需的最佳模型和最佳時間點，使用13 種算法以及不同周的課程數據進行預測，并對比了結果。Howard 等人[10]通過分析本科生的評估數據和個人信息數據建立早期預警模型，并重點研究干預的最佳時間。其結論表明，最佳干預時間是在課程中期，且學生需要改變學習策略以適應新的課程要求。然而，已有的研究多數基于累積行為頻率作為預測變量。Hung 等人[11]指出累積行為頻率存在一些問題。如未能考慮到不同學生學習行為模式之間的差異，忽略了多種行為模式可導致課程不及格，未能考慮到課程活動的要求會隨課程進展發生變化等問題。因此at-risk學生的預測結果還有進一步提升的空間。

學生的學習模式決定了其學習表現。學習模式被定義為“學習者通常采用的連貫的學習活動，包括他們對學習的信念和學習動機”。通過分析學習模式能夠解釋造成學習表現差異的原因，進一步區分不同學習表現的群體[12]，因而提高不及格學生的識別率。在學習管理系統（learning management system，LMS）中，學生的行為是最易收集的，且已被廣泛應用于描述學生在LMS中學習模式的變量，這些變量構成了學生的行為模式。已有的研究采用各種行為的累積次數描述學生的行為模式。這種方法雖代表了模式的宏觀特征，卻無法進一步區分累積頻率相似但頻率分布不同的學生，而他們具有不同的學習表現[11]。學習生行為的時間序列數據包含學習過程信息，即學習者在不同課程時期的行為分布，它描述了學生微觀行為模式，能夠進一步區分不同類型的群體。

為了進一步提高at-risk學生的識別率，可對學生的行為模式數據進行特征處理。多項研究表明，使用自動編碼器（autoencoder）對原始數據進行特征壓縮和噪聲消除可以改善模型的性能（例如Zhao 等人[13]的研究）。autoencoder 也已被用于教育領域的研究。例如，Du 等人[14]提出了一個基于變分自編碼器（LVAE）和深度神經網絡（DNN）的集成框架（LVAEPre），以解決教育數據集的高度不平衡問題。Li 等人[15]提出了基于autoencoder的復合特征模型，該模型結合學習數據中的多重特征來推斷學生未來兩周的行為。由于學生的行為模式可以用時間序列數據表示，結合能夠處理序列數據的長短期記憶（long short-term memory，LSTM）單元構建自動編碼器（LSTM-autoencoder）可以對學生行為模式數據進行特征提取和去噪，進而提高模型預測效果。

在線學習中，學生的最終成績取決于課程各個階段的學習活動，而不同階段的學習活動對最終成績的影響存在差異。對學習者的時間序列數據進行分析，可以回溯學習者過程，發現影響學習成績的關鍵因子。注意力機制能夠計算出輸入變量相對輸出結果的權重，采用注意力機制分析學生行為模式，可以得到不同課程階段中各種行為對最終成績的影響程度。教師可根據這些信息進一步分析at-risk學生在學習過程中存在的得失，進而采取個性化的干預措施。如針對性監督、輔助或改變后期的教學策略等。

本文提出一種通過深度學習模型對微觀行為模式進行分析以實現學習成績早期預警的方法-結合LSTMautoencoder 特征處理和注意力權重計算的at-risk 學生早期預警模型（LSTM-autoencoder and attention based early warning model，LAA）。該方法采用LSTM-autoencoder對學生行為的時間序列數據進行特征提取和去噪，通過注意力機制計算出不同學期周次、不同行為對最終成績的影響權重，并識別出at-risk學生和最早干預時間點。該方法不僅可以提高at-risk學生的召回率，提前教學干預時間，還可幫助教師進行精準的個性化教學干預。

1 基于微觀行為模式分析的早期預警

1.1 基于LSTM-autoencoder 的學生行為時間序列特征處理

Autoencoder在序列數據的特征提取方面獲得了廣泛的應用。其編碼器部分能夠對輸入序列數據進行維度壓縮，解碼器能從壓縮數據中恢復信息。整個訓練過程要求能夠盡可能多的恢復原始數據中的信息，實現數據特征提取和去噪。

學生的行為模式具有前后關聯性，即前一段時間的學習行為會對后一段時間的學習行為產生影響。本文采用能夠記憶序列因果信息的LSTM 神經元搭建autoencoder。根據LSTM網絡結構，每個LSTM神經元都包含輸入門(it)、遺忘門(ft)和輸出門(Ot)。輸入門控制輸入信息，遺忘門控制哪些信息應當被舍棄，輸出門控制神經元的輸出。各個門的計算公式如下：

ht表示t時刻神經元的輸出，ht-1表示前一時刻單元的輸出。LSTM當前狀態Ct計算如下：

本文通過LSTM-autoencoder 提取學習者時間序列數據中的前后學習行為關聯信息，并增強數據特征，以提高學習成績預測的結果。為了簡化實驗同時提高預測準確率，autoencoder的編碼和解碼部分都采用單層的LSTM 神經元。LSTM-autoencoder 模型架構如圖1 所示。訓練過程可以描述為[16]：

本文中，LSTM-autoencoder的輸入數據為學生行為的時間序列數據。輸入數據形狀為S(students)×M（時間步）×N（行為），經過編碼器處理成S(students)×M（時間步）×1（編碼）的數據，最終解碼器輸出S(students)×M（時間步）×N（恢復的行為）數據。整個訓練過程結束后，學生的行為模式信息被保存在解碼器恢復出的序列數據中。

1.2 基于注意力機制的關鍵預測因子計算

本文采用Raffel 等人[17]的研究中提出的用于解決LSTM問題的前饋注意力網絡架構進行關鍵預測因子分析，計算各類學習行為對最終成績的影響權重和不同學期周次對成績的影響權重。該注意力模塊如圖2所示。

圖2 注意力計算模塊Fig.2 Attention calculation module

對于一般的注意力模塊，其隱層狀態計算公式為：

T為輸入序列的時間步長，αtj是狀態hj在每個時間步t計算的權重。這些上下文向量被用于計算新的狀態序列s，其中st取決于st-1，ct和模型在t-1 時的輸出。權重αtj計算公式如下：

其中，a是一個通過學習得到的函數，可以考慮為給定hj的值和先前狀態st-1來計算hj的層級重要性值。這個公式使得新的狀態序列s可以更直接地獲取整個狀態序列h。

對上述隱層狀態計算方法進行簡化，使其可以用于從整個序列中產生單維向量c，方法如下：

a仍然是一個可學得的函數，但現在僅取決于ht。在這種表述中，可以將注意力視為通過計算狀態序列h的自適應加權平均值來生成輸入序列的固定長度嵌入c。由于計算可以完全并行化，該方法會帶來較大的效率提升。

1.3 基于行為時間序列特征處理和關鍵預測因子計算的早期預警

本文提出的結合LSTM-autoencoder 特征處理和注意力權重計算的at-risk 學生早期預警模型（LAA）架構如圖3所示。

圖3 LAA早期預警模型Fig.3 LAA early warning model

原始行為數據經過預處理和編碼，構造成N個行為的時間序列數據；采用LSTM-autoencoder對時間序列數據進行處理，實現行為模式信息的特征提取和去噪；注意力層對解碼器的輸出數據進行權重計算。后層神經元通過Dense層和Softmax神經元實現成績預測。本文提出的模型具體思路如下所示。

模型LAA早期預警模型：

輸入：訓練數據X；數據時間步T，特征維數F；自動編碼器層數L，訓練周期數E，批量大小B；注意力模塊層數L′。

輸出：學生成績類別C，特征權重Wf，時間步權重Wt。

步驟：

1.對數據進行歸一化處理，計算編碼層的激活輸出，編碼器將F維特征壓縮成1維；

2.自動編碼器中間層將編碼層的輸出復制到T個時間步上；

3.解碼器將中間層的數據重構成與輸入層相同的維度，得到特征恢復后的數據；

4.注意力層利用公式（9）和（10）計算重構數據各個特征對目標變量的影響權重Wf（或各時間步對目標變量的影響權重Wt）；

5.通過反向傳播算法計算整個序列上的誤差，并更新網絡參數。

6.重復步驟1～5，直到反向傳播算法停止更新參數，輸出類別C（0或1），訓練完成。

本文提出的模型計算量分析如下。整個模型的計算量取決于時間步T和特征維數F。編碼器將F維特征壓縮到1維；解碼器的輸出維度與編碼器輸入維度相同，且都由T和F決定。注意力模塊在計算特征權重Wf時，計算量由F決定，在計算時間步權重Wt時，計算量由T決定。學生的課程周期通常不會超過20 周，因此時間步T≤20，屬于短序列；在線學習平臺中學生行為類別多數為個位數，即F≤10；為了簡化模型架構同時保證性能，編碼器和解碼器部分都采用單層的LSTM。因此，本文提出的模型具有低復雜度、計算快的特點。

2 實驗及結果

2.1 實驗數據

數據收集自美國一所學校2015—2016 年完全在線的課程，包含476門課程，4 607名學生，課程持續16周，總計3 625 619條日志。這些數據記錄了學生在線學習的所有行為，本文將這些學習行為分為以下五類：

（1）訪問資源（Content，1 249 738 條記錄）：所有與瀏覽課程資料相關的行為。

（2）參與評估（Assessment，1 019 901條記錄）：所有與課程評估相關的行為。

（3）查看分數（CheckGrade，277 513 條記錄）：查看課程評估成績、作業成績等信息的行為（此行為在已有的文獻中被識別為早期預警關鍵因子）。

（4）參與交互（Interaction，1 029 900 條記錄）：所有與線上互動有關的行為，包括同伴互動或師生互動。

（5）其他行為（Others，48 567 條記錄）：不屬于上述類別的其他次要行為。

本文對學生的原始日志數據進行清洗后，計算每周各個行為的頻率，每個學生的記錄最終生成16（周）×5（行為）的時間序列數據。同時，計算每周所有行為的總頻率，每個學生的記錄最終生成16（周）×1（總頻率）的時間序列數據。其中，每周總頻率等于每周5種行為頻率之和。

對于學生的成績數據，以60 分為標準將學生劃分成及格（≥60 分，標記為類別0）和不及格（<60 分，標記為類別1）兩類。其中，及格（以下簡稱success）學生為3 673人（占比79.73%），不及格（at-risk）學生為934人（占比20.27%）。

為了深入分析LAA 對不同類型學生的識別能力，本文分別對success 學生和at-risk 學生的時間序列數據進行聚類，探索這兩類學生中存在的行為模式。時間序列聚類可以比較學生行為模式的相似性，將具有相似模式的學生分為同一個群，將具有不同模式的學生分為不同的群。為了提高時間序列聚類效果，本文在聚類前對學生的時間序列數據進行了特征處理。結果表明，該數據集中存在3種success學習行為模式和3種at-risk學習行為模式。各群人數分布如表1所示。

表1 success學生和at-risk學生的行為模式Table 1 Patterns of success and at-risk students

3 種success 學生的典型行為模式如圖4（a）、（b）、（c）所示，具體描述如下：

（1）均衡型（success cluster 1）。該群學生3種主要行為（訪問資源、參與評估和參與交互）比例接近，且保持穩定的高行為頻率（例如圖4（a）學生A 的行為模式）。已有的研究表明，具有穩定且持續參與水平的學生能夠獲得更高的學習表現。

（2）高交互型（success cluster 2）。該群學生的交互頻率遠高于其他行為，他們主要通過論壇討論完成課程學習（例如圖4（b）學生B 的行為模式）。已有的研究表明，高水平的交互行為有助于提高學習表現。

（3）勤奮型（success cluster 3）。該群學生三種主要行為比例接近，在學期開始的行為頻率遠高于其他群，且整個學期維持相對穩定的參與水平（例如圖4（c）學生C的行為模式）。通常高參與度意味著高的學習動機，能夠促進學習效果。

3種at-risk學生的典型行為模式如圖4（d）、（e）、（f）所示，具體描述如下：

（1）低參與型（at-risk cluster 1）。該群學生幾乎不參與學習活動，屬于因參與度過低而表現不好的學生（例如，圖4（d）學生D的行為模式）。低參與是最常見且最易被識別的at-risk類型之一[18]，教師無需通過模型而直接使用數據可視化方法就能識別該群體。

（2）低交互型（at-risk cluster 2）。該群學生的交互行為頻率隨著課程的進展越來越低（例如圖4（e）學生E的行為模式），表明其在學習過程中并不重視與教師或同學交流。低交互容易導致學生對知識點缺乏理解和掌握[19]，造成低學習表現。

（3）非持續型（at-risk cluster 3）。該類型學生具有不穩定的參與頻率，且各種行為頻率的相對大小也多次發生變化（例如，圖4（f）學生F的行為模式）。該群學生參與頻率的下降體現了其學習動機的減退[20]。

圖4 及格（success）和不及格（at-risk）學生的行為模式Fig.4 Patterns of success and at-risk students

2.2 實驗結果

本文設置兩個基線模型與LAA進行早期預警預測比較，分別是：

（1）基線模型1。總頻率行為序列（total frequency of behavior series）+RNN 模型（TFB）。總頻率序列是學習者每周行為之和的序列數據，表征學習者的宏觀行為模式。使用循環神經網絡（RNN）作為預測模型。

（2）基線模型2。原始行為序列（original behavior series）+RNN模型（OB）。原始行為序列是學習者每周5種行為頻率序列，包含學習者微觀行為模式的原始信息。使用循環神經網絡（RNN）作為預測模型。

（3）LAA 模型。對學習者微觀行為模式原始信息進行特征處理和權重計算后實現成績預測。

本文采用準確率和召回率作為評價指標，用以比較3個模型的早期預警性能。對于早期預警，其目的是在學期較早階段通過模型識別盡可能多的at-risk學生，因而召回率是比準確率更重要的評價指標[21-23]。

2.2.1 早期預警比較

本文使用3種模型在每周進行了成績預測。表2僅列出每隔一周預測成績得到的準確率和召回率。所有結果都是取五折交叉驗證平均值。結果表明，LAA在各周都取得了與基線模型相似的準確率和更高的召回率。

表2 早期預警預測結果比較Table 2 Comparison of early warning prediction results%

在已有的研究中，識別出較多（如50%以上）的at-risk 學生的時間點被確定為最佳干預時間。LAA 模型在第5周（5/16周，未在表中列出）可識別50.54%以上的at-risk 學生，比基線模型提前一周。因此，教師可在第5周對LAA模型篩選出的at-risk學生開展教學干預。

表3列出了3種模型識別的at-risk學生行為模式類型和人數。LAA識別出最多的低交互型和非持續型學生。

表3 模型對3種at-risk學生的識別結果Table 3 Identification results of three kinds of at-risk pattern students

本文采用上述學校的2018年數據驗證所提方法的泛化能力。該數據中的課程持續20 周，共7 592 977 條行為日志數據，參與者為7 701 名學生。其中，5 743 人及格，1 958人不及格。學生的行為日志被編碼為7種類別的行為（訪問資源、查看通知、完成作業、參與評估、參與交互、查看成績和其他行為）。結果表明，LAA 在每個周都取得了最高的準確率和召回率。LAA 在第6 周（6/20周）可識別50%以上的at-risk學生；在第20周取得了最高的召回率（分別是：TFB-61.69%、OB-73.13%、LAA-79.73%）。

2.2.2 早期預警關鍵預測因子分析

通過注意力模塊計算得到success 學生和at-risk 學生的各周次對最終成績的影響權重如圖5所示。R為atrisk 學生，S 為success 學生。學生R 權重最大的周是第10周，學生S權重最大的周是第13周。這表明不同學習表現的學生，學期各周次對成績的影響程度有所差異。

圖5 At-risk和success學生的各周次權重Fig.5 Week weights of at-risk and success students

學生R 和學生S 的各種行為對最終成績影響權重如圖6所示。學生R的行為權重大小依次為：參與交互（Interaction）>查看成績（CheckGrade）>訪問資源（Content）>參與評估（Assessment）>其他行為（Others）。學生S 的行為權重大小依次為：訪問資源（Content）>參與評估（Assessment）>其他行為（Others）>參與交互（Interaction）>查看成績（CheckGrade）。可以看出，及格學生和不及格學生雖然有相同的行為類別，但是各類行為對學習結果的影響權重不同。

圖6 At-risk和success學生的各類行為權重Fig.6 Behavior weights of at-risk and success students

在實際的教學活動中，教師按照課程大綱安排學生在特定階段完成課程任務，參加指定的學習活動。LAA模型計算出關鍵周次和行為，可幫助教師對照標準課程設計來發現學生在某個階段學習上存在的具體問題，進而采取干預措施。

3 結束語

本文提出的LAA 方法可在學期較早的階段識別50%以上的at-risk學生，相比基線模型取得了相似的準確率和更高的召回率。該方法對識別低交互類型和非持續類型的at-risk學生具有明顯優勢，且可以將教學干預時間提前一周。LAA模型通過計算各周注意力權重和各種行為的注意力權重，挖掘出影響學習結果的最重要周次和行為類別，可以方便教師選回溯學習過程。教師可根據預測結果精準定位需要干預的群體，并根據影響at-risk 學生成績的周次和行為權重，從課程設計、學習活動評估和學習監控等方面對學生進行個性化的教學干預。盡管LAA模型取得了比基線模型較高的召回率，如何進一步提高準確率是后續工作需要研究的內容。