基于隨機森林的在線教學評估方法研究*

林 青 鄭蕙圓王 力

（1.西安培華學院智能科學與信息工程學院 西安 710125）（2.西安交通大學就創業指導中心 西安 710049）（3.浙江西安交通大學研究院 杭州 311215）

1 引言

由于在線教學避免人群聚集、無需線下接觸，便于師生之間通過網絡完成教學活動。因此在今年停工不停教、停課不停學的大趨勢下，各種形式的在線教學受到中小學、高校和各教育培訓機構的擁躉。以騰訊課堂、騰訊會議、雨課堂等為代表的遠程教育APP，為在線受教育者提供了形式各異內容豐富的在線課程。在線直播+錄播教學作為一種系統廣泛的、突破時空限制的教學模式，其學習效果評估是必不可少的環節，由于在線教學的松散結構以及遠程教學環境的開放性，導致在線考試和在線評估的難度非常大［1］。因此，有必要建立一套準確完整的評估體系和模型對在線教學進行科學、合理、精確的評估［2］。

隨機森林（Random Forest，RF）是基于多棵樹決策樹［3］生集成分類器，避免了決策樹過擬合的優點，提高了分類準確率。每一顆決策樹是RF中的一個分類器，隨機森林基于Bagging投票模式［4］，集成了所有投票結果，將投票次數最多的類別指定為最終輸出。在線學習或MOOC平臺運行于多個終端，數據龐大來源異構，容易造成海量且不完整的樣本數據［4］，因此采用隨機森林能夠處理大量多維度且有缺失值的樣本。

2 在線直播+錄播的學習行為數據采集

雖然不同的在線教育平臺、直播工具功能差異較大，但教學模式和平臺體系已經很成熟，總體上可分為教學、互動和考核等三大功能［5］。綜合教育部門精品在線課程和各高校制定的在線教學標準，在線教學的每門課程基于直播+錄播，配合教師幻燈、動畫演示與板書，具有語音交互、文字聊天、在線問答以及線上習題等功能。這些功能豐富了在線學習行為，一方面模擬沉浸式的課堂教學環境，另一方面提供了更豐富的混合教學模式。在此過程中，受教育者的學習行為、評估結果也將被一一記錄。

本文基于我校在線教學的真實場景，結合在線教學平臺的數據，采集受教育者在線學習行為，將受教育者的操作行為分為3個維度：1）學習數據，包括觀看和回顧教學資源如視頻和講義等在線學習時間，在線時間須配合簽到時間和下線時間作為有效數據。2）交互數據，包括課堂提問和作業提交，以外，還可根據學生主動發言頻率、發言質量、彈幕等內容數據來分析其課堂活躍程度和學習成效。3）考核數據，包括自我測試和在線統一測試。綜合上述學習行為，給出學業表現（Performance）的輔助考核評估結果。數據的采集處理過程如圖1所示。

圖1 評估模型的數據采集處理過程

3 學習行為數據處理

我們首先分析在線教學直播平臺中三類歷史數據，濾除噪聲數據，然后構建決策樹模型，得到分類規則，最后根據模型對測試數據做出基本評價，將該評價作為最終考核的輔助評估。實驗結果表明：基于隨機森林的評估模型作為教學質量輔助評估方法能提供客觀、科學的自動評分要求，在保證評價結果的真實、有效和準確性基礎上提高了評價效率，對遏制線上統一測試的作弊行為起到積極的預控作用。

3.1 數據集成和過濾

通過數據采集和集成階段得到的信息，構建一個綜合學習行為庫，如表1所示。學習行為是學生在學習過程中投入的時間和努力程度。如果該生的在線學習花費了大量時間和精力，表示該生具有高度卷入行為；反之，則表示該生缺乏卷入［6］。卷入行為可量化表述，如時間長短，兼具質的特性，如沉浸度、交互頻度和測評結果等。因此，表1使用學習時間、互動和考核來描述學習行為和卷入程度。

表1 學生學習行為的屬性節點

3.2 數據融合集成

從表1可知，學習行為數據多源且異構，需經過集成、轉換、清洗等系列處理。并且采集過程容易出現間接數據和不完整數據，因此，還必須對不完整數據和空值數據進行修復。針對上述情況，本文數據融合方法如下。

2）對列表數據的歸一化處理；學習互動和考核數據都是列表型，代表該數據出現了一次或者多次，上述數據拆分成兩個不同維度，分別是內容和數量。如在線自測成績［Onlntest，…］是一個列表，包括［Onlntest1，Onlntest1，…Onlntestn］，歸一化后記錄成績的均值Onlntest=Avg∑Onlntesti和測試次數n。歸一化后的連續值離散化處理方式參考離散化處理公式（1）。

3）對缺失值的增益計算：為解決缺失值對該決策樹節點的影響，需要考慮樣本的權重問題，給定訓練集D和屬性a，令D~表示D在屬性a沒有缺失值的子集，屬性a的取值范圍為{a1，a2，…av}，表示在屬性a上取值為av的樣本子集，表示樣本分類為k的子集。可知包括缺失值的屬性節點，其增益計算方法如下：

4 基于隨機森林和決策樹的實驗

為便于仿真實驗進行，本文通過一個小班（22人）的學習情況數據來說明如何使用隨機森林和決策樹進行評估。表2列舉了7位同學在《程序設計基礎》（理論課程20學時）課程中的部分學習行為數據。其中Webcast和PPTbrow是觀看視頻和觀看PPT的實際時間，單位為分鐘。［Answer，…］是課堂回答客觀題的選擇結果，回答結果為正確或者錯誤，［Question…］是課后思考題的選擇結果，回答結果為正確、錯誤或沒提交。Assighments是五次課后作業分數，［Onlntest，…］是在線測試分數。Fin-Test是期末測評分數。使用隨機森林的分類結果將作為FinTest的輔助判定。

表2 《程序設計基礎》課程部分學生學習行為數據

1）對兩類數據Webcast和PPTbrow做離散化處理。Webcast共22個值，在22個值中構建并排序21個候選劃分點為劃分點值計算方法，找最大增益。Ent(D)值為1.9363，則當t=610時{828，1106，1188，…1344，1 356}1.8794。根據式（1）此時的Gain(D，a，t)=0.2282。計算每個劃分點的增益，找到maxGai n(D，a，t)，選定劃分點為1188，表示Webcast劃分時長為1188min，這個值與本課程學時20學時較為接近。PPTbrow的劃分點選擇計算方法類似。

2）對列表數據的歸一化處理。Assighments和Onlntest分別是課后作業和平時測試成績，歸一化得到，Assigh ments=Av g∑Assighi和Onl nt est=Av g∑Onlnti。歸一化后參考離散化處理方式得到最優劃分點。

4.1 基于隨機森林的實驗過程

本文使用后剪枝C4.5來構建相應決策樹，后剪枝雖然復雜度較高，但泛化能力較好，可解釋性強［9］，而C4.5可將每個分支重寫為一條規則［10］。并采用了Bagging（Bootstrap aggregation）放回抽樣方法，可解決單一分類器的過擬合和有限樣本的問題［11］。實驗步驟如下：

1）從1000個樣本集合中隨機選100個樣本（允許重復）；

2）在上述5類屬性上，對這100個樣本建立C4.5分類器；

3）重復10次，得到10個決策樹，其中由于屬性帶來的樣本值差異導致決策樹節點不同，決策樹的節點、深度和規則不同；

4）將測試集數據分別在10個不同決策樹上分類，最終根據不同決策樹的投票結果（投票數量超過一半）決定測試集數據的結果。

以其中一棵決策樹構造為例：

C4.5決策樹構造包括屬性選擇、決策樹生成和后剪枝三步，從綜合學習行為庫選出對學習卷入行為起到關鍵作用的屬性作為節點分裂標準，C4.5在選擇屬性作為決策樹分支節點特別是根節點時，需要計算樣本中該屬性的增益（如式（1））。該算法不偏向取值多的屬性節點，同時利于對連續屬性的離散化處理和對不完整數據的處理［12］。其產生的分類規則易于理解、準確率較高。考慮到學習行為與考評結果關聯度高低［13］，從表1中選取與考評結果關聯度高的5類數據，分別是Webcast，PPTbrow，Assignments，［onlntest，…］和fintest，并根據系統的每次可放回抽樣的訓練集樣本，計算5種屬性的增益（根據式（2））。

根據其中一組數據樣本，計算最終得到Fintest屬性的增益0.5063，［onlntest，…］屬性的增益0.4837，Assignments屬性的增益0.3963，Webcast屬性的增益0.3763，PPTbrow屬性的增益0.3563。根據前文對連續型數據的離散化處理方法，得到Fintest的區間閾值。

4.2 基于隨機森林的實驗結果

基于我校已經開課的3門課程的樣本數據，《程序設計基礎》《大學計算機基礎》和《線性代數》，對一共1000個學習樣本進行標記（樣本根據學生的線下標記為優秀，良好，及格和不及格，對于決策樹的A，B，C，D四類結果）。實驗結果如圖2。

圖2 隨機森林的精度和召回率

實驗結果表明，基于隨機森林的在線教學評估方法可以作為在線教學效果評估的有效評估手段，其準確率隨課程性質稍有變化。一些計算機系列的課程由于標準化程度高，線上考核的成績精確，因此在線評估結果更準確，幾乎可以替代考核結果［14］。而傳統的數學類課程由于標準化程度和學生獲取知識渠道更廣泛，所以評估結果可以作為輔助參考。

5 測試數據分析

根據文獻［15］，本文從統計和學習行為心理學角度，對這1000個樣本進行分析，分析過程中不考慮課程對樣本數據的影響，僅僅考慮學習行為與結果之間的關系。

5.1 學習行為描述

根據分類樹模型可知樣本學習行為基本情況如圖3所示，從中可見，樣本瀏覽學習時間均值為80.83。統一測試成績均值為70.89，不定期的小測試平均成績為68.63，作業平均得分為68.63。

圖3 學習行為的均值和標準誤差

5.2 學習行為與學業表現的相關分析

如表3所示，學習行為與學業表現的考評結果相關分析結果顯示，不同學習行為與學業表現的相關程度不同，其中“Fintest”與“Performance”的相關程度相對最高，“Webcast”與“Performance”的相關程度相對最低。

表3 學習行為與學業表現的相關分析

5.3 決策樹規則驗證分析

如表4所示，測試數據驗證結果顯示，基于在線學習行為預測在線教育效果的正確率高于67%，意味著預測結果信度可靠。具體而言，對于學業表現為“B，C，D”等級的學生，預測準確率高于67%。預測驗證結果證實了該研究中提出的隨機森林預測機制的有效性。

表4 學習行為的決策樹驗證分析結果

6 結語

在線直播教學不是課堂搬家，對于學生意味著更靈活更自主的學習過程，對于教師意味著轉變以往的教學理念和教學方法，由知識的傳授者轉變為學生學習的督促者、引導者、監督者教育。在線教育直播、錄播、混合教學、翻轉課堂等各種移動互聯網+的教學模式加速增長，未來虛擬化校園建設、數字化校園管理、線上測評與輔導等具有廣闊發展空間。從目前趨勢看，學歷教育和非學歷教育的線上教育之重要性日益受到重視。基于學習行為的輔助評估受教育者的學習情況是在線教學關鍵的應用之一。本文所提方法通過科學有效的過程性評價，激勵和引導學生學習，用數據了解判斷學生的學習效果，根據學生的實際情況及時進行教學調整，而跨平臺、多指標體系、靈活智能的形成性評估方式將更好地推進在線教育平臺的發展。