基于Markov鏈的在線課程教學評價成效分析

沈 俁 王立彬

（南京林業大學 江蘇南京 210037）

引言

教學評價是研究教師教學效果和學生學習效果的價值過程，也是一個影響因素多、因變量多的非線性過程，起到了定向和調控、診斷和預測的功能。傳統課題的教學評價基于傳統的教學模式，根據學生考試期中或期末成績來評價教師的教學效果[1]。從2012年世界高等教育開啟“慕課元年”伊始，課題教學的變革也帶動著教學評價的變革。尤其2020年全球爆發的新型冠狀病毒疫情，基于“停課不停教、停課不停學”的原則，將在線課程推向了發展和普及的高潮。

如今隨著互聯網和移動學習的迅速發展，越來越多的教學者、學習者開始選擇在線教學平臺進行課程學習，如國內的中國大學慕課、網易云課堂，國外的Coursera 等。遠程教育的優點是隨時隨地的教學學習，但是缺點則在于教學者很難直觀地觀察到學習者的學習狀態，且由于學生群體規模龐大，與教師素不相識，教學者課后也很難采集評價反饋數據。線上課程教學過程中，學生無法和教師面對面授課、教師無法實物教學、授課環境復雜等因素讓在線教學有了傳統課堂無法預測到的特殊性。而疫情過后，線上線下混合式教學已然成為今后課堂教學的發展趨勢，各自的研究中嘗試構建了不同的在線課程質量評價體系，但在研究方式上總體呈現“自上而下”主觀評價的研究特點，多以對學習者進行問卷調查/訪談、邀請專家打分、分析國內/國外教育部發布的相關文件為主。因此，建立科學合理的評價體系，成為當下教育教學工作者亟需解決的任務。本文將Markov模型應用到在線課程教學評價中，采取學生成績“標準化”的方法排除學生基礎的差異以及試卷難易程度不同對評價結果的影響，客觀地評價教師的教學質量，從而指導老師面臨新型的在線課程教學，應該如何調整自己的上課方式、授課內容以及教學行為[2]。

一、在線課程發展歷程和評價現狀

2001年，美國麻省理工學院啟動了開放式課件項目，自此，開放教育資源正式開啟并日益增長。2012年，出現了edX、Coursera和Udacity三大社會公開開放的在線課程平臺，極大地推動了MOOC的發展。MOOC的出現，像一個扳手一樣撬動著大學校園的圍墻，為老師和學生們提供了全新的知識獲取方式。與此同時，哈佛大學、加州大學等高校也在嘗試一種更完善的課程類型——SPOC（SmallPrivateOnlineCouurse小規模限制性在線課程）。

為了順應時代發展的需要，近年來，我國一批高水平大學也開始進行大規模在線開發課程的建設與應用，如上海交通大學的“好大學在線”、清華大學的“學堂在線”等等。這些平臺匯集了國內外著名高校、著名學者的精品課程，課程內容涉及多個領域、多種學科甚至是多種語言。

我國在線課程的建設經歷了跨越式的變革。2003年，我國開啟國家級精品課程項目，2010年教育部獲批了3910門國家精品課程；2011年開啟中國大學視頻公開課、精品資源共享課，截至2013年教育部公布了992門視頻公開課，2884門資源共享課。2017年，國家對在線課程進行了審查和評價，截至2020年，認定3000余門國家精品在線開放課程，其中不僅有經過2個教學周期檢驗的課程，而且還將在新冠肺炎期間開展大規模在線教學中作出重要貢獻的原2017年和2018年的課程也納入了名單。在我國在線開放課程建設與應用取得一定成績的基礎上，教育部首次正式推出了490門“國家精品在線開放課程”。2022年前啟動“雙萬計劃”，計劃建設1萬門國家級和1萬門省級線上線下混合式一流課程，建立MOOC學分認定制度，推動優質資源在全國乃至全球開放共享。

在線課程的質量高低直接決定在線學習效果，學習者的高效果評價依托于高質量的在線課程。隨著“互聯網+”時代下大數據應用和數據分析的逐步成熟，在線課程的活動質量測評變得越來越技術化與工具化。

在國外，可汗學院基于信息跟蹤技術研發的“數字化學習儀表盤”，可以對在線課程的學習過程進行精密追蹤，記錄大量的學生學習信息和情境，最終以數字和圖標的方式呈現，成了教育大數據的可視化工具；普渡大學研發的“課程信號系統”可以依據學生過程性的活動信息對線上課程的學習結果進行判斷并預警。

在國內，一方面，在遴選在線課程時仍然習慣于以專家為主導、基于標準的分析方法，但專家評審從本質上是專家通過以學生的身份來模擬上課，參與和體驗線上課程的學習效果，某種程度上背離了學生的真實情況，存在一定的元認知“失真”。由于學習者在課程偏好、學習習慣、學習目的等方面存在多樣性差異，因此通過這種方式遴選出來的課程存在“盲區”，無法精確反應學生的學習效果。另一方面，則是基于學習者的調查分析，例如“MOOC學院”從學習者的知識點、教師參與、趣味性、課程設計和難度等多重感知視角設計了課程質量分析方法。但這種方式得到的效果評價顆粒度比較大，多數以整個課程內容為觀測點，缺乏針對性。

二、馬爾可夫模型的建立

1.基本理論

設隨機過程{Xn，n∈N}，如果對任意的n∈N及狀態i0，i1，…，in+1，有P{Xn+1=in+1|X0=i0，X1=i1，X2=i2，…，Xn=in}=P{Xn+1=in+1|Xn=in}，則稱{Xn，n∈N}為馬爾科夫鏈。

若馬爾科夫鏈的條件概率與當前時刻n無關，則稱條件概率 P（n）=P{Xm+n=j|Xm=i}（i，j∈S，m≥0，n≥1）為馬爾科夫鏈的n步轉移概率，相應的稱P（n）=（pij（n））=Pn為n步轉移概率矩陣。

當n=1時，pij（1）=pij，P（1）=P.

n步轉移概率pij（n）指的是系統從狀態i出發經過n步轉移到狀態j的概率，它對中間n－1步轉移經過的狀態無要求。

2.模型建立

在線課程的教學是一個較長的過程，一個學期的授課可以看成若干個課堂時段，每個課堂時段又可以分為若干個時間點[3]。學生在每個時間點的學習狀態和獲得的成就作為狀態空間的子集，每個狀態都是具有隨機性的，假設教師授課方式、節奏把控等不發生較大改變的前提下，前一個時間點的學生學習狀態到下一個時間點的學生學習狀態發生變化，反映了教師這段過程中的教學效果，學生的每次狀態轉移后的結果也只和當前狀態有關，且學生在疫情之下也都是第一次全部經歷線上教學，排除了學生的基礎差異性的影響。

本文以南京林業大學疫情期間開設的高等數學在線課程為樣本，大二年級普通班隨機抽取不同老師授課的2個平行班級（1班和2班）共60人，將其期中考試和期末考試的高數成績作為統計數據，利用馬爾科夫鏈模型進行量化處理。期中考試作為初始狀態，期末考試作為轉移后的狀態。同時，發布調查問卷，針對線上課程的授課方式、影響因素等情況進行分析，共回收有效問卷60份。最終學生期末考試的成績進行“標準化”處理，分為5個等級：一等（100-90分）、二等（89-80分）、三等（79-70分）、四等（69-60分）、五等（59-0分）。

計算1班、2班期末考試平均成績分別為76.85分和74.32分。單純由均分來評判1班教學效果大于2班是不公正的。按照現在的狀態，繼續教學后，比較未來發展的趨勢。計算1班、2班在期中考試和期末考試中由狀態i轉移到狀態j頻數，得到其頻數轉移矩陣和對應的轉移概率矩陣[4]。

由一步轉移矩陣得到平穩分布，將上述值P分別帶入平穩方程：

用Matlab解得極限向量為：1π=（0.12，0.24，0.36，0.2，0.08），2π=（0.25，0.31，0.29，0.08，0.06）。分別選取95，85，75，65，55作為一等到五等的評價指標，求得1班和2班的綜合指標分別為：

M1=0.12×95+0.24×85+0.36×75+0.2×65+0.08×55=76.2

M2=0.25×95+0.31×85+0.29×75+0.08×65+0.06×55=80.35

由此可見，綜合水平M1＜M2，在考慮原有基礎差異情況下，2班教學質量優于1班。

3.問卷分析

為及時、系統地了解學生在線學習的情況以及教師線上授課的情況，本次研究設計了師生版調查問卷。基于兩個班的調查情況，學生自身有一定的線上學習經歷，表示接觸過線上課程的占比有75.51%。在學生的網絡自主學習中，觀看名校有關的課程視頻排在首位，完成相應的課后作業排在末位。由此看出，線上自主學習如果沒有硬性作業完成度的要求，很難形成完整的閉環鏈[5]。

經過疫情期間線上授課，學生們在填空式的問卷中互動活躍，提出不少建設性意見，一班更多學生表達了希望教師多互動的建議，例如“理科思辨要求較高的課程，老師直播授課語速快，學生記筆記跟不上”；“希望可以安排習題課講解”；“希望老師增加與學生連麥互動的環節”；“下一堂課的重點難點提前告知學生，方便預習、復習”等實質性的問題。

4.獨立性檢驗

由于1班和2班學生的成績數據是樣本數據，是整個學校總體學習高等數學的學生的代表，具有隨機性，故需要用獨立性檢驗的方法確認在考慮原有基礎差異情況下，2班教學質量是否確實優于1班。根據問卷調查，1班教師互動多于2班，則以1班數據為例，關于線上教學中教師與學生之間有所互動，是否能提高學生對課堂內容的投入，可得如下教師與學生互動與學生投入之間的關系：教師互動多，學生投入狀態好，關系值為35（a）；教師互動多，學生投入狀態不好，關系值為3（b），總計關系值38（a+b）。教師不互動多，學生投入狀態好，關系值為8（c），教師不互動，學生投入狀態不好，關系值為13（d），總計關系值21（c+d）。學生投入狀態好時，教師狀態總值44（a+c），學生投入狀態不好時，教師狀態總值16（b+d）。教師與學生互動與學生投入總計60（n=a+b+c+d）。

假設教師互動和學生投入課堂效率沒有關系，相對獨立為H0，兩個分類變量相互有關為H1，越小，則教師互動和學生投入的關系越弱。

上述表格中數據代入公式得，K2≈19.839，在H0成立的情況下，根據獨立性檢驗的臨界值表得：P（K2≥10.828）＜0.001，即這個概率非常小只有0.1%，因此可以有99.9%的把握認為1班的教學質量優于2班是因為教師互動的多，與前面求得的綜合水平M1＜M2相呼應。

三、結論

基于馬爾科夫鏈模型的教學效果評估方法，關注了評價依據的客觀化、多元化，不再只局限于學生最終的成績來評定一個老師上課的好壞[6]。同時，本文在測算模型的基礎上對獨立性進行了檢驗，將教師的“教”與學生的“學”相互結合，使得教學評價不再是單一的結果性評價，而是更關注教師的教學過程性評價；不僅僅是主體評價，也考慮到了客體分析。

和傳統課堂評價的主體分析不同的是，線上線下混合式教學的主體多了一個平臺大數據。在“互聯網+”的大數據時代，線上線下混合式教學是基于在線課程或SPOC，有20%-50%學生線上自主學習的教學模式。因此，混合式教學的課堂評價一部分依賴于平臺的大數據分析，一部分來自學生和督導教師的課堂評價。平臺大數據算法主要包括鏈接分析法、內容分析法、日志分析法。利用大數據算法對 課程的教學績效和學習績效進行分析。

四、措施

對比線上線下混合式教學的課程，傳統授課方式的課程建設與在線課程建設在課程設計上有共性也有區別。共同點在于師生需要有有效的互動，線上課程授課時設計的線上互動答疑、課堂小測驗的答案統計排名等，如果熟練地運用教學用具在課堂中的使用頻率，會讓課堂效果翻倍。線下課程授課時學生的分組討論、師生角色轉換等，可以凝聚課堂人心。但在實施過程中，因為學習主體和學習客體的不同，具有差異性，同時還要考慮線上課程平臺的實用性、技術支持以及技術人員的反饋時效等問題。老師的教學設計不僅僅要考慮課程內容，還需要考慮“互聯網+”時代下線上線下教學方法的改革、學生獲取知識能力和主動性的差異等等；信息化時代帶給師生的不僅僅是信息獲取的便捷和課程內容的豐富性，更重要的是要考慮在線課程的設計是否適合學生對知識點的掌握、線上與學生的教學互動是否及時、視頻學習等內容更新是否有階段性等等；對學習效果評價的設計主要包括在線考試、隨堂小測驗、課后習題作業等指標。本課題探索建設基于Markov鏈的數據化評價，并對在線課程建設和教學效果進行系統性的評價，從而進行了成效分析。