基于SPOC 的混合式學習評價指標體系的構建

胡慶春，蔡建華

（1.華東理工大學 信息科學與工程學院，上海 200237；2.華東師范大學 數據科學與工程學院，上海 200062）

0 引言

自2012 年以來，基于網絡學習環境的MOOC（massive open online courses）受到大量研究的關注[1-2]。作為一種新的教與學模式，從對MOOC 的狂熱追捧到理性的反思過程中，MOOC逐漸被修正并調整。有學者提出了SPOC（small private online course，小規模限制性在線課程）[3]，并把SPOC 和課堂教學融合形成一種新的混合式學習環境[4-5]。

基于SPOC 的混合式學習環境與傳統課堂以及在此之前的在線教育有本質區別，傳統的結果性學習評價缺乏面向過程的學習行為和學習效果的分析，并沒有在學習者的在線學習行為與學習效果間建立緊密聯系。SPOC 學習環境可以全面記錄用戶在學習過程中產生的學習行為數據，記錄學習者的學習和交流過程，形成學習的大數據，為利用數據分析技術進行學習評價，并進一步提升教學質量提供豐富的數據。可見，對于SPOC 這種新型的混合式學習環境，傳統的課堂教學以及一般的網絡課程評價標準顯然已經不適用，構建適用于SPOC 混合式學習環境的學習評價指標體系與評價量規勢在必行。

本研究是以程序設計課程為背景，程序設計課程是華東理工大學大部分理工科專業的一門通識必修課程，每年有2 000 多名本科生修讀程序設計課程，包括C、Java、Python 等在內的程序設計語言。

當前，對于程序設計課程的學習評價常用的方法是根據期末的上機考試、平時的實驗報告、課程大作業以及課程的出勤率，由教師給出平時成績。并結合學生的期末考試成績，得到最終成績。這種方式屬于一種結果性學習評價，在傳統的課堂教學中起到一定的作用。

教育部新工科教育理念的提出，為深化工程教育改革提供了一個契機。2017 年2 月，教育部發布《關于開展新工科研究與實踐的通知》[6]，基于新工科視角的工程教育引起關注。新工科倡議是我國工程教育對“互聯網+”等國家重大戰略的積極響應。以新技術、新模式、新產業為代表的新經濟蓬勃發展，對工程科技人才提出了更高要求。在高校的課程設置中，需要融合專業應用，形成新的人才培養方式，更新教與學的內容，并且隨著網絡教學平臺的廣泛使用，學生的網絡學習行為應該作為一種學習評價要素納入學習評價中，為此，學習評價的方法也需要進一步完善。

1 國內外研究現狀

1.1 程序設計課程教學

在過去20 年，程序設計課程主要有3 種教學模式。

第1 種模式是傳統的課堂教學，關注工具運用，強調編程能力的培養。教與學圍繞著學會編程，專注于課程知識點的學習；并且鮮少采用網絡教學平臺，通常是傳統的面對面課堂教學和答疑。學習評價主要以考試的分數衡量學生對于課程的掌握情況。

第2 種模式是以傳統的課堂教學為主，輔以課程網站的支持，不僅強調編程能力的培養，還關注計算思維能力的培養。自2010 年以來，圍繞計算思維理念，全國多個高校對于程序設計課程進行了一系列教學內容的改革，但是，對于學習的評價鮮有具體的相關案例。計算思維能力的培養涉及多方面，如何在SPOC 環境中評價學生是否具有一定的計算思維能力，需要面向專業的融合，在具體的案例環境中才可以恰當地評價。

第3 種模式是網絡在線學習和課堂教學的混合式學習。這種模式主要是從2012 年開始，2012年被不少學者認為是中國的MOOC 元年[8]。發展到2018 年，中國高校的在線課程出現一個大幅度的提升。在2018 年12 月，教育部發文認定801 門課程為2018 年國家精品在線開放課程[9]，越來越多的高校把網絡環境整合到課堂教學中。

可見，程序設計課程的教學在過去的20 年中已經從傳統的師生面對面的課堂教學轉變為混合式的教學。在混合式的學習環境中，基于SPOC的混合式學習環境日漸受到研究的關注[10-11]。

1.2 基于SPOC 的混合式學習環境

加州大學伯克利分校的阿德·福克斯教授提出SPOC 是MOOC 和傳統課堂的融合[3]，并在軟件工程這門課中進行了實踐。目前，SPOC 在教學中的實現方式比較靈活，既可以采用傳統教學模式，與傳統的課堂教學相輔相成，又可以采用翻轉教學模式。當前對于SPOC 的研究熱點主要集中在教學模式、教學設計、SPOC 的在線學習等方面[12-14]，鮮有實踐案例探討SPOC 環境下學習評價指標體系的構建。

在SPOC 學習環境中，學生的學習行為形成海量的數據，這些行為數據的分類獲取以及在此基礎上對學習的評價，主要依托教育大數據和學習分析技術。

1.3 學習行為大數據

當前已經有研究從各個角度關注教育大數據。在國外，美國曾在2012 年發布了《通過教育數據挖掘和學習分析促進教與學》（Enhancing Teaching and Learning through Educational Data Mining and Learning Analytics）[15]報告，并啟動了“Big Data Research and Development Initiative”[16]計劃，提出“通過收集、處理龐大而復雜的數據信息，從中獲得知識和洞見，提升能力，加快科學、工程領域的創新步伐，轉變教育和學習模式”。

大數據在教育領域較為典型的應用技術是學習分析（learning analytics）技術。學習分析被定義為“測量、收集、分析和報告有關學習者及其學習情景的數據集，以理解和優化學習及其發生情景”[17]。學習分析需要對學生學習過程中形成的海量數據進行解釋和分析，以評估學生的學業進展，預測其未來表現并發現影響學生學習的因素，其目的是評估學生，發現潛在問題并最終優化學習。在SPOC 學習環境中可以記錄并積累大量系統化、結構化的數據，這為科學的學習評價奠定了不可或缺的數據基礎。

當前的SPOC 學習環境中，課程網站或者學習平臺對學習的評價大多數還是基于傳統的學習評價方法[18]，主要是采用考試成績、課程的點擊瀏覽量等的統計信息以線性方式評價學生，在一定程度上反映了學生對知識的掌握程度；也采用日志文件分析、網絡內容分析等方法[19-20]，識別出有困難的學習者，對其進行一定的干預[21]。這些研究均很好地關注了學習評價中的單個因素，但數據來源單一，鮮有研究整合考慮多個因素。

學習行為大數據來源于多種類型的學習活動，數據之間缺乏互操作性，即各種類型的數據難以整合、共享。本研究對學習活動數據流進行分類，分類的基本出發點是以學生為中心，即以學生為數據流的發出主體，進行有針對性的數據分類提取，將所提取的數據用于學習評價。

2 學習評價體系框架

本研究所分析的大數據和學生的學習狀態行為相關，學生在學習過程中的狀態可以看成一種系統的隱性狀態轉移和隱性狀態的表現概率事件。系統的隱性狀態指的是一些外界不便觀察，或觀察不到的狀態，如學生在當前的狀態是登錄進入了系統，但是他在系統訪問了哪些內容，狀態如何轉變，針對這樣一個學習結果，分析前述的學習行為，并最大化地呈現其學習的軌跡。同時，教學管理者可以對于某種學習行為和某種學習結果之間的相關性進行預測，并進一步干預其學習的過程。

上述內容構成了學習評價指標體系理論基礎與研究框架（如圖1 所示），從評價主體、評價內容和評價形式闡述混合式學習環境下如何對程序設計課程進行學習評價。

2.1 學習行為和評價量規

在SPOC 學習環境中有眾多復雜的數據流，本研究采用面向學生的教學活動數據流的分類辦法，因為學生的學習是教學分析的主要對象，教學管理決策的措施和標準應以學生為中心。通過對教學活動信息流的數據分類，可以進一步細化學習分析的各種對象，從而界定并構建特定的分析模式。通過將教學活動數據流分類來對教和學的交互行為進行建模，各種教學活動數據流以具有語義結構的數據形式存在，主要包含以下元素：數據流的發出實體、動作、時間、地點、對象和結論。

數據流格式主要為兩種：一是結構化數據；二是非結構化數據，包括學習內容、學習日志、學習路徑、學習成果數據、課程數據、學習成績數據等。學習日志除了包含系統實時記錄的日志文件，還包括學習論壇中的互動和交流。這些互動和交流分為事件計數、內容發展、內容貢獻、內容閱覽、活躍用戶、熱門主題（回復）、熱門主題（點擊）。通過對這些數據的獲取、存儲和分析，構建學習者學習行為相關的學生模型（如圖1 所示），分析學習者已有的學習行為，并實時反饋相關的信息給學習者和管理者。

數據流的分析過程包括數據采集、數據處理、學習分析和預測建議4 個關鍵環節，整個功能模塊框架如圖1 所示。采集模塊將教學主體在各教學環境中的活動數據聚合到一起，對異源數據進行格式的預處理后導入教學活動數據流庫中，結合統計分析和關聯挖掘。根據分析結果洞察學生的學習行為，及時給學生可視化的反饋，一方面促進其自身的反思，另一方面也有助于教師預測可能面臨的問題，以便在管理決策中進行及時的干預，調整教學。

在圖1 的模型中，評價量規有兩個維度，一個維度是學習評價指標，分為3 類：學習態度、學習成績和綜合能力。其中，學習態度包括學習參與度、學習時間分布（視頻學習時間間隔、登錄時間間隔）、課程論壇的貢獻度（論壇的發帖頻率和瀏覽頻率）。學習成績包括過程性行為和結果性成績。綜合能力包括課程大作業、協作能力、創新能力（見表1），這些主要通過參加各級競賽活動和大創項目來衡量。另一個維度是學習行為，由學習指導類、理解創新類以及交互分享類構成。依據其與評價指標的分類相結合，又細分為不同的子類，每一個子類作為學習評價指標體系中的一個參數描述。

表1 學習行為和學習行為評價量規二維矩陣

通過軟件工程中的快速原型法，采用多輪迭代構建每一個參數描述；設定每個不同類別學習行為指標的權重，對每個學習行為指標進行定級，得到評價量規。對于不同的教學場景和對象，教師需要恰當地調整量規。

2.2 案例實踐

在實踐中，采用專業融合案例引導，以學科競賽和各級大創項目作為應用驅動。以華東理工大學大面積程序設計課程SPOC 混合式學習環境中的數據作為樣本進行分析，借助真實的一線教學數據，利用學習分析技術挖掘學生在學習過程中的實際參與表現和進展情況，分析相關學習行為特征，構建學生模型，進行學習評價。

實踐場景為程序設計基礎課程，示例數據來源于課程平臺中的問題討論區，該問題討論區作為專門的網絡答疑平臺，學習者在其中的參與度極大地反映了其在這門課程中的學習。以該平臺中的學習者為研究分析的對象，目前該平臺上每個學期有約500 名大一的本科生在學習程序設計基礎，首先通過網絡學習平臺采集學生行為數據，找到學習效果的相關學習行為指標特征，并在此基礎上實踐學習行為評價量規的制訂。

在研究中，采用了開源的可視化平臺Kibana分析網絡學習平臺中的行為數據，并把分析結果可視化展示給學生看，有助于學習者反思其學習。在一段時間內對于課程平臺中所選中的區間，呈現了一個有規律的峰值訪問。課程平臺中對于內容閱覽的可視化中可以看到在某一日，或者某段時間對于熱點內容的閱讀達到一個峰值，而經過仔細分析時間的規律，可以發現往往是臨近每周上課日的前后時間段會產生峰值，并且其中對難點問題的討論會一直持續。

3 結語

當前信息時代，數字化教與學給整個教育帶來的影響是巨大的，通過教育數據挖掘技術，可以真正做到挖掘數據的價值，用數據支持教與學。通過深入剖析當前信息技術環境下的混合式學習環境的特點，以及其中的學習行為數據，構建了SPOC 環境下學習評價體系模型并把模型運用在程序設計課程的實踐中，量化并追蹤學生的網絡學習行為，以應用于學習評價與管理決策。由于大部分高校都有網絡課程平臺并開展了基于SPOC的教學，因此該研究具有廣泛的可實踐性。立足于大學教學之根本，尤其是在當前網絡技術和移動技術沖擊的校園，對學生的學習評價需要改進；并且，面對海量的學習行為數據，挖掘其背后的價值，能夠使教學的管理決策更加科學和有效。