學業成就與學業風險的預測

范逸洲 汪瓊

【摘 要】

學習分析作為一個從數據中建構意義的研究領域，在過去幾年的發展中備受學界關注。學習分析領域的核心問題之一是如何利用數據預測學習者的學業成功或者失敗？圍繞這一問題，國內外學者開展了大量實證研究，取得了豐富的研究成果。但是，預測指標研究的相關綜述卻存在一定局限性，如忽視指標適用的學習場所和情境、模糊指標匹配的學習任務類型和參與主體，或是有些綜述缺失了領域內的代表性學者、研究和應用。因此，本文通過系統的文獻檢索和綜述，從預測指標適用的學習場所和任務類型出發，梳理了傾向性指標、人機交互指標和人際交互指標三種類型的常用預測指標。本文詳細地介紹了過往學業表現、初始知識、學習驅動力、正面或負面學習行為、學習者情感狀態、知識表征事件、人際交互頻次、社群意識等一系列得到廣泛驗證的關鍵預測指標，并將按照“學校場所和工作場所”和“個體學習和群體學習”兩個維度劃分的四個象限，在每個象限中選取一個典型的學習分析系統進行剖析，這些典型系統是Signals系統、SNAPP系統、Learn-B系統和Cohere系統。本文最后總結了預測分析相關研究的特點和趨勢，并指明了未來研究與實踐的注意事項和潛在的研究方向。

【關鍵詞】 教育大數據；學習分析；預測分析；預測指標；學業成就；學業風險

【中圖分類號】 G420 【文獻標識碼】 B 【文章編號】 1009-458x（2018）1-005-12

一、綜述的背景與聚焦

大數據（Big Data）發展的核心動力來源于人類測量、記錄和分析世界的渴望（邁爾-舍恩伯格， 庫克耶， 2013），教育大數據也正在深刻地影響和改變著教育。但我們冷靜地意識到：相較于信息產業、醫療領域等，教育領域對于大數據的測量、收集、分析和匯總仍然處于不甚理想的境況。麥肯錫《大數據》報告在綜述了各大社會研究與應用領域后指出：在大數據飛速發展的今天，教育領域是在大數據中受益最少的領域之一，缺乏“數據驅動的思維（Data-driven mind-set）”是教育領域當今面臨的主要障礙（Manyika， et al.， 2011），而學習分析領域的快速發展則有望扭轉這一悲哀的局面。

第一屆國際學習分析與知識學術會議將學習分析定義為：為了理解和優化學習過程以及學習環境，對于學習者及其所在情境的數據進行的測量、收集、分析和匯總工作（Siemens & Long， 2014）。這一定義明確了學習分析領域的三個關鍵特征：旨在解決的問題（理解和優化學習過程與環境）、數據的來源（學習者及其所在情境）和對于數據可做的處理工作（測量、收集、分析和匯總）（Siemens & Long， 2014）。

結合學習分析的定義和國內外學者對學習分析的闡述，本文形成了對學習分析領域的三點基本認識：

第一，學習分析是一個領域（Field），而不僅是一種技術、方法或者工具；

第二，學習分析是基于問題和數據的研究領域，是一個通過收集、處理和分析數據進而理解數據、從數據中建構意義（Sense-making）的過程；

第三，學習分析的主要目標是通過建模和預測，有效地辨別存在潛在學習風險的學習者，強調可指導行為的洞見（actionable insights）。

而在整個學習分析領域之中，預測分析則是基礎、重要的也是核心的子領域（Siemens， 2013）。國內外學者圍繞“如何預測學習者的學業成功或者學業失敗？”這一學習分析的核心問題，開展了大量關于預測指標、建模方法和干預策略的研究，也有學者對這一問題進行了綜述。

Brown從學習者的固有指標（Dispositional Indicators）、行為表現指標（Activity and Performance Indicators）和學生作品（Student Artifacts）三個類別，梳理得到廣泛驗證的預測指標，并討論了不同指標的預測能力和應用案例（Brown， 2012）；從預測或解釋的對象來看，Berry歸納了四類影響學習持續性的指標（社會因素、心理因素、組織因素和經濟因素），以及三類影響學業成就的指標（學業因素、人口統計學因素和文化社會因素）（Berry， 2017）。

具體到學習分析的實際應用，Usamah通過綜述14個典型的學習分析系統和應用，梳理出了學習者往期學業表現、課程參與情況、學習者背景、社交表現等多個預測學業表現的重要指標（Mat， et al.， 2013）；也有學者將學業能力、個人財產情況、學業目標、學習動機等能夠預測學業風險或成就的指標，視為分屬于學生信息系統和課程管理系統的變量，并在這兩個系統內分別識別存在風險的學習者并開展干預（Bukralia， 2015）。Verbert等人則從學習分析儀表盤的角度，綜述了面授環境下、小組合作環境下、混合學習環境下和在線學習環境下可用于表征學習情況的五類數據源及指標，它們分別是學習行為（包括學生作品）、社交互動、資源使用、花費時間和練習測驗結果（Verbert， et al.， 2014）。

圍繞預測指標這一話題，最近幾年，國內學者則相對更加聚焦于與學習行為相關的預測指標，例如：武法提和牟智佳基于學習者行為分析提出學習結果預測框架（武法提， 等， 2016），并在MOOC情境下檢驗了視頻學習次數、文本學習次數、評價參與時長等關鍵指標的預測能力（牟智佳， 等， 2017）；李爽等基于學習者在線學習行為投入歸納出六個指標維度（李爽， 等， 2016）；賈積有和于躍洋提出的基于速度、質量和數量三個維度的在線學習活動指數（Online Learning Activity Index， OLAI）（賈積有， 等， 2017）；賀超凱和吳蒙則通過分析edX平臺上的16門MOOC，歸納出多維度的學習者學習行為特征，并對部分典型行為特征進行了數據挖掘和預測（賀超凱， 等， 2016）。

上述綜述和研究都從不同的層次和視角增進了我們對于如何預測學習者成功或失敗這一重要問題的理解，但過去關于學習分析中預測指標的綜述也存在一定的局限性，例如：忽視學習場所和情境，預測指標對學習結果的預測能力往往局限在特定的文化背景、學科背景、學段背景等教學情境中，不闡明學習場所和情境容易造成預測指標和模型誤用（Shum， 2012）；模糊學習任務類型和參與主體，預測指標往往被放置于特定的學習任務類型中發揮作用，需要注意區分個體學習和協作以及合作學習任務，并在不同任務類型中分析預測指標起作用的機制（Wagner & Ice， 2012）；以往關于預測指標的綜述也出現了缺失某些代表性研究的問題，特別是對于學習分析領域中某些關鍵學者和典型案例的缺失，導致我們對于預測指標相關研究的認識仍不全面。

本研究的目的正是力圖解決上述問題，通過關注預測指標適用的學習場所和情境厘清預測指標匹配的學習任務類型和參與主體，梳理出學習分析領域代表性研究和典型案例中采用的預測指標。通過建立學習分析領域的預測指標體系，為后續圍繞預測分析展開的研究提供參考，也為實踐領域對學習進行的預測和干預提供思路。

二、綜述方法

本綜述用學習分析、預測分析、預測指標等關鍵詞進行了系統的中英文文獻檢索。這些文獻絕大多數發表于經過同行評議的學術期刊①和國際學術會議②，并大多發表在2006年至2016年這十年間。

為了確保本綜述能夠覆蓋領域中的代表性學者和典型案例，在基于關鍵詞的數據庫檢索之外還單獨檢索領域內的主要學者和代表性研究團隊的研究文獻。通過統計歷屆國際學習分析與知識學術會議的委員會和參與者、學習分析研究協會的會員和學習分析暑期學校的主講人等，本綜述初步確定了學習分析領域主要的學者：Dragan Gasevic、Shane Dawson、George Siemens、Ryan Baker、Simon Buckingham Shum、Phillip Long、Xavier Ochoa、Erik Duval、Rebecca Ferguson 和 Leah Macfadyen等。通過將代表學者的文章（116篇）和關鍵詞檢索的文章（183篇）進行交叉匹配，并按本文綜述的聚焦對文獻進行篩選。

文獻篩選的標準：首先，該研究要有明確的預測對象，即學習者的學業成就和學業風險以及相關的認知技能提升等；其次，該研究要闡明其研究的學習場所和參與主體，對沒有介紹教學任務類型和過程的研究暫不參考；最后，對文獻中研究方法不明確、預測指標介紹不充分、分析過程不清晰的研究暫不參考。最終本綜述采納的文獻為83篇。

在對這83篇文獻進行閱讀、梳理和歸納時，本綜述特別關注了每篇文獻中研究所處的學習場所和情境、任務類型和參與主體，以及這些預測指標和研究可能適用的歸類框架。

（一） 學習場所和情境

對學習分析研究所在的學習場所的劃分，與學習分析領域的發展歷史和主要團隊的研究經歷密切相關。早期教育數據挖掘和學習分析的研究團隊，傳承自上世紀90年代前后智能導師系統的研究團隊，其關注的應用場景主要集中在 K-12 教育中，特別是學校教學場所下的學科教學。同時，本綜述發現學習分析領域。另外一類代表性的研究團隊來自加拿大、英國、荷蘭等國的開放大學，這類研究的應用場景主要集中在成人學習和遠程學習的環境下，更多地與學習者具體的工作場所相結合。

學校場所的教學與學科知識密切相關，而工作場所的教學則往往與實際問題和專業發展相關，兩者的教學目標、組織形式、內容邏輯和評估方式等都存在很大的差異。因此，在梳理預測指標時，本綜述在學習場所和情境的維度上劃分為學校場所（School）和工作場所（Workplace）。

（二） 任務類型和參與主體

對學習分析研究所關注的任務類型和參與主體的劃分，則受到領域內使用的不同技術手段影響。在學習分析領域，具有堅實數據挖掘技術基礎的學者主要具備兩類技術：機器學習的技術和社會網絡分析的技術。機器學習的技術主要關注個體行為的數據挖掘，通過訓練機器而達到預測個體行為的目的；社會網絡分析的技術則更關注個體在群體中的關系、位置和交互模型，常常用來分析論壇討論等。因此，不難看出，學習分析關注的任務類型和參與主體往往可以分成兩大類：個體（Individual，大多數情況下學習者獨自學習）和群體（Cohort，大多數情況下學習者會在群體中進行合作學習或協作學習）。

上文中提到的代表性學者的研究，都可以從學習場所和任務類型兩個維度進行剖析。例如，Ryan Baker的早期研究大多關注課堂教學中師生使用智能導師系統的學習過程，聚焦在 K-12 階段的學科教學（如小學數學），多采用數據分析與田野調查結合的方式開展研究，關注智能導師系統中個體學習者的正面或負面行為，并對學習結果進行預測。Baker在上述研究情境框架中，分屬在 School-Individual 象限。但隨著他于2013年開設了“大數據與教育”這門MOOC，其研究場所也逐步擴展到 MOOC 等非傳統學校教學環境。

（三） 預測指標分類框架

正如上文介紹其他綜述時提到的，不同的學者對預測指標有著不同的分類方式，并沒有形成統一的分類框架或標準。本文通過分析國內外學者對預測指標的一般分類思路，經過對文獻的梳理和歸納，將學習分析領域通常歸納為兩大類指標：傾向性指標（Dispositional Indicators）和行為表現指標（Activity and Performance Indicators）。

傾向性指標主要指學生進入學習環境時自身已經帶有的一些屬性，包括他/她的固有指標（如性別、年齡、種族等）和過去的經歷（如社會經濟背景、上學期GPA、初始知識等）。在適應性學習的文獻中，傾向性指標也常被稱為靜態指標，即進入學習環境后不會隨著學習過程而改變的指標（斯伯克特， 等， 2012）。

行為表現指標主要指學生在學習過程中體現的動態指標，如瀏覽在線課程的頻次和時長、論壇發帖的數量、線上討論的師生和生生交互程度等。靜態指標和動態指標對于學習結果的預測是相輔相成的，學習初期靜態指標（如初始知識、智力、興趣）的預測能力較強（Whitener， 1989），而隨著學習過程的推進，傾向性指標的預測能力明顯衰減（如圖1），而行為表現指標則成為核心的預測指標（Park & Tennyson， 1986）。

圖1 傾向性指標和行為表現指標預測能力變化①

在本研究中，動態指標得到重點的關注和分析，并被分為人機交互變量和人際交互變量。因為學習分析研究大多數為技術輔助的教學，人機交互特指學習者（有些情況下也包括教學者）與學習管理系統（LMS）等計算機環境之間的交互行為；人際交互變量則包括了師生和生生之間的問答、討論等交互行為。

因此，對預測指標的綜述有以下三個特點：

第一，在學習場所和情境上，注重學校場所（School）和工作場所（Workplace）；

第二，在任務類型和參與主體上，分成個體（Individual，個體學習任務）和群體（Cohort，合作學習或協作學習任務）兩類；

第三，在梳理預測指標的框架上，提出了“傾向性指標-人機交互指標-人際交互指標”這樣一個分類框架。

下文將重點按照這個分類框架展示學習分析領域中得到廣泛驗證的幾個關鍵預測指標。

三、學業成就和學業風險的預測指標

（一） 傾向性指標

在學生進入學習環境之初，針對學生的學業表現，有些傾向性指標就體現出較高的預測能力，良好的初始知識和高初期表現的學生往往能夠在最終呈現“成功”的學習狀態（Mckay， Miller， & Tritz， 2012）。這些研究發現所處的情境大多數為學校場所下的個體學習。常用的高預測能力指標就是GPA等核算學生過去學業表現的數據指標，如密歇根大學的Tim McKay認為學期初學生的GPA為學期末的學業表現貢獻了近一半的預測能力（Mckay， et al.， 2012）。在某個單門課程或某個學習項目表現的預測上，借助決策樹等工具，學習者相關的過往成績也表現出一致的良好預測能力（孫力， 等， 2015； Bainbridge， et al.， 2015）。

在諸多著名的學習分析應用環境下，如在普度大學的Signals系統、密歇根大學的E2 Coach系統、北亞利桑那大學的GPS學習系統中，雖然具體采納的數據不同（如學生入學測驗綜合得分、過往學期的平均課程得分等），但學生過往的學習成績都是各系統采納的核心預測指標（Arnold & Pistilli， 2012； Mckay， et al.， 2012）。過往學習成績較高的學生往往體現出“優秀”的慣性，本身也具備較為積極的學習態度、較強的學習能力，有更大的概率在今后的學習中繼續獲得較高的學業成就；反之，低過往學習表現的學生則存在潛在的學業風險。

除了表象的學習成績，學生的知識掌握情況也是對學業成就強有力的預測指標。20世紀90年代前后，主流的適應性學習研究學者認為初始知識是隨后學習最重要的決定性因素（Alexander & Judy， 1988； Glaser， 1983； Tobias， 1994）。學生在進入學習時具備的知識儲備，在很大程度上決定了其學習的難易程度、理解的深入程度和應用的熟練程度，并且對其學習的目標導向有影響。

除了初始知識之外，學生具備的其他技能和基礎，如語言能力，往往也會導致學業成就的差異。例如，在美國中小學階段的學科教學（Snow & Biancarosa， 2003）或者全球背景下的MOOC教學中（Halawa， 2014），學習成績的差異往往與語言熟練程度的差異密切相關。因此，初始知識和技能狀態的高低往往可以作為預測學業表現的關鍵指標之一。

傾向性指標除了學生的往期學習成績、初始知識等固有的指標，也包括一些心理學測量出的傾向性指標。例如，Simon Buckingham Shum和Ruth Crick在2012年介紹了“learning power（學習驅動力）”這個概念，并綜述了其用于預測學業成就以及認知能力的相關研究（Shum & Crick， 2012）。研究通過綜述學校場所和工作場所的教學（包括了個體學習的應用和合作學習的應用）發現：學習驅動力能夠有效地作為預測指標，估計學習者能否獲得較高的測試得分，也能預測其在學習中和學習后體現出的自我調節的學習能力（包括制定學習目標、開展學習評估、進行自我反思等），在有些情況下也與學生能否開展高階思維相關（Shum， et al.， 2012； Crick， et al.， 2015； Godfrey， et al.， 2013）。

關于幾個關鍵傾向性指標的梳理，可參見表1。

（二） 人機交互指標

在各種技術輔助教學的學習環境下（如學習管理系統、智能導師系統、MOOC等），學習者的學習就是其與計算機發生交互的過程。通過人機交互的行為數據，進行學業表現和認知能力預測成為一個重要的研究方向。

人機交互行為的頻次和時長往往能夠成為重要的預測指標，因為較高的交互頻次和較長的登錄時長往往意味著學習者花費更多的時間和精力用于內容學習（努力程度），也顯而易見地容易獲得較高的學業表現（Brown， 2012； 牟智佳， 等， 2017； 王亮， 2015； 賈積有， 等， 2017）。但是，這并不意味著獲得高學業表現的學生一定存在高交互行為，有些獲得高分的學生并沒有積極地參與網上學習環節。在線學習的努力程度如果發生巨大的轉折（Turing Track），比如過去有著豐富人機交互行為的學生（瀏覽次數多、發帖數量多等），其瀏覽數量和發帖數量驟減，則往往意味著該學生正在離開課程或存在明顯的學業風險（Brown， 2012）。

Baker等人也認為負面的學習行為對潛在學習風險有著較強的預測能力（Baker， et al.， 2010）。Baker早期的研究聚焦于智能導師系統中存在的“玩弄系統”（gaming the system）行為，玩弄系統行為指的是濫用幫助和系統性試錯等可以不通過思考而獲得正確答案的行為（Baker， et al.， 2004）。而大量的實證研究表明，在控制住初始知識和學習能力等變量的基礎上，玩弄系統行為對學習者的學習成績有顯著的負面影響，是學業風險預警的關鍵指標（Baker， et al.， 2004）。玩弄系統行為不僅會在短期內（如中學時的一個學期）造成課程學習的失敗，從長期看來，存在玩弄系統行為的學生在其大學階段選擇專業時也與其他學生存在顯著差異：這部分學生更傾向于避開STEM專業，更多地選擇商科、社會學、公共服務等學科（Pedro， et al.， 2015）。

從學習者行為投入的類型來看，參與、堅持、專注等外在行為表現也是內在情感狀態的一種反映（李爽， 等， 2016）。因此，除了具體的行為，學生在學習過程中體現出的情感狀態也是對學業成就具有較強預測能力的變量。通過識別和對比六大類學習中常見的情緒狀態（厭倦、受挫、困惑、專注、高興和吃驚），諸多跨國家（美國和菲律賓）和學習環境（智能導師系統、對話導航、教育游戲等）的研究表明：對學習有最持續、最負面影響的是厭倦的情感狀態，而受挫對學習的負面影響則并不顯著（Baker， et al.， 2010）。在情緒狀態方面，隨著最近幾年可穿戴設備的興起，也有團隊利用可穿戴技術設備監測學習者的生理狀態（如心率、步頻等），并借此關聯學習者的情緒狀態（如學習中的抗壓能力和應對挑戰能力等），進而預測學習產出（Mitri， et al.， 2016）。

在人機交互指標中，除了主流的通過log數據等代表的客觀交互數據，也有學者開始通過關聯分析或語義分析的技術對學習者的人機交互數據（如在線寫作中表達的觀點）進行分析。有研究發現，在博客或寫作作業中能夠將教授的概念和知識形成原創性的新理解并在新的擴展性質的情境下進行使用的學生，往往意味著具有較好的理解和應用能力（Jóhann & White， 2012）。類似的研究也存在于工作場所中：Ley和Kump通過將學習者的日常學習行為與潛在知識或技能進行關聯，形成的知識表征事件（Knowledge Indicating Events）頻次被證明是良好的預測指標。知識表征事件和原創性得分等高級變量被認為是可以預測高階思維能力和良好認知能力的指標之一（Lárusson， et al.， 2012； Ley & Kump， 2013）。

關于幾個關鍵人機交互指標的梳理，可參見表2。

（三） 人際交互指標

與人機交互指標一樣，人際交互的參與程度也能對學業表現和認知能力有一定的預測能力，如美國鮑爾州立大學使用的MAP系統將學生在線討論的參與頻次、發帖數量等作為預測其學業表現的關鍵變量之一（Mat， et al.， 2013）。同樣的結論也在國內諸多文獻中得到了驗證（郝巧龍， 等， 2016； 牟智佳， 等， 2017； 賀超凱， 等， 2016）。

除了參與交互的投入程度，在人際交互中學習者構建的互動鏈接和體現出的中心度則能顯示成功學生和失敗學生之間的不同（通過最終課程分數判斷）（Macfayden & Dawson， 2010），如位于社會網絡邊緣或無連接的學生普遍存在一定的學業失敗風險，需要引起自身和教師的關注，并采取特定干預（Dawson，2010）。基于這些學生行為變量的分析以及數據的可視化，Dawson等人開發了SNAPP系統（Bakharia & Dawson， 2011），該系統的工作原理和效果將在下文進行詳細闡述。

交互行為之上，是個體對于交互的認識、把控和體驗。在學習分析領域，有學者深入研究人際互動中學習者個體對自我學習的把控能力和學習社區（往往也可以擴展到實踐共同體和探究共同體的范疇）的參與情況。如在工作場所的情境下，Gragan Gasevic及其團隊關注學習者能否瀏覽他人學習目標和學習軌跡，并在參與討論對話的過程中對自身的自我調節學習技能習得有所幫助（Holocher-Ertl， et al.， 2011； Gasevic， et al.， 2012）。研究發現，學習者能否將自身的學習目標與所在工作環境的組織發展目標相結合（這往往需要教學設計者加以引導），也就是說學習者的成就目標取向（Goal Orientation）情況，是其專業發展成功的影響因素之一。

而在這些研究中，學習者表現出的社交意識（social awareness）或社群意識（Sense of Community）則深刻地影響了學習者認知能力的發展（Siadaty， Gasevic， & Hatala， 2016； McMillan & Chavis， 1986），對相關意識的測量也成為潛在的預測指標。教學者和設計者為學習者提供的技術腳手架（比如，借助可視化工具讓學習者了解同伴的學習路徑、學習目標和問題解決策略等），能夠有效地提升學習者的社交意識，最終促進學習者的學習過程和學業產出（Siadaty， et al.， 2016）。同時，這種促進也體現在學生自我調節的學習策略和技能提升方面（Gasevic， et al.， 2012）。

圍繞社交意識或社群意識概念，Rovaid等學者也提出了諸如CCS量表等測量工具，Shane Dawson等人在學習分析領域內也進一步實踐和驗證了這些測量工具的有效性。但在這里值得指出的是，社群意識等概念在人際交互中屬于中介變量的位置，學生的交互頻度等基礎指標可以預測其高低，其自身的高低也能進一步預測學業表現和認知能力的發展（Dawson， 2004）。

除了上面談到的交互行為、中心度、目標取向和社群意識等預測指標，體現高階思維的對話模型（如學術爭辯和探索性對話）也能夠較好地預測高層次認知能力的發展（Shum， 2008）。在這方面，Shum及其英國開放大學的同事們致力于開發有用并好用的工具（如Cohere），并深入探討了這種工具的設計原則以及應用過程（Shum， 2008），該模型將在下文進行詳細闡述。總的來說，Shum等人發現，研究者通過話語分析可以尋找到探究性對話的標志性詞匯或者對話模式（包括分享、挑戰、評價或審慎思考等），并基于此設計預測或推薦模型，讓師生能夠意識到哪里正在發生有意義的深度對話（Ferguson & Shum， 2011）。

本文關于幾個關鍵人際交互指標的梳理，可參見表3。

四、預測分析的典型應用

上面以具體指標為單位，綜述學習分析領域重要的三類預測指標以及這些指標適用的學習場所和任務類型。下面，本文將按照“學校場所和工作場所”和“個體學習和群體學習”兩個維度劃分的四個象限，在每個象限中選取一個典型的學習分析系統，對預測分析做進一步的闡述。

（一）學校場所與個體學習：Signals系統

Course Signals系統是美國普渡大學于2007年開發的學習預警系統，經過多年的實踐和研究，Signals系統已經成為當今學習分析領域最為成功的實踐案例之一（如圖2）。最初的Signals系統是針對普渡大學大一新生開發的，用以預測學業表現和學生保留的數據挖掘工具，服務于師生以達成更高的學習成功率和學生保留率，屬于典型的學校場所下主要服務于個體學習情境的學習分析應用（Arnold & Pistilli， 2012）。

系統主要依據四個預測指標：表現行為（課程內截止開展分析時學生獲得的分數）、努力程度（相較課程評價水平學生在學習管理系統內交互的頻次等）、過往學業成績（包括高中時期的GPA分數、標準化考試得分等）以及學生的基本數據（如年齡、住處等社會經濟背景信息）。通過特定的學業成功算法（student success algorithm，SSA），學生的學習過程狀態被劃分成紅燈（高風險）、黃燈（預警）和綠燈（良好）三個狀態。狀態通過可視化的手段反饋給老師和學生，以便老師采取一系列的干預措施，包括將Signals信號在學生端凸顯、給高風險學生推送郵件、當面約談等。隨著系統的迭代開發，學生端也逐漸能夠看到自己各門課程的Signals狀態，并可以主動采取某些自我干預的行為（Arnold， et al.， 2012）。

圖2 普度大學Signals系統應用①

一項跨度三年的研究結果表明，在學業成就和學生保留的層面，使用Signals系統的學生群體學業成就明顯高于不使用該系統的學生群體，相應的學生保留率也顯著高于不使用該系統的學生群體。特別是在2007年入學的學生中，使用2次以上該系統的群體學生保留率達到了93.24%，而同年入學的學生中不使用該系統的群體學生保留率僅為69.40%。另外，從具體的課程學習行為看，關注學習信號并從Signals系統中提取反饋的學生，往往能夠獲得更好的學業成就，并且其中有更高比例的學生主動尋找教學資源（Arnold， et al.， 2012）。

（二）學校場所與群體學習：SNAPP系統

SNAPP（Social Networks Adapting Pedagogical Practice），是Shane Dawson團隊在2008年開發的基于社會網絡分析技術、針對學習管理系統內論壇討論行為的實時可視化工具和教學反饋工具。該工具主要分析的數據為學習者和教學者在學習管理系統中，處在合作學習的學習任務時，進行在線討論的交互行為，屬于典型的學校場所下主要服務于群體學習的學習分析應用（Bakharia & Dawson， 2011）。

該系統主要的教學應用包括：識別討論中高交互或孤立的參與者（在交互網絡中與他人沒有連接的人或處于中心位置的人，如圖3第一幅）、識別討論的模式或結構化缺陷（教師為中心的討論模式，如圖3第二幅）、自我社會關系網絡分析圖（ego network analysis）（識別社會網絡關系中的強聯系和弱聯系，如圖3第三幅）、監控網絡發展和討論連續性以及跨論壇的評估和比較等（Bakharia， et al.， 2011）。

工具的開發充分考慮了社會網絡技術與教學實踐的結合，特別是研究成果轉化成可指導行為的洞見。例如，SNAPP幫助教師如何在密集而復雜的社會網絡關系圖中找到有待深入了解的模式：在圖3的自我社會網絡關系圖中，選中某一位學生后（粗線圓圈標記），系統會將其交互行為進行連線，將方向、中心度、發帖量和聯系強弱可視化。在該學生發生交互的所有學生網絡中，與之存在強聯系的學生邊緣和連線呈現粗黑線，而與之存在弱聯系的學生則呈現細黑線。結合以往社會網絡分析的研究：強聯系意味著共識和對某個知識信息的固化，弱聯系意味著觀點的差異和新知識的產生。這樣的可視化結果對于教學干預的指導價值是：如果教學者希望發生更多的發散性討論，則應該鼓勵更多具有學科和專業背景差異的學習者找到彼此并開展討論（Bakharia， et al.， 2011）。

（三）工作場所與個體學習：Learn-B系統

Learn-B是Gragan Gasevic團隊于2012年基于語義分析技術和工作場所下的自我調節學習理論所開發的學習環境原型，屬于典型的工作場所下主要服務于個體學習情境的學習分析應用（Gasevic， et al.， 2012）。

Gasevic等學者將自我調節的學習視為組織內學習（organizational learning）的一部分（Gasevic， et al.， 2012），強調明確組織內學習目標（組織層次）是促進工作場所自我調節學習（個人層次）的重要途徑。按照自我調節學習的理論框架，Learn-B被設計成7個主要的學習步驟。

在該系統中（如圖4所示），剛進入系統的公司新員工可以看到公司整體的愿景、工作和能力需求。通過匹配自己的工作職責和能力需求，該新員工可以看到一系列按優先級排序的能力清單，并基于此設置自己的學習目標。當員工在設定目標時遇到困難后，他可以通過了解其他相似階段的員工學習了什么、達成了什么能力作為參考。在設定目標后，系統會按照該員工設定的目標推薦和匹配相應的學習活動，形成初步規劃好的學習路徑。在進入學習路徑后，系統會提供學習自我監控的工具，讓員工可視化地了解到自己在該能力任務上的進展情況。不僅如此，該員工還能看到其他員工發布的在相似能力任務下的能力發展更新、學習文檔分享、學習任務遞進等信息（Social Wave），并且通過可視化的界面將自己的學習與組織整體的情況做比較（Gasevic， et al.， 2012）。

開發團隊將Learn-B的工作場所下自我調節學習的關鍵步驟和Learn-B提供的主要干預工具做關聯度分析，研究發現Learn-B的幾個關鍵工具或干預能夠很有效地支持員工的自我調節學習。最主要的一個研究發現是：如果系統提供的干預能夠喚起或者提高員工的社群意識，則往往能夠預測正向的學習產出（Gasevic， et al.， 2012）。

（四）工作場所與群體學習：Cohere系統

Cohere是英國開放大學Simon Buckingham Shum團隊2008年前后開發的基于Web 2.0設計原則的在線研討、觀點分享工具。在宏觀上致力于為全球化背景下重要實踐和研究問題提供基于語義分析技術和可視化技術的學術爭辯工具，屬于典型的工作場所下主要服務于群體學習情境的學習分析應用（Shum， et al.， 2012）。

基于工作場所下學習者產生的數據集，Cohere關注學習分析領域的四個問題：第一，參與者的注意力集中在哪里？第二，參與者在對話中所持的態度如何？第三，學習話題的分布如何（如圖5所示的話題分布及關聯）？第四，組內部參與者之間的社會網絡關系如何？（Liddo， et al.， 2011）

研究發現，通過話語分析研究者可以尋找到探究性對話的標志性詞匯或者對話模式（包括分享、挑戰、評價或審慎思考等），基于此可以設計預測或推薦模型，在學習環境下讓師生意識到哪里正在發生有意義的深度對話（Ferguson， et al.， 2011），而參與者在Cohere環境下的對話中（如學術爭辯和探究性對話）往往能夠激發更高的參與程度和對知識更深的理解，同時也有可能發展出較高層次的認知能力（Ferguson， et al.， 2011）。

五、總結

通過上面的綜述，可以看出學習分析領域中預測指標研究的特點。

第一，預測指標和模型的建立往往植根于情境之中，如特定的教學機構、具體的學科內容或不同的學習層次以及特定的數據采集能力（Wagner & Ice， 2012； Shum， 2012）。目前，學習分析領域內預測指標的研究仍然有限，大多數預測指標由于自身屬性的原因都難以得到跨學習場所和任務類型的可靠的交叉驗證，具有普適性的預測指標并不多。因此，一方面，使用預測指標時應審慎地看待學習環境等因素差異，審慎地選擇預測指標并構建預測模型；另一方面，這也是未來研究者對于某個或某些預測指標開展深入研究的方向之一。對于普適性指標的研究也是未來研究的方向之一，如學習驅動力、堅毅（Grit）等綜合性較強的指標跨情境的檢驗。

第二，21世紀的學習被理解為一種參與過程（Thomas & Brown， 2009），學生參與的頻次多少與程度深淺能顯著地預測學業表現。在學習管理系統中，學生發生更多的瀏覽行為、花費更多的時間學習、發出更多的帖子和回復等正面的參與行為，都能在一定程度上預示著較高的學業表現。而積極行為的消失和負面學習行為的出現，則往往意味著學習者存在一定的失敗風險。特別是從情感動機層面和行為表現層面，學生玩弄系統、粗心、厭倦情緒等典型的負面行為和情緒對識別學困生有著非常高的預測能力。同時，將傳統教育心理學具有學理基礎的概念與學習者客觀的行為進行匹配，也是非常有前景的研究方向，這有助于加強教育學研究與實踐的進一步結合。

第三，學校場所的預測需求集中在學業表現，而工作場所的預測需求則不僅關注學業表現，更關注認知技能在實際工作中的運用及其效果。工作場所相對于學校場所，更強調問題解決的目標導向以及自我調節的學習策略養成。在工作場所的背景下，以往的自我調節學習研究存在過分強調個人學習或利己學習的前提（Jackson， et al.， 2000），忽視了工作場所的社會屬性以及學習者的學習與實踐都是以所在共同體為中心（Gasevic， et al.， 2012）。因此，工作場所的研究相對集中在人際交互的層面，特別是構建實踐共同體（或探究共同體）中的社群意識和組織目標取向等高層次預測指標。但總的來說，聚焦在工作場所中專業發展領域的研究相對較少，對于可靠的預測指標還有待進一步的挖掘，而這也是未來潛在的研究方向之一。

學習分析是教育技術專業新興的研究領域，而作為一個研究領域，預測分析僅僅是其中的一個子領域或子話題。關于預測指標的研究與實踐，需要我們秉持“從數據中建構意義”的理念，力圖真正運用預測指標對學習者建立準確理解、對教學過程做出專業判斷、對學業風險做出有效干預。隨著對于建構意義的不斷深化理解，研究者和教學者都應該充分意識到學習的復雜性和多樣性，特別重視研究的情境與實用性以及學習理論的應用和遷移。同時，需要警惕的是，對于數據無意義的挖掘、分析可能會對教學產生誤導和不可知的負面影響，因此如何構建意義以及分析過程中的隱私保護等問題顯得格外重要。

[參考文獻]

賀超凱，吳蒙. 2016. edX平臺教育大數據的學習行為分析與預測[J]. 中國遠程教育（6）：54-59.

賈積有，于悅洋. 2017. 學習活動指數LAI及在線學習活動指數OLAI的具體分析[J]. 中國遠程教育（4）：15-22.

李爽，王增賢，喻忱，等. 2016. 在線學習行為投入分析框架與測量指標研究——基于LMS數據的學習分析[J]. 開放教育研究，22（2）：77-88.

牟智佳，武法提. 2017. MOOC學習結果預測指標探索與學習群體特征分析[J]. 現代遠程教育研究（3）：58-66.

斯伯克特，任友群. 2012. 教育傳播與技術研究手冊[M]. 上海：華東師范大學出版社.

孫力，程玉霞. 2015. 大數據時代網絡教育學習成績預測的研究與實現——以本科公共課程統考英語為例[J]. 開放教育研究（3）：74-80.

維克托·邁爾-舍恩伯格，肯尼思·庫克耶. 2013. 大數據時代：生活、工作與思維的大變革[M]. 浙江：浙江人民出版社.

武法提，牟智佳. 2016. 基于學習者個性行為分析的學習結果預測框架設計研究[J]. 中國電化教育（1）：41-48.

Alexander， Particia A， Judy， et al.（1998） The Interaction of Domain-Specific and Strategic Knowledge in Academic Performance.[J]. Review of Educational Research， 58（58）：375-404.

Arnold K E， Pistilli M D.（2012） Course signals at Purdue：using learning analytics to increase student success[C]// International Conference on Learning Analytics and Knowledge. ACM， （p267-270）.

Bainbridge， J.， Melitski， J.， Zahradnik， A.， Eitel J. M. Lauría， Jayaprakash， S.， & Baron， J. （2015）. Using learning analytics to predict at-risk students in online graduate public affairs and administration education. Journal of Public Affairs Education， 21（2）， 247-262.

Baker R S J D， DMello S K， Rodrigo M M T， et al.（2010） Better to be frustrated than bored： The incidence， persistence， and impact of learnerscognitive-affective states during interactions with three different computer-based learning environments[J]. International Journal of Human-Computer Studies， 68（4）：223-241.

Baker R S， Corbett A T， Koedinger K R.（2004） Detecting Student Misuse of Intelligent Tutoring Systems[C]// International Conference on Intelligent Tutoring Systems. 531-540.

Bakharia A， Dawson S.（2011） SNAPP：a birds-eye view of temporal participant interaction[C]// International Conference on Learning Analytics and Knowledge， Lak 2011， Banff， Ab， Canada， February 27 - March. DBLP，168-173.

Berry， L. J.（2017） Using Learning Analytics to Predict Academic Success in Online and Face-to-Face Learning Environments[D]. US：Boise State University. 1-129

Bukralia R， Deokar A V， Sarnikar S（2015）. Using Academic Analytics to Predict Dropout Risk in E-Learning Courses[M]// Reshaping Society through Analytics， Collaboration， and Decision Support. Springer International Publishing， 67-93.

Crick R D， Huang S， Shafi A A， et al.（2015） Developing Resilient Agency in Learning： The Internal Structure of Learning Power[J]. British Journal of Educational Studies， 63（2）：121-160.

Dawson S P， Winslett G M， Burr L.（2004） Toward A Quantitative Analysis Of Online Communities[J]. Online Learning.

Dawson S.（2010） ‘Seeing the learning community： An exploration of the development of a resource for monitoring online student networking[J]. British Journal of Educational Technology， 41（5）：736-752.

Ferguson R， Shum S B.（2011） Learning analytics to identify exploratory dialogue within synchronous text chat[C]// International Conference on Learning Analytics and Knowledge. ACM， 99-103.

Gasevic D， Jovanovic J， Kai P， et al.（2012） Self-regulated Workplace Learning： A Pedagogical Framework and Semantic Web-based Environment[J]. Journal of Educational Technology & Society，15（4）：75-88.

Glaser R.（1984） Education and thinking： The role of knowledge.[J]. American Psychologist， 39（2）：93-104.

Godfrey P， Crick R D， Huang S.（2013） Systems Thinking， Systems Design and Learning Power in Engineering Education[J]. International Journal of Engineering Education， 30（1）：112-127.

Halawa S.（2014） MOOC dropouts： What we learn from students who leave[J].University World News， available at：www.universityworld news.com/article.php

Holocher-Ertl T， Fabian C M， Siadaty M， et al.（2011） Self-regulated Learners and Collaboration： How Innovative Tools Can Address the Motivation to Learn at the Workplace？[M]// Towards Ubiquitous Learning. Springer Berlin Heidelberg， 506-511.

Jackson T， Mackenzie J， Hobfoll S E.（2000） Communal aspects of self-regulation.[J]. Continental Shelf Research，31（14）：275-300.

Jóhann Ari Lárusson， White B.（2012） Monitoring student progress through their written "point of originality"[C]// International Conference on Learning Analytics and Knowledge. ACM， 212-221.

Ley T， Kump B.（2013） Which User Interactions Predict Levels of Expertise in Work-Integrated Learning？[M]// Scaling up Learning for Sustained Impact. Springer Berlin Heidelberg，178-190.

Liddo A D， Shum S B，（2011） Quinto I， et al. Discourse-centric learning analytics[C]// Proceedings of the 1st International Conference on Learning Analytics and Knowledge. 23-33.

Macfadyen L P， Dawson S.（2010） Mining LMS data to develop an “early warning system” for educators： A proof of concept[J]. Computers & Education， 54（2）：588-599.

Malcolm， Brown.（2012） Learning Analytics Moving from Concept to Practice[R]. EDUCAUSE Learning Initiative：EDUCAUSE， 1-5.

Manyika J， Chui M， Brown B， et al.（2011） Big Data： The Next Frontier For Innovation， Competition， And Productivity[J]. Analytics.

Mat U B， Buniyamin N， Arsad P M， et al.（2014） An overview of using academic analytics to predict and improve studentsachievement： A proposed proactive intelligent intervention[C]// Engineering Education. IEEE，126-130.

Mckay T， Miller K， Tritz J.（2012） What to do with actionable intelligence：E2Coach as an intervention engine[C]// Proceedings of the 2nd International Conference on Learning Analytics and Knowledge. ACM， 88-91.

Mitri D D， Scheffel M， Drachsler H， et al.（2016） Learning Pulse： Using Wearable Biosensors and Learning Analytics to Investigate and Predict Learning Success in Self-regulated Learning[J]. Learning Andlytics & Know Ledge Conference.

Park O， Tennyson R D.（1986） Computer-based response-sensitive design strategies for selecting presentation form and sequence of examples in learning of coordinate concepts.[J]. Journal of Educational Psychology， 78（2）：153-158.

Pedro M O Z S， Baker R S， Heffernan N T， et al.（2015） Exploring college major choice and middle school student behavior， affect and learning：what happens to students who game the system？[C]// International Conference. 36-40.

Shum S B， Crick R D.（2012） Learning dispositions and transferable competencies：pedagogy， modelling and learning analytics[C]// International Conference on Learning Analytics & Knowledge. 92-101.

Shum S B， Ferguson R， Shum B， et al.（2012） Social Learning Analytics[J]. Journal of Educational Technology & Society， 15（3）：3-26.

Shum S B.（2008） Cohere： Towards Web 2.0 Argumentation[C]// Conference on Computational MODELS of Argument： Proceedings of Comma. IOS Press， 97-108.

Shum S B.（2012） Policy Brief： Learning Analytics[R]. Moscow： UNESCO Institute for Information Technologies in Education， 1-11.

（下轉第44頁）

Siadaty M， Gasevic D， Hatala M.（2009） Lets Meet： Integrating Social and Learning Worlds[C]// International Conference on Computational Science and Engineering. IEEE， 879-884.

Siemens G， Long P.（2014） Penetrating the Fog： Analytics in Learning and Education.[J]. Educause Review， 46（2）：S866.

Siemens G.（2013） Learning Analytics The Emergence of a Discipline[J]. American Behavioral Scientist， 57（10）：1380-1400.

Snow C E， Biancarosa G.（2003） Adolescent Literacy and the Achievement Gap： What Do We Know and Where Do We Go From Here？[J]. New York， NY：Carnegie Corperation.

Thomas， D.， Brown， J.S.（2009） Learning for a World of Constant Change： Homo Sapiens， Homo Faber & Homo Ludens Revisited. In Proceedings of the University Research for Innovation： Proc. 7th Glion Colloquium （Montreux， Switzerland）.

Tobias S.（1994） Interest， Prior Knowledge， and Learning[J]. Review of Educational Research， 64（1）：37-54.

Verbert K， Govaerts S， Duval E， et al.（2014） Learning dashboards： an overview and future research opportunities[J]. Personal & Ubiquitous Computing， 18（6）：1499-1514.

Wagner E， Ice P.（2012） Data Changes Everything： Delivering on the Promise of Learning Analytics in Higher Education.[J]. Educause Review， 47：8.

Whitener E M.（1989） A Meta-Analytic Review of the Effect on Learning of the Interaction between Prior Achievement and Instructional Support[J]. Review of Educational Research， 59（1）：65-86.

收稿日期：2017-08-11

定稿日期：2017-09-11

作者簡介：范逸洲，博士研究生，北京大學教育學院（100871） 。

汪瓊 ，博士，教授 ，博士生導師，北京大學教育學院 ，北京大學數字化學習研究中心主任（100871） 。

責任編輯 郝 丹