連接學習設計和學習分析的國際努力

羅陸慧英

(香港大學 教育學院)

一、引 言

第一屆學習分析與知識國際會議(LAK2011)主要關注“整合學習分析的技術、社會及教學特征”，并將學習分析定義為“為理解和優化學習與學習發生的環境，對學習者及其所處情境進行的數據測量、收集、分析和報告”。與其他關注教育數據分析研究不同的是，學習分析研究主要聚焦于對學習者學習過程產生的數據進行分析，以便報告和改善學習。因此，自學習分析成為新興研究領域以來，它與學習設計之間的聯系便受到了學習分析研究人員的持續關注。學習分析具有報告和改善學習與學習設計的潛力，而學習設計則為學習分析提供了情境。

在在線學習日益普及的背景下，學習分析作為新興研究領域出現了。學習管理系統在線上及混合學習中得到了廣泛應用，產生了大量的、可進行計算和分析的數據。隨著MOOC的出現以及高等教育機構的學習者在正式和非正式學習環境中對MOOC接受度的快速提升，凸顯了學習分析在為MOOC學習者和設計者提供反饋，提高課程可擴展性的優勢。此外，研究群體之所以對學習設計和學習分析之間關聯的研究日益感興趣，也與該領域的研究能夠為實現大規模學習作出貢獻有關(Inventado & Scupelli, 2017)。

致力于學習設計和學習分析連接的研究主要關注三個方面，即理論研究、關于學習分析和學習設計連接的實證研究，以及使用學習分析支持教師探究學生學習和改善學習設計的研究。

二、連接學習設計和學習分析的理論探究

跨學科合作的主要障礙通常是缺乏共同話語。共同話語是由一組定義明確的術語以及以這些術語為核心構件連接而成的概念組成，便于不同專業和研究群體成員之間互相理解。因此，作為一個跨學科研究領域，在對學習設計和學習分析連接的諸多研究中，概念表征問題成為文獻中經常出現的主題。這些概念表征主要涉及對學習設計和學習分析的形式化表達的規范達成共識，以便開展有效對話。

例如，洛克伊爾等(Lockyer et al.，2013)認為，學習設計的形式化表達需要記錄學習情境，選擇、設計和部署學習分析。他們將學習資源、任務和支持機制定義為記錄學習設計意圖的三個核心要素，并闡述了如何使用上述三個設計元素將檢查點和流程分析映射到基于案例的學習設計序列的不同環節中。該文還展示了如何利用學習分析結果向教師報告學習者在學習過程中的參與度以及進一步改進學習設計的可能方法。

作為另一種形式化表達的方式，本團隊(Law et al.，2017)提出以綜合型學習設計模式語言，記錄學習設計中多層次、多層級嵌套的不同設計粒度：課程、教學組件(可大于或小于預設的“課”)、學習任務和學習資源。每個粒度級都有各自的設計意圖和相關數據。我們還論證了學習設計的形式化應該能夠支持由教師或學習設計師生成的與學習和學習設計相關的探究性問題的文檔，并將這些問題與相關的數據(證據)、適當的學習分析工具以及可視化聯系起來。

為切實解決學習和學習設計的問題，本團隊(Law et al.，2017)的模式語言提出了一種能夠把學習設計和學習分析進行可操作性連接的方法。埃爾南德斯等(Hernández-Leo et al.，2019)提出了AL4LD框架，將學習分析概念化為相互關聯的三層數據分析，其中之一是以數據支持決策改善學習設計流程。另兩層分別是設計分析和群體分析。該框架的學習分析可用于解決與學習設計相關的實踐及成效問題。設計分析提供學習設計的信息，這些信息是實施之前做出設計決策的結果。設計分析包含的指標取決于學習設計決策。改進學習設計的適當性和可行性可以通過考慮學習分析和設計分析來解決。群體分析指對從學習設計流程中收集的數據進行分析，用于支持學習設計人員的學習和反思。因此，群體分析層僅存在于有學習設計師協作社群為前提的情景下。學習設計師可以訪問和使用社群協作空間，該協作空間不僅包括數字空間，還包括實體協作學習設計空間，并可收集學習設計過程中產生的數據。

學習分析的結果雖然可以幫助教師和學習者改善學習過程和結果，但是不會因為分析結果的出現自動發生。懷思(Wise，2014)指出，必須設計有效部署學習分析技術工具和制成品(如報告和可視化文件)的教學干預。學習設計過程必須考慮分析結果的適用情境，也需要預設預期的學習者后續行動。懷思還強調使學習分析干預有效的四條設計原則：整合，應該將學習分析全面整合到總體學習設計中，作為其設計活動和交互的組成部分；主導性，讓學習分析成為學習者的工具，賦權學習者而非使其屈從之，從而賦予學習者主導性，使學習者借助學習分析結果對學習作出決策；參考框架，供學生參考的框架應與學習分析結果相結合，幫助學生理解分析結果；對話，強調使用學習分析的過程中內置對話的必要性。基于這四條原則，文章提出了將學習分析應用于學習設計應包括三個重要學習過程，即基礎活動，幫助學生了解學習分析的目的和用途；目標設定活動，為學習者提供機會設定使用學習分析的目的；反思活動或任務，促使學生闡明、完善和修改自己的理解。

學習設計作為教師的重要專業角色，也是教師專業學習與協作的重點(Voogt et al., 2015)。學習分析能夠為學習設計的有效性和適當性提供證據，為支持教師對學生學習的探究(Teacher Inquiry of Student Learning, 簡稱TISL)發揮重要作用。例如，麥肯尼和莫爾(McKenney & Mor，2015)基于回顧分析學習設計系統CASCADE-SEA的實施，提出一套能夠為上述學習設計、支持學生探究和學習分析過程提供協同支持的開發工具系統的設計原則。他們認為，就學習分析而言，教師更希望擁有與所采用的教學方法和教學模式相關的數據收集和分析工具。就學習設計而言，系統應該提供相應的工具和可視化表征，幫助教師就學習設計對學習結果的預期影響做出推測，并將這些推測與預期的證據相聯系。就教師對學生學習的探究而言，該系統應該為關鍵的探究過程提供支持，如問題的制定、數據的收集與分析、方法的選擇以及結果的共享和反思等。該系統還應該為不同部分的無縫集成提供支持，以增強所需求的協同效果。

三、探索學習設計與學習分析連接的實證研究

當前已有很多研究致力于學習設計和學習分析之間建立連接。這些研究可分成兩類：一是關注將學習分析結果作為學生學習行為和成果的證據，進而對學習設計能否對學生學習產生重要影響進行實證探究。這類研究需要對學習設計進行系統的定義和實施。例如，英國開放大學的所有課程均采用了學習設計框架(OULDI)。該學習設計框架的焦點是學習活動，它將學習活動分為七類：吸收、信息搜索與處理、交流、生產、體驗、交互性/適應性和評估。利用與學習設計提供的表征方式一致的數據，英國開放大學已經開展了大量研究，探討學習設計和學習分析之間的關系。倫緹斯等(Rienties et al.,2017) 對其中八個已發表項目的回顧，發現學習設計能夠很好地預測學生的在線學習行為和表現。然而，他們也發現，學習者滿意程度最高的活動類型，和那些與學習表現高度相關的活動類型，在教學法上有很大不同。基于這些研究發現，倫緹斯等認為學習設計框架需要進一步完善，以便給教師和學習者提供更細粒度的教學反饋。

還有一類實證研究關注學習分析基本愿景的實現，將基于學習分析的干預運用于課程設計中，為學生提供基于證據的及時反饋和干預。桑德倫等( S?nderlund et al.，2019) 系統回顧了2000年以來高等教育領域的學習分析研究，發現其中只有11項不僅關注學習分析干預措施，還關注對干預措施的評估，并且能為評估提供詳細的統計細節。這11項研究采用類似的干預方法，即運用學習分析識別學習困難學生以及導致他們學習困難的因素，隨后將分析結果報告給學生和教師。該文還報告了學習分析在提高學生成功率和保持力方面的初步積極效果，但關注學習分析對學生退學影響的研究結果各不相同。干預還包括對學生和教師的行為建議。但是，系統性綜述無法確定不同干預策略的比較。此外，還有研究指出，得到教師更多危險警告的學生的自我感知掌握能力得分更低。這些發現表明，基于學習分析進行學習干預的研究仍有很大的完善空間，還需要更加嚴謹的研究設計。

四、學習分析支持教師探究學生學習和提高學習設計

為了使學習分析能夠促進學習設計過程，教師需要基于自己的教學實踐，以有意義的方式理解和使用學習分析。這就需要改變教師的專業實踐，而這種改變不是有了數據和學習分析工具就會實現的。對于教師來說，將學習分析嵌入真實的學習和教學環境中面臨技術和人文方面的諸多挑戰。其中，人文方面的挑戰包括必須解決認知、社會、組織和政策等方面的問題(Buckingham et al.,2019)。不斷變化的專業實踐對切合教師實際工作環境的更深入的專業學習提出了訴求。令人振奮的是，已經發表了大量支持教師學習和使用學習分析的文獻。

將學習分析作為工具或資源介紹給教師，并將其整合到學習設計中的相關研究通常采用協作和探究導向的教師學習模型。例如，別克瑞等(Bakharia et al., 2016) 報告了澳大利亞多個高等教育機構參與的項目，他們通過對教師開展訪談了解教師為學生設計的在線活動及遇到的挑戰，并在此基礎上提出了可能對教師有用的學習分析工具。研究人員在與教師的互動中發現了兩點不足(Corrin et al., 2016)。首先，在線活動主要應用于日常任務，沒有在學習管理系統中開展更加吸引學生的互動學習活動。其次，教師對使用學習分析的興趣主要局限于了解學生的學習資源訪問行為及其與學生的整體參與和表現的相關性，沒有像研究人員預期的那樣提出以教學動機出發的探究問題。研究結果還表明，高等教育部門相對缺乏分析意識。這項研究雖然是在澳大利亞開展的，但其研究結果的適用范圍可能更廣。

正如莫爾等(Mor et al.，2015) 所指出的，學習設計側重學習體驗的設計，旨在聚焦于如何將學習者從初始狀態轉變為期望達到的狀態，而不是只設計學習內容。這種方法有利于教師同時作為學習設計師和學習設計研究人員參與學習設計(Kali et al.,2015)。另外，教師對學生學習的探究還形成了一種教師學習和專業發展的形式( Moret al.，2015)。作者進一步指出，學習分析具有提供基于數據的證據的潛力，說明學習設計是如何與學習者特征相互作用，從而影響學生學習，為發展“公民設計學習科學”奠定基礎。

文獻報道的一種學習分析工具類型可以稱為特定設計的工具，因為這些工具可以為學習設計所采用的教學法提供核心反饋。例如，梅萊羅等(Melero et al.，2015)使用儀表盤幫助教師和學生以可視化的方式呈現學生的核心學習活動的制定、學生到達指定地理區域所需的時間以及在實施基于位置的游戲化學習活動時的表現。儀表盤分析可用于支持教師的反思，并對學習活動進行重新設計，還能可視化學生表現幫助學生更好地了解自己。另一個例子是阿亞等(Haya et al., 2015)使用社交學習分析方法闡明學生參與協作團隊工作的情況，同時還使用了內容分析工具調查學生在學習過程中能夠參與批判性討論的程度。

實證研究中報告的某些學習分析工具提供了與學習設計相關的特定內容反饋。這些工具通常是與在線學習支持工具一起提供的，這種在線學習支持工具是在對有關挑戰性概念或技能的學習和學習困難進行深入研究的基礎上開發的。例如，劉和寇丁格(Liu & Koedinger， 2017) 分析了從“在線幾何導師”(一種智能導師系統)收集的關于圓的面積計算主題中學生的學習行為和成績數據，發現學生遇到的困難主要是對給定圓面積的半徑進行逆向計算。研究者基于此對“在線幾何導師”進行了改進，并最終提高了學生的表現。這一實驗提供了一個成功使用學習分析結果改善學習設計的示例，也因此形成了學習設計與學習分析的“閉合”循環。另一個案例是使用寫作分析工具支持特定體裁技能的教學，如對特定學科或專業的特定體裁很重要的修辭角色和結構(Shibani et al.,2017)。在該研究案例中，學習論證法律的學生可以在修改和重新提交他們的作業之前，尋求對初稿的反饋，加深對所涉及的修辭結構和相應評價標準的理解。

五、總 結

本文對連接學習分析與學習設計的研究工作進行了簡要概述。學習分析(Lang et al., 2017) 和學習設計(Law, 2017) 都是相對新興的領域，所以連接學習分析與學習設計的相關研究仍處于起步階段。隨著在線學習重要性的日益提高，無論學習情境是在正式、非正式，還是開放性學習，學習模式是完全在線，還是混合學習，可用的學習行為數據將變得越來越豐富。同時，為學習者和教師提供反饋和推薦的分析工具的復雜性和多樣性也在不斷提高(Lang et al., 2017)。但這些工具不能直接對學習與教學的改善產生顯著影響，除非它們被學習設計者(包括教師以及學習資源和工具的專業設計人員)、學習分析開發者與教育研究者的合作團體恰當使用。

我國在線學習規模驚人。許多其它領域在處理和分析數據方面取得了杰出的成就。在教育領域，許多在線學習公司正在開發AI和分析應用程序來支持學習。但是，他們傾向于將學習等同于接受式學習，學習分析的使用也主要局限于支持記憶和理解等低水平的學習成果，并沒有面向21世紀的生活和工作所需的更重要的能力目標。希望我國學習科學和學習技術研究群體可以在國內外開展更廣泛的合作和協同工作，并在上述三個關鍵研究領域探索和建立學習分析與學習設計之間的聯系，即理論探索、實證探索，以及最重要的是讓教師作為學習設計者和學習分析團隊的合作者參與到教師探究學生學習的創新探索中。