李海峰 王 煒
(新疆師范大學 教育科學學院,新疆 烏魯木齊 830017)
人們對“人是如何學習”的追問與探索是人類打開學習者“學習黑箱”,從“學習黑箱”向“學習白箱”揭秘學習本質的重要前提。所謂學習黑箱指未探明的學習者內部心理加工學習機制、學習規律及內部與外部相互作用的學習原理(李振亭,2006)。教育信息化產生的龐雜的、多態的學習數據使“學習黑箱”變得更加神秘,但是學習者與外界互動的大量數據也為解密學習黑箱提供了線索和機會。以人工智能、大數據和自然語言處理等為代表的數智技術,為解密學習黑箱提供了高效的解決路徑。學習分析是數智時代解密學習黑箱的重要途徑,《學習分析手冊》是解密學習黑箱的理論、技術、方法和實踐的經典集合。
2022版《學習分析手冊》是繼2017版后由學習分析研究協會出版的第二版學習分析手冊(以下簡稱《手冊2》)。《手冊2》由23章組成,分四部分。第一部分闡述了學習分析界定的復雜性,批判了“學習分析即關于學習的分析”的錯誤解釋。第二部分探討了學習分析的方法與技術,涉及教與學預測模型、網絡分析、多模態學習分析和時序性學習分析。第三部分探索了學習分析的應用領域,涉及自我調節、協作學習、寫作、教育會話、情感分析和職業分析等。第四部分描述了學習分析的使用和制度,諸如數據素養、公平和公正的數據分析、學習分析政策等。
學習分析作為探究學習本質的新興研究領域,將為探索與揭示“學習黑箱”提供豐富的技術與方法。《手冊2》是數智時代探索學習分析的重要著作,系統闡述了學習分析揭示學習本質的技術、方法、實踐和規范,為解密大規模、多態以及復雜的學習數據提供了理論處方、工具集、方法論和實踐方案。本文以《手冊2》的學習分析基本理論、關鍵方法和技術為基礎,構建了基于學習分析研究成果的學習分析解密學習黑箱的基本模型,探討了學習分析解密學習黑箱的精準度和倫理規范等核心問題,提出學習分析未來發展的可能。
學習分析的研究史實質上是解密學習者學習黑箱的發展史。為系統揭示學習分析解密學習黑箱的基本原理、關鍵技術和倫理規范,本研究以《手冊2》為基礎,結合當前學習分析的研究成果,總結得出“學習分析黑箱模型”(見圖1)。

圖1 學習分析黑箱模型
學習分析黑箱模型刻畫了學習分析的過程和組成部分,包括基本過程、應用領域、方法與技術、使用與倫理四部分。基本過程是學習分析黑箱模型的核心,其它三個部分調節、指導和促進學習黑箱解密過程。四個部分相互聯系、相互作用、協同發展,共同構成以學習黑箱解密為核心的學習分析系統。
學習分析的基本過程源自學習分析本質的刻畫。第一屆國際學習分析和知識會議認為,學習分析是對學習者及其環境的數據進行測量、收集、分析與報告,旨在理解和優化學習及其環境(Siemens et al.,2011)。可見,學習者和學習環境是學習分析的數據來源和分析對象,測量、收集、分析和報告是具體方法和階段,理解和優化學習及其環境是根本目的。顧小清等(2012)將學習分析看作一種促進有效學習的技術,以相關學習數據為核心,運用數據模型和分析方法解釋數據,探究學習者的學習情境、學習過程、學習規律和學習績效,提供相應的反饋支持。這一定義將學習情境和學習過程作為分析對象,掌握學習規律、學習績效和提供反饋、促進學習作為學習分析的目的,學習數據是解密學習黑箱的主要依據,數據模型和分析方法是解密學習黑箱的方法和技術。
學習分析盡管定義不同,但是蘊含著學習分析解密學習黑箱的基本過程。可以看出,以教學設計為核心的學習環境、學習過程、學習內容和學習者是學習分析的主要對象。學習環境、學習過程和學習者是學習分析的重要數據來源。學習內容及其設計影響著學習環境和學習過程的數據生成和數據類型,有助于理解不同類型學習內容對學習黑箱的影響。 測量、收集、分析和報告是解密學習黑箱的基本環節,數據模型、分析方法和分析技術是解密學習黑箱的主要方法。以學習數據為核心揭示學習規律、提升學習績效和促進身心發展是學習分析的主要目的,學習數據是實現學習分析目的的關鍵切入點。解密學習者和學習群體構成的學習黑箱是最終目標,學習分析利用刺激與反應的學習數據,理解、反饋和預測學習者黑箱及其學習行為,促進、優化和改進學習環境、學習過程和學習內容等的設計。
根據數據類型和研究目的,學習分析解密學習黑箱的應用領域主要包括自我調節學習、協作學習、教育會話、寫作、情感和社會認知網絡。自我調節學習分析關注自我元認知和元認知監控的調節能力,涉及搜尋、監控、收集、排練和遷移五種認知操作(Winne,2022)。協作學習分析聚焦學習者的協作學習過程,關注真實環境中如何設計和利用數據分析促進協作(Chen & Teasley,2022)。教育會話和寫作分析是利用自然語言處理技術對語言與人工制品進行學習分析,旨在為改進學習提供反饋信息(Gibson & Shibani,2022)。情感學習分析將學習分析與來自情感和學習科學的教育數據挖掘相結合(D'Mello,2017),涉及成就情感、話題情感、社交情感和認知情感(D'Mello & Jensen,2022)。社會認知網絡分析可用于識別、量化和表征被編碼數據中的元素關系,測量和解釋網絡結構的關系、強度和變化 (Shaffer et al.,2016)。
根據學習類型,學習分析解密學習黑箱的應用領域涉及游戲化學習、職業學習、正式學習和非正式學習。游戲化學習是誘發學習興趣的普遍存在的文化現象,代理、參與、成長和社會聯結是引發游戲體驗和有意義學習的四條原則,是理解和開展游戲化學習分析的切入點(Reardon et al.,2022)。在以正式培訓和非正式學習為主的職業學習中,學習分析通過職業者的網絡協作學習數據和點擊流數據,追蹤和可視化正式和非正式學習的學習過程,可用于解決情感和動機的學習問題,支持和促進職業學習(Littlejohn,2022)。以社交媒體為代表的非正式學習發展迅速,數以億計的社交媒體使用者在網站和交互的支持下實現了個人學習和參與討論。學習者如何加入社區、參與活動、會話交互、建立社會學習網絡、保持社交媒體中的學習與正式學習和學習者導向的學習一致,是社交媒體非正式學習的主要分析內容(Haythornthwaite,2022)。
學習分析主要通過預測模型和解釋模型解密學習黑箱。第一,預測模型分析方法。預測性學習分析是對未來事件進行推理的一組技術或方法,包括線性回歸、邏輯回歸、決策樹、貝葉斯網絡和支持向量機等(Brooks & Thompson,2017)。教與學預測模型是預測教與學的主要方法,可用于預測學業成績和學習成功的個性化因素和機制(Brooks &Thompson,2022)。從學習分析方法論意義上看,學習分析方法主要揭示和建立學習環境中可觀察的數據與學習行為、學習構念或者研究目的之間的關系(Gray & Bergner,2022)。第二,解釋模型分析方法。學習分析方法正在從教與學的預測研究轉向利用可觀察的數據信息推論出有意義的學習分析。創建教育數據的可解釋性模型將成為超越教育數據預測的另一種重要學習分析方法,它旨在探索構念之間的可解釋性因果關系,改進學習結果或者學習理論(Liu & Koedinger,2017)。
《手冊2》為解密學習黑箱提供了全面的學習分析技術工具集,包括關系學習分析、學習過程分析、多模態學習分析和時間維度學習分析等。關系學習分析利用社會網絡分析和社會認知網絡分析,揭示社會整體、社會資本、社會歸屬感(Poquet &Joksimovi?,2022)和 認 知 水 平(Vandenberg et al.,2021)。學習過程分析主要利用自然語言處理技術分析和回應人類語言,涉及學習者對各種學習任務和作業的回應(Allen et al.,2022)。多模態學習分析指對已知學習分析項目進行語境化的一系列技術和方法,圍繞數據收集、分析與推論、反饋與數據傳播三個維度展開,形成了多模態接入、多模態數據控制和人類推理等十二種關鍵承諾(Worsley et al.,2021)。時間維度分析以時間觀念通用框架為主要代表,在學習分析中嵌入時間因素,從時間推移和時間序列維度探析事件流和學習事件時間變化(Molenaar & Wise,2022)。
解密學習黑箱需要科學地使用數據,制定公平的分析政策,構建以人為本的數據反饋方法。首先,數據使用素養指教育工作者有效和負責任地使用數據的能力,不僅包括數據驅動決策與學習分析能力,而且涉及學習分析策略和數據素養應用策略(Mandinach & Abrams,2022)。其次,制定公平、公正、無偏見的學習分析政策的關鍵是構建學習分析的算法公平,避免學習分析算法偏差導致的信息繭房、偏好成癮和行為偏差(Uttamchandani & Quick,2022)。第三,構建以人為本的數據反饋方法,支持和增強學習。有效的反饋不僅提供了學習相關的信息,而且提供了評價者的信息、生成或解釋評價信息。以人為本的方法對基于數據驅動反饋的有效性至關重要,促進協作學習和持續學習是以人為本的本質體現(Tsai & Martinez-Maldonado,2022)。
為了確保學習分析解密學習黑箱的規范性,學習分析需要確保學生隱私,有效和負責任地使用學習分析。首先,保護學生隱私是學習分析解密學習黑箱的基本底線。學習分析需要確保數據安全、隱私安全和人身安全,制定功能自主選擇、功能公開透明和數據收集可供選擇的學習分析制度與法律。學習者應獲得學習分析內容的知情權、功能選擇權和參與退出權,影響學習者身心健康的分析工具、方法或理論應被禁止(Zeide,2017)。其次,有效和負責任地使用學習分析是確保解密學習黑箱科學性、規范性和持續性的保障。盡管近年來學習分析持續推進,但是依然缺乏系統性、大規模實施。為了促進學習分析的采用和可持續發展,教育機構需要將學習分析活動與他們的目標保持一致,制定一系列指導方針和原則,確保學習分析有效和負責任地使用(Scheffel et al.,2022)。
學習分析黑箱模型由解密學習黑箱的基本過程、應用領域、方法與技術、使用與倫理四部分組成。學習分析解密學習黑箱研究已取得較大進步,但是學習分析的精準度和應用規范依然面臨諸多問題。《手冊2》圍繞這些問題展開了深度討論,旨在提升學習分析解密學習黑箱的效果、質量、準確性和倫理規范。
如何提升學習分析的精準度及其預測能力是學習分析研究的核心問題之一,主要涉及預測學習模型、網絡分析、自然語言處理和多模態學習分析。
1. 預測模型如何有效地應用于教與學過程
預測模型能否有效地應用到教與學過程涉及兩個關鍵內容:區分與選擇解釋模型和預測模型、預測模型工作流程的關鍵環節(Brooks & Thompson,2022)。
1)區分和選擇解釋模型和預測模型。解釋模型和預測模型是學習分析的兩種主要分析方法,如何根據它們的特征進行適切的學習分析和教學系統設計至關重要。解釋模型一般用于檢驗因果假設,運用所有變量的證據對已知結果進行解釋,是典型的事后檢驗和反思活動。相比之下,預測模型以已知數據為基礎,預測觀察數據的價值或分類,對未來作出聲明或判斷。兩種模型的選擇都需要根據研究目的或研究問題確定,以便確定學習分析系統的功能,是刻畫學生學術成就,還是提供學習干預方法。
2)預測模型工作流程的關鍵關節。如何確保預測模型工作流程的科學性和準確性是學習分析精準預測的關鍵。預測模型工作流程包括問題識別、數據收集、分類與回歸、特征解析與特征選擇、預測模型的建構方法和模型評價。問題識別是預測模型工作流程的關鍵環節,關注預測模型如何精確地描述指定學習者在沒有教學干預下的學習結果;數據的稀疏性和噪音會干擾預測模型的精準構建,可能導致預測結果與倫理實踐、公平實踐相互矛盾,甚至使學習建議存在風險。基于學習者全面數據的預測模型是提升模型預測精準性和提出正確建議的關鍵,增加關鍵數據的收集方式有助于解決這一問題。
數據收集的全面性和數據類型決定了預測模型的預測準確程度。學習狀態數據和學習事件數據決定了預測模型的準確性及后續教學干預的適切性。特別是如何將龐大的、復雜的事件數據轉化為機器學習能夠識別的有意義特征,是數據收集和轉化的關鍵。事件驅動的數據不一定適合生成預測模型,因為數據獲取的質量和廣度更多地取決于在線學習模式。大規模在線開放課程很少收集學習者的社會經濟地位信息,這使預測結果難以準確反映學習者的輟學原因,最終導致學習干預的設計偏見和干預效果欠佳。為提升預測模型的精準度,數據的分類與回歸、特征選擇等需要根據預測目的和問題加以篩選。
預測模型建構的方法選擇與模型評價是確保預測精準的最終保障。線性回歸、邏輯回歸、決策樹、樸素貝葉斯分類器、支持向量機和神經網絡是預測模型構建的主要方法,但是構建精準的學習預測模型不僅需要充分考慮不同算法的功能特征,而且需要根據預測的數據類型、預測目的和研究問題等進行選擇與組合。預測模型構建需要利用學習者數據,以實現對未來學習行為的精準預測。簡單地將數據分為訓練和測試兩部分進行模型構建,可能導致模型的預測準確性不高。解決這一問題的最佳方法是使用交叉數據集驗證,使每個數據點均能用于模型驗證。
2. 如何實現學習分析中網絡分析的協調發展
根據社會性學習活動有助于提高學習質量和學生體驗這一假設,學習分析研究利用網絡分析理解人與人和人與物之間的關系,主要關注節點特征、節點位置和節點結果之間的關系本質、網絡關系成因、節點對網絡信息的影響、網絡結構影響網絡屬性的內在機制等。然而,網絡分析提供的洞見較為有限,原因是網絡分析與學習分析的交叉增加了分析決策的復雜性,導致難以綜合表達脫節的實驗結果。網絡分析的直覺性一定程度上導致了網絡分析的幼稚應用。由于任何關系都可以被看作網絡關系,因此人們常用網絡分析工具提供描述它們的評價指標。當網絡分析的度量指標被用于解釋學習的指標、結構或過程時,這些網絡分析的幼稚應用問題就會出現(Poquet & Joksimovi?,2022)。
當用網絡分析度量學習的結構、過程和指標時,網絡分析就不再是一種分析工具,而是有獨立理論假設的方法論。假設中包含網絡代表何物的基本理解,但是這些假設往往隱藏在研究選擇中。對研究假設關注不足將導致網絡分析的幼稚選擇,但是研究者經常沒有反思與之相關的方法論就選擇了網絡分析,最終導致運用“和設計不兼容的、潛在的、選擇性主張”解釋假設時可能存在較大風險(Yanchar & Williams,2006)。網絡分析方法論不清楚將導致難以得出與測量標準有關的任何有價值結論,這種問題被看作學習分析中網絡分析方法的不協調。網絡分析結果的不協調源自網絡建構、分析選擇和解釋之間的不一致。
如何實現學習分析中網絡分析的協調發展,關鍵在于區分網絡分析的兩種不同應用視角,其一是將網絡分析用作一種降低高維數據的方法,其二是利用網絡分析方法論理解學習環境中的社交交流和人際活動。當網絡分析用作降低高維數據的方法時,網絡分析能夠概括出關系數據,但是沒有指向測量標準的特殊理論意義。網絡分析可以量化關系模式,識別基于興趣導向的觀察數據的關系簇群。在學習分析中,關系節點可能是人、字符、學習資源、通過點擊流數據捕獲的學習行為類型、課程主題等。當將網絡分析作為一種方法論時,網絡結構、度量標準、模型構建方法及度量標準解釋將會處于相互矛盾的風險中。
作為方法論的網絡分析存在三方面的風險。首先,網絡代表與另一個人的回應關系,或者僅代表學生之間的社會網絡重疊程度。研究者運用社會網絡分析理論解釋學生交流的社會網絡時,需要防止網絡結構的解釋與實踐之間相互矛盾。其次,中心度的測量標準是基于距離構建的,計算方案考慮的是整體網絡結構。在事件驅動的關系語境中,交互關系的缺乏并不意味著訪問限制。在網絡與獨特位置的通訊環境中,距離不能完全等同其在社會網絡中的對應部分或解釋。第三,學習分析很大程度上缺乏有效驗證的空模型,導致難以解釋網絡形成的原因和狀態。雖然研究者利用統計模型和原則去觀察、分析和評估網絡分析模型,但是缺乏評估模型反映數據好壞的理據。
3. 如何運用自然語言處理精準揭示語言的本質內容
自然語言處理是一種依賴計算機技術自動化分析人類語言的技術或方法。基于自然語言處理的學習分析主要包括語言數據的知識圖譜分析和學習過程的關鍵信息挖掘。
1)語言數據的知識圖譜分析
語言數據涉及描述、詞法、句法、連貫度和語義內容等維度。自然語言處理必須捕獲語言的多維數據,以創建清晰的語言真實圖景(Allen et al.,2022),實現對學習行為與狀態的精準分析,提供精準的學習反饋與指導。
——描述性分析。它指利用自然語言處理技術計算與文本相關的描述性統計特征,如字符數量、句子數量、段落數量和詞頻等。如何根據語言的描述性特征推論或揭示學習特征將是語言描述性分析的關鍵,如任務的完成度、學習者的參與度和相關概念學習等。研究者可以采用主題分析(thematic analysis)、描述性統計分析和統計檢驗等方法,構建語言數據的初步知識圖譜。
——詞法分析。文本詞法屬性與詞語特征相關,涉及已知語言的詞語頻率和詞語表達的抽象程度。詞法指標主要用于計算已知文本的可讀性,可檢測消息、帖子和反思隨筆等文本類型。詞法指標的數據信息可以為教育者、智能導師和智慧學伴等提供語言難易程度的信息,分析者據此可為學習群體、協作討論和學習過程等提供精準的會話交流、信息反饋和學習支持。
——句法分析。句法指標提供了給定文本的句子結構信息,句法結構的復雜程度是語言句法分析的關鍵指標,決定著文章質量或文本可讀性,是豐富語言洞察力和學習任務自適應的重要基礎。如何精準地獲知語言句法結構的復雜程度決定著語言句法分析的精準性。自然語言處理需要精準分析句子平均長度、單元的平均長度、動詞前面的詞語數量等語法復雜性指標。
——連貫性分析。連貫性測量提供了文本思想之間連接的相關信息。能否對其精準測量決定著學習者語言表達、邏輯推理和內容理解的解析程度。因果推理是評價語言連貫性的重要參考指標,學習分析通過分析文本、會話、帖子和文章等因果邏輯表達,可以精準地評估學習者語言的連貫性。智能學習分析系統或教師根據學習者的因果語言表達及其連貫程度,推斷學習者對學習內容的理解程度,提供相應的形成性學習反饋。
——語義內容分析。語義指語言蘊含的表達者言說意義,它通過語言符號傳達言說者的某種意圖、解釋或情感。語義分析對學習分析至關重要,決定學習分析能否精準揭示學習者的內容理解程度、情緒與情感變化、互動交流深度等。自然語言處理技術能夠提供文本的重點內容、情感與情緒信息及同伴互動內容的語義重疊,這對教師精準地掌握學習者理解給定內容的程度至關重要。
2)學習過程的關鍵信息挖掘
基于自然語言處理的學習行為預測模型不僅需要說明語言的多維性質,而且需要解釋學習者所處的學習階段。基于自然語言處理的學習過程數據挖掘尤為重要,分輸入、處理和輸出三階段。
——輸入階段。學生經常被要求處理教育語境的各種信息,如需閱讀的文本、完成任務的提示、需探究的問題、師生互動的言語信息等。語言信息的內隱性決定了學習者需具備特殊領域的專業知識才能理解文本、進行邏輯推理和互動交流,這就需要考慮如何利用自然語言處理為學習者提供學習支持,為教師選擇教學策略提供建議。閱讀者的個性特征與文本特征的交互使得學習結果預測變得復雜。學習分析利用自然語言處理技術解析句法復雜性、詞匯復雜性、語言連貫性等,精確探析學生需處理的語言特征,提升學習資源智能推送的精準性和學習效果。
——處理階段。研究人員可以通過學習者利用教育技術輸入的自然語言特征對學習過程進行建模,如閱讀期間輸入的思想觀點、完成的復雜任務和人工制品及學習行為數據等。自然語言處理能夠自動處理大規模的在線學習數據,根據語言的連貫性、文本的表征和語言的邏輯等,推斷學習者的深度理解程度、心理表征的連貫性和學習投入程度。諸多研究者基于自然語言處理技術開發了面向學習過程的語言處理系統,如閱讀策略評價工具、自動教學機和智慧學伴等。
——輸出階段。語言信息輸出形式主要包括簡短回答、留言板信息和隨筆短文等。研究者以學習者的語言信息為基礎,利用自然語言處理技術構建學習結果和學習行為的預測模型。該模型應用領域涉及寫作分析、同伴反饋和學習策略開發等。例如,研究者運用自言語言處理技術分析寫作,開發文章自動評分系統,構建專家型智慧評分者,智能化提供寫作反饋的學習分析模型;自然語言處理還可以為學習者提供信息組織與結構的高水平反饋支持。學習者如何呈現文本中的話題及其關聯建模,將有助于學生加工未成熟的觀點,降低冗余度和提高語言的連貫度。
4. 如何實現精準的多模態學習分析
1)如何破解學習分析的“街燈效應”困境
多模態學習分析的興起和發展緣于對傳統單一數據分析方式的批判,根植于多模態交互分析方法論框架(Norris,2004),旨在解決因簡化學習過程和缺乏語境信息導致的學習數據理解片面等問題,如只關注在線學習者與數字技術的交互數據、面對面互動交流的數據缺失、人工制品的分析殘缺等。傳統學習分析傾向于根據數據的可獲得性選擇分析數據,這導致分析結果常出現精準性偏差、與現實矛盾和研究建議不周延等問題,這種現象被稱為“街燈效應”,具體指研究人員傾向于在看起來不錯的地方尋找答案,而不是在答案可能隱藏的地方進行全面探究(Kaplan,1998)。
為避免此現象,學習分析需要基于理論或經驗確定分析對象和數據來源。從理論指導的學習分析看,學習分析需要根據理論的相關指標進行數據的捕獲和篩選,揭示基于該理論的學習行為特征、學習規律并提出相關建議。譬如,如果運用群體感知理論分析在線學習社區,那么研究者必須獲取認知感知、行為感知和社會感知的全部相關數據,否則將導致群體感知分析難以精準地解釋在線學習社區的學習行為或學習規律。從基于經驗的學習分析看,學習分析需利用不同環境的學習行為標記數據闡明所期望的學習構念,鑒別何種水平的學習數據能夠用作這些行為的證據。
2)如何確保學習分析過程的精準性
映射和執行是多模態學習分析的兩個基本過程(Ochoa,2022),提高學習分析的精準性需要精心設計這兩個過程。映射是建立學習構念與多模態數據痕跡之間對應關系的過程。學習構念是與學生的行為、態度、學習過程和體驗相關的概念或思想,學習構念的選擇、構建與分析的精準性是學習分析精準性的前提。研究者需根據研究問題、理論和興趣體驗等,構建科學的學習構念及其明細指標,確保后續數據收集的科學性、全面性和系統性。執行是建立多模態數據與學習構念對應關系的過程。根據學習構念獲取全面、科學和系統的多模態數據,是多模態學習分析精準性的重要保障。研究者必須利用所有的數據檢索、數據挖掘和數據處理工具,獲得足以支持與驗證學習構念及其指標的數據。
為確保數據的科學性、準確性和全面性,研究者首先需要利用設備捕捉全部數據。數據記錄設備的選擇決定著數據獲得的準確性,學習分析應根據研究需求和學習構念選擇適切的數據記錄設備。其次,面對獲得的多種形態學習數據,研究者需要利用適切的算法和技術,從中解析與學習構念對應的學習數據。算法和技術是數據解析精準性的關鍵,研究者需要不斷優化和選擇最佳方案以實現最終目的。第三,多模態學習分析評估的最大挑戰是行為標記檢測的不確定性逐漸增加,導致學習構念評估存在不確定性。這一問題的最佳解決方法是通過人工編碼和一致性檢驗構建多模態數據分析模型,確保學習構念評估的準確性。
學習分析應用的最大挑戰是如何將其有效、科學、規范地應用于教學,這涉及學習分析倫理規范、學習分析素養和學習分析政策三個維度。
1. 如何確保學習分析應用的倫理規范
1)學習分析應用的制度規范
學習分析倫理規范指將倫理道德融入學習分析整個過程,為研究者、教師和相關機構提供倫理指導。確保學習分析倫理規范的有效實施需要從三個方面考慮:1)從學習分析管理規范質量看,構建學習分析計劃與實施的利益相關者共同體制度對學習分析倫理規范至關重要。在學習分析計劃與實施過程中,關鍵利益相關者的參與缺乏導致學習分析計劃與實施的不平等參與,會導致教育機構抵制。2)從學習者全面培養視角看,學習分析需要制定全面育人的學習分析框架和評價指標,消解利用片面數據評價學習者能力與素養的偏見。學習分析的數據常被簡單收集和可視化,很少關注教學法知識和教學理論,導致學習分析難以滿足相關利益者的需求和設計標準。3)資源需求不僅體現在資金支持方面,而且應當考慮技術和人力資源對學習分析設計和決策的支持(Scheffel,et al.,2022)。相關機構需要根據學習分析的需要,制定促進學習分析健康發展的資源支持長效機制。
2)學習分析應用的算法倫理
學習分析應用的算法倫理主要聚焦在算法數據基礎倫理、算法運行機制倫理和算法評價主體倫理等方面(Uttamchandani & Quick,2022)。從算法的數據基礎倫理看,無論是傳統的單維度學習分析,還是多模態學習分析,捕獲的學習數據都難以全面反映學習者的學習行為、心理活動、基本能力和核心素養等。基于這些數據及其分析結果的學習評價存在片面性,甚至會導致評價倫理問題。譬如,當學習分析不能將學習者的社會與情感能力數據納入學習分析時,會導致對學習者學習投入判斷的失誤,造成學習反饋、資源推送和學習策略支持等出現錯誤。
從算法的運行機制倫理看,基于個性化學習的學習分析將為后續個性化學習資源推送提供重要依據。如果無法全面獲取學習者的個性化學習特征、學習能力、核心素養等數據,那么基于這些數據的個性化學習分析和算法將會出現嚴重的算法偏見,可能導致后續的學習分析反饋、學習資源推送和學習指導等嚴重偏離學習者學習實際。在人工智能技術的加持下,這些學習分析算法偏見會持續對學習者學習帶來消極影響,可能導致學習者的學習、性格、興趣、能力等出現發展偏差。
從算法的評價主體倫理看,運用學習分析技術和智能機器對學習者進行學習分析與評價,不能確定是否符合人類的評價倫理規范。所謂人類的評價倫理指人類的評價應當是人與人之間的評價,而不是利用機器對人實施評價。人與人之間是人類生物共同體,人的評價應該是人類群體的自我評價,算法驅動的學習分析技術或智能體不能對人類群體進行全面評價。算法驅動的評價倫理要求體現人的評價需要人來評價,而不能由人造算法驅動的機器對人評價。機器對人進行學習分析和評價,不僅不符合人類共同體的基本生物與社會屬性,而且基于缺失數據的學習分析算法可能導致學習分析評價的偏差或倫理風險。
2. 如何提升學習分析者的學習分析數據素養
學習分析是一個數據驅動決策生成的復雜過程,數據素養是學習分析和教育實踐的基礎。不管是傳統教育方法,還是學習分析和教育數據挖掘等教育方法,數據應用已成為教育實踐的重要組成部分(Mandinach & Abrams,2022)。數據素養指教師通過收集、分析和解釋關于評價、學校氛圍、行為和圖片等數據,將信息轉變為適切的教學知識和實踐能力,幫助確定教學的基本步驟或教學事件。數據素養融合了數據理解與標準、學科知識與實踐、課程知識、教學內容知識等(Macfadyen,2017)。
學習分析者的數據素養是學習分析能否成功的關鍵,決定著能否利用軟件工具、機器學習和算法等,捕獲、處理、索引、存儲、分析和可視化數據,以及如何進行可行性教學行為的決策、設計和實施。譬如,教育中的數據分析模型通過收集與獲取數據、組織與存儲數據、清洗和準備數據、合并相關數據源、分析與識別模式和結果、創造數據表征與交流信息可視化這些環節(Agasisti & Bowers,2017),深度揭示了學習分析在不同環節中教師應具備的數據素養。從學習分析的過程與關鍵環節看,學習分析能否成功,不僅需要具有自然語言處理、社會網絡分析和情感分析等技術與方法,還需要教師或學習分析者具備相應的數據素養才能夠開展高質量的學習分析。
學習分析數據素養包含數據技術、數據理論和數據價值三方面。數據技術素養指學習分析者需具備的學習分析知識,如分析技術的功能特征、使用技能和分析價值等。數據技術素養代表學習分析者的技術能力,決定著學習分析者能否恰當地使用學習分析技術。數據理論素養指學習分析者具有的數據分析原理、數據分析倫理、教與學原理等知識,是學習分析的理論指導。數據價值指學習分析者需具備的數據價值觀,主要體現在學習分析者對數據本體、數據價值產生方式和數據價值挖掘的基本信念。數據價值素養決定著學習分析能否深刻反映研究問題、研究目的和研究內容。
3. 如何制定適切的學習分析政策
人本主義關照是制定學習分析政策的出發點。以學習者為本、關照學習者身心發展、促進學習分析公平與公正,是學習分析政策制定的根本目標。確保學習分析政策的適切性是學習分析政策制定的關鍵,需要從學習分析的過程加以深度探討。
1)構建公平且符合倫理道德規范的學習分析政策。算法規則、復雜計算和機器學習不一定是有幫助、公平、符合倫理道德或提高生活質量的。它們不是中性的,可能會起相反的效果,甚至會導致更高效地運行系統性偏見(Uttamchandani &Quick,2022)。批判地使用學習分析是實現學習分析公平的重要保障,能更大程度避免算法偏見導致的學習分析偏見和教學干預失誤。實現公平、符合倫理道德及增值提效的學習分析,需制定倫理道德規范、制度和法律,對學習分析系統、算法規則和學習資源等實施準入審查、學習過程的定期倫理檢查和系統的持續改進與優化。道德與隱私強調學習分析的數據使用需遵循倫理道德規范和個人隱私,這就需要制定相應的法律準則和框架。
2)以人為本是學習分析理論、方法和實踐的根基。學習分析需要制定以人為本的學習分析規范和政策,以確保學習分析設計與實施以人為本。以人為本是實現有效數據反饋的關鍵,將“反饋”設計為對話過程可以促進學習者在反饋過程中的積極性和主動性(Tsai & Martinez-Maldonado,2022)。學習分析的根本目的是通過數據反饋支持和促進學習。學習分析需要教師和學習者積極參與,設計與評價使能技術。學習分析需要具有識別和促進學習者內部和外部對話的功能,如信息提示、內部會話、學生決策支持、提供基于證據的反饋、持續性和綜合性會話等。實現以人為本的學習分析,需要從算法、學習資源、學習活動和學習評價等方面制定學習分析指導規范,構建面向學習主體性的學習分析規范。
3)學習分析的質量保障政策主要涉及利益相關者的參與制度、技術保障制度、多模態刻畫規范。利益相關者的全體參與、全程參與和全面參與能防止學習分析數據獲取不全、分析目的分散和學習評價偏見等問題。參與制度需要從參與人特征、參與時間和參與決策等維度構建,以全面反映利益相關者的關切。技術保障制度是獲得高質量學習分析的基礎,決定著學習分析的精準性及其學習反饋的適切性。高質量學習分析需利用先進的技術捕獲和分析學習數據,從而提供精準的學習分析和反饋支持。多模態刻畫規范需要制定和完善學習分析評價指標體系,確保從學習情感、學習動機、個性特征、人工制品等維度全面評價學習者,從而實現學習評估的客觀性、高質量和系統性。
1. 學習分析的本質
對學習分析定義學界認識盡管不同,但核心要素有四個,即學習分析作為一個需要解決的問題,是一個機會,作為調查和研究的領域,由研究人員和從業者共同開展研究(Lang et al.,2022)。
不同于數據挖掘和大數據分析,學習分析旨在通過數據分析優化教與學過程,聚焦教與學的數據驅動決策研究。數據挖掘和學習分析都是數據驅動方法,但是數據挖掘關注的是教育環境中獨特數據類型的探索方法創新,探究如何抽取有價值的信息實現學習或干預過程的自動化,以更好地理解學生及其學習發生的環境(Du et al.,2019)。大數據分析與學習分析、數據挖掘的最大區別是數據量大、類型多、速度快、真實性和價值性,是面向“互聯網+”時代海量數據分析的一種新興數據分析方法。數據挖掘和大數據分析是學習分析得以實現的重要基礎,為大規模線上和線下混合學習分析提供了技術和方法。
2. 學習分析的核心問題
從如何提升學習分析的精準度看,研究者主要圍繞預測模型、網絡分析、自然語言處理和多模態學習分析四個維度,系統揭示數智時代的學習分析的主要理論、技術、方法或方法論、實踐,刻畫了數智時代學習分析的關鍵技術,描述了學習分析的主要應用場景。圍繞學習分析精準度提升的四個研究維度,研究者深度探討的核心問題主要聚焦于理論、技術和方法三個方面。不管是預測模型、網絡分析,還是自然語言處理、多模態學習分析,如何協調不同理論、技術和方法之間的關系,是學習分析精準度研究的核心內容。
從如何構建高質量學習分析規范看,倫理規范、數據素養和分析政策形成了學習分析規范的主要研究主題。倫理規范涉及制度規范和算法倫理,前者主要討論研究者、教師和相關機構等“人”在學習分析過程中的倫理規范,后者是“機器”在學習分析過程中應遵循的算法數據基礎倫理、算法運行機制倫理和算法評價主體倫理。學習分析者的數據素養決定著他們能否利用軟件工具、機器學習和算法等,捕獲、處理、索引、存儲、分析和可視化數據,以及如何進行可行性教學行為的決策、設計和實施。學習分析政策應以學習者為本、關照學習者身心發展、促進學習分析公平與公正為根本目標,確保政策的適切性是政策制定的關鍵。
1. 構建基于人工智能的學習分析技術
新冠肺炎疫情導致大規模在線學習需求驟增,學習分析需要充分利用人工智能技術,為教師的教學評價和學生學習提供智能化、個性化、即時性和系統性學習分析支持。地平線報告(教與學版)明確指出,“基于人工智能的學習分析”已成為當前及后續一段時間促進教與學質量的重要技術(王萍等,2022)。基于人工智能的學習分析指利用人工智能技術,組織、分析與理解師生教與學數據,幫助教師選擇學習策略、組織活動、探析教學干預、提供學習支持、監控學習活動,支持學習者自主學習、自我評價、個性化學習、會話交流和自我調節學習。美國和澳大利亞多所學校正在利用自然語言處理、資源推薦器、學習保持分析儀表盤等技術,探究學業差距干預、學習風險識別與反饋、學術支持、學習成就預測、學習活動監控與分析。
2. 探索多模態學習分析時代的方法與技術
多模態學習分析主導的“多模態學習分析新時代”已經到來(Worsley et al.,2021)。多模態學習分析不僅是獲取、分析和理解學習行為、狀態、能力和素養的一系列技術和方法,而且是一種分析學習的方法論或教育哲學觀。多模態學習分析的目的在于探討如何全面刻畫學習行為、分析學習影響因素及構建學習分析生態系統,避免數據缺失、分析工具局限和研究視角狹隘等導致的教育不公平。未來的學習分析是面向學習者的全方位分析。社會化數字參與生態學是未來學習分析的重要取向,它利用各種數據捕獲、處理、分析和決策工具,構建數字化社會參與的生態學習分析框架和智能學習支持系統。從多模態學習分析主題與技術的微觀視角看,情緒與情感、腦電波、核磁共振等學習分析主題和技術是未來發展的重要趨勢。
3. 探索學習分析的獨特方法論
學習分析是基于理論或經驗的數據收集、分析和推論過程。理論是學習分析的基礎,決定了學習分析的科學性、系統性和方向性。然而,目前學習分析研究主要關注技術及其如何服務于學習分析,鮮有涉及學習分析基本理論或方法論的相關研究。學習分析理論或方法論的研究缺失可能導致學習分析研究始終處于散碎的、工具性的和具體的研究層次,難以上升為一種具有普遍指導的、系統的和深度的研究方法論或研究領域。學習分析主要通過收集、分析和報告數據改進學習績效,缺乏理論指導的學習分析可能導致學習分析過程的科學性不足。在行為主義、認知主義、建構主義和聯通主義等構成的多種學習理論體系中,如何構建學習分析的理論框架及其方法論是未來學習分析研究的重要任務。
4. 創設公平與公正的學習分析機制
如何確保學習分析的公平、無偏見和公正是未來學習分析研究的重要主題。影響學習分析公平和公正的主要因素是學習分析算法的不完善和數據的不全面。未來學習分析研究需采取多種措施促進學習分析公平。這涉及研究視角、算法設計和政策制定等。首先,需要采取批判性視角探究學習分析;其次,算法設計應當力求公平、有限偏差、服務學習;第三,如何構建及構建何種制度或政策,是確保這一目的實現的重要保障和未來研究重點。探索與構建完善的理論體系是確保學習分析公平的重要基礎。多模態學習分析是建立在映射和執行基礎上的,如果學習構念設計存在缺陷和指標殘缺,那么收集的多模態數據將無法精準地揭示、預測和支持學習行為。
5. 建立符合倫理道德的學習分析制度
以人工智能、大數據分析和自適應學習等技術為基礎的學習分析為教與學提供了支持,但也導致學習分析出現諸多倫理問題。人工智能驅動的學習分析實質上是通過“類人”的植入揭示學習本質,但這常常會導致類人的倫理問題、人工智能教育場問題、新的人與人行為準則的調整問題(張立國等,2021)。基于殘缺學習數據的學習分析與學習支持,會導致學習分析缺乏精準性和適切性,還會使學習者長期處于狹隘的“信息繭房”中,不能得到全面發展,甚至會出現顯著的認知偏見(徐英瑾,2021)。因此,建立符合倫理道德規范的學習分析制度在一定程度上可消解學習分析技術帶來的負面影響,這是后續學習分析倫理道德制度需探討的主題。