基于學(xué)習(xí)分析的創(chuàng)客學(xué)習(xí)效果評價方法研究

占亞劍

（廣東機電職業(yè)技術(shù)學(xué)院，廣東 廣州）

教育部在2016年發(fā)布的《教育信息化“十三五”規(guī)劃》提出，要積極探索信息技術(shù)在“眾創(chuàng)空間”、跨學(xué)科學(xué)習(xí)、創(chuàng)客教育等新型教育模式的應(yīng)用。當(dāng)前，國內(nèi)眾多高校通過開展面向創(chuàng)客的創(chuàng)新創(chuàng)業(yè)教育來提高學(xué)生的創(chuàng)新意識和創(chuàng)新能力，培養(yǎng)創(chuàng)新型人才。然而，創(chuàng)客培養(yǎng)作為一種教學(xué)活動類型，如何使之有機融入高校學(xué)科專業(yè)人才培養(yǎng)，探索高校創(chuàng)新創(chuàng)業(yè)教育改革的可行路徑已成為學(xué)界研究的熱點，在這其中，教學(xué)評價視域下的創(chuàng)客學(xué)習(xí)效果評價是對其價值潛能和積極作用進行判斷的關(guān)鍵。本研究基于學(xué)習(xí)分析相關(guān)理論及技術(shù)，構(gòu)建創(chuàng)客學(xué)習(xí)效果評價模型，并利用K-means聚類分析算法，刻畫學(xué)習(xí)者學(xué)習(xí)過程畫像，探索創(chuàng)客學(xué)習(xí)效果評價的量化分析方案。

一 學(xué)習(xí)效果評價與學(xué)習(xí)分析

（一） 學(xué)習(xí)效果評價的演變

評教評學(xué)是學(xué)習(xí)效果評價的重要方式，其理論基礎(chǔ)源自不斷發(fā)展的教學(xué)理論，如肯普提出的刺激反應(yīng)學(xué)說、奧蘇貝爾的認(rèn)知同化學(xué)說和維特羅克的建構(gòu)主義學(xué)說。以建構(gòu)主義為代表的當(dāng)代教育理論認(rèn)為，學(xué)習(xí)是主動建構(gòu)和生成意義的過程，學(xué)習(xí)過程不完全依賴教師傳授的知識信息，更主要的是完成主動構(gòu)建信息意義的生成過程。因此，以學(xué)習(xí)為中心的教學(xué)思想逐漸替代了以教為中心的傳統(tǒng)教育觀念，教師和學(xué)習(xí)者的地位、作用發(fā)生了根本性的轉(zhuǎn)變。對于“評教”而言，“評學(xué)”的重要性變得更為突出。然而，學(xué)習(xí)的過程屬性決定了學(xué)習(xí)效果蘊含在學(xué)習(xí)結(jié)果和學(xué)習(xí)過程中，單純依據(jù)學(xué)習(xí)結(jié)果還是跟蹤學(xué)習(xí)過程的綜合評價成為“評學(xué)”有效性的關(guān)鍵問題。顯然，依據(jù)學(xué)習(xí)成績的結(jié)果性評價不能全面刻畫學(xué)習(xí)者的學(xué)習(xí)情況，學(xué)習(xí)者學(xué)習(xí)過程的評價則能夠較全面反映出學(xué)習(xí)者的個體差異、內(nèi)部和外部的學(xué)習(xí)特征，還可以發(fā)現(xiàn)學(xué)習(xí)過程中潛在的問題并預(yù)測未來表現(xiàn)。但隨之而來的問題是，描述學(xué)習(xí)者學(xué)習(xí)過程的數(shù)據(jù)量非常龐大，并且學(xué)習(xí)者樣本數(shù)量眾多。面對如此海量的數(shù)據(jù)，如何挖掘、分析和利用是一直以來困擾教育工作者的難題。

（二） 學(xué)習(xí)分析技術(shù)溯源

大數(shù)據(jù)挖掘技術(shù)在教育領(lǐng)域的創(chuàng)新發(fā)展，以及e-learning相關(guān)技術(shù)的廣泛應(yīng)用促進了學(xué)界對教育數(shù)據(jù)挖掘（EDM）領(lǐng)域的研究。教育數(shù)據(jù)挖掘以計算機算法和信息技術(shù)為手段，從各種學(xué)習(xí)支持或教育信息管理等系統(tǒng)中提取有價值的數(shù)據(jù)并導(dǎo)入預(yù)設(shè)模型，實現(xiàn)教育過程自動檢測，為學(xué)習(xí)者學(xué)習(xí)質(zhì)量評估、教學(xué)效果反饋和資源使用績效提供量化依據(jù)。全球性學(xué)術(shù)組織國際教育數(shù)據(jù)挖掘協(xié)會于2008年舉行了第一屆教育數(shù)據(jù)挖掘國際會議，引發(fā)學(xué)術(shù)界對EDM的興趣與探索。諸多技術(shù)手段如統(tǒng)計分析與可視化技術(shù)、關(guān)系挖掘、預(yù)測和聚類算法得到廣泛應(yīng)用，技術(shù)促進學(xué)習(xí)（TEL）的理念逐漸成為學(xué)界共識，利用數(shù)據(jù)分析改進教學(xué)、運用技術(shù)變革教育的時代已然來臨。

學(xué)習(xí)科學(xué)理論認(rèn)為，學(xué)習(xí)的本質(zhì)是行為能力的持久固化，是一種具有過程屬性的活動。因此，對教育過程的評價并不能替代對學(xué)習(xí)過程的評價，學(xué)習(xí)過程是學(xué)習(xí)效果最有效的預(yù)測依據(jù)。國外學(xué)者試圖采用教育數(shù)據(jù)挖掘技術(shù)，回歸學(xué)習(xí)本位，開拓了以采集、分析學(xué)習(xí)過程中數(shù)據(jù)信息為主要手段的學(xué)習(xí)數(shù)據(jù)挖掘研究領(lǐng)域。2011年，德州大學(xué)Siemens教授、阿薩巴斯卡大學(xué)Dragan教授和悉尼理工大學(xué)Shum教授等知名學(xué)者發(fā)起成立學(xué)習(xí)分析研究學(xué)會（SoLAR），并創(chuàng)辦了學(xué)術(shù)期刊《學(xué)習(xí)分析》。學(xué)習(xí)分析研究學(xué)會在學(xué)習(xí)分析領(lǐng)域是世界公認(rèn)的頂尖研究機構(gòu)，每年舉辦學(xué)習(xí)分析與知識國際會議。此外，德克薩斯大學(xué)學(xué)習(xí)創(chuàng)新與網(wǎng)絡(luò)化知識研究實驗室、英國開發(fā)大學(xué)知識媒體研究所和美國高校教育信息化協(xié)會等機構(gòu)將學(xué)習(xí)分析作為重點研究項目，學(xué)習(xí)分析已成為目前教育研究的熱點領(lǐng)域之一。

二 學(xué)習(xí)分析的研究框架及相關(guān)技術(shù)

（一） 學(xué)習(xí)分析的理論研究框架

Siemens提出基于工作流程的分析框架，包括學(xué)習(xí)者及學(xué)習(xí)過程的數(shù)據(jù)采集、監(jiān)控、分析預(yù)測和反饋等四個過程階段。德國亞琛工業(yè)大學(xué)Chatti認(rèn)為學(xué)習(xí)分析的流程包括數(shù)據(jù)采集與清洗、數(shù)據(jù)分析與預(yù)測、分析及后處理等環(huán)節(jié)，提出學(xué)習(xí)情境、分析過程、技術(shù)手段和參與主體的四維度分析框架。在此基礎(chǔ)上，Elians將學(xué)習(xí)分析的資源要素從工作流程中分離出來，提出了一個由四個資源要素和六個分析階段組成的改進型分析框架。四個資源要素指包括學(xué)習(xí)者、教育者、學(xué)習(xí)系統(tǒng)和分析模型。與此類似，荷蘭開放大學(xué)Greller和Drachsler利用四個資源要素和兩個約束條件對應(yīng)的六個關(guān)鍵領(lǐng)域來建構(gòu)分析框架（見圖1粗線條方框），他們認(rèn)為每個關(guān)鍵領(lǐng)域中都包含若干個子項目，每個子項目在分析流程中都有具體的指代，子項目并可以根據(jù)學(xué)習(xí)分析的設(shè)計需要進行擴展，該框架被學(xué)者們認(rèn)為是學(xué)習(xí)分析的通用研究框架。

圖1 Greller和Drachsler提出的關(guān)鍵領(lǐng)域分析框架

研究框架是開展一項學(xué)術(shù)研究的路線圖和方法論，諸多學(xué)者從多個維度為學(xué)習(xí)分析提供了研究框架，推動了學(xué)習(xí)分析領(lǐng)域的理論探索，為廣泛開展的學(xué)習(xí)分析提供了重要的指導(dǎo)。然而，學(xué)習(xí)行為的多樣性、復(fù)雜性使得學(xué)習(xí)過程呈現(xiàn)多模態(tài)特征，學(xué)習(xí)分析的研究框架的普適性和準(zhǔn)確性難以兼顧，導(dǎo)致通用理論框架在分析實踐中出現(xiàn)結(jié)構(gòu)性缺陷，符合分析實踐要求并能經(jīng)受驗證的理論研究框架仍然比較缺乏[1]。

（二） 學(xué)習(xí)分析模型的構(gòu)建

分析模型是針對學(xué)習(xí)分析系統(tǒng)中對某一項流程或?qū)ο笞鳛檠芯磕繕?biāo)，對其進行特征描述和結(jié)論推導(dǎo)的通用分析工具。在學(xué)習(xí)分析領(lǐng)域，學(xué)習(xí)分析模型構(gòu)建與實踐走在理論研究框架的探索之前，如哥倫比亞大學(xué)Baker、美國高等教育信息化協(xié)會Brown和華東師范大學(xué)顧小清等學(xué)者嘗試從描述性和預(yù)測性兩個方面來建構(gòu)分析模型，以更好地指導(dǎo)學(xué)習(xí)分析實踐研究。學(xué)習(xí)分析模型刻畫出的學(xué)習(xí)過程與學(xué)習(xí)者特征是否全面與科學(xué)，將影響到學(xué)習(xí)分析結(jié)果的有效性、客觀性。

學(xué)習(xí)分析以學(xué)習(xí)行為研究為邏輯起點，聚焦學(xué)習(xí)者和學(xué)習(xí)情境，對學(xué)習(xí)過程實施科學(xué)的評判。因此，采集學(xué)習(xí)者的信息特征與學(xué)習(xí)者的知識建構(gòu)過程等兩個維度可來構(gòu)建學(xué)習(xí)分析模型。學(xué)習(xí)者的信息特征是學(xué)習(xí)者的學(xué)習(xí)行為主體顯性變量的集合，包括學(xué)習(xí)者的外顯和內(nèi)隱特征，外顯特征主要指個體學(xué)習(xí)行為、社會性學(xué)習(xí)行為和學(xué)習(xí)成果等方面特征，內(nèi)隱特征包括學(xué)習(xí)者情感狀態(tài)、認(rèn)知及元認(rèn)知能力和認(rèn)知策略等。對于學(xué)習(xí)者的知識構(gòu)建維度，主要研究對象是學(xué)習(xí)者知識體系形成的過程，將學(xué)習(xí)者知識生成狀態(tài)進行量化反饋，不僅體現(xiàn)了學(xué)習(xí)者的學(xué)習(xí)成果，還實時反映出學(xué)習(xí)者的學(xué)習(xí)過程是否達到既定標(biāo)準(zhǔn)，為判定學(xué)習(xí)者的學(xué)習(xí)效果、學(xué)習(xí)情境提供科學(xué)依據(jù)。在學(xué)習(xí)分析模型中，諸多特征變量并非獨立存在，還具有一定的關(guān)聯(lián)性。例如對學(xué)習(xí)者學(xué)習(xí)成果進行評價的過程中，通過查擺學(xué)習(xí)者在知識理解、分析和固化等方面的不足與缺陷，對學(xué)習(xí)行為進行修正優(yōu)化，在反思性實踐的過程中獲得學(xué)習(xí)效果的提升，這個過程也就是學(xué)習(xí)者元認(rèn)知能力和認(rèn)知能力提升的過程。

1．學(xué)習(xí)分析數(shù)據(jù)的來源與采集。以采集技術(shù)來劃分，學(xué)習(xí)分析數(shù)據(jù)通?？煞譃槲谋菊Z義、生物識別和心理情感等三大類。數(shù)據(jù)采集需要借助相關(guān)工具或設(shè)備，如視頻監(jiān)控、生理感知設(shè)備等，不少學(xué)者為此開展了大量探索。如安德雷德借助圖像傳感器記錄學(xué)習(xí)者在學(xué)習(xí)過程中的手部動作，分析學(xué)習(xí)者在學(xué)習(xí)情境中的外顯行為特征；美國心理學(xué)教授?？寺O(shè)計了面部動作編碼系統(tǒng)（FACS），通過比對學(xué)習(xí)者面部表情的細微變化，判斷其在學(xué)習(xí)行為中的心理活動特征；扎亞等人將學(xué)習(xí)情境中的文本和語義數(shù)據(jù)、學(xué)習(xí)者情緒調(diào)動程度和行為特征識別等數(shù)據(jù)信息融合，提出了基于學(xué)習(xí)過程的學(xué)習(xí)者多模態(tài)數(shù)據(jù)采集系統(tǒng)（EMODA儀表盤）。雖然物聯(lián)網(wǎng)技術(shù)發(fā)展推動可穿戴設(shè)備、眼球追蹤儀、視頻監(jiān)控等設(shè)備儀器應(yīng)用于教學(xué)實踐成為可能，但在課堂環(huán)境下采用大量監(jiān)控設(shè)備存在倫理問題爭議，加上生理信息采集需要特定的傳感儀器支持，其侵入性較大，難以保證數(shù)據(jù)的真實性。另外，儀器設(shè)備的介入會影響學(xué)習(xí)者的過程體驗，降低學(xué)習(xí)者的思維活躍度，數(shù)據(jù)真實性與準(zhǔn)確性難以取得平衡，進而影響研究結(jié)果的可靠性。一般而言，輕量化設(shè)備更有適用于學(xué)習(xí)分析數(shù)據(jù)采集，利用伴隨式采集方式可有效降低采集過程對數(shù)據(jù)的干擾。同時，借助學(xué)習(xí)者自我報告或?qū)＜矣^察的方式，收集學(xué)習(xí)過程中的質(zhì)性數(shù)據(jù)進行校驗擬合，進一步提高學(xué)習(xí)分析的準(zhǔn)確性。

2．學(xué)習(xí)分析工具的設(shè)計及應(yīng)用。常見的學(xué)習(xí)分析工具的設(shè)計思路遵循學(xué)習(xí)者中心、多元化、簡約性和實用性等多個原則?；谌舾蓚€設(shè)計原則，結(jié)合學(xué)習(xí)分析模型，利用算法處理學(xué)習(xí)分析數(shù)據(jù)，可以實現(xiàn)學(xué)習(xí)分析工具的設(shè)計功能。例如，美國普渡大學(xué)采用的學(xué)習(xí)分析工具Course Singals，以學(xué)習(xí)行為目標(biāo)達成率為預(yù)測變量，自動識別“風(fēng)險學(xué)生”并實施預(yù)警干預(yù)；美國東田納西州立大學(xué)采用D2L分析工具通過可視化的圖表界面展示學(xué)習(xí)者的課程學(xué)習(xí)情況，并預(yù)測課程學(xué)習(xí)可能會出現(xiàn)的情況，幫助學(xué)習(xí)者優(yōu)化學(xué)習(xí)，該工具的技術(shù)核心是名為Students Success System的學(xué)習(xí)分析引擎，可以對學(xué)習(xí)者學(xué)習(xí)過程實施動態(tài)監(jiān)測[2]。

三 創(chuàng)客學(xué)習(xí)效果評價方法探索

創(chuàng)客學(xué)習(xí)是一種基于項目式的工程化實踐學(xué)習(xí)，學(xué)習(xí)者通過“做中學(xué)”吸收顯性的“編碼知識”并轉(zhuǎn)化為隱性的“默會知識”，在動手實踐中培養(yǎng)創(chuàng)新創(chuàng)造能力。創(chuàng)客學(xué)習(xí)以項目行動為導(dǎo)向，項目實踐結(jié)果并不能夠全面反映創(chuàng)客學(xué)習(xí)效果，對學(xué)習(xí)過程的評價同樣值得我們重視。基于學(xué)習(xí)分析理論框架，本研究嘗試構(gòu)建創(chuàng)客學(xué)習(xí)效果分析模型，利用創(chuàng)客在線學(xué)習(xí)平臺數(shù)據(jù)和項目實踐分布式成績，采用聚類分析算法量化創(chuàng)客學(xué)習(xí)效果，技術(shù)路線圖如圖2所示。

圖2 基于學(xué)習(xí)分析的創(chuàng)客學(xué)習(xí)效果評價技術(shù)路線

（一） 創(chuàng)客學(xué)習(xí)效果的分析模型

創(chuàng)客學(xué)習(xí)具有分散性、自發(fā)性、階段性等特點，學(xué)習(xí)者未必具有相同的專業(yè)背景，一般以小組為單位開展學(xué)習(xí)實踐活動，以某個或若干個項目任務(wù)為學(xué)習(xí)目標(biāo)。我們認(rèn)為，可以從學(xué)習(xí)者、學(xué)習(xí)參與特征、交互特點、認(rèn)知發(fā)展等方面設(shè)計學(xué)習(xí)分析模型，考察創(chuàng)客學(xué)習(xí)過程與分布式項目任務(wù)的完成情況，實時反映學(xué)習(xí)者的學(xué)習(xí)效果，為學(xué)習(xí)者改進學(xué)習(xí)、教師優(yōu)化教學(xué)提供參考建議。

（二） 創(chuàng)客學(xué)習(xí)效果的數(shù)據(jù)采集與處理

創(chuàng)客學(xué)習(xí)的過程是在工程化項目實踐中將知識學(xué)習(xí)與能力培養(yǎng)有機融合、互相促進的過程。根據(jù)現(xiàn)代信息加工心理學(xué)理論，創(chuàng)客學(xué)習(xí)的內(nèi)容可以分為陳述性知識、程序性知識和策略性知識。具體而言，陳述性知識是項目實踐中涉及的有關(guān)理論知識，要解決“為什么”“是什么”的問題；程序性知識是在實踐中的掌握的操作性知識，即對工程化項目“做什么”“怎么做”的認(rèn)知；策略性知識是靈活運用陳述性知識和程序性知識的技能所必備的知識，體現(xiàn)學(xué)習(xí)者學(xué)會學(xué)習(xí)和對工程化項目創(chuàng)新迭代的能力。為更好地采集學(xué)習(xí)分析數(shù)據(jù)，本研究借助在線學(xué)習(xí)平臺，并根據(jù)創(chuàng)客學(xué)習(xí)效果分析模型，將在線學(xué)習(xí)平臺的學(xué)情數(shù)據(jù)進行分類，加入教師對分布式項目執(zhí)行情況的打分?jǐn)?shù)據(jù)，編制了描述學(xué)習(xí)過程畫像的學(xué)習(xí)分析數(shù)據(jù)集（如表1所示）。在數(shù)據(jù)處理方面，把預(yù)處理后的學(xué)習(xí)分析數(shù)據(jù)分為四類，采用K-means聚類算法將每個學(xué)習(xí)者的學(xué)習(xí)數(shù)據(jù)按不同類別劃分為K個組，每個數(shù)據(jù)都從屬于距離最近的聚類中心。由于所有數(shù)據(jù)聚合為K個簇，若K值過大，每個簇中的數(shù)據(jù)偏少將不利于分析。一般而言，教學(xué)班級的人數(shù)大多在50～100人，將簇數(shù)量定為8個較合適。在每個簇內(nèi)，簇點的加權(quán)平均值為代表點數(shù)值，由此得到表征學(xué)習(xí)者學(xué)習(xí)效果的量化數(shù)據(jù)，對于學(xué)習(xí)者優(yōu)化學(xué)習(xí)和教師實施教學(xué)干預(yù)具有統(tǒng)計觀測與參考意義。

（三） 應(yīng)用前景

基于學(xué)習(xí)分析的創(chuàng)客學(xué)習(xí)效果評價將定性與定量分析相結(jié)合，擺脫了評學(xué)評教對學(xué)習(xí)結(jié)果的過度依賴，將學(xué)習(xí)過程評價納入學(xué)習(xí)效果量化評價，較好地回應(yīng)了教學(xué)過程評價與教學(xué)結(jié)果評價相統(tǒng)一的教改要求。對于學(xué)習(xí)者而言，學(xué)習(xí)分析抽取學(xué)習(xí)過程信息刻畫出學(xué)習(xí)者畫像，幫助其調(diào)整學(xué)習(xí)策略、優(yōu)化學(xué)習(xí)進程，實現(xiàn)學(xué)習(xí)過程監(jiān)控與預(yù)警，確保學(xué)習(xí)者順利完成學(xué)習(xí)任務(wù)。對于教師而言，學(xué)習(xí)分析能幫助教師洞察學(xué)習(xí)者個體和整體的知識理解、認(rèn)知調(diào)節(jié)、參與情況以及學(xué)習(xí)者之間組織配合等多方面信息，有助于教師優(yōu)化教學(xué)促進教學(xué)目標(biāo)實現(xiàn)。

表1 創(chuàng)客學(xué)習(xí)效果分析框架

四 結(jié)語

本研究系統(tǒng)梳理了學(xué)習(xí)分析理論研究進展和相關(guān)技術(shù)路線，在理論層面深入討論學(xué)習(xí)分析應(yīng)用于創(chuàng)客學(xué)習(xí)效果評價的技術(shù)路線。本研究從學(xué)習(xí)者、學(xué)習(xí)參與特征、交互特點和認(rèn)知發(fā)展等方面探索構(gòu)建了創(chuàng)客學(xué)習(xí)效果評價模型，采用K-means聚類分析方法處理學(xué)習(xí)分析數(shù)據(jù)，計算簇點加權(quán)平均值得到基于學(xué)習(xí)者分組的學(xué)習(xí)效果量化數(shù)據(jù)。在實證分析中，我們發(fā)現(xiàn)創(chuàng)客學(xué)習(xí)效果分析模型中各子模對結(jié)論的影響并不相同，需要以系統(tǒng)化視角分解各評價子模塊的權(quán)重準(zhǔn)則，可采用層次分析法按不同層次凝聚組合，形成一個多層次分析結(jié)構(gòu)模型。此外，本研究的實證分析工作還不夠充分，聚類分析算法參數(shù)K選取、聚類均值計算方法都是需要深入研究的問題。