黃琰 趙呈領 趙剛 劉軍 疏鳳芳 李紅霞


[摘 ? 要] 在指數增長的教育大數據中,挖掘抽象復雜的教育過程規律需要智能技術的加持。教育過程挖掘是通過建立完整、緊湊的教育過程模型,揭示教學活動規律,優化教育實踐的一種融合數據科學和過程科學的智能技術與方法。教育過程挖掘以研究框架為指導,可采用過程模型發現、一致性檢驗和過程模型增強三類場景中的關鍵技術和常用模型開展研究與實踐,助力發現學習行為模式、預測學習效果趨勢、改進教學評價反饋、提供教學決策支持和提升教育管理服務。教育過程挖掘發展亟須增強決策推薦與理論引領作用、探索深層次與多模態數據應用、優化算法以開發教育領域工具以及在各類新興教育領域進行推廣與創新。
[關鍵詞] 教育過程; 智能技術; 教育過程挖掘; 教育大數據
[中圖分類號] G434 ? ? ? ? ? ?[文獻標志碼] A
[作者簡介] 黃琰(1988—),女,貴州赤水人。講師,博士研究生,主要從事教育數據挖掘、在線教學研究。E-mail:hyan2016@163.com。趙呈領為通訊作者,E-mail:zhcling@mail.ccnu.edu.cn。
一、引 ? 言
智能教育作為我國人工智能發展規劃的重要組成部分,探索以大數據、物聯網感知、人工智能等為代表的智能技術與教育的深度融合。智能技術為提升學生學習體驗、輔助教師高效教學、助力教師發展與培養、提供精準評測和科學化的教學治理等提供了智能化教育環境和工具[1],為推動教育創新與變革帶來了新的機遇[2]。智能技術與教育的融合路徑不僅應強調借助智能技術解決教育問題,還應進一步從更廣闊的研究視角,通過跨領域合作共同探究教育問題本質[3]。
面對教育研究領域的眾多挑戰,需要從教育數據中提煉新知識和新模型。借助教育數據挖掘(EDM),通過分類、聚類、回歸、關聯、序列和偏差等識別模式,可以獲取對教學內容、教學資源、教學行為、教學結果等變量的描述性解釋,實現對教與學未來趨勢的預測[4]。但把握教育規律不僅需要關注教育細節,更需要對教育過程實現全局性分析。面對指數增長的教育大數據,大多數傳統的EDM技術缺少對數據整體性的關注,未能提供完整的教育過程可視化呈現方法[5]。如何改進技術以應對教育大數據的復雜性[6],怎樣運用教育大數據精準而全面地透析教育過程?教育過程挖掘(EPM)作為可以洞察教育過程全貌并支持教育過程改進的智能技術,或將成為這類重要問題的突破口。基于此,文章聚焦于EPM智能技術,從內涵、研究框架、應用案例、未來展望四個模塊,分析EPM在教育領域應用的現狀與趨勢,為推進數據密集型科學研究提供參考與借鑒。
二、教育過程挖掘的內涵
科學研究在數據爆發式增長的引領下正邁入“數據密集型”范式[7]。在教育領域,挖掘教育過程數據中的有效信息和核心價值是探索教育規律的重要依據,準確把握教育過程挖掘內涵是洞悉教育機理的關鍵。
(一)教育過程
教育過程(Educational Process,EP)是教育者和受教育者圍繞教育目標開展的雙向活動過程[8]。從時間上看,教育過程可以是一節課、一個知識點的教學時長,也可以涵蓋學生的所有學業記錄,或是一個地區的教育規劃階段,甚至可以是終生學習的整個時長[9]。從結構上看,教育過程是由教育要素、運行階段、教育事件等組成的復雜、有機系統,雜亂的教育事件中隱藏著有序的教育規律,是教學理論的現實表現。從特征上分析,教育過程是以提高學生認識和促進學生發展為中心,具有很強的教育目的性;是教學活動的延續與展開,具有生成性與發展性;是教育要素之間交互作用的變化和發展,具有必然性和規律性;是教育事件的變遷序列及其關系性集群,呈現出一定的無序性和不確定性[10]。因此,解析教育過程需要透過教育事件把握整體規律并理解其多重特征,同時發揮整體與部分的積極性,才能推動教育目標的實現。
(二)過程挖掘
過程挖掘(Process Mining,PM)的基本思想由Cook等人于1995年首次提出,最初目的是從軟件事件日志中自動發現過程模型[11]。1998年,Agrawal教授正式將其命名為過程挖掘[12],并將該技術引入業務過程管理領域。PM吸收了數據科學中的數據挖掘、統計學理論、數據庫和分布式系統等技術,同時結合了過程科學所包含的推理學、業務過程管理、并發理論、優化技術等方法,將“以數據為中心”的事件日志分析和“以模型為基礎”的過程分析進行融合,以過程全局性的視角為研究起點,以具備過程屬性的事件數據為研究對象,通過模型發現、合規性檢查、偏差探測、瓶頸檢測、預測執行和輔助過程再造等技術提取過程知識,并提供可視化技術以助于闡釋與改進實踐,已在商業、工程、醫療、物流等多個領域展開廣泛應用。
(三)教育過程挖掘
教育過程挖掘(Educational Process Mining,EPM)是以教育事件為研究對象,實現教育過程數據的提取、分析與可視化[13],通過建立完整、緊湊的教育過程模型,揭示教學活動規律,優化教育實踐的智能技術與方法。EPM作為一種面向過程的知識發現新技術,并非傳統方法的簡單混合。EPM直接借助教育事件日志自動生成完整且簡潔的教育過程模型[14],提高了復雜情境下教育過程模型的建模效率;EPM可以不依賴專家知識與經驗發現各種教學活動的真實軌跡,最大限度地減少建模過程中人為因素的干擾;與序列模式挖掘(SPM)、滯后序列分析(LAS)等相關技術有著一定的區別,這些技術適用于相對較短的重復行為序列和行為之間的關聯分析,而EPM以全局性過程觀為指導,不僅可以自動生成教育過程模型,還可以采用檢驗技術比較不同過程模型之間的差異,通過瓶頸查找改進過程模型并指導實踐,為科學把握教育規律帶來了巨大的潛能。因此,EPM拓展了教育數據挖掘(EDM)的邊界,或將成為突破當前教育研究困境的新契機。
三、教育過程挖掘研究框架
(一)研究框架
本文在繼承PM研究框架的基礎上[15-17],參考DIKW(Data、Information、Knowledge、Wisdom)層次結構模型[18],搭建了教育過程挖掘循環框架(如圖1所示)。
研究框架包括四個模塊:(1)教育世界,是多元化、多維度的復雜系統,學生處于教育世界的中心,既是教學活動設計的出發點,又是教育過程評價的落腳點,而教師為保障教學活動的有效進行提供設計、組織、提供、監督、評價等支持;(2)信息系統,是EPM的重要載體,提供支持教學交互行為的技術環境,記錄教育事件的技術平臺,分析學生基本情況的工具等;(3)事件日志,每個事件對應一個案例和活動,日志質量直接影響過程挖掘的實施與結果;(4)過程模型,是通過技術得到的過程性知識表征,為改進教育世界與教育信息提供充實的理論與實踐引導。
數據的轉換可分為四個環節:(1)數據收集,是探索教育規律的起點,所有的挖掘工作都是圍繞教育事件數據展開,如課程注冊行為、教師教學行為、學生學習痕跡、學生考試記錄、教學資源使用、教學人員配置等;(2)信息提取,將各類教育過程事件數據中的有效信息轉化為可直接分析的事件日志;(3)知識轉換,根據需求適配智能場景,實現事件日志與過程模型之間的信息轉換;(4)智慧應用,提煉過程性知識并修正教育信息系統,通過可視化模型呈現并指導教育實踐,進而改進教育世界。
(二)智能場景
1. 過程模型發現
過程模型發現(Process Model Discovery)包含EPM最基礎、最重要的技術,實現從事件日志中自動抽取有價值的客觀信息,構建完整而緊湊的教育過程模型[19-20]。過程模型發現又最具技術復雜性,需要以精準的算法為依托,并追求達到適合度、泛化度、精確度和簡潔度四個質量指標之間的平衡。
1995年,Cook教授等人針對順序序列的軟件過程發現,使用RNet、KTail 和Markov算法開始對過程挖掘進行探索[11]。Wil教授等人提出了α算法、啟發式挖掘和區域挖掘等算法[15,21-22],進一步為過程挖掘研究奠定了理論和實踐基礎。隨著相關研究的深入,涌現出了許多過程模型發現算法,包括模糊挖掘算法、遺傳挖掘算法、變遷系統挖掘算法等。
在算法構建過程模型的基礎上,還需要借助良好的表示模型向最終用戶呈現挖掘到的有效知識,如Petri網、工作流網(WF-net)、業務流程圖(BPMN)、模糊網、啟發式網等。其中,Petri網是由德國Petri博士于1962年提出[23],由于其具有簡單化圖形表達的特點和豐富的分析功能,能對并發、選擇和迭代結構進行建模,已成為使用頻率最高的表示模型之一。
2. 一致性檢驗
一致性檢驗(Conformance Checking)可以發現觀測行為與過程模型之間的共性和差異,量化和診斷偏差并篩選出離群值。一般采用兩種方法:(1)線性時態邏輯(LTL),將事件日志與一組由線性時態邏輯描述的需求進行比較[24],只需要定義標準屬性,適用于無模型參考的復雜情境;(2)一致性檢驗器,通過日志回放、狀態空間分析和結構分析來檢測度量模型與事件日志之間的契合度[25],可以評估過程模型所允許的行為,也可以評估過程模型的適合度、精度和結構。
3. 過程模型增強
過程模型增強(Process Model Enhancement),實現對已有教育過程模型的改進,進而指導教育實踐。其分析起點是一組事件日志和初始過程模型。主要分為兩種方式:(1)修復,指通過修改過程模型一小部分,使其能夠更好地平衡四個質量標準,比如:兩個教學活動在過程模型中為順序關系,但在現實教育過程中它們卻可以隨機發生,就需要對這兩個活動的執行語義進行調整;(2)擴展,通過給模型增加一個新的視角解釋教育過程,例如:資源視角,利用決策樹方法為資源建設與分配提供策略;組織視角,可結合社會網絡分析法(SNA)等可視化技術對教學角色或組織單元進行分析與聚類,實現對模型的拓展應用。
四、教育過程挖掘應用與實踐案例
智能技術如何讓數據在教學情境中真正發揮作用,提升教學問題分析的實效性,是突破當前教育發展瓶頸最關鍵的挑戰之一。通過多項理論分析與實踐探索,智能技術對教育應用產生了多維效應[1,26-27]。從已有實踐案例的研究來看,這種多維效應包含發現學習行為模式、預測學習效果趨勢、改進教學評價反饋、提供教學決策支持和提升教育管理服務五個維度(見表1)。
(一)發現學習行為模式
學習行為是推動學習有效發生的關鍵因素[50]。發現學習行為模式可以明晰學習過程的發生機制,有助于解密“學習黑箱”。Reimann等人關注教育研究領域中的方法論研究,提出了以創新理論解釋為目的的自我調節學習過程挖掘模式[51]。在此基礎上,Bannert等人對比高低分學生的自我調節學習過程模型,發現高分學生表現出更多規則性的深度加工學習行為,與自我調節學習、元認知理論提出的結論相吻合[28]。Trcka等人將學生的多門課程考試記錄轉換為事件日志,分析選修課程的學習路徑,比較學生實際參與課程學習的順序是否符合預先的課程設計規則[29]。另外,Bergenthum等人針對群體學習行為,提出了一種關注動態角色表示的學習流建模語言,通過小組協作活動的方式來關注群體學習[30]。Schoor和Bannert選擇CSCL為研究背景,使用模糊算法分別構建高分組與非高分組的協作學習過程模型[31]。Fernández-Gallego等人聚焦3D教育虛擬世界中的學習互動行為,借助Petri網解釋學生學習過程與規律[32]。由于虛擬世界的學習互動更頻繁、更不可控,學生在預設學習流程的基礎上會創新出新的學習行為,因此,選用一致性檢驗技術從眾多噪音數據中篩選行為路徑。隨著研究的推進,新的插件可以更好地解決過程探索重復、使用煩瑣等問題,Emond和Buffett采用過程探索插件(歸納視覺挖掘IVM)和序列分類技術(留一法交叉驗證LOOCV)構建學習過程并識別學生的技能水平,發現學生的實際學習過程與課程設計的半結構化過程存在差異[33]。
(二)預測學習效果趨勢
通過預測學習效果與發展趨勢,可以進一步優化學習內容、時間和方式,促進教育優化。基于不同層級和類型的教育過程事件數據,能夠反映學生學習效果的評價指標,實現對教育趨勢與走向的預測。Mukala等人采用模糊挖掘算法,提取學生在慕課中的學習行為模式,發現不成功學生的行為結構差且不可預測,而成功學生的學習行為序列總體相似,這類有規律的行為是影響學習效果的重要因素[34]。Vahdat等人進一步論證,模糊挖掘算法通過定義不同的粒度級別,可以實現對過程模型的抽象和簡化,可以檢測與學習過程無關的活動[35]。另外,學習任務的難度與學習成績呈負相關,學生交互行為的復雜性與該小組的最終平均成績呈正相關,都是預測成績的有效指標。Southavilay等人使用啟發式挖掘算法分析本科生的小組協作寫作過程,以及這些學習過程對最終產品的質量和語義特征的影響[36]。Doleck等人基于知識的發現方法,追蹤和理解醫學智能輔導系統中的學習者行為,獲取關于學生練習并掌握臨床診斷推理的連貫行為圖像,診斷不同階段的行為特征,以洞察學生進步的趨勢[37]。
(三)改進教學評價反饋
智能教育背景下的技術、方法和思維讓教學評價與教學反饋不再僅限于傳統的測試方式,評價對象也不再僅限于學生測試分數。學習過程、學習體驗、課程運行、師生互動、資源建設等環節都可以通過EPM開展多維度、全過程的評價與反饋,從而實現教學評價促發展這一根本目標。Pechenizkiy等人將過程發現、一致性檢查和績效分析等多種技術應用于在線多項選擇題測試數據的分析與評估,在把握學生答題行為整體規律與趨勢的基礎上給予評價反饋[38]。Reimann等人針對在線協作學習,使用啟發式算法,對在線互動聊天內容進行過程模型建模,評價不同小組的決策過程,進而提出改進意見[39]。Toth等人重點探索如何基于個體在問題解決中的表現行為,識別學生的學習困難與困境[40]。Sedrakyan等人提出一種針對解決復雜問題的學習者行為數據分析方法,通過構建一個語義上正確的概念模型,反映給定域描述的結構和動態視圖,改變傳統的結果反饋方式,為學生提供面向過程的、持續的學習反饋[41]。
(四)提供教學決策支持
對教育大數據進行過程挖掘,不僅有助于分析教育過程歷史數據,更有助于教育主管、學習顧問和教師改進教學決策,為學生提供教學支持。對此,Porouhan和Premchaiswadi使用多種EPM技術,對高、低績效組學生的協作學習過程進行分析,以提高教師對每個小組協作動態的認識[42]。Trcka和Pechenizkiy進一步提出課程挖掘框架假設,預定義一組模式模板,以便教育工作者在極其復雜的教學情境中發現存在的過程性問題,探索針對不同學習情境和學習群體的最有效教學支持[5]。針對課程培養方案,Wang和Zaiane使用有色Petri網將學生的課程學習路徑可視化,通過一致性檢驗發現學生偏離課程方案設計的特殊行為,幫助教師在了解學生行為的基礎上改進課程設計方案,并向學生推薦更恰當的課程[43]。針對大樣本數據,Schulte等人使用了20年里30萬名學生的600萬條課程注冊日志,通過EPM技術分析學位路徑問題,為在校學生提供了有效的課程路徑指導與建議,包括課程選修策略、課程要求與期望、所需投入程度等[44]。
相比學校教育,教育培訓機構為滿足學員的個性化需求,其課程設置與教學服務需更具靈活性。Ariouat等人試圖從一家全球咨詢公司的真實職業培訓數據庫中找出最佳培訓路徑[45]。在另一項研究中,Cairns等人使用一致性檢驗分析學員參與培訓過程與課程設計路徑之間的契合度,并使用執行時間、瓶頸和決策點等績效指標來增強培訓過程模型,探索了過程模型擴展技術在EPM中的適用性[20]。
(五)提升教育管理服務
通過集成教育系統中的各類管理與服務事件日志,EPM技術可以促進學籍管理、課程管理、學歷學位審核與管理、行政業務管理、網絡安全管理等工作的科學性與規范性,進一步優化學生擇校、就業、心理健康輔導等服務[52]。學籍管理涉及學生在校期間的所有復雜又瑣碎的事件數據,精準的學生學業過程報告是學生學籍管理科學高效的基本保障。對此,Ayutaya等人選擇使用具有較好穩健性的啟發式挖掘算法,應對學籍系統中日志數據的噪聲和異常情況,以準確解讀泰國大學生的在校學習過程[46]。Anuwatvisit等人使用一致性檢查器,檢測教學計劃與學生的實際選課情況之間的差異,并通過性能特征和業務規則對原有模型進行拓展[47]。針對培訓類課程管理,Cairns等人使用過程挖掘相關算法與社會網絡分析方法,從關鍵的性能指標中提煉典型的培訓模式,得到課程與培訓提供者之間的社交網絡,實現對專業培訓領域教育過程的監控和改善[48]。Poncin等人借鑒了軟件庫和過程挖掘相關研究方法,對多個軟件庫提取的事件日志進行分析,通過過程模型構建與可視化,實現對美國高校綜合特色課程“頂點項目”的優化管理[49]。
五、教育過程挖掘發展趨勢
教育過程挖掘作為一種可洞察教育過程全貌并支持教育過程改進的智能技術,從教學活動的過程全局性視角為大規模教育數據研究提供了新契機,在教育領域中已涌現出多項研究成果。作為一個新興領域,EPM教育應用雖顯現出一些問題,但仍有極大的發展前景。
(一)應用導向:增強決策推薦與理論引領作用
一方面,借助EPM技術可以為改進教育實踐提供決策推薦。例如:為學習者提供最佳課程單元或學習路徑建議,Bannert等人指出,為學習者提供易讀的操作提示比單獨呈現過程模型更具指導作用[28];Cairns等人進一步提出將決策推薦增設為EPM第四類場景,強調了決策推薦在EPM研究中的重要性[48]。但目前大部分實證研究還停留在技術篩選與模型構建階段[20,43]。智能教育的發展重心應落腳于教育,而非技術。應該加強教育基礎研究和理論構建,更應該以創建理論解釋和發展教學理論為價值導向[9]。另一方面,教育過程是教育理論的基本范疇,教育過程的解讀需要以教學理論為基礎,以教學活動發生的情境為背景,用理論指導技術應用[1]。因此,EPM不僅應捕獲過程事件中的客觀模型,實現對教育過程的直接跟蹤,理解教學活動的發生機制,還需為教學改進提供決策推薦,更需要重視理論引領的作用,并為教學理論發展提供支持。
(二)數據驅動:探索深層次與多模態數據應用
數據密集型科學研究中,學者大多聚焦于如何提升挖掘“海量數據”中有效信息的方法探究,缺少對“深度數據”的探索。EPM教育應用中的研究對象大多是易觀察到的單通道行為數據,如鼠標點擊[47]、考試成績[29]或寫作文檔[36]。Reimann等人基于現代科學哲學觀的批判主義觀點指出,在復雜教學環境中,學習行為是影響學習成效的關鍵因素,但并不是唯一因素[51]。將EPM作為唯一的方法論工具,僅依靠事件日志推導教學結論或理論趨勢存在一定的研究局限性。越來越多的認知科學和神經科學研究表明,理解復雜的教育過程需要從多角度、多層面進行探索。可以借鑒經典的信息處理與統計方法分析顯性行為,并關注感知和體驗的內隱性情境認知數據[53],例如:在沉浸式虛擬環境中,學生的學習認知和非認知行為,同一時間發生的身體和大腦反應,包括操作行為、眼球追蹤、腦電活動、皮膚電反應等。因此,多模態數據逐漸成為洞察教育過程規律的新范式,并推進EPM教育應用向真正全面、客觀、自動地挖掘教育過程規律進一步邁進。
(三)技術創新:優化算法以開發教育領域工具
“以事件為中心”的EPM算法不同于“以數據為中心”的EDM算法,并非是現有方法的簡單混合與變換,需要不斷地進行優化,以更好地應對越來越復雜的教育過程事件。現有的EPM教育應用中,模糊挖掘算法和啟發式挖掘算法使用頻率較高,這兩種算法可以較好地平衡過程模型的四個質量指標,能避免結構龐大、邏輯雜亂的意大利面模型。但隨著智能技術的不斷發展,相關算法的應用門檻將越來越高,且與具體的業務場景關聯度較低,很大程度上影響了技術的推廣與發展。因此,算法需要以面向用戶的工具為依托,將技術封裝于工具底層,為上層應用提供服務,才能更好地為各個實踐領域提供支持與保障。ProM作為一個開源的、可拓展的工作環境,雖已匯聚了上百種實用插件,成為最常用的工具。但ProM在處理特殊的教育事件日志時存在盲區,例如:(1)概念漂移,課程在不同學期變換了名稱;(2)學生下線,自學行為發生在線下環境;(3)數據隱私,學生信息的權限保護等[54]。對此,開發針對教育領域研究的專用插件,持續改進智能算法是推進教育科學研究的充分必要條件,這樣才能使教育過程挖掘更加有效和高效。
(四)領域拓展:各類新興教育領域的推廣創新
海量的教育數據蘊藏著巨大的應用價值,數據驅動學習分析,智能技術變革教育[1]。EPM不僅側重于從教育事件日志中提取有價值的過程知識,還可以通過過程模型優化教育實踐。目前,EPM教育應用涵蓋的學段包括基礎教育、高等教育和職業培訓,分析的對象包括學生學習行為、小組寫作文檔、在線考試成績、學業選課記錄等,涉及的領域包括慕課、在線評估、游戲學習、3D教育虛擬世界等。隨著教育需求的不斷發展,新興的技術環境創新出更多教育實踐領域,如智能導學、人工智能學伴、“區塊鏈+教育”、虛擬助手、智能校園管理等,將EPM應用到各類新興教育實踐領域,才能推動技術與應用的雙向創新,為教育改革提供有效參考。
六、結 ? 語
教育過程挖掘最初的切入點是以數據驅動為視角,通過采集與分析學習行為事件,提煉出學習流程的描述性與預測性模型。但隨著教育需求的轉變與增長,教育過程挖掘不再只是一種數據挖掘算法,越發凸顯出智能化的屬性與特征,已在教育評價、教育服務和教育管理等方面涌現出一定數量的個性化、情境化支撐研究,極大地拓展了教育數據挖掘的邊界。
在“智能教育”戰略性發展道路上,教育過程挖掘智能技術注重整體性、差異性、實踐性與創新性的知識挖掘與實踐改進,可以較好地應對教育大數據的復雜性,實現對教育規律、教育本質與教育價值的科學把握。教育過程挖掘為教育過程提供智能化的教學支持與服務,為實現技術與教育的深度融合,進一步顛覆教育模式并推動智能教育生態體系創新[55],對教育真正的轉型與變革帶來更多可能。
[參考文獻]
[1] 嚴曉梅,高博俊,萬青青,尹霞雨.智能技術變革教育的發展趨勢——第四屆中美智慧教育大會綜述[J].中國電化教育,2019(7):31-37.
[2] 趙婀娜.國際人工智能與教育大會閉幕,形成《北京共識》[N].人民日報,2019-05-19(02).
[3] CHAD L H, GORDON M, LOOI C, et al.The next 25 years:how advanced interactive learning technologies will change the world[J]. International journal of artificial intelligence education,2016, 26:539-543.
[4] 任慶東,王璐璐. 通過教育數據挖掘和學習分析促進教與學[J]. 自動化與儀器儀表, 2016(10): 193-194.
[5] TRCKA N, PECHENIZKIY M. From local patterns to global models: towards domain driven educational process mining[C]//2009 Ninth International Conference on Intelligent Systems Design and Applications. Piscataway: IEEE, 2009: 1114-1119.
[6] 鄧仲華,李志芳. 科學研究范式的演化——大數據時代的科學研究第四范式[J]. 情報資料工作, 2013, 34(4): 19-23.
[7] BELL G, HEY T, SZALAY A. Beyond the data deluge[J]. Science, 2009, 323(5919): 1297-1298.
[8] 柳海民. 教育原理[M]. 長春:東北師范大學出版社,2000.
[9] 黃平,李太平.教育過程的界定及其生成特性的詮釋[J].教育研究,2013,34(7):18-27.
[10] 郭元祥.論教育的過程屬性和過程價值——生成性思維視域中的教育過程觀[J].教育研究,2005(9):3-8.
[11] COOK J,WOLF A. Automating process discovery through event- data analysis[C]//Proceedings of the 17th International Conference on Software Engineering.New York:ACM,1995:73-82.
[12] AGRAWAL R, GUNOPILOS D, LEYMANN F. Mining process models from workflow logs[C]//Proceedings of 6th International Conference on Extending Database Technology. Berlin: Springer,1998: 469-483.
[13] MUKALA P, BUIJS J C A M, VAN DER AALST W M P. Uncovering learning patterns in a mooc through conformance alignments[J]. BPM reports, 2015, 1509: 1-20.
[14] 鄧璐娟,董東曉,陳欣欣. 過程挖掘技術的研究與應用[J]. 微型機與應用, 2017, 36(18): 11-14.
[15] VAN DER AALST W M P. Process mining: discovery, conformance and enhancement of business processes[M]. Berlin: Springer, 2011.
[16] VAN DER AALST W M P. Business alignment: using process mining as a tool for Delta analysis and conformance testing[J]. Requirements engineering, 2005, 10(3):198-211.
[17] DE MEDEIROS A K, WEIJTERS A J, VAN DER AALST W M P, et al. Genetic process mining: an experimental evaluation[J]. Data mining and knowledge discovery, 2007, 14(2): 245-304.
[18] ROWLEY J. The wisdom hierarchy: representations of the DIKW hierarchy[J]. Journal of information science, 2007, 33(2): 163-180.
[19] 黃黎,譚文安. 支持復雜社會網絡演化的過程挖掘技術綜述[J]. 計算機工程與應用, 2017, 53(16): 18-28.
[20] CAIRNS A H, GUENI B, ASSU J, et al. Analyzing and improving educational process models using process mining techniques[C]//IMMM 2015 Fifth International Conference on Advances in Information Mining and Management. Wilmington: IARIA XPS Press, 2015: 17-22.
[21] VAN DER AALST W M P, ADRIANSYAH A A, DE MEDEIROS A K, et al. Process mining manifesto[C]// Lecture Notes in Business Information Processing. Berlin: Springer, 2012: 169-194
[22] VAN DER AALST W M P, SCHONENBERG M H, SONG M. Time prediction based on process mining[J]. Information systems, 2011, 36(2): 450-475.
[23] PETRI C A. Kommunikation mit automaten(bonn) trans[D].Germany: University of Bonn, 1962.
[24] VAN DONGEN B F, DE MEDEIROS A K, VERBEEK H M, et al. The prom framework: a new era in process mining tool support[C]//Aapplications and Theory of Petri Nets. Berlin: Springer, 2005: 444-454.
[25] ROZINAT A, VAN DER AALST W M P. Conformance testing: measuring the fit and appropriateness of event logs and process models[C]//International Conference on Business Process Management. Heidelberg: Springer, Berlin, 2005: 163-176.
[26] 胡弼成,王祖霖. “大數據” 對教育的作用, 挑戰及教育變革趨勢——大數據時代教育變革的最新研究進展綜述[J]. 現代大學教育, 2015(4): 98-104.
[27] 牟智佳,俞顯,武法提. 國際教育數據挖掘研究現狀的可視化分析: 熱點與趨勢[J]. 電化教育研究, 2017, 38(4): 108-114.
[28] BANNERT M, REIMANN P, SONNENBERG C, et al. Process mining techniques for analysing patterns and strategies in students' self-regulated learning[J]. Metacognition and learning, 2014, 9(2): 161-185.
[29] TRCKA N, PECHENIZKIY M, VAN DER AALST W M P. Process mining from educational data[M]//Handbook of educational data mining. London: CRC Press, 2010:123-142.
[30] BERGENTHUM R, DESEL J, HARRER A, et al. Modeling and mining of learnflows[M]//Transactions on petri nets and other models of concurrency V. Berlin: Springer, 2012: 22-50.
[31] SCHOOR C, BANNERT M. Exploring regulatory processes during a computer-supported collaborative learning task using process mining[J]. Computers in human behavior, 2012, 28(4): 1321-1331.
[32] FERN?魣NDEZ-GALLEGO B , LAMA M, VIDAL J C, et al. Learning analytics framework for educational virtual worlds[J]. Procedia computer science, 2013, 25: 443-447.
[33] EMOND B, BUFFETT S. Analyzing student inquiry data using process discovery and sequence classification[C]//International Educational Data Mining Society. Madrid: ERIC, 2015 :412-415.
[34] MUKALA P, BUIJS J C, LEEMANS M, et al. Learning analytics on coursera event data: a process mining approach[C]//Proceedings of the 5th International Symposium on Data-driven Process Discovery and Analysis. Aachen:CEUR-WS.org, 2015(1527): 18-32.
[35] VAHDAT M, ONETO L, ANGUITA D, et al. A learning analytics approach to correlate the academic achievements of students with interaction data from an educational simulator[C]//10th European Conference on Technology Enhanced Learning. Berlin: Springer, 2015: 352-366.
[36] SOUTHAVILAY V, YACEF K, CALVO R A, et al. Process mining to support students' collaborative writing[C]// The 3th International Conference on Educational Data Mining. Pittsburgh: Educationaldatamining.org,2010: 257-266.
[37] DOLECK T, JARRELL A, POITRAS E, et al. Examining diagnosis paths: a process mining approach[C]// 2016 Second International Conference on Computational Intelligence & Communication Technology. Piscataway: IEEE, 2016: 663-667.
[38] PECHENIZKIY M, TRCKA N, VASILYEVA E, et al. Process mining online assessment data[C]// The 2nd International Conference on Educational Data Mining. Córdoba: Educationaldatamining.org, 2009 (1): 279-288.
[39] REIMANN P, FREREJEAN J, THOMPSON K, et al. Using process mining to identify models of group decision making in chat data[C]// CSCL'09: Proceedings of the 9th International Conference on Computer Supported Collaborative Learning. New York: ACM, 2009: 98-107.
[40] T?魷TH K, R?魻LKE H, GOLDHAMMER F, et al. Educational process mining: new possibilities for understanding students' problem-solving skills[M]//Educational research and innovation. Paris: OECD, 2017 : 193-209.
[41] SEDRAKYAN G, DE WEERDT J, SNOECK M. Process-mining enabled feedback:"tell me what I did wrong" vs."tell me how to do it right"[J]. Computers in human behavior, 2016, 57: 352-376.
[42] POROUHAN P , PREMCHAISWADI W . Process mining and learners' behavior analytics in a collaborative and web-based multi-tabletop environment[J]. International journal of online pedagogy & course design, 2017, 7(3):29-53.
[43] WANG R, ZAIANE O R. Discovering process in curriculum data to provide recommendation[C]//The 8th International Conference on Educational Data Mining. Madrid : Educationaldatamining.org, 2015: 580-581.
[44] SCHULTE J, DE MENDONCA P F, MARTINEZMALDONADO R, et al. Large scale predictive process mining and analytics of university degree course data[C]//LAK '17: Proceedings of the Seventh International Learning Analytics & Knowledge Conference. New York: ACM, 2017: 538-539.
[45] ARIOUAT H, CAIRNS A H, BARKAOUI K, et al. A two-step clustering approach for improving educational process model discovery[C]// 25th IEEE International Conference on Enabling Technologies: Infrastructure for Collaborative Enterprises. Piscataway: IEEE , 2016: 38-43.
[46] AYUTAYA N S, PALUNGSUNTIKUL P, PREMCHAISWADI W, et al. Heuristic mining: adaptive process simplification in education[C]//2012 Tenth International Conference on ICT and Knowledge Engineering. Piscataway: IEEE, 2012: 221-227.
[47] ANUWATVISIT S, TUNGKASTHAN A, PREMCHAISWADI W, et al. Bottleneck mining and Petri net simulation in education situations[C]//2012 Tenth International Conference on ICT and Knowledge Engineering. Piscataway: IEEE, ?2012: 244-251.
[48] CAIRNS A H, GUENI B, FHIMA M, et al. Towards custom-designed professional training contents and curriculums through educational process mining[C]// IMMM 2014: The Fourth International Conference on Advances in Information Mining and Management. Wilmington: IARIA XPS Press, 2014: 53-58.
[49] PONCIN W, SEREBRENIK A, VAN DEN BRAND M, et al. Mining student capstone projects with FRASR and ProM[C]// Proceedings of the ACM International Conference Companion on Object Oriented Programming Systems Languages and Applications Companion- OOPSLA '11. New York: ACM, 2011: 87-96.
[50] WINNE P H. Improving measurements of self-regulated learning[J]. Educational psychologist, 2010, 45(4): 267-276.
[51] REIMANN P, MARKAUSKAITE L, BANNERT M. e-R esearch and learning theory: what do sequence and process mining methods contribute? [J]. British journal of educational technology, 2014, 45(3): 528-540.
[52] 張燕南. 大數據的教育領域應用之研究[D]. 上海:華東師范大學,2016.
[53] BARSALOU LAWRENCE W. Grounded cognition[J]. Annual review of psychology, 2008, 59(1):617-645.
[54] BOGARIN A, CEREZO R, ROMERO C, et al. A survey on educational process mining[J]. Wiley interdisciplinary reviews-data mining and knowledge discovery, 2018, 8(1): 1-17.
[55] 黃榮懷,周偉,杜靜,孫飛鵬,王歡歡,曾海軍,劉德建.面向智能教育的三個基本計算問題[J].開放教育研究,2019,25(5):11-22.