融合學習過程特征的深度知識追蹤方法

(浙江工業大學 教育科學與技術學院,浙江 杭州 310023)

隨著人工智能技術的飛速發展,在線學習進入領域垂直細分、方式豐富多樣、資源開放共享以及內容供給智能的全新時代。個性化的在線學習關注學生的認知水平、學習表現等特征,旨在搭建智能化、個性化的教育平臺,科學有效地對學生的知識掌握狀態進行追蹤,挖掘學生知識薄弱點,為學生制定個性化學習的路徑。在知識掌握狀態不斷更新的過程中,知識追蹤(Knowledge tracing,KT)根據學習者學習表現、認知風格等進行建模[1]。隨著在線教育的發展,運用智能技術處理大規模數據成為必然趨勢,優化算法預測學習偏好,借助深度學習跟蹤動態人臉,獲取用戶表現等成為近年來熱點研究問題[2-4]。基于神經網絡的深度學習是可以有效提升知識追蹤預測精度的重要工具。基于深度學習的知識追蹤能夠處理學習過程中動態和靜態的學習者多維度特征,借助記錄當前學習者狀態和知識點關系形成記憶網絡。基于深度學習的知識追蹤模型與記憶矩陣模擬學習者的整個學習過程,學習者可以沉浸于實時監督的學習訓練中,因此深度學習成為個性化在線學習中知識追蹤的重要工具。筆者利用在線學習過程中的多維特征,基于學習過程答題交互進行建模,結合人工智能技術以優化深度知識追蹤方法,探索和解決在線學習領域知識追蹤技術難題,以期提升在線學習者學習效率。

1 知識追蹤方法概述

知識追蹤技術是根據學習者歷史的答題情況對學習者的知識掌握情況進行建模,從而得到學習者當前的知識狀態。Ai等[5]首先提出此概念,并將知識追蹤描述成一個時序建模問題,以預測學習者未來的學習表現[6]。知識追蹤形式化描述:根據學習者在學習活動中的答題歷史記錄Xt={x1,x2,…,xt},預測該學習者在下一次答題xt+1的表現,其中xt={qt,at},表示學習者在t時刻回答問題qt的結果為at。為了實現對學習者知識狀態的精確分析,許多技術正被廣泛應用于知識追蹤研究領域,主要分為基于概率圖的知識追蹤方法和基于深度學習的知識追蹤方法。

1.1 基于概率圖的知識追蹤方法

基于概率圖的知識追蹤方法需要手工標注學習過程中的各項參數再進行模型訓練,典型的應用方法有:貝葉斯知識追蹤(Bayesian knowledge tracing,BKT)、基于Rasch模型擴展的性能因素分析(Performance factors analysis,PFA)以及學習因素分析(Learning factors analysis,LFA)等。BKT模型將學習者知識狀態建模為一組二元變量,變量一為學習狀態是潛變量,變量二為答題結果是觀察變量[7]。

BKT模型沒有考慮學習者遺忘因素、知識之間的關系等問題,因此預測精度不高。為提升BKT模型的預測性能,有學者將知識層級關系、學習者先驗知識估計以及題目難度估計等多維特征因素融入到BKT模型中[8],如李曉光等[9]融合學習過程中的眾多特征優化了BKT模型;葉艷偉等[10]探究了學生遺忘因素和數據量對BKT模型預測的影響;Kaser等[11]利用動態貝葉斯網絡將知識點進行關聯提高了預測精度。而PFA和LFA方法利用動態概率模型并根據學習者的題目作答情況進行知識追蹤,不斷更新學習者對每個知識概念的掌握程度[12]。PFA和LFA都是評估多知識點的模型,能較好地解決多知識點追蹤問題,但未考慮學習者知識狀態是動態變化的,因此預測精度也較低。整體上,基于概率圖的知識追蹤方法都需要手動標注知識點,預測精度依賴教學者的先驗教學經驗,精準獲取學習者知識狀態的自動化程度較低。為了提高知識追蹤性能,研究者通過結合概率圖和認知診斷技術的方法提升預測精度[13]。其中項目反應理論(Item response theory,IRT)是最常見的練習測驗認知診斷技術,該理論基于學生的能力水平θ和項目的難度水平βj,輸出學生正確回答問題j的概率P(a),概率由一個項目反應函數來定義,通過習題難度來評估學習者對知識點的掌握能力。

1.2 基于深度學習的知識追蹤方法

基于深度學習的知識追蹤(Deep knowledge tracing,DKT)不需要豐富的先驗教學經驗和大量手工標記,便可以對學習者知識狀態進行建模,其對學習者的知識追蹤效果已被證明優于傳統知識追蹤方法,因此已成為主流的知識追蹤方法[14]。

DKT使用獨熱編碼方式將學習者的答題交互歷史(qt,at)轉換成固定長度的輸入向量xt,轉換后將xt傳遞到隱藏層,并使用長短期記憶(Long short-term memory,LSTM)單元計算隱藏狀態ht,隱藏層包含了學習者學習過程中所有答題信息,因此隱藏層可以理解為學習者的知識狀態層。進而,這個知識狀態被傳遞到輸出層以計算輸出向量yt,yt表示正確回答下一道題目的概率,由于DKT得到的所有知識狀態信息都儲存在隱藏層中,所以教學者難以獲得學習者的知識狀態具體信息。Zhang等[15]提出了利用動態鍵值存儲網絡(Dynamic key-value memory networks,DKVMN)來解決上述兩個問題,并取得了較好的效果,DKVMN利用記憶增強神經網絡中的注意機制,將知識點(靜態鍵記憶)與知識狀態(動態鍵記憶)相關聯,進而通過計算題目的知識點構成和知識狀態向量來計算知識狀態,其中動態鍵記憶矩陣隨著學習者答題交互不斷更新;Ai等[5]指出DKVMN模型不僅可以避免過度擬合,而且能精確地發現輸入題目的知識構成。也有學者通過將DKT技術與其他技術相結合來提高知識追蹤的性能,如馬驍睿等[16]通過結合協同過濾算法重復利用學習者之間的特征信息,提出DKT-CF方法提高知識追蹤預測精度;Wang等[17]利用題目之間的特征關系和知識點的聯通關系設計了DKTS方法,有效地提升了知識追蹤方法的服務性能。

由于在線學習過程通常是學習者經過系列學習操作再進行答題,而當前知識追蹤研究忽略學習過程,僅對答題交互進行建模,缺乏對知識追蹤模型訓練要素的深入研究,預測精度和可解釋性仍有進一步提升的空間。筆者嘗試使用特征選擇算法確定知識追蹤模型最佳特征集,在深度知識追蹤模型中融合學習過程動態和靜態的多維特征,來兼顧知識追蹤模型優化的預測精度和可解釋性,提出融合學習過程多維特征的知識追蹤優化方法。

2 問題描述與方法框架

2.1 問題描述

知識追蹤是根據學習者的歷史學習軌跡自動追蹤知識狀態的變化,預測學習者在未來學習過程中知識點掌握情況。筆者的知識追蹤模型將學習者一次答題交互描述為Ri={si,qi,ri,bi},其中bi為學習行為序列,且提出的模型考慮學習者靜態特征和題目特征對學習者答題的影響。由于考慮的特征維度較多,需要知識追蹤方法能夠挖掘學習平臺收集的歷史學習數據,并進行有效地分析和處理,具體如圖1所示。圖1中,輸入層作為知識追蹤的基礎,包括學習者的學習行為序列、題目特征以及學習者靜態特征信息,在該層中對學習過程描述是否準確直接影響預測精度;隱藏層則是知識追蹤模型訓練的過程,即學習者知識狀態更新過程,其通常難以被讀取,因此該層構造的合理與否決定了知識狀態能否被實時輸出并應用到實際教學活動中;輸出層是計算出學習者答題正確的概率即知識狀態,輸出的結果與學習者實際答題結果一致性越高,則說明知識追蹤服務性能越好。

圖1 知識追蹤問題描述Fig.1 Knowledge tracking problem description

2.2 融合學習過程多維特征的深度知識追蹤方法框架

融合學習過程多維特征的知識追蹤方法包括數據組成、知識追蹤優化方法論和知識追蹤模型3部分,如圖2所示。數據可簡單理解為由答題歷史和其他數據兩部分組成;知識追蹤優化方法論包含了數據挖掘方法和對深度知識追蹤模型的改進方法,從挖掘多維特征和特征融合兩方面進行模型優化,提高模型的可解釋性和預測精度;知識追蹤模型,主要是在動態鍵值對網絡模型的基礎上進行優化,來保證所提方法的服務性能、可讀性以及可解釋性。

圖2 融合學習過程特征的知識追蹤框架Fig.2 Knowledge tracking framework incorporating learning process features

3 深度知識追蹤模型優化設計

3.1 Post-hoc視角下學習過程特征選擇方法

深度知識追蹤與其他機器學習模型均存在可解性弱的問題,Lu等[18]指出可解釋性可以分為Ante-hoc和Post-hoc兩種視角。由于學習過程的復雜性,大多采用Post-hoc的角度進行可解釋性分析。該方法基于已有研究和在線學習平臺多元化數據屬性的特征,以Post-hoc全局解釋為視角,從學習過程眾多特征中探尋影響學習結果的多維特征[19],并利用特征選擇模型去除冗余特征以完成模型的輸入組成,為知識狀態解釋提供數據分析支撐,簡稱BORUTA特征選擇方法。

為了從數據集中挖掘出相關性強的特征和數據,通過BORUTA特征選擇方法來實現此目標,BORUTA特征選擇方法過程如圖3所示[20]。在BORUTA特征選擇方法中,為保證特征篩選的可靠性,首先將原始特征順序打亂以增加隨機性,打亂后的特征集(陰影特征)作為新特征添加到數據集中;然后使用隨機森林評估每一個特征的重要性,在算法每次迭代時都會計算真實特征是否比陰影特征具有更高的重要性,以剔除無關特征;最后當所有特征得到標記重要或不重要,或算法達到隨機森林運行的規定閾值,算法終止。設計Post-hoc視角下BORUTA特征選擇方法挖掘出與學習結果相關度大的候選特征不僅可以減少深度學習訓練的工作量,而且為模型的可解釋性提供了有效保障。在線學習數據中既包含了學習者靜態特征數據,也涵蓋了資源數據和其它學習過程歷史數據,因此數據集中會存在許多無關特征。所以在實際數據處理的過程中還需要對數據進行清洗,使模型的預測效果更加準確和高效。

圖3 BORUTA特征選擇方法Fig.3 BORUTA feature selection method

3.2 融合學習過程多維特征的深度知識追蹤模型設計

由于DKVMN有良好的拓展性,核心研究工作是在DKVMN模型基礎上進行優化設計。將處理過的數據作為模型的輸入和輸出,在模型的輸出位置構建學習行為序列特征網絡、學習者靜態特征網絡以及題目特征網絡,將優化方法融入DKVMN框架中,提出了深度知識追蹤優化方法DKVMN-BORUTA,具體如圖4所示。

圖4 融合多維特征的深度知識追蹤模型Fig.4 A deep knowledge tracking model incorporating multi-dimensional features

3.2.1 計算知識概念權重

題目的獨熱編碼通過構建題目的Embedding矩陣,獲得其Embedding的向量表示,計算式為

(1)

按照式(1)計算題目的知識概念權重,首先將t時刻學習者遇到的問題q與一個已經訓練好的Embedding矩陣A相乘,得到向量kt;然后將kt通過Softmax計算,得到注意力向量wt。

3.2.2 多維特征融合

DKVMN易拓展的優點為學習過程多維特征的融入提供條件。首先利用每個概念的知識狀態來計算學習者的能力。具體來說,當DKVMN模型接收到一條學習記錄時,將對學習者特征向量ft產生影響,因為ft是讀向量rt和嵌入向量kt融合得到的結果,所以它既包含學習者對題目qt的知識狀態信息,也包含qt的嵌入信息。通過神經網絡處理傅立葉變換,可以用來推斷學習者在題目qt上的能力。同樣,題目qt的難度水平也可以通過將題目的嵌入向量kt傳遞給神經網絡來獲得。

基于注意力權重wt,DKVMN模型可以通過以下過程預測學習者正確回答題目qt的概率pt:

(2)

2) 將BORUTA特征通過Embedding矩陣處理得到向量表示,并與題目內容特征向量vt進行Embedding矩陣拼接。對學習者靜態特征lt和題目特征向量mt進行拼接,將學習行為序列特征作為調節因子bit,計算式為

(3)

式中:?為Sigmoid激活函數;bit=Sigmoid|bt|。bt的具體計算方法:挖掘出的有效學習行為是看學習視頻和討論區討論,則學習行為序列特征向量為(學習視頻,討論),若學習者先看學習視頻再打開討論區討論,然后又看了學習視頻再進行答題,則這個學習者學習行為序列為bt=(2,1)。總體向量融合了學習者當前知識狀態、當前題目內容特征和BORUTA的特征集。

3.2.3 知識狀態矩陣更新

et=Singmoid(Wev+t)

(4)

at=tanh(Wavt+t)

(5)

式中:We為擦除權重;Wa為添加權重;t為學習者做題時間離散化值。最終經過先“擦除”后更新的過程,學習者的知識狀態動態更新過程表達式為

(6)

模型優化目標是模型對學習者答題的預測結果pt與答題的真實值at之間的差異最小化,二者的交叉損失函數值要最小。模型采用動量梯度下降法來進行優化,實現對模型高效訓練,計算式為

L=-∑t[atlogpt+(1+at)log(1-pt)]

(7)

4 結果與討論

通過在公共數據集和實際教學中開展實驗,驗證融合學習過程多維特征的知識追蹤方法有效性、可解釋性和實際應用效果。

4.1 公共數據集實驗與結果討論

各方法在各數據集上的AUC值如表1所示。對于公共數據集,使用了Zhang等[15]提供的經過處理的數據,表1描述了這些數據集的相關信息。在知識追蹤領域研究工作中均使用AUC(Area under curve)作為評價指標,且AUC作為性能度量在機器學習領域憑借其優越的性質受到廣泛的關注,因此通過AUC值來評價知識追蹤方法性能的優劣[21]。在模型實現過程中,使用Adam優化器進行訓練,所有數據集均按照7∶3進行訓練集與測試集的切分,所有模型均訓練10次。實驗是在NVIDIA1080 Ti GPU的環境中基于tensorflow和keras實現表中的知識追蹤方法。

表1 4個數據集及AUC值Table 1 Four data sets and AUC values

由表1可知:筆者提出DKVMN-BORUTA模型的AUC值在4個公共數據集上遠優于貝葉斯知識追蹤模型,也優于其他兩種深度知識追蹤模型,說明設計的DKVMN-BORUTA有更好的性能。一方面,DKVMN-BORUTA融入的多維特征彌補了傳統知識追蹤模型對學習過程簡單的數理邏輯建模問題,能夠更好地模擬學習者的真實狀態;另一方面,學習過程中的多維特征融入DKVMN模型后能夠更好地評估學習者的知識狀態。由于公共數據集難以驗證融合學習過程多維特征知識追蹤模型的可解釋性和支撐實際教學中的作用,因此選擇實證研究進一步驗證分析。

4.2 實證研究與結果討論

收集了浙江某高校2020年3—6月C語言moodle平臺課程數據,共9 000次答題記錄。數據集包含了學生詳細的學習記錄、學生信息和學習資源信息,具體數據信息如表2所示。

表2 浙江某高校2020年3—6月C語言在線課程數據Table 2 Data of C language online courses in a university in Zhejiang from March to June 2020

利用收集的數據集對DKVMN-BORUTA進行訓練。該課程的練習題目均由擁有多年教學經驗的老師編寫,題目包括判斷、單選和多選3種題型。題目設置充分參照項目反應模型,具備較好的區分度,不存在題目過于簡單或者過難的現象,該題目集下知識點掌握率低于0.4被認為是未掌握該知識點。研究者和授課教師在6月課程結束時向部分學習者提供該課程中各知識點掌握情況,向部分學習者提供知識狀態的同時還提供學習支持服務建議。實證研究結果如表3所示。

表3 實證研究結果Table 3 Results of empirical study

由表3可知:在數據總量較少的情況下,筆者設計的深度知識追蹤優化方法在預測性能上有較大優勢,在AUC值、ACC值和MSE值上均領先于其他知識追蹤方法,這說明設計的知識追蹤方法能充分利用學習過程多維特征更好的模擬學習者答題狀態。

為了驗證所提出的知識追蹤方法有良好的可讀性,隨機抽選一名學習者A并輸出其回答涵蓋知識點題目的具體掌握情況,該學習者學習過程中的知識狀態變化過程如圖5所示。圖5中,橫坐標為答題序號;縱坐標為掌握程度,數值越大,掌握程度越強。

圖5 學習者A的知識狀態變化過程Fig.5 The process of knowledge state change of learner A

同時,為了驗證該方法能否有效幫助學習者找出薄弱知識點并達成個性化學習目標,對學習者開展了對照組實驗。將學習者劃分為3組,對照組A為不給學習者提供知識狀態信息,不為其提供精準教學支持服務;對照組B為學習者提供知識狀態信息,不為其提供精準教學支持服務;實驗組C為既提供知識狀態信息,也提供精準教學支持服務。實證研究中精準教學支持利用利用改進粒子群算法,針對學習者的薄弱知識點向學習者進行學習資源推薦,針對性的給予學習支持[22]。精準教學支持持續2周,過程中持續收集學習者的學習數據,2周結束后對3個實驗組進行課程綜合測驗,測驗結果如表4所示。

表4 實證研究對照實驗結果Table 4 Empirical research results of controlled experiments

由表4可知:對照組B和實驗組C的測驗成績明顯高于對照組A,且對照組B和實驗組C的復習時間明顯少于對照組A。這說明筆者提出的知識追蹤方法是有效的,可以及時準確地發現學習者的薄弱知識點,學習者可以基于此進行有針對性的高效復習,避免知識迷航。由圖5和表4可知:實驗組C的平均成績略高于對照組B,且平均復習時間也少于對照組B,這說明提出的知識追蹤方法有良好的可解釋性,能夠運用學習者的多維特征和知識狀態進行精準教學,有效幫助學習者提高學習效率。

融合學習過程多維特征的知識追蹤優化方法可以準確及時地掌握學習者的知識狀態。教學者根據實際題目和知識點情況確定知識狀態閾值,并根據學習者知識狀態和特征給予針對性的學習支持。由此也說明融合學習過程多維特征的知識追蹤方法不僅增強了知識狀態的可解釋性,而且可以更好地服務精準教學。

5 結 論

借助BORUTA特征選擇模型,挖掘學習過程中的多維特征,在DKVMN模型基礎上構造學習行為序列特征網絡、學習者靜態特征網絡和題目特征網絡,設計融合學習過程多維特征的深度知識追蹤優化方法DKVMN-BORUTA,并通過公共數據集和教學實證研究驗證該方法服務性能上的優勢和實際教學應用的有效性。未來,研究者將著力構建更具可解釋性的知識追蹤優化方法和精準教學應用模式,提升學習者在線學習效果。