張凱 秦心怡 覃正楚 劉月



摘要:為了更準確地判斷學生的知識掌握狀態,設計開發了一個基于集成算法的知識追蹤智能導學系統。該系統從學生的學習行為數據出發,提出了一種新的基于集成算法的知識追蹤模型,將當前主流的知識追蹤模型的結果進行集成,達到更加準確地判斷學生知識掌握狀態的目的。實驗表明,該系統可以較為準確地判斷學生的知識掌握狀態,預測學生未來的學習表現,便于教師了解學生的知識掌握狀態,從而進行有針對性地教學;也便于學生了解自身的知識掌握狀態,從而進行自適應性學習。
關鍵詞: 知識追蹤; 智能導學系統; 集成算法; 教學; 設計
中圖分類號:TP302? ? ? ? 文獻標識碼:A
文章編號:1009-3044(2023)13-0010-05
開放科學(資源服務)標識碼(OSID) :
0 引言
知識追蹤以學生的答題時間、答題次數等學習行為數據為輸入,建模學生的知識掌握狀態,輸出對學生未來學習表現的預測。目前,知識追蹤模型已廣泛應用于各智能導學系統中,并取得了較好的效果。
1 知識追蹤
1.1 知識追蹤介紹
知識追蹤根據學生的歷史答題記錄來表征不同時刻學生對于知識的掌握狀態,預測學生未來的學習表現,其典型的應用場景如圖1所示。
在學生答題的過程中,系統持續記錄學生的學習行為數據,包括題目、題目中包含的知識概念(例如,等式、不等式、平面向量和概率)、學生的答案(正確或錯誤的回答)、答題時間等。圖中假設學生對四個知識概念的初始掌握程度為0.2、0.2、0.2和0.2。每一次完成答題,知識追蹤模型都會根據上述數據計算一次學生當前的知識掌握狀態。最后一次完成答題后,計算出學生的知識掌握程度達到了0.8、0.6、0.8和0.8,說明學生經過學習之后,其知識掌握狀態得到了提升。
1.2 知識追蹤模型
知識追蹤模型是構建本智能導學系統的核心和關鍵。知識追蹤最早于1972年由Atkinson首次提出[1],1995年Corbett和Anderson將知識追蹤引入智能教學領域[2],提出貝葉斯知識追蹤(Bayesian Knowledge Tracing,BKT) 。如今,知識追蹤已被應用到越來越多的智能導學系統中,如edX,VIPKID,學堂在線。
本系統選取了五個主流的知識追蹤模型動態追蹤學生的知識掌握狀態。其中,BKT[2]模型和TLS-BKT[4]模型是概率模型,DKT[5]模型、DKVMN[6]模型和HMN[7]模型是深度模型。TLS-BKT模型和HMN模型是本組前期的科研成果。進一步地,本系統還提出了一個集成模型EnKT,獲取更加符合實際的學生知識掌握狀態。
BKT模型的輸入是當前時刻學生對給定知識點的題目的正確或錯誤的回答,使用[P(L0)]、[P(T)]、[P(S)]和[P(G)] 等參數計算并輸出當前時刻“已學會”給定知識點的概率[P(Lt)]。BKT模型如圖2所示。
其中,[K∈{0,1}]表示知識點,0表示“未學會”,1表示“已學會”。[Q∈{0,1}]表示問題的回答狀態,0表示回答錯誤,1表示回答正確。[P(L0)]表示學生在初始狀態下掌握知識點的概率,[P(T)]表示學生由“未學會”狀態到“已學會”狀態的轉移概率,[P(S)]表示學生“已學會”某個知識點后失誤的概率,[P(G)]表示學生“未學會”某個知識點而猜對的概率。
TLS-BKT模型在BKT模型的基礎上添加了“正在學習”狀態。TLS-BKT模型的輸入是當前時刻學生對給定知識點的題目的正確或錯誤的回答,使用[P(uu)]、[P(ue)]、[P(ee)]、[P(el)]等參數計算并輸出當前時刻“已學會”給定知識點的概率[P(Lt)]。TLS-BKT模型如圖3所示。
其中,[c]和[i]標記的圓角矩形分別表示回答正確和回答錯誤,[u]、[e]和[l]標記的圓形分別表示知識點的“未學會”狀態、“正在學習”狀態和“已學會”狀態。[P(uu)]表示從“未學會”狀態到其本身的轉移概率,[P(ue)]表示從“未學會”狀態到“正在學習”狀態的轉移概率。[P(ee)]表示從“正在學習”狀態到其本身的轉移概率,[P(el)]表示從“正在學習”狀態到“已學會”狀態的轉移概率。[P(ll)]表示從“已學會”狀態到其本身的轉移概率。[P(uc)]和[P(ui)]分別表示從“未學會”狀態到回答正確或回答錯誤的發射概率。[P(ec)]和[P(ei)]分別表示從“正在學習”狀態到回答正確或回答錯誤的發射概率。[P(lc)]和[P(li)]表示從“已學會”狀態到回答正確或回答錯誤的發射概率。
DKT模型分為輸入層,隱藏層和輸出層。學生在[t]時刻回答的題目及得到的結果[xt]作為輸入,[xt]和上一時刻隱藏層單元[ht-1]共同影響著當前時刻隱藏層單元[ht]的更新,[t]時刻學生答對各個題目的概率[yt]作為輸出。最后使用[t]時刻的[t]預測[t+1]時刻學生的知識掌握狀態。DKT模型如圖4所示。
DKVMN模型用一個靜態鍵矩陣[Mk]存儲知識點,一個動態值矩陣[Mvt]存儲和更新學生對知識點的掌握狀態。題目[qt]作為輸入,與嵌入矩陣[A]相乘得到嵌入向量[kt],[kt]與[Mk]通過softmax激活函數得到題目與知識點之間的相關權重[Wt],根據學生的答題情況[(qt,rt)]更新[Mvt]中相關知識點的掌握狀態。DKVMN模型如圖5所示。
HMN模型在DKVMN模型的基礎上,將記憶矩陣分為工作記憶和長期記憶。HMN模型如圖6所示。
控制器處理輸入并產生輸出,編碼技能向量[et]和強化答案[ct]組成輸入[xt][xt],通過LSTM處理后產生兩個輸出,輸出(1) 通過多層感知器(MLP) 轉移到知識狀態向量[KSt]中,[KSt]與 [et+1]點積,得到學生正確回答下一個練習的概率[ct+1],輸出(2) 用于更新外部存儲器矩陣。
2 知識追蹤智能導學系統的設計與開發
2.1 系統總體設計
本智能導學系統包括學生端和教師端。學生端面向學生,教師端面向教師和教育管理者。知識追蹤智能導學系統的總體架構如圖7所示。
2.2 系統的主要功能
2.2.1 學生端
學生端包括學習分析模塊、自學模塊、互動學習模塊、學習獎勵兌換模塊和學習情境設置模塊。總體設計如圖8所示。
學習分析模塊完成對學生的知識掌握狀態分析功能。知識掌握狀態分析的流程是:首先,由教師端收集學生的學習行為和答題記錄等數據。然后將這些數據輸入到集成模型EnKT中,得到的學生知識掌握狀態由百分比來表示。最后,將學生的知識掌握狀態與學習行為數據簡要顯示于學生端的個人中心界面。此類數據涉及隱私問題,只能由學生本人或學生加入班級的教師可以查看。學習分析模塊的個人中心界面如圖9所示。
自學模塊包括學習資源自學功能和答題功能。學習資源包括視頻學習資源和文本學習資源。學習資源自學功能中,學生在觀看學習資源時為方便下次觀看,可對不擅長的知識點片段進行標記。平臺會動態記錄觀看次數、學習時長和標記的個數等學習行為數據。自學模塊中的學習資源如圖10所示。
答題功能中,可選擇是否給予提示,若給予提示則答題結果將被標記。答對可獲得積分并繼續答題,答錯無積分且有一次重試的機會,可選擇重新答題或返回學習資源學習。若再次答錯,會跳轉到學習資源界面。系統會動態記錄提示的次數、答錯的次數等學習行為數據。
互動學習模塊包括PK答題功能和交流功能。PK答題時雙方在相同的限制時間內答題,答對獲得積分,答錯則退出,若有復活卡可使用復活卡繼續答題。PK答題過程中學生答錯的次數、答題時間等答題信息會被平臺記錄在學習行為數據內。
交流功能中若系統檢測出某學生三次還未正確作答某題,則會向其推薦經常正確回答該題的學生,添加后即可交流學習經驗或組隊答題獲得積分。互動學習模塊中的交流功能如圖11所示。
學習獎勵兌換模塊包括高級虛擬場景兌換功能和復活卡兌換功能,學生使用積分即可兌換。學習情境設置模塊包括虛擬場景搭建功能。
2.2.2 教師端
教師端包括知識追蹤模型管理模塊、學習行為數據管理模塊、教學資源管理模塊和系統管理模塊,總體設計如圖12所示。
知識追蹤模型管理模塊包括模型替換功能和模型集成功能。系統選取了五個基準模型分析學生的知識掌握狀態:BKT模型、TLS-BKT模型、DKT模型、DKVMN模型和HMN模型。模型替換功能可添加其他知識追蹤模型,也可刪除已加入的知識追蹤模型。
模型集成功能中,管理員可先調整五個基準模型的超參數,包括學習率、丟棄率、卷積核尺寸等,在設置時會標明建議范圍。調整完成之后,將五個基準模型得到的訓練結果通過Boosting集成算法分配不同的權重,得到集成模型EnKT,以獲取更符合實際的學生知識掌握狀態。知識追蹤模型管理模塊如圖13所示。
學習行為數據管理模塊包括學習記錄管理功能和答題記錄管理功能。學習記錄管理包括題目ID、學生ID、觀看學習資源次數、標記的個數等記錄的管理。此類數據并不直接對應學生本人的真實信息,不涉及隱私問題。答題記錄管理功能包括學生的答題時間、答題時使用的提示次數、答錯的次數等記錄的管理。學習行為數據管理模塊如圖14所示。
教學資源管理模塊包括學習資源管理功能和題目資源管理功能。管理員可添加、刪除和修改學習資源及題目。隨著新的知識點和題型不斷涌現,管理員需要動態更新學習資源和試題庫。由于系統仍處于試運行階段,暫時加入了人工智能基礎等課程,后續隨著系統的開發會加入其他課程。教學資源管理模塊如圖15所示。
系統管理模塊包括登錄信息管理功能和賬號權限管理功能。登錄信息管理包括對登錄賬號、密碼等信息的添加、修改和刪除。賬號權限管理包括教師權限和學生權限的管理。其中,教師權限可以查看班級學生的學習情況和知識掌握狀態,方便后續制定教學計劃。
2.3 系統關鍵技術及其實現
本智能導學系統的關鍵技術是,使用Boosting集成算法將五個基準模型所得的數據分配不同的權重后得到集成模型EnKT,獲得新的知識掌握狀態。
2.3.1 EnKT模型
EnKT模型使用Boosting算法集成五個基準知識追蹤模型。具體是將五個基準模型得到的學生知識掌握狀態的數據作為五個訓練樣本輸入,初始時每個訓練樣本的概率均相同,經過多次迭代,每次迭代之后,對分類錯誤的樣本重采樣(即增加權重),在下一次迭代時會對這些樣本投入更多的注意力,以此通過不斷地使用一個弱模型補充前一個弱模型的缺陷來串行地構造一個較強的模型,使每個樣本根據自身的準確性來確定各自的權重之后再融合。EnKT算法流程如圖16所示。
3 系統的實現與驗證
3.1 實驗
本智能導學系統的開發采用BS架構,學生端部分在Visual Studio Code上用JavaScript語言開發,教師端部分由Eclipse開發,模型的訓練使用PyTorch框架,數據的存儲使用MySQL數據庫。為了對系統模型性能進行對比驗證,采用了三個數據集進行對比分析,這三個數據集分別是:Asistments2009(Asist09) ,Asistments2015(Asist15) 和Statics2011(Static11) 。
3.2 評價指標
AUC(Area Under ROC Curve)是知識追蹤模型常用的評價指標,表示為ROC曲線下的面積,知識追蹤領域通常使用AUC在不同數據集上的表現來判斷模型的效果,實驗部分采用了五個基準模型在三個數據集上的AUC與EnKT模型在三個數據集上的AUC進行對比,實驗結果如表1所示。
3.2 使用反饋
本智能導學系統的目的是測試學生的學習情況,為確保系統的有效性,需關注學生的使用反饋,包括對知識掌握狀態的分析是否準確、輔助學習功能是否合理、學習體驗是否良好三個方面。我們采用調查問卷和訪談的形式收集學生對平臺的反饋,根據反饋情況進行調整和更新。
4 結論
本文設計開發了知識追蹤智能導學系統,主要工作如下:
1) 在系統內實現了使用五個基準知識追蹤模型預測學生知識掌握狀態的功能,模型可替換。
2) 提出基于上述五個基準模型的集成知識追蹤模型,更好地預測了學生的知識掌握狀態。
實驗結果表明,通過集成模型預測學生知識掌握狀態的方法得到的數據更加準確。學生的使用反饋表明,此系統對知識掌握狀態的分析較為準確,學生端設置的輔助學習功能也可以很好地提高學生對學習的興趣,學生有較好的學習體驗。
參考文獻:
[1] Atkinson,Paulson.An approach to the psychology of instruction[J].Psychological Bulletin,1972,78(1):49-61.
[2] Corbett A T,Anderson J R.Knowledge tracing:modeling the acquisition of procedural knowledge[J].User Modeling and User-Adapted Interaction,1994,4(4):253-278.
[3] Zhang K . A three-way c-means algorithm - ScienceDirect[J]. Applied Soft Computing, 2019(82):105536.
[4] Kai,Zhang.A three learning states Bayesian knowledge tracing model[J].Knowledge-Based Systems,2018(148):189-201.
[5] Chris Piech,Jonathan Spencer,Jonathan Huang,et al. Deep Knowledge Tracing[J]. CoRR,2015,abs/1506.05908.
[6] Zhang J N,Shi X J,King I,et al.Dynamic key-value memory network for knowledge tracing[J].CoRR,2016,abs/1611.08108.
[7] Liu S,Zou R,Sun J W,et al.A hierarchical memory network for knowledge tracing[J].Expert Systems With Applications,2021:177.
[8] SunJ ianwen,Zhou Jianpeng,Zhang Kai, et al. Collaborative Embedding for Knowledge Tracing[C]//14th International Conference on Knowledge Science, Engineering, and Management (KSEM),2021:333-342.
[9] 焉瀟瀟,安效偉,戴文斌,等.虛擬情景融合的圖像分割教學系統[J].計算機仿真,2021,38(4):331-337.
[10] 鄭慶華,董博,錢步月,等.智慧教育研究現狀與發展趨勢[J].計算機研究與發展,2019,56(1):209-224.
[11] 胡菊花,姜遠,周志華.一種基于教學模型的協同訓練方法[J].計算機研究與發展,2013,50(11):2262-2268.
[12] 劉淇,陳恩紅,朱天宇,等.面向在線智慧學習的教育數據挖掘技術研究[J].模式識別與人工智能,2018,31(1):77-90.
[13] 許嘉,劉靜,于戈,等.面向在線教育的同伴互評技術綜述[J].計算機應用,2022,42(12):3913-3923.
[14] 郝秦霞.基于R2指標的高維多目標差分進化推薦式課程系統[J].計算機應用,2020,40(10):2951-2959.
[15] 盧民榮.基于 “互聯網+” 虛擬技術的實驗教學平臺研究[J].計算機應用與軟件,2017,34(10):129-135.
[16] 馮瑤,馮錫煒.面向教學資源查詢的語義相似度和相關度算法[J].計算機應用與軟件,2016,33(10):275-278.
[17] 吳正洋,湯庸,劉海.個性化學習推薦研究綜述[J].計算機科學與探索,2022,16(1):21-40.
[18] 王宇,劉小鋒,王興偉.虛擬化技術在高校信息化建設中的應用[J].計算機科學與探索,2010,4(4):353-358.
[19] 陳晉音,王楨,陳勁聿,等.基于深度學習的智能教學系統的設計與研究[J].計算機科學,2019,46(S1):550-554,576.
[20] 高茂,張麗萍.融合多模態資源的教育知識圖譜的內涵、技術與應用研究[J].計算機應用研究,2022,39(8):2257-2267.
[21] 張凱,劉月,覃正楚,等.概念表示增強的知識追蹤模型[J].計算機應用研究,2022,39(11):3309-3314.
【通聯編輯:唐一東】