MDKT：融入多維問題難度的自適應知識追蹤模型
2024-12-31 00:00:00李浩君鐘友春
計算機應用研究 2024年11期
摘 要：知識追蹤旨在評估學習者的知識掌握狀態，然而已有研究表明，問題難度與知識掌握狀態密切相關。忽略問題難度的知識追蹤模型難以有效評估學習者的實際狀態。為了解決上述問題，提出了融入多維問題難度的自適應知識追蹤模型（multi-dimensional knowledge tracing，MDKT）。該模型采用BERT與CNN對題目文本進行語義難度提取，并結合問題難度、概念難度和認知難度，形成多維問題難度表征；通過構建自適應學習模塊，個性化地捕捉學習者與增強練習難度之間的交互；在預測學習者未來表現過程中，引入Transformer的多頭注意力機制，以關注不同部分預測狀態的重要程度。在實驗階段，與七個知識追蹤模型在兩個真實數據集的性能對比實驗中，AUC、ACC性能分別提升了3.99%～12.06%和3.63%～11.15%，實驗結果表明，所提模型在性能方面更加出色。在應用方面，將該模型和知識點網絡圖相結合，能準確挖掘出學習者的薄弱知識點，證明了所提模型在實際教學中的可行性。
關鍵詞：知識追蹤；知識掌握狀態；問題難度
中圖分類號：TP183
文獻標志碼：A
文章編號：1001-3695（2024）11-010-3272-09
doi：10.19734/j.issn.1001-3695.2024.03.0080
MDKT： adaptive knowledge tracing model incorporating multidimensional problem difficulty
Li Haojun， Zhong Youchun
（College of Education Science amp; Technology， Zhejiang University of Technology， Hangzhou 310023， China）
Abstract：Knowledge tracing aims to assess learners’ mastery of knowledge， but studies have shown that question difficulty is closely related to mastery status. Models that overlook question difficulty struggle to effectively evaluate learners’ actual status. To resolve this issue， this paper developed an MDKT model， incorporating multi-dimensional difficulty. This model employed BERT and CNN to extract semantic difficulty from question texts and integrates question difficulty， conceptual difficulty， and cognitive difficulty to create a multi-dimensional difficulty representation. It constructed an adaptive learning module to capture the interaction between learners and increased exercise difficulty personally. In predicting learners’ future perfor-mance， the model used the Transformer’s multi-head attention mechanism to focus on the importance of different prediction states. Experimentally， on two real datasets， the MDKT model improved performance by 3.99%～12.06% in AUC and 3.63%～11.15% in ACC， outperforming seven other knowledge tracing models. The results demonstrate the superior performance of the model. Furthermore， integrating this model with a knowledge point network graph accurately identifies lear-ners’ weak knowledge points， and it confirms the model’s feasibility in actual teaching.
Key words：knowledge tracing; knowledge mastery status; problem difficulty
0 引言
知識追蹤（knowledge tracing， KT）［1］是根據學習者的學習歷史來預測其未來學習表現，并實時測量學習者對不同知識概念掌握程度的一種方法。通過這種方式，可以對學習者知識狀態進行評估，進而為他們量身定制適應性學習方案。這不僅有助于提高學習者學習效率，使他們能夠專注于尚未掌握的知識概念（KC），還為教師提供了寶貴的參考，使教師能夠根據學習者實際掌握的知識狀態進行個性化指導。在學習資源推薦［2］、學習路徑規劃［3］、教學評價［4］以及自適應學習系統構建［5］等多個研究領域，知識追蹤都展現出了較好的應用效果。
國內外研究人員在知識追蹤領域進行了深入的研究，根據模型實現方法的不同，將知識追蹤模型分為三類：a）概率模型；b）邏輯模型；c）深度學習模型。在概率模型中，最具代表性的知識追蹤模型是貝葉斯模型BKT［6］。BKT利用馬爾可夫模型對學習者的知識狀態進行建模。但BKT模型假設知識點之間是獨立的，實際學習中知識點與知識點之間是密切關聯且具有層次關系的。與概率模型不同的是，邏輯模型更具解釋性，其基本原理是采用函數來描述學習者學習能力參數、練習參數（難度、練習次數等）與正確回答練習概率之間的關系。績效因素分析模型PFA［7］作為邏輯模型的一種，其采用logistic函數來估計掌握的概率。近年來，隨著深度學習的發展，神經網絡也被應用于知識追蹤領域。利用循環神經網絡（RNN）或長短期記憶網絡（LSTM）對學習者的知識狀態進行建模提出了深度知識追蹤模型DKT［8］。DKT的出現為深度學習在知識追蹤的應用方面提供了新的研究方向，研究人員提出了一系列提高預測性能的深度知識追蹤模型。例如動態鍵值記憶網絡DKVMN［9］定義了key矩陣和value矩陣分別存儲潛在的知識概念和學習者的學習狀態，并提供讀寫操作，使模型能夠靈活地捕捉學習者的知識狀態，使其隨時間的變化而變化；HFEP-KTC［10］通過基于知識點的內隱信息和交互數據的外顯信息提出了融合內外異質信息的知識追蹤模型；SAKT［11］使用Transformer框架和自注意機制捕捉長序列的依賴關系、F-TCKT［12］考慮到學習過程中遺忘行為的影響，提出了融合遺忘因素的深度時序知識追蹤模型。
盡管上述知識追蹤模型在構建上取得了不錯的成就，但它們普遍忽略了問題難度與學習者知識狀態之間的聯系，難以有效評估學習者知識狀態。已有相關研究證明問題難度和學習者知識狀態之間存在密切的關聯［13～16］，這一發現為進一步完善知識追蹤模型提供了新的視角。
實際上，已有部分知識追蹤模型嘗試探索問題難度屬性對KT的影響。EKT［17］和RKT［18］通過分析問題的文本內容來隱式評估難度，而AKT［19］則引入基于項目反映理論（item response theory， IRT）［20］的問題嵌入，以豐富問題的難度表征；同時MF-DAKT［21］利用難度等級作為外部信息優化問題表示。這些方法利用隱式問題難度來提高問題表征，但存在問題難度提取不足等問題。然而，DIMKT［22］、DKP［23］模型通過顯式地引入問題難度和概念難度作為嵌入特征，但也存在問題難度屬性嵌入不全、問題難度表示不足以及問題難度提取方式單一等局限。
針對現有知識追蹤模型在問題難度屬性表征方面的不足，本文提出了融入多維問題難度的自適應學習知識追蹤模型（multi-dimensional knowledge tracing，MDKT模型），充分挖掘題目所包含的問題難度屬性，真實地模擬學習者與問題之間的交互，并利用多維問題難度和自適應學習理論有效地預測學習者的未來表現。本文工作的主要貢獻和創新如下：
a）采用顯式和隱式相結合的方式嵌入難度，其中問題難度與概念難度作為顯式嵌入，語義難度（文本內容的表述方式）與認知難度（題目所考察的形式）作為隱式嵌入，這種嵌入方式能夠更全面地表征問題難度屬性，提高模型的預測精度。
b）構建了由增強練習難度交互表征模塊（EIARN）、自適應學習模塊（ALM）和知識狀態序列預測模塊（FUTPM）組成的MDKT模型，有效解決了問題難度的提取，全面展現問題難度與學習者之間的個性化交互，實時更新學習者知識狀態的對應變化，實驗表明，MDKT模型優于現有的工作。
c）將MDKT模型和學習者知識點網絡圖相結合，實現了學習者個性化薄弱知識點的挖掘，創新了知識追蹤在教育教學中的應用場景，為個性化教育提供了有力的支持。
1 相關工作
1.1 融入自適應學習思想的知識追蹤模型
融入自適應學習思想的知識追蹤模型通過模擬學習者與習題交互過程，自適應地調整學習者的知識狀態，主要分為模擬讀寫操作的知識追蹤模型、模擬遺忘行為的知識追蹤模型、模擬學習過程的知識追蹤。動態鍵值記憶網絡DKVMN［9］通過定義了key矩陣和value矩陣模擬學習者的讀寫操作，使模型可以直接輸出每個概念的掌握程度。但是DKVMN存在無法捕捉練習序列中長期依賴關系的問題，為此，順序鍵值記憶網絡的知識追蹤SKVMN［24］在DKVMN的基礎上利用練習相似計算HOP-LSTM來解決這一問題，并改進了DKVMN中寫的過程。模擬讀寫操作的知識追蹤模型突出了學習者與學習結果行為的交互，但忽略了學習者與學習過程交互。王璨等人［25］提出的個人基礎與遺忘融合的時間卷積知識追蹤模型TCN-KT，利用RNN計算學生的先驗基礎，并利用時間卷積網絡預測下一題學習者的表現， 有效融合了學生遺忘行為。李曉光等人［26］考慮學習者對知識點的掌握程度，提出了DKT+FORGET， 將其答題結果作為知識追蹤過程中掌握程度的間接反饋， 建立了一個融合學習和遺忘行為的知識追蹤模型。模擬遺忘行為的知識追蹤模型考慮了學習者和學習過程中的遺忘行為，但沒有充分展示學習者與學習過程的交互。學習過程一致的知識追蹤LPKT［27］由學習模塊、遺忘模塊和預測模塊組成，并利用時間信息模擬學習與遺忘過程取得了不錯的效果。Shen等人［22］提出的DIMKT模型設計了自適應神經序列用于模擬學習者和習題難度之間的動態關系。模擬學習過程的知識追蹤雖然展示了學習者與習題交互前、中、后的過程，但是存在習題與交互過程不緊密、不充分的問題。
1.2 問題難度增強的知識追蹤模型
問題難度與學習者知識狀態有著緊密的聯系，因此不少研究人員通過間接的方式將問題難度引入知識追蹤模型中。Su等人［28］設計習題增強遞歸神經網絡（EERNN）框架，利用word2vec將單詞轉換為詞向量，然后嵌入到雙向LSTM中獲得題目語義難度表示向量。Liu等人［17］在EERNN的基礎上，通過引入DKVMN的知識矩陣，對每個知識點掌握情況的追蹤提出了EKT。Pandey等人［18］利用題目文本信息開展了題目文本余弦相似度計算，獲得題目的相對問題難度。Zhang等人［21］提出了MF-DAKT模型，該模型引入了一種預訓練方法，將問題關系和難度納入問題表征，進一步應用雙注意機制進行知識追蹤。間接引入問題難度的知識追蹤可以從文本中提取隱藏的難度信息，但是忽略了知識點難度、題目難度等固有的難度屬性，同時存在隱藏的難度信息不全的問題。此外還有研究人員直接從學習者的答題歷史中提取問題難度引入到知識追蹤中，Shen等人［22］將學習者歷史答題中獲得的概念難度和問題難度嵌入知識追蹤中，提出了DIMKT模型。王士進等人［23］將概念難度和問題難度用于學習者知識畫像建模。此外，梁祥等人［29］對練習難度進行分類，將獲得的練習難度等級嵌入DKT中，提出了DKT-DE模型。直接引入問題難度的知識追蹤從問題的知識點難度、題目難度、難度等級對問題難度進行表征，但是忽略了隱藏的難度信息以及不同問題難度屬性之間融合不夠深入等問題。
1.3 問題難度效應
有研究人員發現問題難度和學習者知識狀態之間有著密切的聯系。例如，Kn?uper等人［13］發現知識能力高的學習者比知識能力低的學習者在面對難題時更容易做出正確的答案，并且知識狀態較好的學生受問題難度影響的波動較小。Lomas等人［14］指出，簡單的問題更容易獲得學習者更多的時間投入，但會減慢學習速度，而解決更具挑戰性的問題可能會加快學習的速度。Beck等人［15］指出，問題越難，解決問題所需的知識點就越多。此外，從出題的角度出發，問題太難或者太容易都無法區分學習者不同的知識狀態［16］。因此，問題難度對學習者的學習有顯著影響，學習者對不同問題難度等級題目的回答直接反映了學習者的知識狀態。所以在知識追蹤模型完善過程中要充分考慮問題難度的影響。
2 模型與方法
2.1 問題定義
知識追蹤旨在根據學習者的歷史作答序列來評估學習者的知識狀態，基于學習者的知識狀態來預測學習者在未來的作答表現。具體描述為，通過學習者的作答表現xt來評估學習者當前的知識狀態ht，從而預測學習者在qt+1上的作答表現rt+1。Q為習題集合，E為練習題題目文本集合，其中xn=（qn，en，rn）是一個三元組，表示學習者在n時刻的作答表現，qn∈Q表示的是在n時刻學習者作答習題的id， en∈E表示的是在n時刻學習者作答習題的題目文本。r∈（0，1），其中0表示作答錯誤，1表示作答正確。
2.2 提出思想
學習者與習題交互過程中，習題難度與學習者知識狀態有著密切的關系，例如，答對習題難度更高的學習者，說明其知識狀態更好。另一方面，同一習題難度對每個學習者的知識狀態影響不同，例如一道中等難度的題目對于掌握較好的學習者來說比較簡單，答對這道題目對其知識狀態影響很小，但對于掌握較差的學習者來說，答對這道題目對其知識狀態影響很大，與此同時，對學習者知識狀態影響的大小并不等同于對學習者知識狀態更新的多少。為解決上面兩個問題，本文提出了融入多維問題難度的自適應學習知識追蹤模型（multi-dimensional knowledge tracing，MDKT模型），模型分為三層，第一層是增強練習難度交互表征模塊（EIARN）用于全面表征習題難度；第二層是自適應學習模塊（ALM）用于刻畫習題難度和知識狀態之間交互的影響以及知識狀態的更新；第三層是知識狀態序列預測模塊（FUTPM）用于衡量不同知識狀態對學習者重要性的不同，并預測學習者未來的答題情況。
2.3 模型框架
模型框架如圖1所示，其結構主要由三個模塊構成：增強練習難度交互表征模塊（EIARN）、自適應學習模塊（ALM）以及知識狀態序列預測模塊（FUTPM）。在EIARN模塊中，模型融合了特定問題難度（QS）、知識概念難度（KS）、問題認知難度（CS）、題目語義難度（US）以及知識點概念（KC）嵌入，形成一個全面的問題表征向量，有效捕捉了問題的多維難度屬性；ALM模塊則通過問題難度計算層、知識能力學習層和知識狀態更新層的協同作用，深入刻畫了學習者的內部心理學習過程；FUTPM模塊利用學習者在當前問題上的隱藏狀態與下一個問題的深度交互來預測其未來表現。基于深度交互的預測方式充分考慮了學習者的個性化特點和問題的難度特點，為實現精準的知識追蹤提供了有力支持。
2.4 增強練習難度交互表征模塊（EIARN）
2.4.1 多維問題難度的定義
本文將問題難度細分為特定問題難度（QS）、知識概念難度（KS）、問題認知難度（CS）、題目語義難度（US）四個主要層次。具體定義如下：特定問題難度（QS）主要指的是每個問題因其獨特性而產生的難度；知識概念難度（KS）則側重于問題中涉及的知識概念本身的難度；問題認知難度（CS）是基于布魯姆的認知領域教育目標分類理論［30］來定義的，將認知過程分為記憶、理解、應用、分析、評價、創新六個層次（例如，“為什么電路會短路”比“什么是電路短路”更難，前者是分析維度，后者是記憶維度）。題目語義難度（US）主要關注語言表達對問題難度的影響，即使考察同一個問題、同一概念，由于語言表達不同，所引起的難度也不同。
2.4.2 特定問題難度（QS）和知識概念難度（KS）的計算
參考文獻［22］的相關研究工作，使用客觀的統計方法來計算特定問題難度（QS）和知識概念難度（KS）。計算公式如式（1）（2）所示。
QS=∑|Si|i{aij==0}|Si|.Cqs（1）
KS=∑|Si|i ∑|Qj|j{aijm==0}∑Si|i{εi}.|Si|.Cks（2）
其中：Si表示回答練習題qt的學生集合；Qj是所有練習題qt的集合，每一個練習題qt包含若干個知識點km；aij==0表示的是學習者Si對特定問題qt回答錯誤；aijm==0表示的是學生Si對練習題qj中的特定概念km回答錯誤；εi表示的是學習者Si作答的所有題目中包含知識點km的總個數，其中常數項Cqs和Cks分別表示預定義練習題的具體問題難度等級和知識點概念難度等級。
2.4.3 問題認知難度（CS）的劃分
本文認知難度的界定是基于題目與布魯姆認知思維目標層次的對應關系。針對一個問題qt中可能蘊涵多個認知思維目標，基于布魯姆理論的層級遞進性，即高層次的思維活動是建立在低層次思維活動充分理解和掌握的基礎之上，選擇其最高的目標層次來代表問題qt的認知難度。問題認知難度編碼如表1所示。
2.4.4 題目語義難度（US）的獲取
問題題目首先會經過分詞處理，每個詞隨后被編碼為對應的詞向量。接著整合位置向量、字符向量和分段向量輸入BERT-WWM預訓練模型中。輸出一個題目文本語義表征向量QE∈?z×dc，其中z代表預先設定的問題題目的最大長度。盡管題目文本語義表征向量QE中每一行能夠代表題目中單個詞的詞向量，但單個詞向量通常無法全面表達題目文本的整體語義。為了捕捉更豐富的上下文信息，對詞向量進行卷積操作。通過使用不同大小的卷積核，能夠提取出長度不一的鄰近詞特征向量。較短的卷積核有助于捕捉局部鄰近詞之間的關系，而較長的卷積核則能夠覆蓋更廣泛的詞匯聯系。這些特征向量融合了鄰近詞的信息，因此比單個詞向量包含更多的語義內容。卷積操作的具體流程如圖2所示。
采用卷積核K來對題目文本語義表征向量QE∈?z×dc進行卷積操作，K∈?h×dc，其中h表示為卷積核的寬度，dc為輸入向量的維數，卷積操作的計算如式（3）所示。
gi=tanh（〈QE·K〉+b0）（3）
其中：〈·〉表示的是卷積操作；gi為卷積之后的鄰近詞特征，i∈（1，2，3，…，n－d+1）。卷積之后進行最大池化，公式如式（4）所示。
usi=MAX（gi）（4）
其中：usi∈?。本文采用三種不同尺寸的卷積核，數量共為d個，分別為K1∈?h1×dc、K2∈?h2×dc、K3∈?h3×dc，經過卷積層和池化層后，得到d個不同的輸出{us1，us2，…，usd}。將這些輸出進行拼接，得到融合不同長度的鄰近詞的題目文本語義難度表征向量uset=［us1，us2，…，usd］，uset∈?d。
2.4.5 增強練習難度交互表征
本文隨機初始化矩陣Q∈?Cq×d和KC∈?Ckc×d， 分別對問題和問題所包含的概念進行表示，得到qej和kcej。對于每一個問題，選取其所包含的前六個概念作為問題的概念表示，若概念數量不足六個，則進行特殊填充。因此，一個問題所包含的概念可以表示為kcej1、kcej2、kcej3、kcej4、kcej5、kcej6。前面已經詳細闡述了QS、KS計算以及CS劃分，進一步地，隨機初始化嵌入矩陣QS∈ ?Cqs×d，KS∈?Cks×d對題目難度和概念難度進行表示，得到qsej和ksej。同時，隨機化嵌入矩陣CS∈?6×d和AT∈?2×d，對認知難度和作答結果{0，1}進行表示，得到csej和atej。將問題難度、概念難度、認知難度、語義難度進行拼接，得到綜合問題難度表示DQCet，具體計算如式（5）所示。
DQCet=qset⊕kset⊕cset⊕uset（5）
然后，將問題、知識概念、綜合問題難度、答案進行拼接后輸入多層感知機（MLP），獲得t時刻的增強練習難度表征向量xt。具體計算公式如式（6）所示。
xt=WT1［qet⊕kcet1⊕kcet2⊕kcet3⊕kcet4⊕kcet5⊕
kcet6⊕DQCet］+b1（6）
其中：⊕表示拼接；WT1∈?11d×d是MLP的權重矩陣；b1∈?d是對應的偏置項。
2.5 自適應學習模塊（ALM）
該模塊的設計遵循了自適應學習思想，主要包括問題困難感計算層（CDILA）、個性化知識能力學習層（CAPAB）、知識狀態更新層（PEFIN）。首先，問題困難感計算層通過評估學習者的已有知識掌握狀態與問題難度之間的差距，計算出問題的困難感，以便為學習者提供適合其水平的學習內容。其次，個性化知識能力學習層根據每位學習者的學習能力和需求，提供個性化的知識獲取方式和資源，以滿足不同學習者的學習需求。最后，知識狀態更新層在學習者獲取知識后，及時更新其知識掌握狀態，以便為后續的學習提供準確的反饋和指導。
2.5.1 問題困難感計算層（CDILA）
增強練習難度xt綜合反映了問題的難度以及解決該問題所需的知識能力水平。學習者在解決這道問題時的知識隱藏狀態ht－1則代表著他們解決問題能力的高低。為了計算學習者的問題困難感，具體如式（7）（8）所示。
St=ht－1×xt|ht－1|×|xt|（7）
SDt=xt·（1－St）－ht－1·St（8）
St計算的是增強練習難度xt和學習者隱藏狀態ht－1的契合度，它表示解決問題所需的能力和已有解決問題能力之間的適配度。SDt計算的是問題困難感與自信感的差值，得到學習者面對問題時的整體困難感。其中，xt·（1－St）是指問題難度和解決問題能力未適配度之間的乘積，即解決問題困難感；ht－1·St是指隱藏狀態和解決問題能力適配度之間的乘積，即解決問題的自信感。
2.5.2 個性化知識能力學習層（CAPAB）
由于學習能力因人而異，知識學習的多少不僅與問題困難感相關，還受到答案的影響。因此，本文設計了一種計算個性化知識學習量的方法。具體計算如下：
Upktt=tanh（WT2（SDt⊕atej）+b2）（9）
Ipktt=sigmoid（WT3（SDt⊕atej）+b3）（10）
PKt=Upktt·Ipktt（11）
其中：tanh和sigmoid分別表示tanh非線性激活函數和sigmoid激活函數；WT2、WT3∈?2d×d是MLP的權重矩陣；b2、b3∈?d是對應的偏置項。Upktt代表知識能力學習的直接輸出，反映了知識學習的總量。Ipktt則設計為一個門控機制，用于有選擇性地保存Upktt中的信息，從而得到學習者的個性化知識能力學習量PKt。
2.5.3 知識狀態更新層（PEFIN）
經過個性化知識能力學習層之后，為了更加客觀地反映學習知識狀態的變化，本文考慮了以下影響知識狀態更新的因素：學習者前一時刻的知識隱藏狀態ht－1、當前時刻作出的回答atet、問題的難度qset以及其他相關因素。本文設計了一個權重因子IKSUt，用于衡量當前時刻個性化知識能力學習量和當前時刻學習者隱藏狀態對下一時刻學習隱藏狀態的影響效果。具體的知識狀態更新如式（12）（13）所示。
IKSUt=sigmoidWT4ht－1⊕atet⊕qset⊕kset⊕cset⊕uset+b4（12）
ht=PKt·IKSUt+ht－1·（1－IKSUt）（13）
其中：WT4∈?6d×d是MLP的權重矩陣；b4∈?d是對應的偏置項。通過計算出當前時刻個性化知識能力學習量對下一時刻學習隱藏狀態的權重因子IKSUt，繼而就可以得到下一時刻學習者的隱藏狀態ht。
2.6 知識狀態序列預測模塊（FUTPM）
學習者在解決問題過程中，其實質是學習者的隱藏狀態與問題之間的深層交互。為了刻畫這種交互過程，引入了學習者的預測狀態，并基于此來預測學習者的表現。在預測時，對預測狀態的不同部分應給予不同的關注度，特別是與當前問題緊密相關的部分更應受到重視。因此，在知識狀態序列預測模塊中，設計了一個多頭注意力數據統一化層，選擇性地關注學習者預測狀態中的關鍵信息，更加精準地預測學習者在解決問題過程中的表現，從而有效提高預測的準確性。
首先，通過計算學習者在時間步t的隱藏狀態ht，預測學習者在時間步t+1的表現。在MDKT模型中，利用時間步為t的隱藏狀態ht與時間步為t+1的問題qt+1做內積來模擬學習者做題的過程，得到預測狀態pret+1。具體如式（14）所示。
pret+1=ht×qt+1（14）
其中：×表示內積。接下來，為了更細致地處理預測狀態中的信息，將向量預測狀態pret+1拆分為n個等長度的部分。具體如式（15）所示。
pret+1=［pret+11，pret+12，…，pret+1j，…，pret+1n］（15）
然后，對每個子預測狀態pretj進行自注意力計算，包括計算查詢Qj矩陣、鍵kj矩陣和值Vj矩陣等操作，最后得到新的子預測狀態preatt+1j。具體如式（16）～（19）所示。
Qj=WT5·pret+1j+b5（16）
kj=WT6·pret+1j+b6（17）
Vj=WT7·pret+1j+b7（18）
preatt+1j=sigmoid（Qj·kj）d·Vj（19）
其中：WT5、WT6、WT7∈?d1×d1， d1的大小為d/n；b5、b6、b7∈?d1是對應的偏置。將得到的n個子預測狀態進行聚合，得到新預測狀態preatt+1∈?d，具體如式（20）所示。
preatt+1=preatt+11⊕…⊕preatt+1j⊕…⊕preatt+1n（20）
最后，將新的預測狀態輸入到多層感知機（MLP）中計算學習者的具體表現，具體如式（21）所示。
rt+1=WT8·preatt+1+b8（21）
其中：WT8∈?d×2是一個權重矩陣，b8∈?2。在知識狀態序列預測模塊中，通過設計一個中間狀態來刻畫學習者當前時刻知識狀態和下一個問題的交互過程，并對預測狀態中關注的信息賦予了注意力，模型可以輸出問題的預測結果，并增強輸出的可解釋性。
為了訓練MDKT模型中的所有參數和向量，選擇交叉熵對數損失函數作為預測rt+1和實際答案at+1 作為目標函數。同時，使用Adam優化器對小批量樣本進行損失最小化。具體的損失函數loss如式（22）所示。
loss=∑Tt=1（at+1log rt+1+（1－at+1）log（1－rt+1））（22）
3 實驗與結果分析
3.1 實現方法
MDKT模型以知識點、習題題目、問題難度QS、概念難度KS、認知難度CS、習題作答表現等作為輸入，以學習者的作答預測為輸出，具體實驗步驟如下：
a）綜合問題難度表示：對問題難度QS、概念難度KS、認知難度CS進行編碼并映射成相應的向量，利用BERT和CNN對習題題目進行語義難度提取，綜合四個問題難度得到綜合問題難度表示DQCet。
b）增強練習難度交互表示：對全體習題和知識點進行編碼并映射成相對應的向量，通過多層感知機將綜合問題難度表示DQCet融入到對應習題和知識點向量中，得到xt。
c）建模知識狀態：對增強練習難度交互表示xt和前一時刻學習者知識狀態進行余弦相似度計算，得到問題困難感，將不同時刻的學習者的答題結果映射成向量，結合問題困難感得到個性化知識學習量，通過tanh非線性激活函數和sigmoid激活函數衡量個性化知識能力學習量和學習者前一時刻隱藏狀態的影響效果，從而建模學習者當前知識狀態ht。
d）預測結果：將知識狀態ht和下一時刻習題qt+1進行交互，通過多頭注意力機制和數據統一化層，輸出預測結果rt+1。
3.2 實驗數據集
為了驗證MDKT模型的有效性，以浙江省6個地區的學生為實驗對象，共涉及11所學校29個班級，總計1 120名學生參與測驗，采用試卷形式，經過一個學期的數據收集和處理，經過嚴格篩選，剔除了空白等無效試卷，確保了數據的質量和有效性。數據集包含2個子集project2和project3。project2子集共收回1 120份有效試卷，而project3子集則收回了983份有效試卷。數據集包括學生的作答情況、題目所包含的知識點、題目文本、題目對應的認知維度等重要信息。在錄入數據時，作答正確記為“1”，作答錯誤記為“0”。對于題目所包含的知識點、題目所對應的認知難度都是邀請學科教師、專家進行評定。數據集的具體概覽如表2所示，詳細展示了數據集的各個部分和特征。
在數據集的劃分上，隨機選取70%的序列作為訓練驗證集，剩余的30%作為測試集。對于訓練驗證集，采用五折交叉驗證方法進行模型的訓練和驗證：在每次折疊中，使用80%的序列進行訓練，剩余的20%用于驗證。所有超參數均在訓練集上進行調整，并選擇驗證集上表現最好的模型用于評估測試集的性能。
使用網格搜索法在以下的參數取值內確定模型的最優參數，使用早停策略進行訓練，訓練輪數epoch∈{20、30、40、50}，學習率learning_rate∈{0.001、0.003、0.005}，batch-size∈{32、64、128}，選擇交叉熵損失函數和 Adam 優化器，同時為了防止過擬合，將dropout設置為0.2。
3.4 性能對比實驗
本文采用三個評價指標來評估模型的性能：均方根誤差（root mean square error，RMSE）、準確率（accuracy，ACC）和ROC曲線下的面積（area under curve，AUC）。這些指標的計算如式（23）～（25）所示。
RMSE=1n∑Ni=1（r（xi）－yi）2（23）
ACC=rN（24）
AUC=∑i∈positionranki－m（1+m）2m×n（25）
在計算上面指標時，將分類閾值設置為0.5。N表示學生的練習交互記錄數量，r（xi）為第i個交互記錄得分的預測值，yi為對應的真實標簽，r為預測正確的數量，m為正例的數量，n為負例的數量。RMSE值越小表示模型越好，相反ACC和AUC越大表示模型越好。
為了評估MDKT模型的有效性，本文將其與多個基線模型進行對比。所有模型均在配備NVIDIA RTX 4090 GPU的Linux服務器集群中進行訓練，以確保公平比較和最佳性能。以下是各基線模型的詳細信息：
a）DKT［8］：該模型利用RNN、GRU、LSTM等技術來評估學習者的知識狀態。在本文的對比實驗中，采用LSTM來實現DKT模型。
b）DKT+［31］：解決了DKT在跨時間預測性能不一致的問題，同時重構了觀察到的輸入。此外，在損失函數計算時增加了兩個正則項，使學習者的知識掌握狀態逐漸增加。
c）DKVMN［9］：動態記憶網絡的知識追蹤模型，定義了key矩陣和value矩陣分別存儲潛在的知識概念和學習者的學習狀態。通過提供讀寫操作，該模型能夠靈活地捕捉學習者的知識狀態隨時間的變化。
d）SAKT［11］：受Transformer的啟發，第一個使用Transformer框架的知識追蹤模型，利用自注意力機制來捕捉學生行為序列中的長期依賴關系。
e）EKT［17］：模型將練習題的文本內容嵌入知識追蹤模型，使用記憶網絡來量化每個練習題在練習過程中對學習者知識點掌握程度的影響，采用注意力機制來優化EKT模型。
f）CKT［32］：關注學生特征，它利用統計手段捕獲學生個性化的先驗知識，并在CNN中引入卷積窗口來模擬他們在學習過程中的不同學習率。
g）DIMKT［22］：利用統計方法獲取問題難度，并設計了一個自適應神經網絡用于捕捉題目難度對學習者動態知識狀態的影響。
本文通過比較不同知識追蹤模型在預測學習者未來表現方面的性能，發現MDKT模型在兩個子數據集上的AUC值、ACC值和RMSE值均顯著優于其他七個基線模型（具體數值詳見表4）。這一結果表明，引入問題難度對MDKT模型至關重要，且其自適應學習模塊中的問題困難感計算層（CDILA）、個性化知識能力學習層（CAPAB）和知識狀態更新層（PEFIN）能成功捕捉學習者知識掌握狀態與問題難度屬性之間的關系。因此，MDKT模型在預測性能上表現出優越性。
此外，與未考慮問題難度屬性的知識追蹤模型（如BKT、DKT、DKVMN、SAKT，CKT）相比，利用問題難度屬性來增強問題嵌入的知識追蹤模型（如EKT、DIMKT、MDKT）展現出了更好的性能。這是因為利用問題難度屬性增強的問題嵌入與學習者知識狀態之間的交互更具針對性，從而提高了模型的預測準確性。這也進一步強調了考慮問題難度屬性在知識追蹤模型中的重要性。與僅利用練習題隱式難度來增強問題嵌入的知識追蹤模型EKT相比，MDKT模型采用隱式與顯式相結合的方式嵌入問題難度屬性。這種方式不僅考慮了問題的表面難度特征，還深入挖掘了與學習者知識狀態相關的多層難度信息。因此，MDKT模型在性能上表現出更大的優越性。這也凸顯了MDKT模型在問題難度屬性嵌入方式上的創新性和實用性。
3.5 參數對比實驗
為了進一步確定MDKT的最佳參數，設計了參數對比實驗，主要分為非問題難度影響參數與問題難度影響參數對比實驗。
3.5.1 非問題難度影響參數分析
具體如下：非問題難度影響參數將MDKT模型、嵌入矩陣、知識狀態序列更新模塊和多頭注意力機制中的隱藏層維度d均設置為32、64、128，多頭注意力機制的頭數為2、4，對比不同維度與多頭注意力機制頭數h情況下MDKT模型的最佳AUC，實驗結果如表5所示。
從表5可以看出，當多頭注意力機制頭數h為2、隱藏層維度d為64時，MDKT模型的AUC在兩個數據集中表現最好，因此本文將多頭注意力機制頭數h、隱藏層維度d分別設置為2、64。
3.5.2 問題難度參數影響分析
為了深入分析MDKT模型中問題難度參數對性能的影響，本文進行了敏感性分析。具體而言，關注了三個關鍵參數：問題難度等級Cqs、概念難度等級Cks以及題目文本最大長度z。這些參數在模型中起著重要作用，直接影響著特定問題難度、知識概念難度和題目語義難度的提取。
首先，針對問題難度等級Cqs進行了實驗。Cqs代表具體問題難度等級，其取值設為10、50、100、500、1 000。在固定Cks=100、z=40的條件下，觀察了不同Cqs對MDKT模型性能的影響。實驗結果如表6所示。當Cqs為1 000時，在兩個子數據集中，MDKT模型的AUC平均下降1.78%、ACC平均下降1.165%、RMSE平均上升0.78%；當Cqs為10時，在兩個子數據集中，MDKT模型的AUC平均下降1.05%、ACC平均下降0.48%、RMSE平均上升0.41%。因此Cqs過大（1 000）或者過小（10），MDKT的性能都會出現一定的下降，原因是當Cqs過大時，沒有體現問題難度的一般性，然而當Cqs過小時，沒有展示問題難度特異性。因此，選擇合適的Cqs值對模型性能至關重要。
其次，探究了Cks對模型性能的影響。Cks表示知識點概念難度等級，取值同樣設為10、50、100、500、1 000。在固定Cqs=100、z=40的條件下進行實驗。實驗結果如表7所示。當Cks為1 000時，在兩個子數據集中，MDKT模型的AUC平均下降1.76%、ACC平均下降0.91%、RMSE平均上升0.55%；當Cks為10時，在兩個子數據集中，MDKT模型的AUC平均下降1.74%、ACC平均下降0.61%、RMSE平均上升0.89%。原因與Cqs類似，即Cks過大或過小時，模型無法準確捕捉概念難度的一般性和特異性。
最后，分析了題目文本最大長度z的影響。z的取值設為20、30、40、50、60，代表題目文本的語義完整度。在固定Cqs=100、Cks=100的條件下進行實驗。實驗結果如表8所示，當z為20時，在兩個子數據集上，MDKT模型的AUC平均下降1.01%、ACC平均下降0.70%、RMSE平均上升0.50%；當z為60時，在兩個子數據集上，MDKT模型的AUC平均下降0.34%、ACC平均下降0.10%、RMSE平均上升0.03%。原因是當z過小時，題目文本的語義信息不完整，導致模型無法準確表征語義難度；而z過大時，空白信息填充過多，對語義難度的提取造成了一定干擾。
通過對Cqs、Cks和z三個參數的敏感性分析，發現這些參數對MDKT模型性能具有重要影響。為了保證模型性能達到最優，建議將Cqs和Cks的取值設定在50～100，并將z的取值設定題目文本的平均長度附近。
3.6 消融實驗結果
為了進一步驗證MDKT模型中各模塊的有效性，本文在兩個子數據集上對MDKT模型進行了消融實驗。消融實驗的目的在于通過移除或替換模型中的某些組件，觀察模型性能的變化，從而評估這些組件對模型性能的貢獻。實驗中共選擇了五種MDKT變體模型，每種變體模型都是在原有MDKT模型的基礎上刪除一種結構組件或者用較為簡單的組件替換。具體情況如下：
a）MDKT w/o DQC，在MDKT模型中不考慮問題難度的影響。
b）MDKT w/o CDILA，用xt－ht替換原來的知識能力學習層。
c）MDKT w/o CAPAB，在MDKT模型中不考慮個性化知識能力學習層。
d）MDKT w/o PEFIN，在MDKT模型中不考慮知識狀態更新層。
e）MDKT w/o ATT，在MDKT模型中不考慮注意力池化層。
圖3展示了這些變體模型在兩個子數據集上的性能對比結果。從圖中可以看出，不考慮注意力池化層時，MDKT模型性能下降最為顯著，ACC平均下降8.79%、AUC平均下降8.45%、RMSE平均上升2.61%。這是因為多頭注意力機制能夠使MDKT模型聚焦于當前問題，解決相關的預測狀態部分，若缺少該機制，模型將無差別地關注預測狀態，導致性能下降。此外，不考慮問題難度時，MDKT模型性能也受到較大影響，ACC平均下降3.37%、AUC平均下降2.89%、RMSE平均上升0.29%。這說明在構建模型時考慮問題難度的重要性。當移除知識狀態序列更新模塊的各個部分時，MDKT模型性能均出現下降。這是因為這些部分共同構成了學習者自適應學習的過程展示，缺少任何一個結構組件都將影響模型的完整性。
3.7 模型應用效果
本文將MDKT模型與知識點網絡圖相結合，構建了挖掘學習者薄弱知識點的應用原型。首先，通過MDKT模型獲取學習者對題目回答情況以及題目所涵蓋的知識點，進而推斷出學習者對每個知識點概念的掌握程度。其次，考慮知識點之間的空間關系以及知識點本身的難度，包括上位知識點對當前知識點的影響以及當前知識點對下位知識點的影響。最后，綜合這些因素，得出學習者對每個知識點的綜合掌握程度。以Project2子數據集中的測試集數據S12學習者為例，其具體的知識點綜合掌握情況如圖4所示。
利用學習者對每個知識點的綜合掌握程度，對學習者的錯題進行分析，找出導致答錯的主要知識點（即錯因知識點）。表9展示了學習者S12的錯題及其對應的錯因知識點。
通過對學習者的“錯因知識點”進行聚合分析，可以識別出學習者的薄弱知識點。圖5 展示了學習者S12的薄弱知識點分布情況。
根據圖5所示的學習者S12的薄弱知識點分布圖，可以清晰地識別出一級薄弱知識點和二級薄弱知識點。結合學習者的實際答題情況和題目所包含的知識點進行分析驗證，發現包含一級薄弱知識點的題目學習者幾乎全部答錯。以學習者S12的k35為例，涉及該知識點的題目包括tilte20、title24、title25、title30等，對照學習者S12的真實答題記錄，發現這些題目均答錯。進一步對Project2子數據集中的其他學習者進行分析也得出類似結論。此外，對二級薄弱知識點的分析表明，即使學習者對某些知識點掌握得不錯，仍可能答錯相關題目，這可能與學習者的狀態、所處環境等其他因素有關。因此通過分析學習者的薄弱知識點，不僅可以識別其一級薄弱知識點和易錯知識點，還能為個性化教學提供有針對性的指導。
4 結束語
本文提出了融入多維問題難度的知識追蹤模型MDKT，該模型利用BERT對題目文本進行向量化處理，獲取語義信息，并結合問題難度、概念難度和認知難度，形成多維問題難度表征；通過構建自適應學習模塊和采用多頭注意力機制，模擬學習者做題過程并解決預測狀態重要性不一致問題。實驗表明，MDKT模型性能優越，且通過消融實驗驗證了其結構上的優勢。結合知識點網絡圖，計算出學習者對知識點的綜合掌握程度，成功挖掘出薄弱知識點，為個性化補救教學實施提供支持。未來研究將從更多的視角挖掘出問題難度的層次，從考慮問題難度層次之間的重要性和相互作用中實現問題難度層次的融合創新，在自適應學習模塊中通過問題難度推斷出學習者在作答過程中的失誤、猜測等因素，并探究這些因素如何融入到自適應學習模塊，增加模型應用場景的多元性。
參考文獻：
［1］李曉光， 魏思齊， 張昕， 等. LFKT： 學習與遺忘融合的深度知識追蹤模型 ［J］. 軟件學報， 2021， 32（3）： 818-830. （Li Xiao-guang， Wei Siqi， Zhang Xin， et al. LFKT： deep knowledge tracing model with learning and forgetting behavior merging ［J］. Journal of Software， 2021， 32（3）： 818-830.）
［2］馬驍睿， 徐圓， 朱群雄. 一種結合深度知識追蹤的個性化習題推薦方法 ［J］. 小型微型計算機系統， 2020， 41（5）： 990-995. （Ma Xiaorui， Xu Yuan， Zhu Qunxiong. Personalized exercises recommendation method based on deep knowledge tracing ［J］. Journal of Chinese Computer Systems， 2020， 41（5）： 990-995.）
［3］李建偉， 武佳惠， 姬艷麗. 面向自適應學習的個性化學習路徑推薦 ［J］. 現代教育技術， 2023， 33（1）：108-117. （Li Jianwei， Wu Jiahui， Ji Yanli. Personalized learning path recommendation oriented to adaptive learning ［J］. Modern Educational Technology， 2023， 33（1）： 108-117.）
［4］劉放， 徐行健， 孟繁軍， 等. 大規模測評數據驅動的個性化評價模型設計與實施 ［J］. 計算機教育， 2022 （4）： 138-144. （Liu Fang， Xu Xingjian， Meng Fanjun， et al. Design and implementation of personalized evaluation model driven by large-scale assessment data ［J］. Computer Education， 2022 （4）： 138-144.）
［5］鄭佩蕓. 基于深度知識追蹤的大學英語智適應學習系統構建初探 ［J］. 外語電化教學， 2023 （1）： 53-56， 112. （Zheng Peiyun. A preliminary study on the construction of a smart adaptive learning system for college English using deep knowledge tracing ［J］. Computer Assisted Foreign Language Education in China， 2023 （1）： 53-56， 112.）
［6］Corbett A T， Anderson J R. Knowledge tracing： modeling the acquisition of procedural knowledge ［J］. User Modeling and User-adapted Interaction， 1994， 4（4）： 253-278.
［7］Pavlik Jr P I， Cen H， Koedinger K R. Performance factors analysis—a new alternative to knowledge tracing ［J］. Online Submission， 2009， 15（3）： 513-521.
［8］Piech C， Bassen J， Huang J， et al. Deep knowledge tracing ［C］// Proc of the 29th Annual Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2015： 505-513.
［9］Zhang J， Shi X， King I， et al. Dynamic key-value memory networks for knowledge tracing ［C］// Proc of the 26th International Confe-rence on World Wide Web. 2017： 765-774.
［10］張凱， 付姿姿， 紀濤. 習題內外表示異質融合的知識追蹤模型 ［J］. 計算機應用研究，2024，41（3）：764-771. （Zhang Kai， Fu Zizi， Ji Tao. Knowledge tracing via heterogeneous fusion of exercise internal and external representations ［J］. Application Research of Computers， 2024，41（3）：764-771.）
［11］Pandey S， Karypis G. A self-attentive model for knowledge tracing ［C］// Proc of the 12th International Conference on Educational Data Mining. 2019： 384-389.
［12］張鵬， 文磊. F-TCKT： 融合遺忘因素的深度時序卷積知識追蹤模型 ［J］. 計算機應用研究， 2023， 40（4）： 1070-1074. （Zhang Peng， Wen Lei. F-TCKT： deep temporal convolutional knowledge ［J］. Application Research of Computers， 2023， 40（4）： 1070-1074.）
［13］Kn?uper B， Belli R F， Hill D H， et al. Question difficulty and respondents’ cognitive ability： the effect on data quality ［J］. Journal of Official Statistics， 1997， 13： 181-199.
［14］Lomas D， Patel K， Forlizzi J L， et al. Optimizing challenge in an educational game using large-scale design experiments ［C］// Proc of SIGCHI Conference on Human Factors in Computing Systems. 2013： 89-98.
［15］Beck J， Stern M， Woolf B P. Using the student model to control problem difficulty ［C］// Proc of the 6th International Conference on User Modeling. Vienna： Springer， 1997： 277-288.
［16］Padó U. Question difficulty-how to estimate without norming， how to use for automated grading ［C］// Proc of the 12th Workshop on Innovative Use of NLP for Building Educational Applications. 2017： 1-10.
［17］Liu Qi， Huang Zhenya， Yin Yu， et al. EKT： exercise-aware know-ledge tracing for student performance prediction ［J］. IEEE Trans on Knowledge and Data Engineering， 2019， 33（1）： 100-115.
［18］Pandey S， Srivastava J. RKT： relation-aware self-attention for know-ledge tracing ［C］// Proc of the 29th ACM International Conference on Information amp; Knowledge Management. New York：ACM Press， 2020： 1205-1214.
［19］Ghosh A， Heffernan N， Lan A S. Context-aware attentive knowledge tracing ［C］// Proc of the 26th ACM SIGKDD International Confe-rence on Knowledge Discovery amp; Data Mining. New York：ACM Press， 2020： 2330-2339.
［20］Van Der Linden W J， Hambleton R K. Item response theory： brief history， common models， and extensions ［M］// Handbook of Modern Item Response Theory. New York： Springer， 1997： 1-28.
［21］Zhang Moyu， Zhu Xining， Zhang Chunhong， et al. Multi-factors aware dual-attentional knowledge tracing ［C］// Proc of the 30th ACM International Conference on Information amp; Knowledge Management. New York：ACM Press， 2021： 2588-2597.
［22］Shen Shuanghong， Huang Zhenya， Liu Qi， et al. Assessing student’s dynamic knowledge state by exploring the question difficulty effect ［C］// Proc of the 45th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York：ACM Press， 2022： 427-437.
［23］王士進， 吳金澤， 張浩天，等. 可信的端到端深度學生知識畫像建模方法 ［J］. 計算機研究與發展， 2023， 60（8）： 1822-1833. （Wang Shijin， Wu Jinze， Zhang Haotian， et al. Trustworthy end-to-end deep student knowledge portrait modelling method ［J］. Journal of Computer Research and Development， 2023， 60（8）： 1822-1833.）
［24］Abdelrahman G， Wang Qing. Knowledge tracing with sequential key-value memory networks ［C］// Proc of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval. 2019： 175-184.
［25］王璨， 劉朝暉， 王蓓， 等. TCN-KT： 個人基礎與遺忘融合的時間卷積知識追蹤模型 ［J］. 計算機應用研究， 2022， 39（5）： 1496-1500. （Wang Can， Liu Zhaohui， Wang Bei， et al. TCN-KT： temporal convolutional knowledge tracking model based on fusion of personal basis and forgetting ［J］. Application Research of Computers， 2022， 39（5）： 1496-1500.
［26］李曉光， 魏思齊， 張昕， 等. LFKT： 學習與遺忘融合的深度知識追蹤模型 ［J］. 軟件學報， 2021， 32（3）： 818-830. （Li Xiao-guang， Wei Siqi， Zhang Xin， et al. LFKT： deep knowledge tracing model with learning and forgetting behavior merging ［J］. Journal of Software， 2021， 32（3）： 818-830.）
［27］Shen Shuanghong， Liu Qi， Chen Enhong， et al. Learning process-consistent knowledge tracing ［C］// Proc of the 27th ACM SIGKDD Conference on Knowledge Discovery amp; Data Mining. New York：ACM Press， 2021： 1452-1460.
［28］Su Yu， Liu Qingwen， Liu Qi， et al. Exercise-enhanced sequential modeling for student performance prediction ［C］// Proc of the 32nd AAAI Conference on Artificial Intelligence and the 30th Innovative Applications of Artificial Intelligence Conference and the 8th AAAI Symposium on Educational Advances in Artificial Intelligence. Palo Alto， CA： AAAI Press， 2018： 2435-2443.
［29］梁祥， 劉夢赤， 胡婕，等. 融合習題難度和作答經驗的深度知識追蹤模型 ［J］. 華南師范大學學報：自然科學版， 2023， 55（4）： 81-86. （Liang Xiang， Liu Mengchi， Hu Jie， et al. Deep knowledge tracing model by integrating problem difficulty and answering experience ［J］. Journal of South China Normal University：Natural Science Edition， 2023， 55（4）： 81-86.）
［30］Krathwohl D R. A revision of Bloom’s taxonomy： an overview ［J］. Theory into Practice， 2002， 41（4）： 212-218.
［31］Yeung C K， Yeung D Y. Addressing two problems in deep know-ledge tracing via prediction-consistent regularization ［C］// Proc of the 5th Annual ACM Conference on Learning at Scale. New York：ACM Press， 2018： 1-10.
［32］Shen Shuanghong， Liu Qi， Chen Enhong， et al. Convolutional knowledge tracing： modeling individualization in student learning process ［C］// Proc of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. New York：ACM Press， 2020： 1857-1860.
