基于LSTM的解題模型及其在認知診斷過程中的應用

史意意,程 嘉,倪晟峰

(江蘇金盾檢測技術股份有限公司,江蘇 南京 210042)

0 引言

認知診斷研究是研究被觀察者對某類事物或領域的了解掌握程度。該領域研究源屬于心理學研究領域,因為學習過程本質上是一種心理活動過程。目前,認知診斷被廣泛地研究和應用在學習測試中,主要是通過認知診斷判斷學生對于知識點的掌握情況,形成教學上的反饋,這對于提高教學的質量具有重要意義。

此類研究的基本流程是使用題目來測試學生,根據學生的做題結果來判斷學生對知識點的掌握情況,即觀察被測試者對測試題目的反應(觀察反應模式,ORP)來推知該測試者不可觀察的知識狀態,即期望反應模式(ERP)。認知診斷研究的目標是盡可能地使ORP與ERP一致。當前,認知診斷研究可以分為兩個方面:一方面是知識點結構的表達,以Q矩陣為主流;另一方面是認知診斷模型,這方面模型眾多目前已超過百種,主流的模型有使用概率模型的線型邏輯斯蒂克特質模型(LLTM)及基于模式識別和分類技術的規則空間模型(RSM)。

隨著計算機技術在各領域應用中的發展,使用算法實現認知診斷成為這方面研究的重點。認知診斷已成為計算機研究領域與心理學研究領域的一個交叉學科。同時,計算機領域中一些方法也開始與認知診斷領域的模型與方法融合,產生了大量新的模型。特別是人工智能神經網絡的興起,在認知診斷領域的應用中取得了長足的發展。神經網絡以及深度學習等模型雖然對于學習過程的仿真比傳統認知診斷模型更能體現學生的學習過程,但由于神經網絡及深度學習模型缺乏解釋性,因此不能直接用于認知診斷結論的生成。

為了能在認知診斷中引入神經網絡及深度學習模型,生成最終的診斷結論,本文提出一種新的基于LSTM的神經網絡模型,通過多層網絡架構和調整認知診斷的學習方法,形成可解釋的分析結果。本文的主要結構安排如下:首先,介紹目前主流的LLTM和RSM模型以及用于認知診斷的神經網絡模型;其次,給出本文的神經網絡模型以及認知診斷的訓練算法和相應的訓練數據與過程;最后,給出基于LSTM的解題過程模型及其在認知診斷中的應用方案。

1 認知診斷與認知診斷模型

1.1 認知診斷概述

認知診斷早期是一種認知科學與心理測量學相結合的研究領域[1]。從20世紀80年代起,認知識診斷已為眾多學者所關注,并開展了大量的研究工作,特別是認知科學與心理測量學在教育領域的應用。認知診斷理論研究主要包括兩個方面:表達知識點之間的層次與關聯關系的Q矩陣理論[2]和認知診斷模型。目前,學者們提出了近百種認知診斷模型。

1.2 典型的認知診斷模型

認知診斷模型中影響力比較深遠的模型有LLTM[3]和規則空間模型(RSM)[4],其中:LLTM模型是基于公式(1)完成的。

P(Xij|θi)=exp(θi-bj)/(1+exp(θi-bj)),

(1)

其中,θi是學生的能力參數,bj是題目的難度參數,qjk是知識點k在題目j上的復雜度計分,K為認知診斷過程中的知識點個數,ηk是知識點k的復雜度權重,d是標準化常數。顯然,LLTM模型是基于統計與概率的機器學習模型,而該模型面臨的問題主要是相關參數的確定。

RSM模型則采用另一種方式來實現對學生認知能力的診斷。首先,RSM模型基于知識點的關聯關系建立縮略事件Q矩陣、可達矩陣以及典型項目反應模式。其中,典型項目反應模式是按照診斷的知識點典型屬性矩陣建立的,即按照知識點層次組織和關聯關系構建不同的知識點掌握分布,每種分布作為一個知識點典型屬性矩陣。而每種分布針對不同的知識點構建典型項目(即包含不同知識點的測試題)進行測試,通過項目反應理論中雙參數或三參數邏輯斯蒂模型來計算各典型項目的正確率。在獲得典型項目正確率后,針對各個被測試學生做題表現采用公式(2)計算其與各典型反應模式的偏差程度。

f(x)=(p(θ)-x)(p(θ)-T(θ))

(2)

其中,p(θ)是典型項目反應模式答題的正確率;T(θ)是典型項目答對的平均率;x是被測試學生的答對情況,1是答對,0是答錯。通過公式(2)可以計算出被測試學生與各典型項目反應模式的偏差,從而實現診斷,即距離某個典型項目反應模式歐氏距離最近的典型項目為學生的認知掌握診斷結果。

1.3 基于神經網絡與深度學習的建模

除了上述2種模型外,還有各種基于概率統計學習的模型,但由于認知過程的復雜性,統計學習模型難以表達測試題中各知識點的復雜關聯關系,很難通過統計學習模型來實現準確的認知診斷。因此近年來學者們開始嘗試使用神經網絡和深度學習來實現對認知診斷的建模。

這方面的工作有NeuralCD、DIRT等。NeuralCD[5]是一種通用的神經認知診斷框架,主要使用神經網絡來建模被測試對象與知識點之間的復雜關系,使用多層神經網絡建模,并采用了單調性假設(知識點掌握越深入答對的可能性越高)實現因子的可解釋性。DIRT[6]通過測試文本、文本與知識概念之間的關系,使用深度神經網絡實現學生和測試參數的診斷過程。在DIRT中,先使用嵌入的方法來表示文本與知識的概念,再使用熟練度來表達學生對知識概念的掌握程度。

上述的這些基于神經網絡與深度學習框架都面臨著診斷結果的解釋問題,因為神經網絡類似于黑盒子,能實現對復雜函數與處理過程的仿真與模擬,但實現的過程與原理缺乏解釋性。雖然NeuralCD模型嘗試了對因子的解釋,但仍然難以達到認知診斷的預期效果。

2 基于LSTM對測試過程的擬合

2.1 LSTM模型及其對測試過程的建模

LSTM是基于RNN改造實現的時間序列神經網絡,也屬于深度學習框架的一種[7]。原始的RNN模型在序列太長時會造成梯度消失,即誤差經后向反饋傳遞至序列前面神經元時,對連接權重的調整消失了。因此RNN只能捕捉到局部關系,無法進行長期關聯。

LSTM網絡具有一定的“記憶性”,主要是LSTM網絡結構設計使得不同時間序列之間存在連接,而不是序列只與其所在位置的前序和后序之間存在反饋。從結構上看,LSTM增加了一系列的邏輯門,進一步增強了LSTM在時序參數傳遞與反饋過程中對信息的取舍。LSTM主要有3種類型的門結構:遺忘門、輸入門和輸出門。其中:遺忘門的功能是決定丟棄或保留哪些信息;輸入門用于更新狀態,將上一時序的信息輸入到當前時序中;輸出門用來確定下一個時序的輸入信息。

由于LSTM對于時序的建模特性,本文使用LSTM來實現對學生測試的解題過程建模。原因在于前述的眾多模型中,雖然最終的診斷都依賴于被測試學生的測試結果,但在分析模型中沒有表述出解題過程中知識點的應用過程。本文認為解題本質上也是一個應用知識點的時間和狀態序列。前述的模型中,大多將測試題目歸納成不同的知識點典型屬性組合,這種組合并沒有表述出知識點應用對于解題最終結果的制約關系。被測試學生解題失敗僅可能是其中某一個知識點的應用失敗造成的,現有模型使用的統計概率公式是無法表達出這種情況。本文采用LSTM所建立的解題過程模型,如圖1所示。

圖1 基于LSTM的解題過程模型

圖1中方框內為LSTM的神經元,下方的x(i)是采用one-hot編碼的知識點;0～n,其中n為本次診斷測試所覆蓋的知識點個數。圖1是一次解題過程,顯然該次測試共需要6步來完成解題,分別a(0)～a(5)每一步分別對應x(i)編碼的知識點。最終,本文模型在最后一個時序輸出解題的結果,通過Softmax函數得出最終的預測結果,若為0則解題失敗,若為1則解題成功。

2.2 基于典型項目反應模式的LSTM認知診斷模型

針對上述的LSTM解題模型,本文提出通過該模型實現認知診斷的方案。該方案從總體上主要分成以下兩個步驟:一個是訓練步驟,另一個是應用診斷步驟。

2.2.1 基于LSTM解題模型的訓練步驟

(1)建立典型項目反應模式:該步驟與其他認知診斷模型類似,通過建立Q矩陣、縮減矩陣,再利用縮減矩陣反轉即可得到典型項目的反應模式;(2)測試題的預處理:這一步中主要是將測試題所涉及的各測試知識點進行提取,提取后再按解題的步驟進行劃分,形成如的知識點序列;(3)針對測試題的知識點序列進行測算,估算出每種典型項目反應模式相對于測試題的測試結果,主要是對或錯二種情況;(4)將的知識點序列轉換成知識點的one-hot向量,測試的結果作為樣本的結果,輸入到LSTM解題模型中,實現各種典型項目反應模式進行訓練,獲得最終的訓練結果。經過上述的訓練步驟之后,即獲得了各種典型項目反應模式的LSTM模型。

2.2.2 基于LSTM訓練模型的認知診斷步驟

(1)針對一批新的測試題目,遍歷題目,取出每道題;(2)將每道題的的知識點序列轉換成one-hot編碼向量,輸入到各典型項目反應模式的LSTM模型,獲得預測的各典型項目反應模式相對于測試的結果;(3)針對被測試學生的測試結果向量,按歐氏距離計算與上述型項目反應模式結果向量的距離;(4)將距離學生測試結果最近的典型項目反應模式作為診斷的結果。

2.3 典型項目反應模式的測試結果估算

本文上述的認知測試方案中,比較重要的部分是訓練LSTM模型過程中,樣本生成時需要估計各典型項目反應模式對測試題的結果。現有的規則空間模型使用的是項目反應理論[8]如公式(3)所示。

(3)

其中,比較難以量化的是區分度參數αi和難度參數βj。這兩個參數只能通過認知診斷設計人員按經驗去設置。顯然,這個參數對于最終的診斷結果影響很大。

為了減少參數設置對整理認知診斷結果的影響,本文采用的是如下的方式來對測試的結果進行估算。假設有縮減矩陣A如下所示:

顯然,在縮減矩陣中,一共列出了3個知識點(k1,k2,k3)。按縮減矩陣的定義,這3個知識點彼此的關聯關系,分別是(k1 ->k2),(k1 ->k3)。一般假設有待測試題,其知識點為(k2,k3)二個知識點,待測試的典型項目模式為(1,1,0),則針對這個待測試題與典型項目模式,其測試的結果應為計算在知識點k1和k2已經掌握的情況下,推算出k3知識點的掌握情況。即:P(k3|k1,k2)=P(k3|k1),因為k2在典型項目模式下已經掌握。

其中,k表示新增知識點的種類數,αk表示不同種類知識點的權重,Mk是各種知識點的新增數量,n為總新增知識點數量。因而測算k3的掌握程度,可以求出k2、k3的知識點與k1知識點的區分度分別為D2,D3,則k3知識點的掌握程度可測算為:D3/(D2+D3),以此作為k3知識點測試的通過率。若其大于0.5,則認為測試通過,若否則判斷為測試失敗。

3 結語

本文提出了一種新型的認知診斷模型。相對于現有基于統計學習的認知診斷模型以及基于深度學習的認知診斷模型,本文模型的貢獻主要側重于兩方面:一是提出使用LSTM來對測試解題的過程進行訓練;二是提出基于LSTM解題模型的認知診斷方案,該方案側重于如何減少認知診斷過程中重復性的工作。基本本文的模型只需要進行一次性的典型項目模式訓練,此后認知診斷的設計人員不需要重復性的構建縮減矩陣以及計算不同測試題的典型項目模式測試通過概率,只需要設計人員提煉出測試題的解題知識點序列,就可以實現新測試項目下的認知診斷。這使得本文模型對于認知診斷的簡化與普適性推廣具有重要的意義。