一種基于Q矩陣理論樸素的認知診斷方法*

2015-02-06 00:52:16

心理學報 2015年2期

(江西師范大學心理學院,南昌 330022)

1 引言

通常將對個體知識結構、加工技能或認知過程的診斷評估稱之為認知診斷評估(Cognitive Diagnosis Assessment,CDA)或認知診斷(Cognitive Diagnosis,CD,Leighton &Gierl,2007)。與一般的教育考試不同,認知診斷使用融合了相關認知變量的心理計量學模型對被試進行診斷評估。這使得測驗不再局限于單一而籠統的分數,而是能夠提供關于被試認知水平更加詳細的診斷信息,從而更深入地了解學生的認知結構與水平。據統計,認知診斷方法發展至今已達100多種(辛濤,樂美玲,張佳慧,2012)。其中,受研究者關注較多的有：(Tatsuoka,1991,1995;Tatsuoka &Tatsuoka,1997)的規則空間方法(Rule Space Method,RSM),Junker和Sijtsma(2001)的決定性輸入,噪音‘與’門模型(the Deterministic Inputs,Noisy “and” Gate Model,DINA),Leighton,Gierl和 Hunka(2004)以及 Leighton和Gierl(2007)的屬性層次方法(Attribute Hierarchy Method,AHM),等等。

Q矩陣理論和認知診斷方法是認知診斷的兩個重要組成部分。作為認知診斷的基礎,Q矩陣理論包含以下幾個核心概念：Q矩陣、鄰接矩陣(Adjacency Matrix,簡稱為 A 矩陣)、可達矩陣(Reachability Matrix,簡稱為R矩陣)、理想掌握模式(Ideal Master Pattern,IMP)或知識狀態(Knowledge States,KS)、典型項目考核模式及理想反應模式(Ideal Response Pattern,IRP)。Q矩陣是描述測驗項目與屬性間關系的關聯矩陣。A矩陣是反映屬性間直接關系的矩陣。R矩陣是反映屬性間直接關系、間接關系和自身關系的矩陣。IMP是根據屬性間的層級關系確定的所有符合邏輯的掌握模式,也稱之為KS。典型項目考核模式是根據屬性間層級關系確定的所有符合邏輯的測驗項目考核模式。IRP是被試在不存在任何失誤和猜測誤差條件下對項目的作答反應。

在界定好上述矩陣后,便可利用相應的認知診斷方法對被試進行診斷評估。以 RSM 為例,其基本思想是利用被試的觀察反應模式(Observed Response Pattern,ORP)來推斷其潛在的不可直接觀察的屬性掌握模式(Attribute Master Pattern,AMP)。大致步驟是：基于Q矩陣理論,建立起IMP與IRP之間的一一對應關系,再利用其構建的二維規則空間,采用 Bayes判別法對被試進行事后診斷分類。而AHM在RSM的基礎上,認為應當先獲得Q矩陣再編制測驗。其判別分類方法主要包括兩種：A方法和B方法。A方法將需判別的ORP與所有的IRP逐個比較,求取二者的相似的概率,按概率最大的準則進行診斷分類。B方法將ORP與所有的IRP進行逐個比較,確定不包含在該ORP中的IRP,計算其1-0型失誤的概率,按概率最大的準則進行診斷分類。

受AHM啟發,結合丁樹良等人(2009,2010)提出的改進的Q矩陣理論,孫佳楠等人(2011)提出了廣義距離判別法(Generalized Distance Discrimination,GDD)。GDD引入項目反應理論(Item Response Theory,IRT)中的項目正確作答概率

和(1-P)以及0,用以定義被試的ORP與IRP對應位置元素間的廣義距離,再計算被試的ORP與每種IRP之間的廣義距離,按距離最短準則直接對被試的 ORP進行分類。GDD以 DINA模型為基準,與 RSM 和AHM的A方法在相同實驗條件下相比,具有更好的分類效果。

需要注意的是,現存的認知診斷方法通常依托于特定的心理計量學模型。因此,如何獲得精確的模型參數是整個方法的關鍵。這其中的數學運算量大且復雜。雖然已有少量專業軟件可供使用,但基本上都要求使用者有較扎實的測量學基礎。在某些情境下甚至需要進行計算機編程才能實現參數估計。換言之,使用者的學習“成本”較高。但是,在實際情境中,認知診斷測驗的使用者多為中小學的一線教師。若要求他們花費較多時間在理解如何使用某種認知診斷方法上,勢必會影響日常的教學工作。這顯然是不合理的,也與研究者開發認知診斷方法進行輔助教學的初衷相違背。因此,認知診斷方法的簡單化具有重要的實踐意義。

本研究提出一種直接利用被試的作答信息對被試進行診斷分類的方法,即海明距離判別法(Hamming Distance Discrimination,HDD)。使用海明距離(Hamming Distance,HD)定義被試的ORP與每種IRP之間的距離,根據距離最短準則對被試進行診斷分類。按照判別方式的不同,將HDD分為B方法和R方法。通過Monte Carlo模擬研究,探查HDD的 B方法和 R方法的診斷分類效果,并與GDD進行比較。

2 規則空間方法、廣義距離判別法概述

2.1 規則空間方法(RSM)

RSM分為兩大部分,Q矩陣的確定和規則空間的構建及判別,基本步驟如下：

(1)建立項目與屬性間的關系,構造Q矩陣,計算所有可能的IMP及對應的IRP;

2.2 廣義距離判別法(GDD)

3 海明距離判別法(Hamming Distance Discrimination,HDD)

3.1 海明距離(HD)

海明距離,有時譯成漢明距離。在信息論中,海明距離指兩個等長字符串對應位置的不同字符的個數。如,字符串A(1,0,1)與字符串B(0,1,0)的對應位置的不同字符個數為3,即A與B的海明距離為3。海明距離被用于海明碼(Hamming Code)中,對編碼進行檢錯和糾錯(Hamming,1950)。

3.2 定義反應模式間的海明距離(Hamming Distance between Response Patterns,HDRP)

不考慮測驗中被試的ORP缺失的情況,在0-1計分項目的認知診斷測驗中,我們將被試

的 ORP與第

種IRP之間的海明距離定義為：

3.3 海明距離判別法(HDD)的合理性

第二,判別方法的合理性。由于 ORP與 IRP對應位置的元素間的海明距離均為非0即1的整數,使得必然會出現某個被試的ORP與多個IRP間的海明距離相同且均為最小值的情況(本研究中各種實驗條件下符合該情況的被試占總人數的比例詳見表1)。此時無法按照距離最短準則對被試進行判別。因此,必須采取某種判別方式對符合此種情況的被試此進行處理。根據判別方式的不同,本方法可分為R方法和B方法兩種。R方法是從多個最小值對應的IRP中隨機(Random)選取一種,再將其對應的 IMP作為被試的 AMP判別值。由于這些“特殊的”IRP是在剔除了大部分與被試的ORP相似度低的IRP后挑選出來的,在沒有其它任何可輔助判別的信息的情況下,有理由認為該被試的 AMP恰好是這些“特殊的”IRP中任意一種所對應的IMP的概率均等。故使用隨機選取的方式對其進行處理,是合理的。B方法參考RSM,對多個最小值的情況使用Bayes判別法,合理地利用了當前測驗情境所提供的信息來輔助對被試的判別分類,能夠減少誤判,提高診斷結果的分類準確率。

3.4 應用海明距離法(HDD)作判別

HDD分為兩大步：

第一步,計算被試

的ORP與每種IRP之間的海明距離,并按距離最短原則對被試進行判別分類;

第二步,運用R方法或B方法。

經過第一步,即可將被試分為兩類,第一類被試能夠找到與其ORP的海明距離最小的IRP,且該IRP是唯一確定的;第二類被試雖然也能找到與其ORP海明距離最小的IRP,但找出的IRP并不是唯一的。其中,第一類被試通過第一步即可完成診斷分類,而第二類被試需要繼續進行第二步,即采用R方法或B方法中的一種,以實現分類的目標。R方法簡單易懂,不再贅述。下面重點介紹如何使用B方法。

不難發現,第一類被試的判別分類結果實質上提供了關于此次測驗情境的中各種IRP的分布信息,能夠較好地體現當前被試群體的能力分布特點,有助于對第二類被試的分類判別。例如,當被試

的ORP同時與

IRP

和

IRP

的海明距離最小時,若第一類被試中

IRP

的判別人數更多,則有理由認為被試

的AMP是

IRP

所對應的IMP的概率更大。故利用第一類被試的判別結果計算

IRP

的后驗概率,方法如下：

其中,

為當前被試的總人數,

為在這

個被試中AMP為第

種IRP對應的IMP的被試人數。

4 模擬研究

4.1 Q矩陣的設計

本研究采用與孫佳楠等人(2011)相同的實驗條件,考察 Leighton等人(2004)給出的四種屬性層級關系——直線型(Linear)、收斂型(Convergent)、發散型(Divergent)和無結構型(Unstructured)。除此之外,Tatsuoka(1995,2009)在其研究中還使用了屬性間互不相關(unrelated)的一種屬性層級關系。為表述方便,稱之為獨立型(Independent)。本研究將其納入考察范圍。至此,一共考察五種基本的屬性層級關系(見附錄 1)。根據屬性間的層級關系,可以導出每種層級關系下的典型項目考核模式,它們分別為6個項目、7個項目、15個項目、32個項目和63個項目。為了盡量保證不同屬性層級關系下的測驗項目數基本一致,我們讓五種典型項目考核模式分別在測驗中重復出現5次、5次、2次、1次和1次。其中,獨立型的屬性層級關系下,由于題數的限制,只取了 63個項目中按項目考察屬性的個數由小到大排序后的前30個項目。據此,五種屬性層級關系的測驗長度分別 30題、35題、30題、32題和30題(見附錄2)。

4.2 被試作答反應矩陣的模擬

本研究中各種實驗條件下的被試樣本容量均為 1000人。根據屬性層級關系可以求出五種屬性層級關系下被試的IMP種類,分別為7種、8種、16種、33種和64種。結合4.1部分的Q矩陣設計,計算各種IMP對應的IRP,求取每種IRP對應的測驗總分。按照標準正態分布確定各測驗總分的人數分布,并使得測驗總分相同的 IMP的被試人數一致。這樣就得到了五種屬性層級關系下服從標準正態分布的1000個被試的IMP。

根據五種屬性層級關系下的 1000個被試的IMP及4.1 部分的Q矩陣設計,在沒有任何失誤和猜測的情況下,模擬被試在各測驗項目上的 IRP。然后在IRP的基礎上,采用Leighton 等人(2004)的模擬方法,模擬作答反應失誤概率(slip)分別為2%,5%,10%和15%的情況下被試的作答反應矩陣。

4.3 模擬次數

每種實驗條件下的模擬次數為50次。

4.4 模擬研究使用的判別分類法

對每種實驗條件下模擬所得的被試作答反應矩陣,均采用HDD的B方法、R方法和GDD對其進行判別分類。

4.5 評價標準

采用模式判準率(Pattern Match Ratio,PMR)和屬性平均判準率(Average Attribute Match Ratio,AAMR)作為評價指標。二者公式如下：

5 研究結果

ORP與多個 IRP的海明距離相同且均為最小值的被試占總人數的比例見表1。HDD中的B方法、R方法和 GDD的模式判準率(PMR)和屬性平均判準率(AAMR)見表2及圖1和圖2。所有結果均為50次模擬的平均值。

表1 ORP與多個IRP的海明距離相同且均為最小值的被試占總人數的比例

表2 HDD的B方法、R方法和GDD的模式判準率(PMR)和屬性平均判準率(AAMR)

本研究的 Monte Carlo模擬實驗中計算出的GDD的分類準確率,與已有文獻的研究結果處于同一水平(孫佳楠等,2011;涂冬波等,2013;蔡艷等,2013)。

由表1可知,在五種屬性層級關系下,ORP與多個IRP的海明距離相等且最小的被試占總人數的比例由低到高分別為直線型、收斂型、獨立型、發散型、無結構型。

由表2可知,在五種屬性層級關系下,分類準確率由高到低依次為HDD的B方法,HDD的R方法,GDD。其中,對直線型和無結構型的屬性層級關系,HDD的B方法和R方法的PMR和AAMR均略高于GDD;對于收斂型、發散型和獨立型的屬性層級關系,HDD的B方法和R方法的PMR和AAMR均優于GDD。就HDD而言,在五種屬性層級關系下,B方法的PMR和AAMR均高于R方法。其中,對于直線型、收斂型和無結構型的屬性層級關系,B方法的PMR和AAMR略高于R方法;對于發散型和獨立型的屬性層級關系,B方法的PMR和AAMR要優于R方法。

由圖1和圖2可知,對同一種屬性層級關系而言,隨著作答反應失誤概率(slip)的增加,HDD的B方法、R方法和GDD的PMR和AAMR均不斷下降。其中,HDD的B方法的判別效果下降速度最慢,R方法次之,GDD下降較快。五種屬性層級關系下,HDD的B方法和R方法與GDD的判別效果之間的差距均呈增加趨勢。其中,對于直線型和無結構型的屬性層級關系,三者的判別效果差距較小。對于收斂型、發散型和獨立型的屬性層級關系,三者的判別效果差距較大。

6 小結與討論

6.1 研究結論

通過上述實驗結果,可以得出以下結論：

(1)三種認知診斷方法的分類準確率均受屬性層級結構的緊密程度的影響,屬性層級關系越緊密,分類準確率越高。

圖1 HDD的B方法、R方法和GDD的知識狀態的模式判準率比較

圖2 HDD的B方法、R方法和GDD的知識狀態的屬性平均判準率比較

(2)總體而言,分類準確率由高至低分別為HDD的B方法,HDD的R方法,GDD。

GDD的本質是利用IRT模型中的2PLM項目特征函數對ORP與IRP之間的海明距離進行加權處理,再根據距離最小原則進行判別分類。在這個過程中,參數估計的誤差在一定程度上影響了GDD的分類準確率。當被試的作答中包含有更大的誤差因素(即實驗中的 slip更大)時,參數估計的結果會更加不準確,因而對 GDD的分類準確率的影響也會更大。HDD則規避了這一誤差來源,且方法本身所依據的邏輯合理,因此HDD的B方法和R方法都具有較高的分類準確率。

6.2 HDD的特點分析

DiBello和Stout(2007)認為,模型的參數應當足夠復雜,以便提供盡可能多的診斷信息,但是,在模型的參數擬合數據的情況下也應該足夠簡單,以滿足實踐者的需要。因此,當兩種認知診斷方法具有同等水平的分類準確率時,操作更加簡單的認知診斷方法顯然更佳。DINA模型和 GDD就是其中的代表。與現有認知診斷方法相比,本研究所提出的 HDD在具有較高的分類準確率的同時,并沒有引入額外的參數,具有零參數的特點,不需要進行參數估計。因此,可以避免因估計方法的誤差而導致分類準確率下降的不良后果。與此同時,不需要參數估計的特點使HDD的操作步驟非常簡單。理論上,只要獲取被試的作答數據,進行簡單的加減運算即可對被試進行診斷分類,故稱之為“樸素的”認知診斷方法。運用HDD可以大大降低中小學一線教師實施認知診斷測驗的難度,有助于認知診斷測驗的推廣和應用。但零參數的特點有利也有弊,弊在于HDD無法同其他認知診斷方法一樣獲得項目參數,也就無法實現對項目性能的量化描述。因此,在 1-0計分的認知診斷測驗中,當需要獲取項目參數時,可考慮使用其他認知診斷方法。

6.3 B方法與R方法

HDD的B方法的分類準確率相對于R方法而言更高,但Bayes判別對于樣本容量較為敏感。當后驗概率不準確時,B方法的分類準確率必然會受到影響。R方法便適用于此種情況。故建議在實施認知診斷測驗時,被試量較小時,可以使用 R方法。被試量較大時,則改用B方法,可以得到更好的分類效果。

7 展望

本研究在Monte Carlo模擬研究的情境下,對HDD在 0-1評分的認知診斷測驗中的分類效果進行了探討。然而,實際情境中被試的作答可能會受到多種因素的影響。因此,需要使用實測數據從多方面對 HDD進行效度驗證。此外,還可以開發適用于多級評分及混合評分的HDD,使得HDD能夠應用于不同的測驗情境。

Cai,Y.,Tu,D.B.,&Ding,S.L.(2013).A simulation study to compare five cognitive diagnostic models.

Acta Psychologica Sinica,45

(11),1295–1304.[蔡艷,涂冬波,丁樹良.(2013).五大認知診斷模型的診斷正確率比較及其影響因素:基于分布形態、屬性數及樣本容量的比較.

心理學報,45

(11),1295–1304.]DiBello,L.V.,&Stout,W.(2007).Guest editors’ introduction and overview:IRT-based cognitive diagnostic models and related method.

Journal of Educational Measurement,44

(4),285–291.Ding,S.L.,Yang,S.Q.,&Wang,W.Y.(2010).The importance of reachability matrix in constructing cognitively diagnostic testing.

Journal of Jiangxi Normal University(Natural Science),34

(5),490–494.[丁樹良,楊淑群,汪文義.(2010).可達矩陣在認知診斷測驗編制中的重要作用.

江西師范大學學報(自然科學版),34

(5),490–494.]Ding,S.L.,Zhu,Y.F.,Lin,H.J.,&Cai,Y.(2009).Modification of Tatsuoka’s Q matrix theory.

Acta Psychologica Sinica,41

(2),175–181.[丁樹良,祝玉芳,林海菁,蔡艷.(2009).TatsuokaQ矩陣理論的修正.

心理學報,41

(2),175–181.]Junker,B.M.,&Sijtsma,K.(2001).Cognitive assessment models with few assumptions,and connections with nonparametric item response theory.

Applied Psychological Measurement,25

(3),258–272.Leighton,J.P.,&Gierl,M.(2007).

Cognitive diagnostic assessment for education:Theory and Applications

(pp.242–274).Cambridge,UK:Cambridge University Press.Leighton,J.P.,Gierl,M.J.,&Hunka,S.M.(2004).The attribute hierarchy method for cognitive assessment:A variation on Tatsuoka's rule-space approach.

Journal of Educational Measurement,41

(3),205–237.Hamming,R.W.(1950).Error detecting and error correcting codes.

The Bell System Technical Journal,29

(2),147–160.Sun,J.N.,Zhang,S.M.,Xin,T.,&Bao,Y.(2011).A cognitive diagnosis method based on Q-Matrix and generalized distance.

Acta Psychologica Sinica,43

(9),1095–1102.[孫佳楠,張淑梅,辛濤,包鈺.(2011).基于 Q 矩陣和廣義距離的認知診斷方法.

心理學報,43

(9),1095–1102.]Tatsuoka,K.K.(1991).

Boolean algebra applied to determination of universal set of knowledge states

(Tech.Rep.RR–91–44–ONR).Princeton,NJ:Education Testing Service.Tatsuoka,K.K.(1995).Architecture of knowledge structure and cognitive diagnosis:A statistical pattern recognition and classification approach.In P.D.Nichols,S.F.Chipman,&R.L.Brennan(Eds.),

Cognitively diagnostic assessment

(pp.327–361).Hillsdale,NJ:Erlbaum.Tatsuoka,K.K.,&Tatsuoka,M.M.(1997).Computerized cognitive diagnostic adaptive testing:Effect on remedial instruction as empirical validation.

Journal of Educational Measurement,34

(1),3–20.Tatsuoka,K.K.(2009).

Cognitive assessment:An introduction to the rule space method.

Routledge,New york,NY 10016.Tu,D.B.,Cai,Y.,&Dai,H.Q.(2013).Comparison and selection of five noncompensatory cognitive diagnosis models based on attribute hierarchy structure.

Acta Psychologica Sinica,45

(2),243–252.[涂冬波,蔡艷,戴海琦.(2013).幾種常用非補償型認知診斷模型的比較與選用:基于屬性層級關系的考量.

心理學報,45

(2),243–252.]Xin,T.,Le,M.L.,&Zhang,J.H.(2012).New progress and trends of measurement theory.

China Examinations,

(5),3–11.[辛濤,樂美玲,張佳慧.(2012).教育測量理論新進展及發展趨勢.

中國考試,

(5),3–11.]

附錄1 五種基本的屬性層級關系

A.直線型(Linear)