屬性層級模型的改良及診斷性能研究*

韓裕娜，張敏強(qiáng)，方 杰

(1.華南師范大學(xué)心理應(yīng)用研究中心，廣州510631;2.華南師范大學(xué)基礎(chǔ)教育培訓(xùn)與研究院，廣州510631;3.廣東財經(jīng)大學(xué)人文與傳播學(xué)院，廣州510320)

1 引言

《國家中長期教育改革和發(fā)展規(guī)劃綱要(2010-2020 年)》提出，在黨和國家工作全局中，必須始終堅持把教育擺在優(yōu)先發(fā)展的位置，堅持育人為本，以改革創(chuàng)新為動力，以促進(jìn)公平為重點，以提高質(zhì)量為核心，全面實施素質(zhì)教育，推動教育事業(yè)在新的歷史起點上科學(xué)發(fā)展。測量理論和技術(shù)為教育改革提供了支持，只有通過科學(xué)的測量才能準(zhǔn)確地知道學(xué)生的真實情況，才能因材施教，培養(yǎng)出高素質(zhì)人才，促進(jìn)教育事業(yè)科學(xué)發(fā)展。

然而基于經(jīng)典測驗理論、概化理論和項目反應(yīng)理論的傳統(tǒng)測驗最終只能給出一個分?jǐn)?shù)或等級。但是有的考生分?jǐn)?shù)或等級雖然相同，所掌握的知識卻不同。為了從考生的反應(yīng)模式中獲得更多考生的信息，進(jìn)而因材施教，許多研究者都做了一些嘗試，他們認(rèn)為其中的一個出路就是“將認(rèn)知與測量相結(jié)合”，并沿著不同的路線，按照不同的假設(shè)，提出了各自不同的認(rèn)知診斷模型。

AHM 模型是影響較大的認(rèn)知診斷模型之一。該研究將以AHM 模型為研究對象，首先簡單介紹AHM 模型及其診斷步驟，分析方法A 和方法B 的計算公式，對其進(jìn)行改良得到兩種新分類方法——方法C 和方法D。并以模式判準(zhǔn)率和邊際判準(zhǔn)率為評價指標(biāo)，通過兩個蒙特卡洛模擬實驗探討各種測驗因素對A、B、C、D 四種診斷方法分類準(zhǔn)確率的影響，為使用者(研究者)在不同測驗情景下該選擇哪種方法提供有益的參考。

2 AHM 模型簡介

AHM 模型是由Leigton 等人(2004)對RSM 模型進(jìn)行改造而產(chǎn)生的。使用屬性層級模型進(jìn)行認(rèn)知診斷共 包 含 四 個 步 驟(Gierl，Leighton，＆ Hunka，2007):(1)構(gòu)建和表征測驗內(nèi)容的屬性層級模型;(2)根據(jù)層級關(guān)系模型編制測驗并施測;(3)使用一種判別方法，根據(jù)被試作答情況，對被試進(jìn)行診斷分類;(4)報告認(rèn)知診斷分析結(jié)果。

AHM 中分類方法有兩種IRT 分類法(Leigton，2004):方法A 和方法B。方法A 和方法B 都是通過分析觀察反應(yīng)模式同各類期望反應(yīng)模式的一致程度來進(jìn)行分類。

方法A 認(rèn)為，當(dāng)被試的觀察反應(yīng)模式和任何一類期望反應(yīng)模式都不一樣時，則計算各種期望反應(yīng)模式轉(zhuǎn)化為觀察反應(yīng)模式的概率，假設(shè)第p 種期望反應(yīng)模式的轉(zhuǎn)化概率最大，則將被試歸為第p 類被試。轉(zhuǎn)化概率的計算公式如下:

其中:

Si(0 →1)表示對于被試i 期望反應(yīng)為0，但觀察反應(yīng)模式為1 的所有題的集合;

Si(1 →0)表示對于被試i 期望反應(yīng)為1，但觀察反應(yīng)模式為0 的所有題的集合;

方法B 則認(rèn)為，擁有某個觀察反應(yīng)模式的被試掌握了所有邏輯包含在其中的期望反應(yīng)模式的屬性組合。方法B 計算轉(zhuǎn)化概率的公式如下:

3 方法A 和方法B 的改良

以往的研究(Cui，Leighton，＆ Zheng，2006)表明，方法A 和方法B 的診斷準(zhǔn)確率均不高，說明這兩種方法還有待進(jìn)一步改進(jìn)。仔細(xì)查看方法A 的計算公式，可以發(fā)現(xiàn):方法A 在判別具有觀察反應(yīng)模式Si的被試是否屬于第j 類被試時，計算和比較的是第j類被試出現(xiàn)觀察反應(yīng)模式Si的概率，使用到的是正確作答概率Pk(θj)和錯誤作答概率1 - Pk(θj)。

事實上，在對被試進(jìn)行診斷時，并不知道他到底是哪一類被試，也不知道他是否真的掌握對應(yīng)題目所考察的屬性.因而方法A 在判別被試屬于哪一類時使用上述概率并不合理，這應(yīng)該是方法A 診斷準(zhǔn)確率不高的一個原因。在判別具有觀察反應(yīng)模式Si的被試是否屬于第j 類被試的關(guān)系時，計算和比較的應(yīng)該是具有觀察反應(yīng)模式Si的被試是第j 類被試的概率。

因而使用到的概率應(yīng)該是另2 種:

(1)當(dāng)受測者答對試題q 時，受測者實際上并未掌握試題q 所考察的屬性的概率P(q:1 →0)，稱為猜測概率，用PG(q)表示。

(2)當(dāng)受測者答錯試題q 時，受測者實際上掌握了試題q 所考察的屬性的概率P(q:0 →1)，稱為失誤概率，用PS(q)表示。

由方法A 的計算公式，以猜測概率PG(q)和失誤概率PS(q)代替Pk(θj)、1 - Pm(θj)，即得到判別方法C:計算具有觀察反應(yīng)模式Si的被試是各類被試的概率，假設(shè)第p 類被試對應(yīng)的概率最大，則將被試歸為第p 類被試。

同樣地，可由方法B 得到對應(yīng)的D 方法，D 方法使用的公式如下:

4 模擬研究

從理論上看，方法C 和方法D 的計算方法比方法A 和方法B 更為科學(xué)，應(yīng)該比方法A 和方法B 有更高的診斷性能。為了比較新舊四種方法——方法A、方法B、方法C 和方法D 的診斷性能，擬通過蒙特卡洛模擬實驗，采用隨機(jī)化實驗，針對四種判別方法的診斷性能進(jìn)行考察。

文劍兵(2003)和田偉等人(2012)的研究表明，規(guī)則空間模型的診斷性能會受到屬性結(jié)構(gòu)、屬性個數(shù)、失誤水平的影響;Cui，Leighton 和Zheng(2006)的研究也表明，屬性層級模型方法A 和方法B 的診斷性能也會受到屬性結(jié)構(gòu)、失誤水平的影響。因此，AHM 四種判別方法評價指標(biāo)的高低除了跟診斷方法有關(guān)，還有可能受其他因素影響，例如:屬性的結(jié)構(gòu)、屬性個數(shù)和失誤水平等因素有關(guān)。本研究共設(shè)計了兩個模擬實驗來討論不同因素對四種診斷方法的分類準(zhǔn)確率的影響，同時比較四種診斷方法的診斷性能。比較診斷性能時采取兩種評價指標(biāo)——模式判準(zhǔn)率和邊際判準(zhǔn)率，評價指標(biāo)越高，說明分類準(zhǔn)確性越好。

4.1 實驗一 屬性的結(jié)構(gòu)和個數(shù)對診斷性能的影響

4.1.1 研究設(shè)計

實驗一旨在考察屬性的結(jié)構(gòu)和個數(shù)對診斷性能的影響。由于屬性間的復(fù)雜關(guān)系可由四種基本關(guān)系組合生成，其他復(fù)雜的關(guān)系可以由這四種基本關(guān)系組合 生 成(Leighton，Gierl，＆ Hunka，2004;Cui，Leighton，＆ Zheng，2006)。參照以往研究(文劍兵，2003;Cui，Leighton，＆ Zheng，2006;丁樹良，汪文義，楊淑群，2011;田偉，辛濤，2012)，實驗一將考察四種屬性結(jié)構(gòu)(發(fā)散型、收斂型、線型、無結(jié)構(gòu)型)和四種屬性個數(shù)(6、7、8、9)(圖1、圖2、圖3、圖4)對四種判別方法診斷性能的影響，實驗一共有4 ×4 =16 種實驗情景。

圖1 六個屬性的四種屬性層級關(guān)系

圖2 七個屬性的四種屬性層級關(guān)系

圖3 八個屬性的四種屬性層級關(guān)系

圖4 九個屬性的四種屬性層級關(guān)系

其他測驗條件假定如下:測驗項目數(shù)設(shè)置為20;被試成績的先驗分布假設(shè)為正態(tài)分布，參與診斷的被試人數(shù)為5000;IRT 模型選取二參數(shù)Logistic IRT模型;失誤水平參數(shù)假定為0.1。

4.1.2 數(shù)據(jù)的產(chǎn)生和分析

各種實驗情景下產(chǎn)生數(shù)據(jù)和分析數(shù)據(jù)的模擬步驟相同。在每種實驗情景中，模擬步驟如下:首先依據(jù)假設(shè)的條件，模擬產(chǎn)生試題、得到期望反應(yīng)矩陣和觀察反應(yīng)矩陣;接著編程估計被試能力參數(shù)及項目參數(shù);再分別使用AHM 模型四種分類方法對觀察反應(yīng)模式進(jìn)行診斷，計算各自的模式判準(zhǔn)率和邊際判準(zhǔn)率;為了盡量減少無關(guān)變量的影響，每種實驗情景重復(fù)模擬10 次;最后，求十次模擬各種指標(biāo)的平均值，分析比較各種情境下各種方法的診斷性能指標(biāo)，得到實驗結(jié)果。整個數(shù)據(jù)的產(chǎn)生和分析過程均采用R 軟件編程實現(xiàn)。

4.1.3 實驗結(jié)果

實驗一共16 種測驗情景，結(jié)果如表1 所示，每一個單元格中的統(tǒng)計量值均是10 次模擬結(jié)果的平均，以此降低誤差。

表1 實驗一各種診斷方法的屬性診斷準(zhǔn)確率

4.2 實驗二 失誤水平參數(shù)對診斷性能的影響

4.2.1 研究設(shè)計

實驗二旨在考察失誤水平對各種方法診斷性能的影響。由于實驗一和以往的研究(Cui，Leighton，＆ Zheng，2006)均表明，屬性結(jié)構(gòu)對診斷性能的影響非常明顯，所以在實驗二中，仍分別考察四種屬性結(jié)構(gòu):發(fā)散型、收斂型、線型、無結(jié)構(gòu)型。失誤水平則共考察5 種情形:0.05、0.1、0.15、0.2、0.25。實驗二共有4 ×5 =20 種實驗情景。其他測驗條件假定如下:測驗項目數(shù)設(shè)置為20;屬性個數(shù)為7 個;被試成績的先驗分布假設(shè)為正態(tài)分布，參與診斷的被試人數(shù)為5000;IRT 模型選取二參數(shù)Logistic IRT 模型。

4.2.2 數(shù)據(jù)的產(chǎn)生和分析

實驗二的模擬數(shù)據(jù)產(chǎn)生和分析的方法步驟同實驗一，數(shù)據(jù)的產(chǎn)生和分析也是采用R 軟件編程實現(xiàn)。

4.2.3 實驗結(jié)果

實驗二共20 種測驗情景，對相同的模擬數(shù)據(jù)，使用方法A、方法B、方法C、方法D 分別診斷，結(jié)果如表2 所示，每一個單元格中的統(tǒng)計量值均是10 次模擬結(jié)果的平均，以此降低誤差。

表2 實驗二各種診斷方法的屬性診斷準(zhǔn)確率

5 分析與討論

5.1 四種診斷方法診斷性能的比較

實驗一和實驗二的結(jié)果(表1、表2、圖5、圖6)表明，蒙特卡洛模擬實驗的結(jié)果與理論研究結(jié)果相符，經(jīng)過改良得到的方法C 和方法D 的診斷性能均優(yōu)于對應(yīng)的原方法。且從總體上看，新方法的評價指標(biāo)比對應(yīng)原方法的評價指標(biāo)有較大幅度的提高。使用方法C 和方法D 更能準(zhǔn)確地得到被試真實的知識狀態(tài)和認(rèn)知結(jié)構(gòu)，為教學(xué)提供更為準(zhǔn)確的診斷結(jié)果。從總體上看，四種診斷方法中C 方法最佳。

圖5 實驗一四種診斷方法對應(yīng)的診斷指標(biāo)平均數(shù)

圖6 實驗二四種診斷方法對應(yīng)的診斷指標(biāo)平均數(shù)

圖5 和圖6 也表明，雖然實驗一和實驗二的實驗情景不同，但是兩個實驗得到的結(jié)果非常一致。兩個實驗均表明，該研究對方法A 和方法B 的改良是成功的。

5.2 屬性結(jié)構(gòu)對診斷性能的影響

實驗一和實驗二的結(jié)果(表1、表2)表明，屬性結(jié)構(gòu)對診斷性能的影響非常明顯。由表1 計算可得實驗一16 種實驗情景中，線型、收斂型、發(fā)散型、無結(jié)構(gòu)型四種結(jié)構(gòu)對應(yīng)的診斷指標(biāo)的平均數(shù)，如圖7所示。由表2 計算可得實驗二20 種實驗情景中，線型、收斂型、發(fā)散型、無結(jié)構(gòu)型四種結(jié)構(gòu)對應(yīng)的診斷指標(biāo)的平均數(shù)，如圖8 所示。由圖7 和圖8 可見，兩個實驗得到的結(jié)果非常一致，從總體上看，線型結(jié)構(gòu)對應(yīng)的各種診斷指標(biāo)最低。而其他三種結(jié)構(gòu)對應(yīng)的診斷指標(biāo)相差不大。四種基本結(jié)構(gòu)中，收斂型結(jié)構(gòu)對應(yīng)的診斷指標(biāo)最高。

圖7 實驗一四種屬性結(jié)構(gòu)對應(yīng)的診斷指標(biāo)平均數(shù)

圖8 實驗二四種屬性結(jié)構(gòu)對應(yīng)的診斷指標(biāo)平均數(shù)

從實驗一結(jié)果(表1)也可以看到，對線型結(jié)構(gòu)進(jìn)行診斷，最優(yōu)方法是D 方法，平均邊際判準(zhǔn)率在0.7 以上。不過模式判準(zhǔn)率還是偏低，僅有0.396。對其他結(jié)構(gòu)進(jìn)行診斷，最優(yōu)方法是C 方法，平均邊際判準(zhǔn)率均在0.9 以上，模式判準(zhǔn)率均在0.6 以上。由此可見，使用D 方法對線型結(jié)構(gòu)進(jìn)行診斷雖然最優(yōu)，但是模式判準(zhǔn)率還是偏低。相對來說，使用C方法對發(fā)散型、收斂型和無結(jié)構(gòu)型三種屬性結(jié)構(gòu)進(jìn)行診斷的各項指標(biāo)則較好。使用C 方法對發(fā)散型、收斂型和無結(jié)構(gòu)型進(jìn)行診斷對教學(xué)有一定借鑒作用。實驗二的結(jié)果和實驗一一致。因而在設(shè)計測驗時，不妨設(shè)法增加待測屬性，使線型結(jié)構(gòu)轉(zhuǎn)化為發(fā)散型、收斂型或者由基本關(guān)系組合生成的復(fù)雜結(jié)構(gòu)，以便提高診斷準(zhǔn)確率。

5.3 屬性個數(shù)對診斷性能的影響

表1 表明，當(dāng)屬性結(jié)構(gòu)一樣而測驗屬性個數(shù)不同時，診斷指標(biāo)的大小會有變化，有些變化還存在一定的規(guī)律。例如，使用C 方法來診斷發(fā)散型和無結(jié)構(gòu)型，各種診斷指標(biāo)會隨著屬性個數(shù)的增多而降低。而使用方法A、C 方法來診斷線型結(jié)構(gòu)，各種診斷指標(biāo)會隨著屬性個數(shù)的增多而提高。

由表1 可以計算實驗一16 種實驗情景中，不同屬性個數(shù)對應(yīng)的診斷指標(biāo)的平均數(shù)，如圖9 所示。圖9 表明，雖然不同屬性個數(shù)對應(yīng)的各種診斷指標(biāo)有所差異，不過從總體上看，屬性個數(shù)對診斷性能的影響不明顯。

圖9 實驗一四種屬性個數(shù)對應(yīng)的診斷指標(biāo)平均數(shù)

5.4 失誤水平對診斷性能的影響

由表2 表明，不管對于哪種屬性結(jié)構(gòu)，不管使用哪種診斷方法，當(dāng)失誤水平參數(shù)變大時，診斷性能指標(biāo)均下降。

由表2 可以計算實驗二20 種實驗情景中，不同失誤水平對應(yīng)的診斷指標(biāo)的平均數(shù)，如圖10 所示。圖10 表明，當(dāng)失誤水平參數(shù)變大時，各種診斷指標(biāo)均逐步下降。究其原因，失誤水平參數(shù)變大說明出現(xiàn)猜測現(xiàn)象和失誤現(xiàn)象的概率比較大，因而提高了診斷的難度，故診斷準(zhǔn)確率有所下降，診斷性能指標(biāo)逐漸變小。

圖10 實驗二五種失誤水平對應(yīng)的診斷指標(biāo)平均數(shù)

6 結(jié)論

本研究對AHM 模型兩種IRT 分類方法方法A和方法B 進(jìn)行改良，得到兩種新方法方法C 和方法D。進(jìn)而以模式判準(zhǔn)率和邊際判準(zhǔn)率為評價指標(biāo)，通過兩個蒙特卡洛模擬實驗來比較新舊四種方法的診斷性能，以及考察四種分類方法的診斷性能如何受到測驗不同的因素的影響，為使用者(研究者)在不同測驗情景下該選擇哪種方法提供有益的參考。

6.1 不管是以哪種評價指標(biāo)為依據(jù)，方法C 優(yōu)于方法A，方法D 優(yōu)于方法B，即新方法比對應(yīng)的原方法有更好的診斷性能?？偟膩碚f，C 方法的診斷性能最佳。

6.2 各種方法診斷指標(biāo)的高低跟屬性結(jié)構(gòu)有關(guān)。對線型結(jié)構(gòu)進(jìn)行診斷，D 方法的各種診斷指標(biāo)最高;對其他三類結(jié)構(gòu)進(jìn)行診斷，C 方法的各種診斷指標(biāo)最高。

6.3 測驗屬性個數(shù)對各種方法診斷性能的影響不明顯。

6.4 各種方法的各種診斷性能指標(biāo)隨著失誤水平參數(shù)提高而降低。

陳秋梅，張敏強(qiáng). (2010). 認(rèn)知診斷模型發(fā)展及其應(yīng)用方法述評.心理科學(xué)進(jìn)展，18(3)，522 -529.

丁樹良，汪文義，楊淑群. (2011). 認(rèn)知診斷測驗藍(lán)圖的設(shè)計.心理科學(xué)，34(2)，258 -265.

丁樹良，楊淑群，汪文義.(2010).可達(dá)矩陣在認(rèn)知診斷測驗編制中的重要作用.江西師范大學(xué)學(xué)報(自然科學(xué)版)，34(5)，490 -494.

田偉，辛濤.(2012).基于等級反應(yīng)模型的規(guī)則空間方法.心理學(xué)報，44(1)，249 -262.

涂冬波，蔡艷，戴海崎，漆書青. (2008). 現(xiàn)代測量理論下四大認(rèn)知診斷模型述評.心理學(xué)探新，28(2)，63 -67.

文劍冰.(2003).規(guī)則空間模型在診斷性計算機(jī)自適應(yīng)測驗中的應(yīng)用.博士論文.香港中文大學(xué).

張敏強(qiáng)，簡小珠，陳秋梅.(2011).規(guī)則空間模型在瑞文智力測驗中的認(rèn)知診斷分析.心理科學(xué)，34(2)，266 -271.

祝玉芳.(2008).RSM 改進(jìn)及多級評分AHM 的開發(fā)研究.碩士學(xué)位論文.南昌:江西師范大學(xué).

Cui，Y.，Leighton，J. P.，Gierl，M. J.，＆ Hunka，S. (2006). A person-fit statistic for the attribute hierarchy method:The hierarchy consistency index. Paper Presented at the Annual Meeting of the National Council on Measurement in Education，San Francisco，CA.

Cui，Y.，Leighton，J.P.，＆ Zheng，Y.(2006).Simulation studies for evaluating the performance of the two classification methods in the AHM. Paper Presented at the Annual Meeting of the National Council on Measurement in Education，San Francisco，CA.

Gierl，M.J. (2007). Making diagnostic inferences about cognitive attributes using the rule space model and attribute hierarchy method. Journal of Educational Measurement，44，325 -340.

Gierl，M.J.，＆ Leighton，J.P.(2007).Part C:Future challenges in psychometrics:Linking cognitively-based models and psychometric methods. In C. R. Rao ＆ S. Sinharay(Eds.)，Handbook of statistics:Psychometrics(Volume 26，pp.1103 -1106).North Holland，UK:Elsevier.

Gierl，M.J.，Bisanz，J.，Bisanz，G.L.，Boughton，K.A.，＆ Khaliq，S.N. (2001).Illustrating the utility of differential bundle functioning analyses to identify and interpret group differences on achievement tests. Educational Measurement:Issues and Practices，20，26 -36.

Gierl，M.J.，Cui，Y.，＆ Zhou，J.(2009).Reliability and attribute- based scoring in cognitive diagnostic assessment. Journal of Educational Measurement，46，293 -313.

Gierl，M.J.，Leighton，J.P.，＆ Hunka，S.(2000).Exploring the logic of Tatsuoka’s rule -space model for test development and analysis. Educational Measurement:Issues and Practice，19，34 -44.

Gierl，M.J.，Leighton，J.P.，＆ Hunka，S.(2007).Using the attribute hierarchy method to make diagnostic inferences about examinees’cognitive skills. In J. P. Leighton ＆ M. J. Gierl(Eds.)，Cognitive diagnostic assessment for education:Theory and applications(pp.242 -274).Cambridge，UK:Cambridge University Press.

Gierl，M. J.，Wang，C.，＆ Zhou，J. (2008). Using the attribute hierarchy method to make diagnostic inferences about examinees’cognitive skills in algebraon the SAT. Journal of Technology，Learning，and Assessment，6(6).

Gierl，M. J.，Zheng，Y.，＆ Cui，Y. (2008). Using the attribute hierarchy method to identify and interpret the cognitive skills that produce group differences. Journal of Educational Measurement，45，65 -89.

Junker，B. W.，＆ Sijtsma，K. (2001). Cognitive assessment models with few assumptions，and connections with nonparametric item response theory. Applied Psychological Measurement，25(3)，258 -272.

Leighton，J. P. (2004). Avoiding misconceptions，misuse，and missed opportunities:The collection of verbal reports in educational achievement testing. Educational Measurement:Issues and Practice，23，6 -15.

Leighton，J.P.，＆ Gierl，M.J.(2007a).Defining and evaluating models of cognition used in educational measurement to make inferences about examinees’thinking processes. Educational Measurement:Issues and Practice，26，3 -16.

Leighton，J. P.，＆ Gierl，M. J. (2007b). Verbal reports as data for cognitive diagnostic assessment.In J.P.Leighton ＆ M.J.Gierl(Eds.)，Cognitive diagnostic assessment for education:Theory and applications(pp. 146 - 172). Cambridge，UK:Cambridge University Press.

Leighton，J.P.，Gierl，M.J.，＆ Hunka，S.(2004).The attribute hierarchy model:An approach for integrating cognitive theory with assessment practice. Journal of Educational Measurement，41，205 -236.

Maris，E. (1999). Estimating multiple classification latent class models.Psychometrika，64(2)，187 -212.

Tatsuoka，K.(1985). A probabilistic model for diagnosing misconceptions in the pattern classification approach. Journal of Educational Statistics，10，55 -73.