Mix-DINA
——基于混合分布的多策略認知診斷模型*

劉鐵川，趙 玉，戴海琦

(1.贛南師范大學教育科學學院，贛州 341000；2.贛南醫學院心理學系，贛州 341000；3.江西師范大學心理學院，南昌330022)

?

Mix-DINA
——基于混合分布的多策略認知診斷模型*

劉鐵川1，趙 玉2，戴海琦3

(1.贛南師范大學教育科學學院，贛州 341000；2.贛南醫學院心理學系，贛州 341000；3.江西師范大學心理學院，南昌330022)

個體在完成多種類型認知任務時普遍使用了多種策略，且不同策略解題難度存在差異。但常見的測量模型忽視了這一事實，研究基于混合分布項目反應模型開發了Mix-DINA模型。其主要優點是：(1)可同時報告被試的知識狀態與策略使用傾向；(2)不同策略對應題目參數自由估計，使之更符合主流心理學觀點。研究通過模擬數據驗證了自編Mix-DINA模型估計程序分析各類多策略作答時的有效性，結果顯示Mix-DINA模型在分析單策略作答時也具有一定的穩健性。最后討論了研究的局限，對多策略認知診斷的進一步研究給出了建議。

混合分布；多策略；認知診斷；Mix-DINA模型

1 問題提出

心理學研究表明，在完成多位數乘法運算(Siegler & Lemaire，1997)、拼寫(Rittle‐Johnson & Siegler，1999)、三段論推理(Ford，1995)、圖形推理(DeShon，Chan，& Weissbein，1995)等多種認知任務類型，人們都可能使用多種解題策略。在認知診斷評價中，稱問題解決所涉及的知識、技能或認知操作為屬性(Attribute)。對于存在多種解題策略的題目或認知任務而言，被試使用不同解題策略時可能涉及不同的屬性，所以存在多策略作答的測驗任務也需要多個不同的Q矩陣來表達不同的作答機制(Rupp，Templin，& Henson，2010)。盡管目前基于被試作答過程同質假設的認知診斷模型應用更為廣泛，已有部分測量學者接受了這一觀點，放棄了以往測量模型中所有被試作答過程同質的假設，開始嘗試多策略問題解決過程的認知診斷評價建模問題(Embretson，1985；Huo & de la Torre，2014；涂冬波，蔡艷，戴海琦，丁樹良，2012；祝玉芳，王黎華，丁樹良，汪文義，2015)。

目前使用較廣泛的多策略測量模型中，混合Rasch模型(Paek & Cho，2015)與混合LLTM模型(Mislevy & Verhelst，1990)可以得到被試的策略使用傾向，但混合Rasch模型假定被試潛在特質為單維結構，而混合LLTM模型主要關注題目特征在不同策略下對其難度的影響，所以兩者都不能同時提供被試認知技能的診斷報告。多成分-多策略潛在特質模型(MLTM-MS，Embretson，1985)可以得到被試使用各種策略的概率，但此模型假定所有被試的各策略使用概率相同，而且MLTM-MS模型要求已知策略使用的先后次序，其參數估計的實現也依賴于對總任務的分解，這些都限制了MLTM-MS模型廣泛應用的可行性。與DINA模型相比，MS-DINA模型(de la Torre & Douglas，2008；Huo & de la Torre，2014)可以分析需要使用多個Q矩陣刻畫被試知識狀態的作答數據，但此模型假定對采用不同策略的被試而言，題目的猜測與失誤參數相同，這一假設非常不合理，因為至少對專家與新手來說，同一任務的難度對他們是不相同的。

因此，非常有必要開發能夠同時診斷被試策略使用與知識狀態，且能允許題目對不同策略使用者有不同配套參數的認知診斷模型。論文將根據混合分布項目反應模型(von Davier & Rost，2007)的思想，從使用非常廣泛的DINA模型入手，開發完整的混合DINA模型(Mixture DINA model，Mix-DINA)，以實現上述目的。下文首先給出Mix-DINA模型的定義，然后通過模擬實驗分析其擬合不同類型多策略作答數據的有效性。

2 Mix-DINA模型界定

假定問題解決過程存在M種策略。策略對應著被試的知識、技能掌握狀態，當存在M個可能策略時，為區分被試的策略使用，需要M個Q矩陣來刻畫被試的屬性掌握模式。被試的潛在反應變量直接受Q矩陣數量影響，所以也存在M種潛在反應。被試i使用策略是未知的，用m來標識，m=1，2，…，M。當被試i使用第m種策略，此時其正確作答題目j的潛在反應變量計算如下：

上式中，qjkm表示Qm中第j行、第k列的元素值，也就是使用策略m作答第j題時，是否需要掌握第k個認知屬性；αik表示被試i是否掌握了屬性k。

在Q矩陣不同時，Mix-DINA模型的項目反應函數也采用了與DINA模型不同的定義，第i個被試使用策略m正確解答題目j的概率如下：

使用Mix-DINA模型不僅可以診斷被試的屬性掌握情況，對于存在多策略的情形，在估計出題目參數后，還可以通過貝葉斯公式計算被試使用策略w的概率：

混合模型的參數估計為方便起見，通常引入一個潛在標簽變量表示被試的類別歸屬。對于Mix-DINA模型，引入的標簽變量zi可以理解為表示被試i使用何種策略，zi=1，…，M，那么被試i在題目j上的作答正確概率為：

引入標簽變量后，被試i的作答模式概率為：

相應地，Mix-DINA模型的聯合似然函數為：

此外，Mix-DINA模型中設定屬性高階結構中屬性的難度與區分度對使用不同策略的被試相同，具體方法見(de la Torre & Douglas，2004)。

3 研究方法

模型定義符合理論預期尚不足以實現應用，還應當解決模型的參數估計問題，下面通過模擬數據檢驗Mix-DINA模型分析多策略作答的有效性。

3.1 模擬實驗設計

模擬實驗中考慮的第一個因素是多策略作答數據的類型。第1種多策略作答指的是，測驗中可能所有題目都可以通過不同策略解決，由于使用不同策略的人所使用的知識技能存在差異，所以不同策略對應的Q矩陣的行完全不同(de la Torre & Douglas，2008)，生成的作答數據可稱為被試間混合作答。第2種多策略作答指的是，在一些題目上，不同策略使用者將運用各自獨特的技能，而某些題目則可能需要全部獨特技能才能正確解決(DeShon et al.，1995)。此時，不同策略對應的Q矩陣只有部分行存在差異，被試作答此類測驗時，不僅不同被試可能采用不同策略涉及的獨特屬性，同一被試在不同的題目上也可能采用不同策略對應的屬性，此時得到的作答稱為完全混合作答。用于生成作答數據的兩對Q矩陣各有40題，題目數量均為40題，不同策略Q矩陣間公共屬性均為3個，兩對Q矩陣的重要區別是用生成完全混合作答的兩個策略的Q矩陣中31-40題對應屬性完全相同。

Mix-DINA模型假定被試在部分測驗題目上的作答反應存在策略使用上的傾向性，研究考慮的第二個因素是不同策略傾向被試所占比例，實驗中設置了不同策略使用者比例1：1和1：2兩個條件。

使用Mix-DINA模型時需要考慮的一個問題是，當作答數據中所有被試都使用單一策略完成測驗，那么此時Mix-DINA模型估計結果是否誤差非常大。所以，實驗通過策略一對應的Q矩陣生成單策略作答，以評價Mix-DINA模型對不符合其多策略假設時的穩健性。

3.2 參數估計方法

在條件獨立性假設條件下，給定α作答獨立，給定θ屬性掌握模式α獨立，則Mix-DINA模型的聯合后驗分布如下。

在給定數據和其余模型參數條件下，模型中各參數的滿條件分布(full conditional distribution)為：

使用MCMC方法需要設定模型中各參數的先驗分布，具體如下：

zi～Bernoulli(0.5)

πm～Beta(1，1)

λ0k～Normal(0，1)

λ1k～Normal(0，1)

θi～Normal(0，1)

gjm～4-Beta(1，2，0，0.6)

sjm～4-Beta(1，2，0，0.6)

Mix-DINA模型各參數估計使用的是隨機游動MH算法。研究使用R自編程序實現Mix-DINA模型的參數估計，5條鏈長為8000的模擬實驗中，策略使用標簽、屬性參數、被試能力參數、屬性掌握模式、題目參數由建議分布生成取值的平均接受率分別為0.632、0.025、0.607、0.016、0.143。Mix-DINA模型題目參數的自相關在間隔30以上時基本都小于0.2。上述情況符合MCMC估計收斂性評價要求，所以，Mix-DINA模型估計使用5條鏈，鏈長均為8000。

需要注意的是，對于混合模型，無論采用何種估計方法，交換樣本中個體的類別歸屬與相應的模型類別參數時，似然函數取值可能不變(invariant)，統計學中稱之為標簽轉換問題(Label Switch)(Jasra，Holmes，& Stephens，2005)。Mix-DINA模型也是如此，研究使用了常見的固定部分個體所在類別方法(Chung，Loken，& Schafer，2004)解決此問題。

DINA模型使用CDM程序包(George & Robitzsch，2015)中的din函數來完成估計，此函數使用的是MMLE/EM算法。

3.3 評價指標

模擬實驗采用平均絕對偏差(Mean Absolute Bias，MAB)來評價估計值與真值的平均距離，采用非對稱性誤差(Asymmetric Error，AE)來評價是否存在系統偏差。若參數估計準確，則MAB應接近0，AE應該接近0.5。公式如下：

采用邊際判準率(Marginal Match Rate，MMR)、模式判準率(Pattern Match Rate，PMR)分析診斷被試知識狀態和個別屬性的準確性。采用假陽性(False Positive，FP)和假陰性(False Negative，FN)來分析屬性診斷是否有系統偏差，其中FP是 將未掌握屬性者誤判為掌握的比例，假陰性是將掌握者誤判為未掌握的比例。

3.4 數據模擬方法

模擬實驗在設計的各種條件下生成被試作答數據，每個條件重復20次，模擬數據中樣本量設為1000人。

單策略作答的40對s和g參數由Uniform(0.05，0.15)生成，被試能力參數由N(0，1)生成，屬性難度參數全部設為-1、屬性區分度參數全部設為1.2。多策略作答由生成的單策略作答混合而成，此時混合比例有兩種，1：1下人數各500人，在1：2下分別為335和665人。

4 結果

4.1 Mix-DINA模型題目參數返真性

表1呈現了Mix-DINA模型題目參數估計準確性的評價指標。可以看出，對于各類多策略作答，自編程序都能夠較準確地估計題目參數。一般而言，s參數的估計誤差小于g參數；策略一使用者比例的下降將導致策略一對應題目參數(s1，g1)平均絕對偏差增加，而策略二的題目參數(s2，g2)平均絕對偏差下降。此外，對完全混合作答的策略一題目參數估計的平均絕對偏差略小于被試間混合作答。模型s參數的非對稱性指標均在0.5左右，顯示其估計不存在系統性誤差，而g參數的非對稱性指標略高于0.5，顯示可能高估了g參數。

表1 Mix-DINA模型題目參數估計準確性

4.2 Mix-DINA模型知識狀態判準率

被試知識狀態診斷的準確性是評價診斷模型估計結果的的一個重要方面。實驗結果顯示(表2)，Mix-DINA模型對7個屬性的邊際判準率基本都在0.9以上，對全部7個屬性的模式判準率均大于0.6，前5個屬性模式判準率均在0.8左右；策略一使用者比例下降時，對完全混合作答的模式判準率高于被試間混合作答。各種條件下，對公共屬性(A3-A5)的邊際判準率明顯高于獨特屬性(A1，A2，A6，A7)，但在完全混合作答下其差距更小。隨著策略一使用者比例的下降，策略一對應的獨特屬性A1、A2的邊際判準率和前5個屬性的模式判準率下降，而其他屬性的邊際判準率和所有屬性的模式判準率則提高。

表2 Mix-DINA模型對被試的屬性判準率

表3呈現了使用Mix-DINA模型分析多策略作答的屬性診斷的假陽性和假陰性分析結果。可以看出，使用Mix-DINA模型分析各種多策略作答時，假陽性和假陰性都比較低。其中，對公共屬性診斷的假陽性和假陰性均低于獨特屬性；分析被試間混合作答時獨特屬性的假陽性較高，而在分析完全混合作答時假陰性較高，但其絕對大小仍小于被試間混合作答。當策略一使用者比例下降時，策略一的獨特屬性A1、A2的診斷假陽性和假陰性均增加，而其他大多數屬性的診斷假陽性和假陰性均下降。

表3 Mix-DINA模型被試屬性診斷假陽性和假陰性

續表3

混合比例指標類型A1A2A3A4A5A6A71：2FPM0．0770．0810．0020．0070．0050．0420．048SD0．0140．0160．0020．0040．0020．0040．004FNM0．0370．0350．0030．0160．0110．0290．020SD0．0110．0160．0010．0040．0030．0060．005完全混合作答1：1FPM0．0090．0150．0020．0070．0050．0210．026SD0．0040．0050．0010．0030．0040．0060．008FNM0．0260．0250．0050．0200．0170．0290．031SD0．0060．0060．0020．0060．0060．0040．0041：2FPM0．0170．0200．0040．0060．0070．0210．021SD0．0050．0070．0030．0020．0030．0030．005FNM0．0340．0290．0040．0150．0140．0260．023SD0．0120．0080．0030．0040．0030．0040．005

Mix-DINA優勢之一是在提供被試知識狀態診斷的同時，也能夠提供被試策略使用的相關信息。模擬實驗結果顯示(表4)，使用Mix-DINA模型分析各種多策略作答時，均可以較準確估計混合比例。不同條件對被試策略歸屬準確性在0.8左右，當策略一使用者比例下降時，被試策略使用傾向的歸類準確性略有提高。

表4 Mix-DINA模型被試策略使用傾向歸類準確性

4.3 Mix-DINA模型的穩健性

模擬實驗還分析了作答數據中被試解題過程完全同質時，Mix-DINA模型的穩健性。結果顯示(表5)，Mix-DINA模型所得到策略一對應的題目參數的平均絕對偏差非常小，接近使用生成數據的DINA模型分析的結果。非對稱性誤差指標顯示Mix-DINA模型所得到的策略一對應的s1參數有低估傾向，g1參數的估計不存在系統誤差，而策略二對應的題目參數則傾向于高估。

表5 Mix-DINA與DINA模型分析單策略作答的題目參數估計

使用Mix-DINA模型分析單策略數據時，無論是邊際判準率還是模式判準率，均非常接近生成數據的DINA模型所得到的結果(表6)。

表6 Mix-DINA模型分析單策略作答的被試屬性判準率

由表7可以看出，Mix-DINA模型對多數屬性的診斷假陰性要高于假陽性；而DINA模型則相反，假陽性高于假陰性。

表7 Mix-DINA分析單策略作答的被試屬性診斷假陽性和假陰性

使用Mix-DINA模型分析單策略作答時，真實數據中被試只使用了策略一，此時模型將被試劃分至策略一的比例為0.801(SD=0.022)，即此時模型可以將80%以上的被試正確歸類。

5 討論

為更好地擬合測驗作答中存在的多策略解題過程，研究將混合分布模型思想與DINA模型結合，開發了Mix-DINA模型。與MS-DINA模型(Huo & de la Torre，2014)相比，Mix-DINA模型分析多策略作答時有兩點優勢。首先，Mix-DINA模型提供被試的策略使用傾向；其次，Mix-DINA模型在估計過程中將被試按策略分類，每類分別估計一套題目參數，對于所測屬性相同的題目，可以限制對使用不同策略的被試題目參數相同。所以，Mix-DINA模型的假設更接近認知心理學目前對人類問題解決過程的觀點，其假設更合理。

模擬實驗顯示，自編程序可準確估計Mix-DINA模型的題目參數，同時報告被試的策略使用傾向和知識狀態。Mix-DINA模型估計參數時是將被試歸屬不同策略，再按不同策略分別估計對應的題目參數。因此，在總樣本量不變的情況下，預期子群體樣本量下降將使得題目參數估計誤差增加，模擬實驗結果證實了這一點。研究顯示，測驗長度和Q矩陣是影響知識狀態診斷準確性的兩個重要因素(de la Torre，Hong，& Deng，2010)。所以，使用Mix-DINA模型分析完全混合作答時，題目參數和屬性診斷的準確性都要高于被試間混合作答，可能是由于其Q矩陣中獨特屬性對各策略被試被試而言測量次數增加所導致。

模擬實驗中，當策略一被試所占比例由0.5下降到0.335時，策略一題目參數估計的準確性下降，對所有被試屬性診斷和策略傾向歸類的準確性反而略有增加。事實上，此現象反映的是不同策略使用者樣本量對參數估計結果的影響。在總人數不變的情況下，策略一使用者數量下降使得策略一對應題目參數估計誤差增加，對使用策略一被試的診斷誤差也增加，表現為前5個屬性的模式準率下降；相反，策略二使用者數量增加使得對策略二對應的題目參數估計誤差減小，對傾向于使用策略二被試的診斷也更為準確。模擬實驗的另一個非常有意義的結果是，誤用Mix-DINA模型分析單策略作答時，仍可對大部分被試的策略傾向正確歸類，知識狀態準確性也比較高。

研究結果表明，基于混合分布假設的Mix-DINA模型可以較好地適用于不同類型的多策略作答，是一個有研究和應用價值的多策略認知診斷模型。研究結果雖然主要基于DINA模型，但也可擴展至DINO等眾多認知診斷模型(Fu，2005)。混合模型的參數估計均存在標簽轉換問題，至少有8種不同解決方法(Papastamoulis，2014)。固定被試標簽方法雖然使用廣泛，但不同解決方法是否對多策略認知診斷準確性有影響仍需進一步研究給出解答。

對于存在多種解題策略的測驗任務，不同被試可能在相同題目上使用不同策略、同一被試也可能在不同題目上使用不同策略、同一被試在同一題目上也可能嘗試不同策略(Junker，1999)。使用不同Q矩陣可以表征前兩種類型的多策略作答，但使用測量模型研究通常也需要作出進一步約束，例如基于混合分布的測量模型對被試分類后，即假設類內被試的策略使用方式一致。單獨使用測量模型很難研究同一被試在同一題目上策略切換，需要借助認知神經科學等其他研究手段獲取更多的作答過程數據才能解決。但目前認知診斷能準確分析的屬性數量仍比較有限，不同研究取向所關注的粒度水平(Yang & Embretson，2007)不完全一致使得實現此目標仍存在不少困難，有待測驗理論范式與實質心理過程研究的真正整合，才有可能達到分析人類認知過程時細致與效率間的平衡。

涂冬波，蔡艷，戴海琦，丁樹良.(2012).一種多策略認知診斷方法：MSCD 方法的開發.心理學報，44(11)，1547-1553.

祝玉芳，王黎華，丁樹良，汪文義.(2015).多策略的多級評分認知診斷方法的開發.江西師范大學學報(自然科學版)，39(4)，371-376.

Chung，H.，Loken，E.，& Schafer，J.L.(2004).Difficulties in drawing inferences with finite-mixture models：a simple example with a simple solution.TheAmericanStatistician，58(2)，152-158.

de la Torre，J.，& Douglas，J.(2008).Model Evaluation and Multiple Strategies in Cognitive Diagnosis：An Analysis of Fraction Subtraction Data.Psychometrika，73(4)，595-624.

de la Torre，J.，& Douglas，J.A.(2004).Higher-order latent trait models for cognitive diagnosis.Psychometrika，69(3)，333-353.

de la Torre，J.，Hong，Y.，& Deng，W.(2010).Factors Affecting the Item Parameter Estimation and Classification Accuracy of the DINA Model.JournalofEducationalMeasurement，47(2)，227-249.

DeShon，R.P.，Chan，D.，& Weissbein，D.A.(1995).Verbal overshadowing effects on Raven’s advanced progressive matrices：Evidence for multidimensional performance determinants.Intelligence，21(2)，135-155.

Embretson，S.E.(1985).Multicomponent latent trait models for test design.In S.E.Embretson(Ed.)，Testdesign：Developmentsinpsychologyandpsychometrics(pp.195-218).New York：Academic Press.

Ford，M.(1995).Two modes of mental representation and problem solution in syllogistic reasoning.Cognition，54(1)，1-71.

Fu，J.(2005).ApolytomousextensionofthefusionmodelanditsBayesianparameterestimation(Unpublished doctoral dissertation).University of Wisconsin-Madison，Madison，WI.

George，A.C.，& Robitzsch，A.(2015).Cognitive diagnosis models in R：A didactic.TheQuantitativeMethodsforPsychology，11(3)，189-205.

Huo，Y.，& de la Torre，J.(2014).Estimating a cognitive diagnostic model for multiple strategies via the EM algorithm.AppliedPsychologicalMeasurement，38(6)，464-485.

Jasra，A.，Holmes，C.C.，& Stephens，D.A.(2005).Markov chain Monte Carlo methods and the label switching problem in Bayesian mixture modeling.StatisticalScience，20(1)，50-67.

Junker，B.W.(1999).Somestatisticalmodelsandcomputationalmethodsthatmaybeusefulforcognitively-relevantassessment.Paper presented at the Committee on the Foundations of Assessment，National Research Council.

Mislevy，R.J.，& Verhelst，N.(1990).Modeling item responses when different subjects employ different solution strategies.Psychometrika，55(2)，195-215.

Paek，I.，& Cho，S.-J.(2015).A Note on Parameter Estimate Comparability Across Latent Classes in Mixture IRT Modeling.AppliedPsychologicalMeasurement，39(2)，135-143.

Papastamoulis，P.(2014).Handling the label switching problem in latent class models via the ECR algorithm.CommunicationsinStatistics-SimulationandComputation，43(4)，913-927.

Rittle‐Johnson，B.，& Siegler，R.S.(1999).Learning to spell：Variability，choice，and change in children’s strategy use.ChildDevelopment，70(2)，332-348.

Rupp，A.A.，Templin，J.，& Henson，R.A.(2010).Diagnosticmeasurement：Theory，methods，andapplications.New York：The Guilford Press.

Siegler，R.S.，& Lemaire，P.(1997).Older and younger adults’ strategy choices in multiplication：Testing predictions of ASCM using the choice/no-choice method.JournalofExperimentalPsychology：General，126(1)，71-92.

von Davier，M.，& Rost，J.(2007).Mixture Distribution Item Response Models.In C.R.Rao & S.Sinharay(Eds.)，Handbookofstatistics，Vol.26：Psychometrics(Vol.26，pp.643-661).Amsterdam：Elsevier Science.

Yang，X.，& Embretson，S.E.(2007).Construct validity and cognitive diagnostic assessment.In J.P.Leighton & M.J.Gierl(Eds.)，Cognitivediagnosticassessmentforeducation：Theoryandapplications(pp.119-145).New York：Cambridge University Press.

Mix-DINA Model Based on Mixture Distribution for Multiple Strategy Cognitive Diagnosis

Liu Tiechuan1，Zhao Yu2，Dai Haiqi3

(1.School of Educational Science，Gannan Normal University，Ganzhou 341000；2.Department of Psychology，Gannan Medical College，Ganzhou 341000；3.School of Psychology，Jiangxi Normal University，Nanchang 330022)

Multiple Strategies are often utilized by individuals to solve many different cognitive tasks，and the difficulty of using them is also different.However，many widely used measurement models ignored that fact.The present paper proposed Mix-DINA model for multiple strategy cognitive diagnosis，inspired by Mixture Item Response Models.Two main advantages of Mix-DINA model are：(1)it can tell us individual’s knowledge state and strategy use tendencies at the same time；(2)it frees the items’ parameter for different strategies，that make it more in line with current psychological points of problem solving.Simulation research were done to validate the accuracy of using Mix-DINA model to fit different types of multiple-stategy data.Results also showed that Mix-DINA model was robust when fitting single-strategy data which.Finally，the limitations of the present study were discussed and suggestions for further research on multiple-strategy cognitive diagnosis were given.

mixture distribution；multiple strategy；cognitive diagnosis；Mix-DINA model

江西省教育科學規劃重點課題(13ZD2L005)。

戴海琦，E-mail：daihaiqi@aliyun.com。

B841.2

A

1003-5184(2016)05-0464-08