認知診斷測評的研究述評及展望

陸 璐 趙少勇 張年寬

一、引言

隨著我國基礎教育課程改革的不斷深入， 新時代的教育聚焦于培養具有社會競爭力的個體。 個體的核心素養水平決定著其生存的競爭能力[1]。 學生發展核心素養，主要是指學生應具備的、能夠適應終身發展和社會發展需要的必備品格和關鍵能力。 中國學生發展核心素養以培養 “全面發展的人” 為核心，分為文化基礎、自主發展和社會參與三個方面。 具體包括人文底蘊、科學精神、學會學習、健康生活、責任擔當和實踐創新六大素養。

核心素養作為一個宏觀概念包括了眾多方面，想要使其更好地落地生根， 就必須始終貫徹以學生為主體，始終立足于學生成長的需要。 然而，學生的認知水平參差不齊， 對每個學科知識的掌握情況也有很大差別。 傳統的測驗只能提供一個分數或者能力值， 雖然分數在一定程度上可以提供診斷依據，但是相同分數的學生往往具有不同的認知結構和認知過程[2]。 認知診斷測評（cognitive diagnostic assessment， CDA）的出現很好地彌補了這一缺陷，有助于人們更深入地了解隱藏在學生分數背后的認知結構、 加工技能和認知過程等心理內部結構之間的差異， 從而幫助教師為學生提供更具有針對性的補救措施和教學方案[3]，進一步達到提升學生核心素養的目標。

二、認知診斷理論

認知診斷理論是新一代心理與教育測驗理論的核心， 是認知心理學與現代測量學相結合的產物[4]，已經成為心理學、 測量學和教育學等學科的研究熱點，引起了國內外研究者的廣泛關注。 要對學生進行更有效、更準確的認知診斷測評，就必須借助科學的認知診斷測驗以及選擇合適的認知診斷模型。目前關于認知診斷領域的研究主要集中在以下兩個方面：（1）理論基礎研究，即認知診斷模型（cognitive diagnostic models， CDMs）的開發及拓展；（2）實證應用研究， 即研究者在理論研究的基礎上采用實證數據對被試進行測評。

以下將分別介紹目前常見的認知診斷模型和認知診斷應用研究的現狀。

三、認知診斷模型

認知診斷模型是實現認知診斷功能必不可少的核心環節，它將認知變量融入心理計量模型，成功連接了個體的外部作答反應和內部認知屬性， 從而實現對被試內部心理加工過程的分析， 進而提供具體的認知診斷信息。 每個認知診斷模型都是基于某些既定的假設， 不同的認知診斷模型具有其各自的特點和適用條件， 研究者需要根據各自研究的特點（如計分方式、屬性水平等）選擇或者建構適當的認知診斷模型，CDMs 的合理性直接決定了認知診斷測評結果的準確性及有效性[5]。 至今，國內外的研究者已經根據不同的研究需要開發出了眾多認知診斷模型[6，7]。

1. 二級評分/二分屬性的認知診斷模型

較早被研究者用來進行認知診斷研究的模型是線性邏輯斯諦克特質模型（linear logistic trait model，LLTM）[8]，LLTM 是在 Rasch 模型[9]的基礎上發展出來的， 與單維的Rasch 模型具有相同的基本形式。 此外，還有一個具有開創意義的認知診斷方法，即規則空間方法（rule space methodology，RSM）[10]，其強調的Q 矩陣理論（Q-matrix theory）建立了項目與屬性之間的關系， 將不可觀察的認知屬性轉化為項目反應模式，Q 矩陣理論提出后就成為認知診斷研究中的核心理論， 隨后開發的認知診斷模型很多都是基于Q 矩陣理論構建的。 LLTM 和RSM 被認為是兩個基礎性的認知診斷模型[11]，后續發展出來的許多認知診斷模型均是以這兩個模型為基礎。例如，多成分潛在特質模型（multicomponent latent trait model， MLTM）[12]和一般潛在特質模型（general latent trait model， GLTM）[13]等多個潛在特質模型均是在LLTM 的基礎上發展而來； 而統一模型 （unified model， UM）[14]、 融合模型（fusion model， FM）[15]和屬性層次方法（attribute hierarchy methodology， AHM）[16]等模型均是在 RSM 的基礎上發展出來的。

根據不同的研究需要及理論假設， 研究者陸續開發了一系列的認知診斷模型。 除了上述提到的幾個以外，常見的還有DINA 模型（deterministic input，noisy “and” gate model）[17，18]、DINO 模型（deterministic input， noisy “or” gate model）[19]、LCDM （log-linear CDM）[20]、ACDM（additive CDM）[21]等。 其中，DINA 模型具有參數簡單、計算簡便且易于理解的優點，是應用最廣泛的認知診斷模型之一， 眾多研究者針對DINA 模型的不同方面進行了相應的拓展。 有研究者在DINA 模型的基礎上考慮高階成分在模型中的潛在作用， 發展出高階 DINA 模型 （high-order DINA model， HO-DINA model）[22]。 針對具有多種解題方法的題目， 也有研究者提出了多策略DINA 模型（multiple-strategy DINA model， MS-DINA）[23]。 為了彌補DINA 模型在診斷過程中不考慮屬性的層級關系而導致屬性判準率較低的缺陷， 研究者開發了基于屬性層級關系的 DINA 模型，即 DINA_HC 模型[24]。 還有研究者提出了飽和模式的DINA 模型（generalized DINA， G-DINA）[25]， 該模型在特定的約束條件下可以轉換成DINA 模型、DINO 模型或其他約束模型。此外， 考慮到多個時間點的測量結果可以對個體的發展進行更全面的診斷， 因此縱向數據的重要性得到了研究者的關注， 然而現有的大部分CDMs 均不能處理縱向數據， 因此有研究者在DINA 模型的基礎上開發出了縱向DINA 模型 （longitudinal DINA model， Long-DINA model）， 以期可以更好地對縱向數據進行處理[26]。

2. 多級評分認知診斷模型

雖然目前研究者們已經開發或拓展出了數量眾多的認知診斷模型， 然而較早的CDMs 大多僅適用于 0-1 計分的二級評分數據 （dichotomous data），適用于多級評分數據（polytomous data）的CDMs 較少。這種二級計分的數據通常只適用于填空題、 選擇題或者判斷題。 然而，在實際的教育情境中，大部分學科的試卷往往還有其他題型，如計算題、綜合題、作圖題等， 這些比較復雜的題型無法簡單地采用二級計分的方式（0-1）來評分。 雖然在分析數據時，可以根據一定的規則將多級評分的數據轉換成二級計分的形式，但是該做法會丟失部分數據信息。 因此，為了更好地滿足現實的教育需求， 不少研究者對多級評分的CDMs 進行了探索與研究。

其中， 有研究者在傳統二級評分DINA 模型的基礎上提出了多級評分DINA 模型（polytomous DINA model， P-DINA model）[27]。 由于 P-DINA 模型傾向于將被試得分歸為0 分或滿分， 因此有研究者在P-DINA 模型的基礎上對其進行優化并提出了rPDINA 模型（revised P-DINA model），優化后的模型在一定程度上克服了該缺陷[28]。 還有研究基于PDINA 模型的拓展思路提出了多級評分的HO-DINA模型[29]以及多級評分的DINO 模型（polytomous DINO model， P-DINO model）[30]等。 此外，還有研究者基于Tatsuoka（1995）的規則空間方法拓展出了多級評分RSM[31]；Sun 等人基于廣義距離判別法（generalized distance discriminating method， GDD）[32]提出了多級評分的廣義距離判別法 （GDD method for test with polytomous response ， GDD-P）[33]；祝玉芳等人在多策略認知診斷方法 （multiple-strategies cognitive diagnosis method， MSCD）的基礎上拓展出了多級評分數據的 MSCD[34]；Ma 和 de la Torre 提出了可以處理多級評分數據的順序反應G-DINA 模型（sequential GDINA model）[35]。 近期還有不少研究者為滿足研究或現實需要， 提出新的多級評分CDMs， 例如GPDM（general polytomous diagnosis model）[36]和可以處理多策略項目多級評分數據的診斷樹模型（diagnostic tree model， DTM）[37]等， 進一步豐富了多級評分CDMs 及其應用。

3. 多分屬性認知診斷模型

同樣地，在屬性的水平劃分上，較早的CDMs 幾乎都屬于二分屬性（dichotomous attributes）的范疇，沒有考慮多分屬性（polytomous attributes）的情況，即認為被試對屬性的掌握情況只有兩種， 即0 =“未掌握”/1 =“掌握”；項目對屬性的考查情況也只有兩種，即 0 =“未考查”/1 =“考查”。 然而，被試對某一知識點（屬性）的掌握情況通常無法簡單地歸為 “掌握” 或“未掌握”， 對被試的屬性掌握情況進行多水平劃分更加符合實際情境。例如，《義務教育的課程標準》使用 “了解、理解、掌握、運用” 等術語表述學習活動結果目標的不同水平；PISA 2015 的科學素養測試框架將認知屬性的掌握水平分為 “低水平、中等水平和高水平”[38]；TIMSS 2015 的科學認知框架也將屬性的掌握程度從低到高分為“了解、應用和推理” 三種水平[39]。

因此，為滿足現實需求，研究者們提出了多分屬性的概念[40，41]， 并且提出了順序類別屬性編碼（ordered category attribute coding， OCAC）[42]的方法，以期可以開發出更加適合實際教育情景的多分屬性CDMs。 例如，Karelitz 在 OCAC 的框架下提出了 OCAC-DINA 模型[43]；von Davie 提出的 GDM（general diagnostic model）既適用于二分屬性的情景，也適用于多分屬性的情境[44]；Chen 和de la Torre 基于GDINA 模型提出了可處理多分屬性數據的pG-DINA（polytomous generalized DINA）模型[45]；后續，蔡艷和涂冬波基于該拓展思路在rRUM（reduced reparameterized unified model）[46]和 DINA 模型的基礎上分別拓展出了 PA-rRUM （polytomous attributes rRUM）和PA-DINA（polytomous attributes DINA）模型[47]；詹沛達、邊玉芳和王立君對pG-DINA 模型的約束模型進行了重參數化（reparametrized），重參數化后的模型（i.e.， RPa-DINA 模型和 RPa-DINO 模型）相比原模型更易于研究者和讀者的理解與應用， 可以在一定程度上降低多分屬性CDMs 的實踐應用難度[48]。Templin 和Bradshaw 在已有的診斷分類模型（diagnostic classification models， DCM） 基礎上提出了可處理多分屬性的DCM （diagnostic classification models for polytomous attributes）[49]。 近期還有研究者將高階潛在結構模型 （high order latent structural model，high-order LSM）與RPa-DINA 模型進行融合，開發出了可處理多分屬性的高階LSM （partial mastery，higher-order LSM for polytomous attributes）[50]。

4. 多級評分的多分屬性認知診斷模型

綜合以上的論述可以看出， 目前研究者們已經在傳統CDMs 的基礎上分別拓展出了多級評分的CDMs 和多分屬性的CDMs，相比之前那些只能處理二級評分及二分屬性數據的傳統CDMs 更加符合實際的教育情境。 然而，目前的多分屬性CDMs 均是在二級評分CDMs 基礎上拓展而來的， 而現實教育環境中存在同時具有多分屬性和需要多級評分題目的情境， 此時現有的多分屬性CDMs 就顯得 “力不從心” 了。 雖然可以根據一定的規則將多級評分數據轉化為二級評分數據， 但是該做法會造成數據信息的丟失。 如果能夠將多分屬性的CDMs 進行多級評分拓展， 使模型在考慮多分屬性的同時又能夠處理多級評分數據， 那么研究者就可以利用該模型從被試的作答數據中得到更全面、準確的診斷信息。 因此有研究對多分屬性多級評分CDMs 進行了初步探索與研究。

昌維將RPa-DINA 模型進行了多級評分拓展，新模型簡稱為PRPa-DINA 模型[51]。 該模型具有可以同時處理多分屬性多級計分與二分屬性二級計分數據的優點。雖然Karelitz 指出在使用OCAC 對屬性的各個水平進行編碼時， 多分屬性的水平與二分屬性之間存在一定的對應關系：K 個多分屬性相當于個二分屬性，可以將多分屬性轉化為二分屬性之后， 使用更簡單的二分屬性模型對數據進行處理[52]。 詹沛達等人也指出多分屬性與二分屬性之間可以進行等價轉換[53]。 然而，隨后有研究者在對比了二分屬性和多分屬性之后發現， 當多分屬性的個數不超過3 個時， 可以考慮將多分屬性轉化成二分屬性，采用相對簡單的二分屬性模型；但當多分屬性個數超過3 個時， 多分屬性模型對被試能力估計更為準確[54]。 在實際教育情境中，大部分學科的知識點（屬性）都是具有多種水平的，實踐研究中多分屬性的個數很可能不止3 個，因此采用多分屬性的CDMs 是非常有必要的。 PRPa-DINA 模型的數學表達式如下：

其中，Pnit 表示被試n 在項目i 上恰得t 分的概率；P*nit表示被試n 在該項目i 上得 t 分以及 t 分以上的概率；P*ni（t+1）表示被試 n 在該項目 i 上得（t+1）分及以上的概率；sit 表示被試在項目i 上的潛在得分為t分，而實際得分小于t 分的概率；git 表示被試在項目i 上的潛在得分為t 分，而實際得分大于t 分的概率；表示被試n 在項目i 上的潛在作答（只有當被試n 對項目i 所考查的全部屬性的掌握水平都大于/等于項目 i 對屬性的考查水平時，ηni=1；否則，ηni=0）；ωnik表示被試n 在項目i 中屬性k 上的潛在作答（當被試n對屬性k 的掌握水平大于/等于項目i 對屬性k 的考查水平時，ωnik=1；否則，ωnik=0）；q*ik表示項目 i 是否考查了屬性k；αnk表示被試n 對屬性k 的掌握水平。

值得注意的是，被試在項目上的得分增高，失誤參數和猜測參數的變化趨勢不一樣。 失誤參數呈遞增趨勢，Sit≤Si，（t+1）， 即假設被試掌握了項目 i 考查的所有屬性，那么其在t 分上的失誤概率會小于或等于（t+1）分上的失誤概率，可以理解為被試更容易在高分上表現出失誤。 猜測參數呈遞減趨勢，，即被試如果沒有全部掌握項目i 考查的所有屬性，那么其在t分上的猜測概率大于或等于（t+1）分上的猜測概率，可以理解為取得低分的被試更有可能是猜對的。

5. 認知診斷模型小結

以上從評分方式（二級計分/多級計分）和屬性的劃分水平（二分屬性/多分屬性）兩個方面對現有的常用認知診斷模型進行了介紹， 這些模型的簡單分類概括及其各自的特點（適用條件）如表1 所示。

表1 常用認知診斷模型及特點

四、認知診斷的應用研究

如前所述， 目前研究者對認知診斷的研究主要可以分為兩個部分， 一部分集中在認知診斷模型的開 發 和 拓 展 上 （e.g.， Chen & de la Torre， 2013；Chen， de la Torre， & Zhang， 2013； de la Torre，2009； de la Torre & Douglas， 2004； Hou， de la Torre， & Nandakumar， 2014； Templin & Bradshaw，2013； Zhan， Wang， Jiao， & Bian， 2018； 詹沛達，陳平， 邊玉芳， 2016）[55]， 另一部分就是認知診斷的實證應用研究。 目前，認知診斷已經被廣泛地應用于學科知識測評、 語言技能評估和精神障礙的診斷等多個領域。

1. 學科知識測評領域

將認知診斷應用到學科知識測評領域的研究是最多的。 Tatsuoka 首次提出RSM 后就將其運用到數學加減法的認知診斷中[56]，隨后出現了眾多研究者將認知診斷應用于測評關于數學的各種知識技能中。 例如，de la Torre 等人提出了高階潛在特質模型（Higher-order latent trait models）， 并將其應用到分數減法的測評研究中[57]；Birenbaum 等人將RSM 應用到TIMSS-R 中八年級數學部分的診斷評估[58]；在國內，學者余嘉元較早地將RSM 應用到數學中不等式知識的評估中， 以期可以識別學生在解題過程中的認知錯誤[59]；康春花等人編制了小學數學應用題和小學數學的圖形與幾何的認知診斷測驗[60，61]。 除了將認知診斷應用到數學學科， 英語學科的認知診斷研究也不在少數， 主要集中在對英語閱讀理解部分的診斷測評[62-65]。 同時，也有研究者將認知診斷應用到其他學科。 例如，王玨和解月光使用基于前概念體系的學習者認知診斷方法對被試的初中物理學習情況進行測評[66]。 還有研究者將GDM 應用到包括閱讀、寫作、數學和科學等學科的NAEP（National Assessment of Educational Progress）數據分析中，結果發現，GDM 在各個學科上均能準確地對被試的能力進行診斷， 并且該方法可以有效降低其他控制變量對結果的影響[67]。

2. 語言技能評估領域

在語言技能測評方面， 較早時就有學者使用RSM 對被試的第二語言閱讀技能進行測評， 結果發現該方法可以很好地對口語測試數據進行分析，并為測試者提供準確的診斷反饋報告[68]。 后續出現了不少研究者將CDMs 應用于外語 （相對被試的母語而言）的閱讀技能測評，結果均表明基于CDMs 的方法不僅能為研究者提供被試總體能力， 還可以準確診斷被試在各個屬性上的掌握情況[69-72]。 還有研究者將融合模型FM（fusion model）用于測評被試在托福測試中的閱讀技能水平， 并且探討了基于CDMs 的個性化診斷報告對教學的影響[73]。von Davier 將GDM應用到托福測驗的聽力和閱讀技能的測評， 結果表明，GDM 可以對被試的屬性掌握情況進行準確的診斷歸類[74]。 國內學者范曉玲還將認知診斷技術應用到閱讀障礙兒童的語音、字形閱讀、語素意識和漢語詞匯的診斷評估中，結果均表明，基于認知診斷的結果不僅能夠準確評估閱讀障礙兒童的具體表現，還能提供更豐富的診斷信息[75-77]。

3. 精神障礙診斷領域

認知診斷作為一種新技術為各類精神障礙的診斷提供了重要的依據。 例如，有研究者使用部分的有序分類模型（partially ordered classification models）診斷精神分裂癥患者的神經認知功能[78]。 還有研究者將 CDMs （i.e.， DINA & DINO） 應用到病態性賭博（pathological gambling）的診斷研究中，結果表明，基于 CDMs 的診斷結果與 DSM-IV （Diagnostic and Statistical Manual of Mental Disorders-IV）[79]對病態性賭博的診斷標準基本一致[80]。 de la Torre， van der Ark和 Rossi 將 G-DINA 模型及其約束模型（i.e.， DINA，DINO & ACDM）應用到米隆臨床多軸調查量表（Millon Clinical Multiaxial Inventory-III， MCMI-III）[81]的數據分析上，并且在項目水平（item level）上對比了各個模型的優劣， 同時對基于CDMs 的分析結果和傳統分析結果進行對比，結果發現，基于CDMs 的方法可以提供更詳細、準確的結果[82]。 近來，有研究者將認知診斷應用于抑郁癥的診斷研究中，基于CDMs的框架提出了抑郁癥的認知診斷測驗 （cognitive diagnostic test for depression， CDMs-D）[83]。 此外，還有學者將認知診斷應用到個體的酒精干預研究中[84]。

4. 其他領域

認知診斷的應用研究還涉及到了其他領域。 例如， 部分研究者將認知診斷應用到計算機自適應測試（computerized adaptive testing， CAT）上，提出了各種認知診斷計算機自適應測試（CD-CAT），旨在結合認知診斷和計算機自適應測試的優勢， 從而更好地對被試的能力進行測評[85-89]。 此外，García， Olea 與de la Torre 還將G-DINA 模型應用于情景判斷測驗（situational judgment tests， SJTs） 的數據分析中，結果表明，該模型可以很好地對此數據進行分析[90]。

五、結論

總之，認知診斷已經應用于眾多領域，這為認知診斷研究提供了大量理論和實證方面的依據， 充分證明了認知診斷測驗在許多領域中都是有效的測量工具。 學科教育作為認知診斷應用最廣泛的領域，現已取得了較為豐富的理論基礎和實證研究成果。 然而，鑒于認知診斷的相關知識比較復雜，目前很少有一線教師能夠掌握認知診斷的知識與技術， 對認知診斷測驗的編制、 使用認知診斷模型進行數據分析等關鍵部分掌握起來較為困難， 因此研究者在發展認知診斷的同時， 應該考慮如何使一線教師更好地掌握該技術， 使認知診斷技術的應用在各領域更好地落地，從而具備更普遍的推廣價值。

六、未來研究展望

首先，在現實教育情境中，各學科所涉及的內容和知識點大多屬于多分屬性 （即一個知識點并不能簡單地被分為掌握/未掌握）， 并且許多題目的計分方式也不是簡單的0-1 計分， 很多題型均需采用多級評分的方式。 因此，在條件允許的情況下，使用多分屬性多級評分認知診斷測驗對學生進行測評，并且采用多分屬性多級計分的認知診斷模型對測驗數據進行分析是一個較好的選擇。 雖然已有研究者在RPa-DINA 模型的基礎拓展出了多級評分的RPa-DINA 模型（PRPa-DINA 模型），然而該研究僅停留在理論研究的層面， 還沒有研究者進行相應的實證研究，因此，未來研究者可以進行相應的實證研究，采用真實數據來進一步驗證PRPa-DINA 模型的科學性。

其次，PRPa-DINA 模型是基于P-DINA 模型的拓展思路進行建構的，存在一定的局限性，研究者在未來的研究中可以嘗試基于其他更好的思路對其進行拓展。此外，PRPa-DINA 模型是在DINA 模型的基礎上拓展出來的，而DINA 模型是一種連接、非補償的CDM，其理論假設并不符合所有教育情境，因此，未來研究者可以對其他 CDMs（e.g.， G-DINA）進行多分屬性多級評分的拓展， 以應對復雜的現實教育情境。

再者， 所有的測評都是為了學生更好更全面的發展，從而提升他們的核心素養。 因此，結合具體的干預手段， 對學生的知識掌握情況進行多個時間點測量， 從而對學生的縱向發展進行較全面的測評是必不可少的。 在未來研究中，可以從該角度出發，根據認知診斷報告制定個性化的補救方案， 然后進行縱向追蹤，并與傳統的教學補救進行對比，探討認知診斷補救效果是否優于傳統的教學補救。

最后， 認知診斷的關鍵技術對于一線教師而言較難掌握。 因此，研究者在未來研究中應當考慮該因素，致力于開發出操作較簡單的認知診斷分析平臺。目前， 江西師范大學涂冬波教授團隊已經開發出了操作較簡單的認知診斷分析平臺（flexCDMs），該平臺包括了幾種常用的認知診斷模型 （如DINA、DINO、rRUM、ACDM、seqGDINA）， 在一定程度上方便了研究者及一線教師對認知診斷數據的分析。 然而該平臺所包括的CDMs 主要是二級計分的， 多級計分的 CDMs 只有 seqGDINA， 并不包括多分屬性CDMs 以及更符合實際教育情境的多分屬性多級計分CDMs，因此還有待于進一步拓展。