整式運算認知診斷初探

佘 巖，徐玲玲

?

整式運算認知診斷初探

佘 巖1，徐玲玲2

（1．首都師范大學數學科學學院，北京 100048；2．北京理工大學附屬中學，北京 100089）

認知診斷是利用診斷模型考察每名學生知識狀態的方法．選用屬性層級模型對初中生整式運算的認知狀況進行初步探討．實驗結果表明，屬性層級模型能夠準確反應學生當前知識狀態．其中，43.2%的學生掌握所測的全部認知屬性．其余學生在不同知識上有不同程度的知識漏洞．分析不同知識漏洞產生的原因并提出部分補救措施．

屬性層級模式；認知診斷；整式運算

1 前 言

認知診斷（Cognitive Diagnose，CD）是新一代測量理論的核心，它是現代心理測量理論和認知心理學發展相結合的產物．認知診斷或認知診斷評估（Cognitive Diagnose Assessment，CDA）通常被界定為個體知識結構、加工技能或認知過程的診斷評估．換句話說，認知診斷用于測量個體特定的知識結構（knowledge structure）和加工技能（processing skills）[1]．因此，認知診斷不再僅僅提供給學生一個單一且籠統的分數（能力值），而是能夠提供給每個被試關于測試知識或技能等的詳細認知結構．

認知診斷的實施離不開特定的心理測量模型，即：認知診斷模型．其中，Tatsuoka提出的規則空間模型（Rule Space Model，RSM）是較早的一種．該模型以矩陣理論為基礎，建立屬性與項目之間的對應關系，進而通過被試的作答情況推斷出其所掌握的知識狀態或認知技能屬性[2]．所謂屬性是指產生式規則、程序性運算、項目類型，更一般地，是指任何的認知子任務．Tatsuoka認為任務屬性可由專家或教師從現有試卷分析出來[3]．但隨后Leighton等人的研究建議，先根據屬性間的層級關系建立起矩陣，再利用矩陣設計相應的測試項目．此法邏輯性更強，可保證不同測試項目所測的屬性不完全相同，且屬性層級結構更準確，并據此提出了屬性層級模型（Attribute Hierarchy Method，AHM）[4~5]．

AHM對RSM在判別方法上亦進行了改進．由于被試的作答會受到項目難度、猜測度、失誤度等的影響，導致被試的作答無法直接與理想反應模式對應．因此，RSM根據項目反應理論、馬氏距離判別法或Beyesian判別法，判別每個作答反應模式對應的有序數對歸屬于何種理想反應模式對應的有序數對（純規則點），進而得到被試所屬的理想反應模型[6]．而AHM直接考察被試作答反應模式與每一個理想反應模式的相似概率，將被試作答反應模式判給相似概率最大的理想反應模式[5]．

據此，以AHM為基礎的認知診斷的一般步驟是先分析待考察知識、能力或技能所包含的屬性，并依據屬性間的先決關系建立屬性層級結構．再由屬性層級結構得到階可達矩陣，其中表示屬性數．矩陣中元素記為或0，若屬性間有直接或間接先決關系，則，否則0．隨后由布爾運算得到矩陣，其能反映全部符合屬性層級關系的測試藍圖和被試知識狀態，即項目考核模式及被試理想掌握模式（Ideal Master Pattern，IMP）．第四步，結合矩陣編制測試試題并組卷．第五步，將被試測試的作答反應與理想掌握模式對應的理想反應模式（Ideal Response Pattern，IRP）進行判別歸類，進而得到被試作答反應對應的知識狀態．

當下對認知診斷的實證性研究可根據屬性粒度的大小分為兩個方面，一是對學生某一方面能力的認知診斷．如：涂冬波等人研究小學兒童數學問題解決的認知診斷[13]．張敏強等人利用瑞文推理測試研究11~25歲間學生的智力水平[14]．趙頂位、戴海崎研究4~8年級學生幾何類比推理問題解決的認知診斷[15]．張偉平采用RSM編碼TIMSS測試，對中美學生數學能力進行比較．二是研究學生某一具體學科知識的認知情況．如：Tasuoka利用規則空間模型，對中小學數學的加減法進行認知診斷[2]．余嘉元研究初二學生不等式題型解答中的認知錯誤[17]．Tasuoka再次研究了分數加法運算的認知診斷及干預矯正[6]．張玲等建構了解代數應用題的認知模型[18]．但是在數學領域中，基于AHM的實證研究相對較少[7~8]．其原因可能在于AHM要求待考察內容具有一定的屬性層級關系，一旦屬性關系界定錯誤，將影響AHM的判準率．因此，選擇屬性層級結構良好的測試內容是能否使用AHM進行認知診斷的關鍵．

現有認知診斷研究大多用于科學研究，幾乎很少應用到初等教育教學中．而認識診斷最主要的作用是能有效檢測學生當前知識狀態，為后續教學進度提供依據，做到因材施教．因此，這里將AHM應用到班級教學中并選用屬性層級結構良好的整式運算作為測試內容，考察學生對此部分知識的認知情況．值得說明的是，在被試及試題樣本為小樣本時，AHM的判準率與其它診斷模型相當，判準率達到90%以上[19]，故選用AHM作為診斷模型具有可行性．

2 測驗框架設計與試題編制

2.1 對整式運算的認知屬性分析

整式運算選自人民教育出版社初中數學七年級上冊和八年級上冊兩本教材[20~21]，它是學生接觸用字母表示數后最基本的運算．同時，整式乘法運算作為代數中最基本的運算技能又是后續代數知識學習的基礎．因此整式運算在中學代數學習中具有重要的作用．

整式運算包含整式加、減、乘、除、乘方運算．整式運算除滿足數的運算法則外，還需滿足數與字母之間的運算規則．屬性層級關系的界定由不同領域專家（數學教育方向研究生、一線教師、數學教授）共同參與討論．在深入分析了兩本人教版教材，并結合初中教學進度安排及時間要求后，確定該部分內容主要包含7個認識屬性，如表1．

表1 整式運算屬性層級

其中，7個屬性的層級關系如圖1．

圖1 整式運算屬性層級結構

需要注明的是，根據專家的討論，整式乘法運算中涉及的完全平方公式和平方差公式可作為“記住”的知識，上述7個認識屬性均不能作為這兩個公式的先決條件．因此，在研究中未將其作為考察知識．另外，整式的除法運算與因式分解、分式運算關系密切，如將其全部含概在實驗中，所涉及的屬性過多，測試題目也相應增加．結合實際情況，將多項式乘多項式作為最“底層”的認識屬性．

2.2 測試題目的編制

由各屬性的層級關系確定對應的矩陣，如表2．

表2 屬性層級關系下的R矩陣

以矩陣為基礎，利用擴張算法[9]得到理想掌握模式，即為測試藍圖．理想掌握模式共35列，其中包含34種符合屬性層級關系的項目類．其中，測試屬性A5的項目類有3種，測試屬性A7的項目類有一種（即：包含所有屬性的項目類），其余屬性的項目類均為19種．為降低測量誤差，組卷中需增加A7對應的項目類．丁樹良等人提出，若要實現對所有知識狀態的診斷分類，則需盡可能地在測試試題中加入矩陣對應的項目類[22]．結合實際情況，共擬制28道測試題，包含除A1、A2、A3、A4、A6任取3種屬性的組合（共10種）外的全部34種項目類，另增加4道含A7屬性項目．28道測試題目對應的縮減矩陣見表3．試題由專家共同討論編制，測試材料共包含4種題型：選擇題、填空題、化簡求值題、計算題．其中，選擇題8道，填空題10道，化簡求值題4道，計算題6道．每種題型內部順序按考核屬性由少至多排列．全部題目采用0~1計分，每題1分，共28分．材料具有良好信度（克倫巴赫系數>0.7）．

表3 28道測試題對應的縮減Q矩陣

2.3 屬性層級結構合理性檢驗

AHM的一個重要問題在于需檢驗學生作答項目時所用的認知過程是否與假定的認知屬性結構一致，即檢驗屬性層級結構是否合理．據此，Cui等人提出層級一致性指標（Hierarchy Consistency index，HCI）[10]，其檢驗統計量為

HCI的提出基于AHM中的假定：若被試正確作答某個項目，則該被試掌握這個項目中的全部屬性．也即，若被試正確作答某個項目，則該被試應正確作答該項目所測屬性集的真子集對應的全部項目，即每個的取值為1．因此，如果測試項目對應的屬性層級結構合理，那么被試的值應趨于1，反之則趨于．Gierl等人提出若所有被試的的平均值大于0.70，則認為假定的屬性層級結構合理[7]．被試的的平均值0.895?4>0.70，故認為屬性層級關系合理．

3 對整式乘法進行認知診斷實證研究

3.1 研究方法

3.1.1 測驗工具

整式乘法運算自編試卷．

3.1.2 測試對象

選取北京某所初級中學初二年級兩個平行班的學生，共81人．被試在測試前一周已學習過整式乘法的相關知識．測試時間為40分鐘．全部被試測試結果均為有效數據．

3.1.3 數據處理

使用Matlab R2014a自編程序估計三參數Logistic模型（3PLM）下被試的能力值，并根據AHM的A方法判別學生所對應的理想反應模式．

3.2 結果與分析

AHM判別分類的A方法是將每個作答反應模式判給相似概率最大的理想反應模式．其中，相似概率是計算作答反應模式與某一理想反應模型所有對應分量不同時的概率積[11]．根據A方法判別分類，結果如表4．

表4 知識狀態頻率

由表4可見，被試可能知識狀態相對集中．其原因在于AHM要求測試題目需包含所測的全部屬性，例如測試多項式乘法的第24題，其包含全部7個屬性（）．在設計試題時，為保證該要求，題目的運算步驟隨之增加，增加了學生的認知負荷，因此包含屬性較多的題目作答情況較差．當包含屬性較少的題目作答良好時，AHM判別方法便將被試判給“下層”屬性未掌握的知識狀態．根據試卷分析表明，被試的錯題主要集中在包含屬性A6、A7的題目中（23~28題），正確率約為53%，而前22題正確率相對較高，約為89.5%．因此大多被試被判給（1111110）和（1111111）兩種知識狀態．

進一步，從被試的角度來看，處于掌握全部屬性知識狀態的人數最多，占總人數的43.2%，說明這些被試已較熟練掌握整式乘法的運算原理并基本能正確作答全部題目，而剩余56.8%的被試在整式乘法運算知識中仍存在漏洞．這些被試的知識狀態則需要進一步分析．其中，（1）僅未掌握多項式乘法（屬性A7）的被試占總人數的37%．結合屬性層級關系可知，該類被試已掌握屬性A7的所有先決屬性A1—A6．因此，此類知識狀態的被試需進一步明確多項式乘多項式的算理，教師可引導被試利用單項式乘多項式的算理推導多項式乘法運算．（2）未掌握單項式乘多項式和多項式乘法（屬性A5、A7）的被試占總人數的7.4%．同樣為未掌握屬性A7，但此類被試與上一類被試不同．由于屬性A5為A7的先決條件，因此，此類被試未掌握多項式乘法的原因在于未掌握單項式乘多項式的運算．結合此類學生對屬性A1—A4和A6的掌握情況可知，被試可能對乘法分配律，即字母（數字）與多項式相乘的去括號法則不熟練．因此，該類學生需在此方面加強．（3）3名被試的知識狀態為未掌握A5、A6、A7，此類學生未掌握A7的原因除與前兩類學生相同之外，還包含了對合并同類項（屬性A6）不熟練．通過對比3名學生的試卷，發現3名學生合并同類項掌握不好（如圖2第7和第8題、圖3、圖4標下劃線部分）．結合其余題目的作答情況和屬性層級關系，可以支持3名學生對合并同類項（屬性A6）不熟練的結論．合并同類項為初一所學內容，學習時間距測試時間較長，學生可能出現知識點遺忘，因此此類學生需對合并同類項進行復習．（4）其余被試所對應的知識狀態均是由于“基本”屬性（各類公式及算法）掌握不良，導致未能掌握下層的屬性，因此，這些被試需先將“基本”屬性掌握熟練后，方可進一步練習單項式乘多項式及多項式乘法．

圖2 某名未掌握屬性A6的學生試卷（一）

圖3 某名未掌握屬性A6的學生試卷（二）

4 小結與展望

采用屬性層級模型對初中生整式乘法的認知狀況進行初步診斷．探明學生當前的知識狀態，使得每一位學生了解自身存在的知識漏洞，教師亦據此進行針對性的補救教學．

雖然部分研究提出AHM的判準率不高[23~24]．但結合作答試卷分析，采用AHM判別法基本符合實際情況．因此，研究具有一定的實際價值．當下，有研究亦提出利用神經網絡對學生進行判別分類[12，25]．該方法優勢在于能夠更精細地估計每名被試每個屬性的掌握概率．此法亦能夠進一步幫助教師把握整體學生的知識狀態．因此，在未來的研究中，可進一步嘗試用神經網絡對學生進行判別診斷．

[1] Leighton J P, Gierl M.[M]. Cambridge, UK: Cambridge University Press, 2007.

[2] Tatsuoka K K. Rule Space: An Approach for Dealing with Misconceptions Based on Item Response Theory [J]., 1983, 20(4): 345-354.

[3] Tatsuoka K K. Toward an Integration of Item-Response Theory and Cognitive Error Diagnosis [A]. In: Frederiksen N, Glaser R L, Lesgold A M, et al.[C]. New Jersey: Erlbaum, 1990.

[4] Gierl M J, Leighton J P, Hunka S M. Exploring the Logic of Tatsuoka’s Rule-Space Model for Test Development and Analysis [J]., 2000, (19): 34-44.

[5] Leighton J P, Gierl M.[M]. Cambridge, UK: Cambridge University Press, 2007.

[6] Tatsuoka K K. Computerized Cognitive Diagnostic Adaptive Testing: Effect on Remedial in Struction as Empirical Validation [J]., 1997, 34(1): 3-20.

[7] Gierl M J, Wang Changjiang, Zhou Jiawen. Using the Attribute Hierarchy Method to Make Diagnostic Inferences about Examinees’ Cognitive Skills in Algebra on the SAT [J]., 2008, 6(6): 1-53.

[8] Gierl M J, Alves C. Using the Attribute Hierarchy Method to Make Diagnostic Inferences about Examinees’ Knowledge and Skills in Mathematics: An Operational Implementation of Cognitive Diagnostic Assessment [J]., 2010, (10): 318-341.

[9] Ding S, Luo F, Cai Y, et al.[M]. Universal Academy Press, Inc. Tokyo, Japan, 2008.

[10] ?Cui Y, Leighton J P, Gierl M J, et al.[C]. Paper Presented at the Annual Meeting of the National Council on Measurement in Education, SanFrancisco, CA. 2006.

[11] ?Leighton J P, Gierl M, Hunka S M. The Attribute Hierarchy Method for Cognitive Assessment: A Variation on Tatsuoka’s Rule-Space Approach [J]., 2004, 41(3): 205-236.

[12] ?Gierl M, Cui Y, Hunka S M. Using the Attribute Hierarchy Method to Make Diagnostic Inferences about Examinees’ Cognitive Skill [A]. In: Leighton J P, Gierl M.[C]. Cambridge, UK: Cambrige University Press, 2007.

[13] 涂冬波，戴海崎，蔡艷，等．小學兒童數學問題解決認知診斷[J]．心理科學，2010，（6）：1?461-1?466．

[14] 張敏強，簡小珠，陳秋梅．規則空間模型在瑞文智力測驗中的認知診斷分析[J]．心理科學，2011，（2）：266-271．

[15] 趙頂位，戴海琦．4~8年級學生幾何類比推理問題解決認知診斷[J]．心理學探新，2012，（1）：77-81．

[16] 張偉平．TIMSS測試的認知診斷評價標準下中美學生數學能力比較[J]．數學教育學報，2010，19（4）：66-69．

[17] 余嘉元．運用規則空間模型識別解題中的認知錯誤[J]．心理學報，1995，（2）：196-204．

[18] 張玲，劉靜．解代數應用題的認知模型[J]．數學教育學報，2017，26（1）：64-69．

[19] 蔡艷，涂冬波，丁樹良．五大認知診斷模型的診斷正確率比較及其影響因素：基于分布形態、屬性數及樣本容量的比較[J]．心理學報，2013，（11）：1?295-1?304.

[20] 義務教育教科書數學七年級上冊[M]．北京：人民教育出版社，2012．

[21] 義務教育教科書數學八年級上冊[M]．北京：人民教育出版社，2012．

[22] 丁樹良，汪文義，楊樹群．認知診斷測驗藍圖的設計[J]．心理科學，2011，（2）：258-265．

[23] 祝玉芳．RSM改進及多級評分AHM的開發研究[D]．江西師范大學，2008．

[24] 韓裕娜，張敏強．方杰屬性層級模型的改良及診斷性能研究[J]．心理學探新，2015，（1）：90-95．

[25] 王立東，郭衎，孟夢．認知診斷理論在數學教育評價中的應用[J]．數學教育學報，2016，25（6）：15-19．

[責任編校：周學智]

Primary Exploration of the Cognitive Diagnose in Integral Expression Operation

SHE Yan1, XU Ling-ling2

(1. School of Mathematical Sciences Capital Normal University, Beijing 100048, China;2. High School Affiliated to Beijing Institute of Technology, Beijing 100089, China)

Cognitive diagnose was a method to test students’ cognitive states using diagnose model. The study used attribute hierarchy method to diagnose 8 grade students’ cognitive states of integral expression operation preliminarily. The result showed that: attribute hierarchy method was an effective model to require knowledge states. 43.2% students had been mastered all the cognitive attributes. Other students had different levels gaps in different knowledge. This study analyzed the result of these gaps and put forward some remedial measures.

attribute hierarchy method; cognitive diagnose; integral expression multiplication

G632.0

A

1004–9894（2017）03–0049–04

2017–01–20

佘巖（1990—），女，北京人，博士，主要從事中小學數學教育研究．