認知診斷閱讀測試信效度檢驗

杜文博

摘 要： 本文利用SPSS統計軟件對建立好的一套認知診斷閱讀測試題進行信效度檢驗。結果顯示：本套閱讀試題的信度為0.794，達到可接受信度0.7，試題的內部相關性較高，并能區分不同水平的學生。基于上述發現，本試題可以用來對學生的閱讀水平進行診斷測試。

關鍵詞： 認知診斷 閱讀測試 信效度

1.研究背景

認知診斷理論是認知心理學與心理測量學相結合的新型心理測量理論。它旨在通過對學習者技能掌握情況的細致分析，為學習者提供有效的診斷反饋。（涂東波等2012）通過認知診斷，對個體的評估不再局限于宏觀能力層面，而對個體內部微觀認知結構進行剖析，有助于人們更好地了解個體內部心理活動規律及加工機制，準確發現個體的優缺點，及時補救以促進個體全面發展。（Lee et al.2009；關丹丹2009）

將認知診斷應用于英語閱讀測試旨在發現學生對不同閱讀技能的掌握情況，從而為他們提供針對性的補救措施。英語閱讀認知診斷試題的構建是實現診斷過程的重要步驟，試題的信效度的高低直接決定了它是否可作為診斷工具應用于大規模診斷測試。因此對試題信效度的檢驗尤為重要。本文研究的試題為西安交通大學PELDiaG課題組設計的一套具有診斷功能的英語閱讀測試題。該套試題分為三大部分，合計43道多項選擇題，每一道題包含若干認知閱讀屬性。第一部分是一篇約800詞的泛讀題，要求學生快速瀏覽文章選出相應答案。第一部分結尾設有兩道策略題，旨在了解學生完成該部分試題的技巧。第二部分為三篇精讀題，分別含有12道、5道和6道題目。第三部分為10道完形填空題，難度與四級試題相當。整套試題的結構見表。

2.相關理論

英語閱讀認知屬性指的是被試在完成題目時采用的知識、技能、策略、思維過程、閱讀技巧等。通過對大量文獻回顧及理論指導，課題組定義了8種被試最常用的閱讀屬性，見表1。

“Q矩陣”是一個描述測驗項目與屬性之間關系的矩陣，首先由Embreston提出，后經Tatsuoka完善形成“Q矩陣理論”。本文采用的認知診斷閱讀題共包含43道題目。經7位專家標注，形成屬性與題目之間的Q矩陣如下表所示。其中橫排為屬性，豎排為題項，并采用0/1標注。0代表正確答對該題不需要掌握此屬性，1代表正確答對該題該屬性是必須掌握的。由于空間限制，部分矩陣予以省略。

根據信效度相關理論，本文提出如下假設：

1：試題的內部一致性應較高，Cronbachs alpha應高于0.7。

2：試題的各組成部分應該顯著相關。

3：試題應能區分不同水平的學生，不同水平學生的作答情況顯著不同。

3.研究方法

為驗證提出的假設，本文利用SPSS軟件對學生作答數據進行統計分析。參加閱讀測試的學生為西安交通大學非英語專業的本科生，合計401人。正確回答一道題得1分，合計41分。根據學生的作答情況，將學生分為高水平組（分數大于28）與低水平組（分數等于或低于28）

401份學生數據分組后，高水平組共215份，低水平組共186份。將學生數據導入SPSS軟件，進行一系列統計分析：信度分析考察試題的內部一致性。內部相關性、因子分析及單維ANOVA分析考察試題的結構效度。本文顯著性水平設為0.05。

4.數據分析及討論

試題良好的信度是效度的必要條件。本試題的Cronbachs alpha值為0.794，高于可接受值0.7。說明本試題基本可靠，假設1得到證實。

試題結構效度可通過試題各部分的相關系數，以及與總分的相關系數得出，見表。從表中看出，試題的三部分，泛讀、精讀和完形填空顯著相關。雖然三部分都測試閱讀，但所測屬性不同，我們期待它們之間的相關較低，在（+0.3，+0.5）的水平（Alderson，Clapham，& Wall，1995）。數據顯示三部分之間的相關系數在0.3左右。說明三部分所測屬性分布清晰。其次，精讀與完型與總分的相關系數均高于0.7（分別為0.872，和0.753），說明這兩部分在該試題中占有比重最大。本試題的效度可靠，假設2得到證實。

一套有效的試題應該能夠區分不同水平組的學生。單維Anova分析顯示高水平組的平均分在三部分閱讀題中均高于低水平組。兩組在每一部分的變量都顯著不同。說明該試題可以區分不同水平組的學生，見表5。

5.結語

根據信效度統計分析顯示，本試題的信度和效度可觀，所有假設得到證實。試題內部一致性較高，三個子試題的相關性在可接受范圍內，并能區分不同水平組的學生，該套閱讀認知診斷試題可以用于診斷測試。

參考文獻：

[1]關丹丹.認知診斷理論與考試評價[J].評價與測量，2009（4）：8-12.

[2]馬曉梅課題組.個性化英語學習診斷與指導系統實證研究與系統構架概要[J].外語教學與研究，2008（3）：184-187.

[3]涂東波，蔡艷，丁樹良.認知診斷理論、方法與應用[M].北京：北京師范大學出版社，2012.

[4]Alderson，J.，Clapham，C.and Wall，D.1995.Language test construction and evaluation.Cambridge：Cambridge University Press.

[5]Lee，Yong-Won，& Yasuyo，S.Cognitive Diagnosis Approaches to Language Assessment：An Overview.Language Assessment Quarterly，2009，（6）：172-189.

[6]Rupp A.，Templin J.，Henson R.A.Diagnostic Measurement：Theory，Methods，and Applications[M].New York：The Guilford Press，2010.