林 喆 陳 平 辛 濤 ,
(1北京師范大學發展心理研究所, 北京 100875) (2中國基礎教育質量監測協同創新中心, 北京 100875)
Computerized Adaptive Testing
, CAT)克服了傳統測驗存在的一些局限, 不僅能夠為被試選擇與其能力相匹配的測驗, 比較這些被試的能力水平, 還能用更少的題目達到相同的估計精度(Weiss, 1982)。因此, 很多大型評價項目(比如, 美國醫生護士資格考試 NCLEX、美國商學院研究生入學考試 GMAT和美國軍事服役職業能力測驗傾向成套測驗 ASVAB)均采用了 CAT的形式(陳平, 張佳慧, 辛濤, 2013)。題目檢查是傳統測驗非常重要的組成部分。在傳統的紙筆測驗中, 被試可以在測驗的過程中隨時回看檢查, 如果出現漏答、筆誤、曲解題意等情況,可以及時修改作答(McMorris, 1991); 被試還可以采取跳過題目等合理的答題策略來提高測驗綜合表現(Vispoel, Hendrickson, & Bleiler, 2000)。題目檢查已經成為被試的一種習慣和默許的權利。然而,目前絕大多數的 CAT測驗不允許被試返回檢查。測驗開發者為了保證選題策略的精準定位、能力估計的精度、某些作弊策略的規避、時間效率以及題庫安全性等問題不允許被試進行題目檢查(Wise,1996)。因此, 允許 CAT題目檢查成了傳統紙筆測驗向CAT發展過程中需要解決的一個關鍵問題。
在 CAT中提供題目檢查的功能是有必要的。不允許題目檢查使被試無法采用紙筆測驗中常用的答題策略, 會額外增加緊張和焦慮等負面因素,導致被試出現本不應該出現的錯誤, 最終影響被試真實能力的估計(Lunz, Bergstrom, & Wright, 1992;Wise, 1996; Vispoel, 1998; Vispoel et al., 2000;Vispoel, Clough, & Bleiler, 2005)。一方面, 不允許題目檢查使CAT的效度受到測驗無關因素的影響,阻礙紙筆測驗向CAT的轉化, 影響CAT在實際中的應用(Stocking, 1997)。……