被試作答失誤現象及穩健性估計方法的測驗模擬分析

[摘 要] 在測驗中被試往往由于各種原因會出現作答失誤現象，以往研究者已提出用睡眠現象、失誤現象兩個測量概念來描述被試作答失誤現象。本文提出測驗中失誤現象的新測量模型，針對睡眠現象、失誤現象的測量模型，分為存在或不存在失誤現象（睡眠現象）兩類情境分別進行模擬，并使用多種穩健性估計方法進行能力估計。由測驗模擬結果可知，四參數Logistic模型穩健性估計方法在多種測驗情境下都能夠實現穩健性估計，有效糾正失誤現象（睡眠現象）造成的能力低估問題。失誤現象所描述的對象是全體被試，更能有效代表測驗中的被試作答失誤現象。

[關鍵詞] 睡眠現象；失誤現象；四參數Logistic模型；穩健性估計

[中圖分類號] G424.74 [文獻標識碼] A

[文章編號] 1673—1654（2025）01—046—009

一、問題的提出

（一）測驗中，高能力被試存在的作答失誤現象——“睡眠現象”

在學習、工作過程中，受到生理或心理特性的限制，以及社會各種因素的影響，人們往往會出現失誤，特別是在涉及利害關系的心理測驗或教育考試中，由于存在時間緊張、競爭環境、心理動機等情境因素，被試作答時難免會出現一些發揮失常、作答失誤現象。以往研究者已提出用睡眠現象、失誤現象兩個測量概念來描述被試作答失誤現象。Wright將測驗中存在的高能力被試答錯容易試題的現象稱為睡眠現象（sleeping phenomenon），睡眠現象所描述的對象僅為高能力被試[1]。Rulison和Loken、簡小珠和焦璨、Reise等概述了導致高能力被試測驗作答失誤的多種可能的原因[2-3]。根據以往研究者的定義，將高能力被試在得分概率大于0.95的相對容易的試題上失分的現象命名為睡眠現象[4-5]。Barton和Lord（1981）在三參數Logistic模型的基礎上增加 γ參數，使用四參數Logistic模型（以下簡稱“四參數模型”）來分析同時存在猜測現象和睡眠現象的測驗數據[6]。四參數模型中，1與γ參數之差表示為睡眠現象發生的概率。Mislevy和Bock（1982）論述了睡眠現象的測驗模擬模型，即被試發生睡眠現象的正確作答期望概率Pvi=min（0.95，P），其中P為兩參數模型下正確作答的期望概率，Pvi為被試在測驗中的實際作答概率；同時提出采用穩健性估計方法即Biweight（BIW）方法來糾正睡眠現象導致能力被低估的現象[7]。

（二）測驗中所有被試都可能存在的作答失誤現象

在實際測驗中，不僅存在高能力被試答錯容易試題的現象，而且存在中等能力被試或低能力被試在測驗試題上意外發生作答錯誤的小概率事件。Schuster和Yuan論述了任何被試在任何試題都可能存在失誤概率，即失誤現象（error phenomenon），失誤現象所描述的對象是所有被試[8]。因此，這里再定義另外一種測驗現象，即所有被試在作答試題時發生錯誤的小概率現象（如0.01或0.001），稱為測驗作答失誤現象（以下簡稱“失誤現象”）。失誤現象有可能發生在任何被試在任何試題的作答過程中，即失誤現象的發生不依賴被試與題目。然而，本文認為Schuster和Yuan提出的失誤現象的數學測量模型會出現悖論[8]，即（1-γ）P+γQ，其中Q=（1-P）。例如某一被試答對某一試題的期望作答概率（在兩參數模型下，不考慮失誤概率γ時）為P=0.40，同時令該題的失誤概率γ=0.05，那么此被試在該試題上的實際作答概率（考慮失誤概率γ）為：P'=（1-0.05）×0.40+0.05×0.60=0.41，此時就會出現P'gt;P，即考慮被試存在失誤可能性后的實際作答概率反而大于正常的期望作答概率，這是不符合邏輯的。因此，本文提出考慮測驗中存在失誤現象時，被試在某一試題上正確作答的實際作答概率的計算公式為：Pvi=（1-p**）·P，其中p**為失誤概率，P為兩參數模型下正確作答的期望概率，Pvi為被試在測驗中的實際作答概率，這即是本文對失誤現象提出的新的數學測量模型。

（三）測驗中失誤現象（睡眠現象）是否存在及是否應用穩健性估計方法的情境分類

如何判定測驗中是否存在失誤現象（睡眠現象）？目前還僅是根據被試期望作答概率來確定。根據高能力被試的睡眠現象的定義，即如果在測驗中某一高能力被試在得分概率大于0.95的相對容易的試題上失分那么此時可以定義測驗中存在著睡眠現象。而實際測驗中的失誤現象則更難以判定，只能根據歸為某一能力水平組的被試群體在某一道試題上的理論期望概率大于實際作答概率時的差值。但理論期望概率與實際作答概率之間總會有一定的差值。因此，測驗中是否真的存在失誤現象或睡眠現象？對此問題的回答，與統計檢驗的零假設檢驗一樣，在統計上不存在絕對精確的統計分析方法來確定是否存在或不存在失誤現象（睡眠現象）。因此，在實際測驗情境中是否真的存在失誤現象（睡眠現象），可以分為兩種情境：一是在測驗中失誤現象確實不存在，二是失誤現象是真實存在的。

與此同時，是否要對測驗中的失誤現象進行糾正或穩健性估計，人們的觀點與做法也可以分為兩種：第一種是認為測驗中不存在失誤現象或失誤現象不明顯幾乎可以忽略，因而不使用能力估計的穩健性估計方法，直接使用2PL或3PL；第二種觀點認為測驗情境中存在失誤現象，需要使用能力估計的穩健性估計方法，包括Biweight方法[7]、Huber方法[8]、四參數模型[2，4]方法，對失誤現象進行糾正。因此，測驗中的失誤現象是否存在及是否使用穩健性估計方法的組合，可以匯總為以下四種可能的情境，如表1。

情境I時，如果實際測驗中不存在失誤現象（睡眠現象），測量者在統計處理方法上也不使用穩健性估計方法，即直接使用Rasch、1PLM、2PLM等模型。當然，這是理想的測驗作答情況。

情境II時，如果失誤現象（睡眠現象）不存在，在此情境下使用穩健性估計方法，被試能力估計值將會出現何種情況？這是本文要探析的內容之一。

情境III時，實際測驗中存在失誤現象（睡眠現象），但仍然直接使用Rasch、1PLM、2PLM模型，不使用穩健性估計方法。在以往的研究中，已發現此情境下失誤現象會導致被試能力被低估[2，4，6]。

情境IV時，如果失誤現象（睡眠現象）真實存在，根據以往研究的結果，此時需要使用被試能力估計的穩健性估計方法對失誤現象進行糾正。本文將探討、對比多種穩健性估計方法。

以往研究中，Rulison等、簡小珠等、Barton和Lord僅僅針對測驗中高能力被試存在的睡眠現象使用穩健性估計方法[2，4，6]，Schuster和Yuan論述使用Huber方法對測驗中所有被試存在的失誤現象進行糾正[8]。從數學公式的構建角度看，Huber方法是Biweight方法的簡化公式，因此本研究中不使用Huber方法進行測驗模擬研究。本文將探討被試能力估計的穩健性估計方法用于全部試題、全部被試，在研究一、研究二中分別模擬睡眠現象、失誤現象兩種測驗情境，一是分析睡眠現象、失誤現象對被試能力估計的影響，二是在測驗中使用四參數模型穩健性估計方法，分別分析四參數模型穩健性估計方法對睡眠現象、失誤現象的糾正作用，并比較分析多種穩健性估計方法的優劣。

二、研究一：睡眠現象的模擬分析與穩健性估計

（一）研究設計

設計一個紙筆測驗，試題參數b的取值范圍為-4.4至4.4，間隔0.2，共45道試題，即b參數屬于均勻分布狀態；a參數取對數后服從正態分布，范圍限定為（0.5，2）。被試群體選擇代表性的五個被試能力點：-2，-1，0，1，2。其中，能力點為-2的被試代表低能力被試，能力點為0的被試代表中等能力被試，能力點為2的被試代表高能力被試。

Mislevy amp; Bock（1982）進行睡眠現象模擬的模型為：Pαj=min（（1-p**），P），其中P為兩參數模型下的期望概率，Pαj為測驗模擬時被試作答的期望概率，p**為高能力被試的作答失誤的概率。Mislevy和Bock（1982）在睡眠現象模擬中僅設定睡眠現象的概率水平p**為0.05[8]。本文在模擬設計中，設定p**有三種水平，即0.00、0.03、0.05。

針對測驗中的睡眠現象情況，四參數模型的穩健性估計方法可調整為：

[假設被試都沒有猜測

如果Pgt;-1p**

其他情況

]

Pαj為被試能力估計時計算迭代的概率，p**為失誤現象的發生概率，P為兩參數模型下計算的期望概率。同樣的，本文根據小概率原理，將失誤概率視同為小概率事件，將取經驗值P#為0.01至0.05之間。以上四參數模型穩健性估計方法的第一種形式，記為：4PLM-Robust（p**=0.0#）。其中，如果p**=0.00，那么4PLM-Robust（p#=0.00）本質上就是2PLM-MLE。

針對存在睡眠現象的測驗模擬結果進行被試能力估計時，本文同時設計了多種被試能力穩健性估計方法，包括2PL-MLE、4PLM-Robust（p**=0.0#）、Biweight（簡寫為BIW）、4PLM-MLE進行對比分析。根據以上研究設計，采用Visual Basic 編程語言實現對被試作答情況的模擬，并估計被試能力值，計算模擬測驗RMSE、Bias指標。當睡眠現象概率為p**=0.00的測驗模擬情境下，且使用2PLM-MLE進行能力估計時，可用BILOG軟件對模擬測驗作答數據進行被試能力估計，所得被試能力估計結果是完全一致的。

[RMSE=k=1M（θk-θ0）2M]，[Bias=k=1M（θk-θ0）M]。

其中，M為模擬次數，θk是被試能力參數在第k次模擬時的估計值，θ0是被試能力參數模擬初始值。RMSE、Bias指標越小，說明此次測驗模擬結果越準確。

（二）測驗模擬結果與分析

根據前述測驗設計進行測驗模擬，計算在各個測驗情境下的RMSE、Bias指標。由于RMSE指標在各個測驗情境下的結果很接近，比較差值很小，因而只報告Bias指標的結果。測驗模擬結果整理后，如表2。

當睡眠現象概率為p**=0.00時，被試能力估計方法對應的是情境I、情境II。在情境I，包括能力估計方法2PLM-MLE、4PLM-Robust（p**=0.00）時，五個被試能力水平點上的Bias值都很小，都小于0.02。而在情境II，能力穩健性估計方法有四種：4PLM-Robust（p**=0.03）、4PLM-Robust（p**=0.05）、4PLM- MLE、BIW 。其中4PLM-MLE下Bias比較大，即能力估計值的偏差較大（模擬返真性能相對較差），接下來Bias大小順序依次是4PLM-Robust（p**=0.05）、4PLM-Robust（p**=0.03）、BIW；而且4PLM-Robust（p**=0.03）、BIW 下的Bias都很小，小于0.03。

當睡眠現象概率為p**=0.05時，被試能力估計方法對應的是情境III、情境IV。在情境III，包括能力估計方法2PLM-MLE、4PLM-Robust（p**=0.00）時，五個被試能力水平點上的Bias均為負值，即當睡眠現象出現時，被試能力估計值被低估了，而且被試能力真值越大，Bias的絕對值也越大，即被試能力被低估幅度越大；在被試真值為2.0時，被試被低估了-0.231。而在情境IV，4PLM-Robust（p**=0.03）、4PLM-Robust（p**=0.05）、4PLM-MLE、BIW 四種方法下的Bias值（或Bias值絕對值）相對很小，都在0.06以內，即與前面的概率為p**=0.00相比，這四種方法都對被試能力低估現象進行了糾正。能力真值為2.0的被試在情境III下的能力偏差Bias為-0.231，而在4PLM-Robust（p**=0.03）、4PLM-Robust（p**=0.05）方法時的Bias值是最小的，Bias（Bias值絕對值）都在0.02以內；與此同時，BIW、4PLM-MLE的Bias（或Bias值絕對值）相對較大一些。

當睡眠現象概率為p**=0.03時，與當睡眠現象概率為p**=0.05時的Bias變化情況差不多，同樣也是，能力真值為2.0的被試在4PLM-Robust（p**=0.03）、4PLM-Robust（p**=0.05）方法時的Bias值是最小的，Bias值絕對值都在0.02以內。

（三）小結

在睡眠現象概率為p**=0.03和p**=0.05的測驗模擬情境中，4PLM-Robust（p**=0.03）、4PLM-Robust（p**=0.05）方法對被試能力估計的Bias值是最小的，而當測驗模擬設計睡眠現象概率為p**=0.00時，4PLM-Robust（p**=0.03）、4PLM-Robust（p**=0.05）方法對被試能力估計的Bias值也很小，不超過0.03，而且在各個被試水平上，Bias值的大小都基本相同。總之，無論測驗中的睡眠現象是否會發生，以及睡眠現象發生時的概率大小，4PLM-Robust（p**=0.03）、4PLM-Robust（p**=0.05）方法都能較好地實現對被試能力的穩健性估計。

三、研究二：失誤現象的模擬與穩健性估計方法

（一）研究設計

設計一個紙筆測驗，模擬測驗的試題參數b取值范圍從-4.4至4.4，間隔0.2，共45道試題，b參數屬于均勻分布狀態；a參數取對數后服從正態分布，范圍限定為（0.5，2）。被試群體選擇代表性的五個被試能力點：-2，-1，0，1，2。

Schuster和Yuan研究提出，不但高能力被試可能存在失誤現象，低能力被試、中等能力被試也有可能由于轉錄（將作答結果從試卷、稿紙上抄寫到答題卡或計算機上）、焦慮等原因答錯相對容易的試題，從而導致其能力估計值受到較大的影響[8]。由于失誤現象可能在所有被試中都廣泛存在，在蒙特卡洛模擬模型中，應當在所有被試在所有試題的作答期望概率的基礎上減小p**。因此，存在作答失誤現象（Carelessness）的被試作答期望概率為：Pαj=（1-p**）·P，其中Pαj為測驗模擬時的計算概率，p**為失誤現象的發生概率，P為兩參數模型下計算的期望概率。p**為0.05（1/20）時，可以直觀解釋為：每20道試題中大約有1道試題可能存在由于各種原因導致被試答錯試題的概率。當然，p**應該為很小的概率，通常情況下應當小于0.05。本研究設定p**有三種水平：0.00，0.03，0.05。

針對失誤現象情況，四參數模型的穩健性估計方法為：

[，假設所有被試都沒有猜測]

Pαj為被試能力估計迭代時的概率，p**為失誤現象的發生概率，P為兩參數模型下計算的期望概率。在模擬測驗數據、實測數據中往往都很難獲得p**的取值，目前尚未有具體研究或算法能估算出失誤參數p**的大小。本文根據小概率原理，將失誤概率視為小概率事件，取經驗值p**為0.01至0.05之間。以上為四參數模型穩健性估計方法的第二種形式，記為：4PLM-Robust（p**=0.00），以上實際上也就是4PLM-MLE方法，只不過lt;d：＼program files＼founder＼founderfx71＼plugins＼v12pluginwordtranslator＼wordimage＼7 被試作答失誤現象及穩健性估計方法的測驗模擬分析（發出版社）考試技術1-E7＼image31.pdfgt;參數設定為0。

而且，如果4PLM-Robust（p**=0.00）中p**=0.00，且設定lt;d：＼program files＼founder＼founderfx71＼plugins＼v12pluginwordtranslator＼wordimage＼7 被試作答失誤現象及穩健性估計方法的測驗模擬分析（發出版社）考試技術1-E7＼image31.pdfgt;參數為0，那么4PLM-Robust（p**=0.00）本質上就是2PLM-MLE。同樣的，本文還設計了多種被試能力穩健性估計方法，包括2PL-MLE、4PLM-Robust（p**=0.0#）、Biweight（簡寫為BIW）、4PLM-MLE進行對比分析。根據以上研究設計，采用Visual Basic 編程語言實現對被試作答情況的模擬，并估計被試能力值，計算模擬測驗RMSE、Bias指標。在睡眠現象概率為p**=0.00的測驗模擬情境下，且使用2PLM-MLE進行能力估計時，可用BILOG軟件對模擬測驗作答數據進行被試能力估計，所得被試能力估計結果是完全一致的。

（二）結果與分析

根據以上測驗設計進行測驗模擬，使用能力穩健性估計方法進行能力估計，由模擬結果得表3。

當失誤現象概率為p**=0.00，即不存在失誤現象時，可以分為情境I、情境II。在情境I，包括能力估計方法2PLM-MLE、4PLM-Robust（p**=0.00）時，五個被試能力水平點上的Bias值都很小，均小于0.02。而在情境II，4PLM-MLE、4PLM-Robust（p**=0.05）、4PLM-Robust（p**=0.03）下各個被試的Bias相對較大，但各個被試的Bias大小很接近，相差均在0.06以內，高能力被試的Bias偏差較大。而此時，BIW 下的Bias很小，小于0.03。

當睡眠現象概率為p**=0.05時，可以分為情境III、情境IV。在情境III，包括能力估計方法2PLM-MLE、4PLM-Robust（p**=0.00）時，五個被試能力水平點上的Bias均為負值，即當睡眠現象出現時，被試能力值被低估了，而且被試能力真值越大，Bias的絕對值也越大，即能力值被低估的幅度越大，在被試真值為2.0時，被試被低估了-0.335左右。而在情境IV，4PLM-Robust（p**=0.05）下Bias值最小，然后依次是4PLM-Robust（p**=0.03）、4PLM-MLE、BIW 下的Bias值（或Bias值絕對值），即與前面情境III在2PLM-MLE、4PLM-Robust（p**=0.00）時的Bias相比，這四種方法都對被試能力低估現象進行了糾正，但4PLM-Robust（p**=0.05）糾正的效果最好。

當失誤現象概率為p**=0.03時，與失誤現象概率為p**=0.05時的Bias值變化規律相似，不同之處是，在4PLM-Robust（p**=0.03）、4PLM-Robust（p**=0.05）時的Bias值最小。

（三）小結

在失誤現象概率為p**=0.03和p**=0.05的模擬測驗情境中，采用4PLM-Robust（p**=0.03）、4PLM-Robust（p**=0.05）方法時被試能力估計的Bias值是最小的，而同時當模擬測驗設計失誤現象概率為p**=0.00時，4PLM-Robust（p**=0.03）、4PLM-Robust（p**=0.05）方法對于被試能力估計的Bias值也很小，不超過0.05，而且在各個被試水平上，Bias值的大小都基本相同。總之，無論測驗中的失誤現象是否存在或發生，以及失誤現象發生時的概率大還是小，4PLM-Robust（p**=0.03）、4PLM-Robust（p**=0.05）方法都能實現較好的對被試能力的穩健性估計。

四、討論分析

睡眠現象和失誤現象所定義的測驗作答發生的測驗情境不同，使用測驗模擬的數學模型也不同，因此，在前文的研究一、研究二中，對應使用四參數模型的穩健性估計方法略有不同。在測驗中，睡眠現象、失誤現象這兩種作答失誤情境，哪一種情境更有代表性呢？根據以往研究者的定義，測驗中的睡眠現象是失誤現象的一種特殊情境，睡眠現象是僅僅針對高能力被試而定義的，失誤現象是針對所有被試作答出現失誤的小概率現象。因此本文認為，使用失誤現象這一概念能夠更加全面地描述測驗中的作答失誤現象；而根據模擬測驗結果，使用四參數模型穩健性方法即4PLM-Robust（p**）能更有效地實現被試能力估計的穩健性。

在對比不同的被試能力估計穩健性方法時，4PLM-Robust（p**）與BIW方法相比較，在失誤現象概率較大時（p**=0.05）時，BIW方法的穩健性估計效果相對較差，而在p**=0.00或p**=0.03時，4PLM-Robust（p**=0.0*）和BIW的穩健性估計效果差異較小。

以往研究者對四參數模型的研究都是僅僅針對發生了睡眠現象的試題進行糾正，如Barton和Lord（1981）針對出現睡眠現象的試題使用γ參數為0.98，而對于未出現睡眠現象的試題，則直接指定γ參數為1[7]。然而，這種指定某一部分可能存在睡眠現象的試題使用γ＝0.98的四參數模型方式，從理論分析上看有針對性，但在實際應用中缺乏事實依據與靈活性。雖然 Loken和 Rulison的研究中完成了四參數模型下的γ參數的估算[9]，但該研究是根據測驗整體被試作答情況可能存在失誤概率情況來估算四參數模型的上漸進線參數γ，同時也是根據上漸進線參數γ來估計所有被試能力參數，此時對沒有存在失誤現象的被試會產生能力估計偏差。本文提出的四參數模型的穩健性模型4PLM-Robust（p**），僅僅是對判斷為失誤現象的被試作答進行被試能力穩健性估計，即對被試能力低估現象進行糾正。而且，四參數模型的穩健性模型4PLM-Robust（p**）中，也可以根據測驗情境，即根據被試期望概率、作答實際得分情況等，對被試失誤現象（包括睡眠現象）動態調整p**取值大小。但是，目前還未找到合適的試題參數估計方法來估算p**，這有待進一步研究探討。

五、結 論

測驗中被試作答的睡眠現象僅僅是描述高能力被試作答容易試題時才發生的概率現象，而失誤現象描述的是全體被試在任何難度試題上都可能存在一定失誤概率的現象，本文認為失誤現象更能有效地代表測驗中被試作答失誤的現象，并提出測驗中失誤現象所對應的測量新模型。通過模擬研究發現，無論測驗中存在失誤現象還是睡眠現象，四參數穩健性估計4PLM-Robust方法都能夠有效地糾正因失誤現象而導致的能力低估現象。因而在測驗中，四參數模型穩健性方法能夠對存在失誤現象的被試實現能力穩健性估計。

參考文獻：

[1] Wright B D. Solving Measurement Problems with the Rasch Model [J]. Journal of Educational Measurement，1977，14：97-116.

[2] Rulison K，Loken E. I've Fallen and I Can't Get Up：Can High-Ability Students Recover from Early Mistakes in CAT？ [J]. Applied Psychological Measurement，2009，33（2）：83-101.

[3] 簡小珠，焦璨，Reise，等.四參數模型對被試作答異常現象的擬合與糾正[J].心理科學進展，2010，18（3）：537-544.

[4] 簡小珠，戴海崎，彭春妹. IRT中Logistic模型的c、γ參數對能力估計的改善[J].心理學報，2007，39（4）：737-746.

[5] 簡小珠，戴海琦.“CAT初始作答影響最終成績”的模擬分析與糾正[J].心理學探新，2016，36（3）：276-280.

[6] Barton M A，Lord F M. An Upper Asymptote for the Three-parameter Logistic Item Response Model（Rep. RR-81-20）（20-81）[R]. Princeton，NJ：Educational Testing Service，1981.

[7] Mislevy R J，Bock R D. Biweight Estimates of Latent Ability [J]. Educational and Psychological Measurement，1982，42：725-737.

[8] Schuster C，Yuan K. Robust Estimation of Latent Ability in Item Response Models [J]. Journal Of Educational And Behavioral Statistics，2011，36（6）：720-735.

[9] Loken E，Rulison K L. Estimation of a Four-Parameter Item Response Theory Model [J]. British Journal of Mathematical and Statistical Psychology，2010，63：509-525.

The Carelessness Error Phenomenon，Sleeping Phenomenon and Test Simulation

Jian Xiaozhu1" Dai Buyun2

1 Department of Psychology，School of Public Policy and Management，Nanchang University，Nanchang，Jiangxi，330036

2 School of Psychology，Jiangxi Normal University，Nanchang，Jiangxi，330029

Abstract：It is inevitable for the subjects to make mistakes on the test because of various reasons，the two concept of sleeping phenomenon and carelessness error phenomenon are used to describe the subjects' mistakes. In this paper，the sleeping phenomenon and carelessness error phenomenon are expressed by test mathematical model. In test simulation situation，there are two kinds of test situations：existence or absence of carelessness error phenomenon（sleeping phenomenon）. The test simulation of carelessness error phenomenon（sleeping phenomenon）is carried out，and two parameter model and a variety of robust estimation methods are used to estimate the ability of subjects. The simulation results show that，compared with other robust estimation methods，the four-parameter robust estimation method can achieve robust estimation of subjects' ability in a variety of test situations，and can effectively correct the underestimation of ability caused by test mistakes.

Key words：Sleeping Phenomenon，Carelessness Error Phenomenon，Four-parameter Logistic Model，Robust Estimation

（責任編輯：吳茳）