摘 要:項目反應理論是區別于傳統的經典測量理論的一種新的測量理論。作為項目反應理論的基石,“能力參數的不變性”為人們所稱道。但是,這個理論基石至今很難在嚴格意義上得到證實。本文試從其概念、檢驗等方面來探討這個問題。
關鍵詞:能力參數不變性檢驗
中圖分類號:G42文獻標識碼:A文章編號:1673-9795(2011)05(a)-0115-01
1#8201;什么是能力參數不變性
項目反應理論以對經典測驗理論的批判為其發展的前提,它指出:經典測驗理論的最大弱點是被試特性和測驗特性相互依賴,即測驗的難度依賴于被試,而被試的能力水平又依賴于測驗的難度。而項目反應理論聲稱項目與能力參數具有不變性,下文將著重探討能力參數不變性。
能力參數不變性意味著描述被試能力的參數不依賴于測試項目。當模型和數據擬合時,我們就能得到我們想要的幾個特性。被試能力估計將不依賴于測試,根據幾組不同題目做出的能力估計將會是相同的(如果除去測量誤差的話)。
“當存在一個測查同一特質的大的題庫時,被試特質水平參數,又是獨立于估計時所使用的項目樣本的。即使被試接受了兩個完全不同的項目組構成的測驗,估出的被試特質水平仍然會在同一度量系統上取值,仍然是相同的。”
綜上所述,獲得能力參數不變性要具備一些前提條件——#8201;模型和數據擬合、項目測量同一特質、項目數量足夠,滿足了這些之后,具有能力參數不變性意味著:同一被試做兩份試題,估出的兩個能力值在不考慮測量誤差的情況下是相等的。相等就證明具有不變性,不相等就證明不具有不變性——#8201;#8201;正如Hambleton, Swaminathan, Rogers所說的“不變性無疑是個全有或全無的特性”,此話完全正確,他們還說“不變性不可能在嚴格意義上觀察到”,也是有道理的,因為即使滿足了一系列前提條件,誤差總是有的,不可能排除掉,這樣原本相等的兩次測量值就會因誤差的存在而變得有差異,可是接下來Hambleton,Swaminathan,Rogers說:“盡管這樣,我們還是可以考察實測數據在什么程度上滿足了不變性。”這里存在一個邏輯上的沖突:一個全有或全無的東西根本不存在程度問題。既然項目反應理論聲稱能力參數具有不變性,就得證明在誤差范圍內,對同一考生在兩份試題上的能力值的估計是相等的,而不可以含糊地說在某種程度上相等。這實際上就是對不變性的檢驗問題。
2#8201;對能力參數不變性的檢驗
把在不同試題項目樣本中獲得的能力估計值進行比較,如果幾次能力值的差異沒有超出測量它們的誤差,那么不變性就成立。這個思路是正確的,但是如何比較在不同試題項目樣本中獲得的能力估計值呢?文獻中大多用的是相關的方法,或直接計算同一被試的兩次能力估計值的相關,或把兩次估計值描繪在直角坐標系上形成相關散點圖。
比較在兩個或更多題目樣本中估得的能力參數,圖形及其分析可揭示能力差異的分布。
為了證明能力參數具不變性,Lord找到1830個六年級的小學生組成被試群體,讓他們做50道題的Metropolitan詞匯測試和42道題的SRA詞匯測試,然后分別估出每個被試在這兩套測試中的能力值,把每個被試的成對能力值用點描繪在直角坐標圖里,發現這些點有聚攏成一條直線的趨勢,兩次估的能力值有較高的相關,據此認為能力參數不變性存在。而實際上,相關只能說明兩組能力值的變化趨勢/方向相近或相同,并不表明兩組數相等或相近,除非相關為1,所以用相關的方法來檢驗不變性是不妥的。
兩次估計出的參數值的一致性可以看作是不變性被滿足的程度,一致性程度是由計算兩次估出的參數間的相關或者觀察相關散點圖而評定的。首先,我們已經知道不變性要么有要么無,并不存在什么“被滿足的程度”,其次相關的方法不可行。即便按Hambleton等人的想法去考察“一致性程度”,要達到多高的相關、相關散點圖要聚攏到什么程度就算一致性高從而說不變性被證實呢?這顯然是個問題。因此,Hambleton等人接下來對此方法做了補充說明:以上評定不變性的方法明顯是主觀的,但還用這樣的辦法是因為目前找不到客觀的標準來檢驗不變性。
其實并不是找不到客觀的標準,只是這個標準在現實中不可能達到。Hambleton 等人對此似乎是清楚的,他們曾提到用相關散點圖的方法,散點應形成直線且斜率為1。
雖然Hambleton等人提出了斜率應為1這重要的一點,但他們對散點的離散是容忍的,他們容忍了散點離散得厲害的部分,將之歸因于很大的測量誤差。
筆者認為:在不考慮誤差的情況下,如果能力參數不變性真的存在,把依據不同項目組估出的成對能力值描到直角坐標系上,應該形成一條斜率為1的直線,且每個點都在其上,每個點的橫縱坐標相等,即兩次估計的能力值是相等的。
3#8201;結語
(1)能力參數不變性是指由不同項目樣本估得的能力參數值相等,兩次或多次估計值要么相等要么不等,能力參數不變性要么存在要么不存在,不存在“在什么程度上存在”的問題。
(2)“不變性”之“不變”的意思很簡單,即相等或相近,跟相關不是一個概念,因為相關只說明兩組能力值的變化趨勢相近或相同,并不表明兩組數相等或相近,用相關的方法檢驗能力參數不變性是錯誤的。實在要用相關,只能說使相關為1或者散點形成直線且斜率為,這就是相等的意思。
參考文獻
[1]Hambleton,Swaminathan,Rogers. Fundamentals of Item Response Theory[M].SAGE Publications,1991.
[2]漆書清,戴海崎,等.項目反應理論及其應用研究[M].江西高校出版社.
[3]Hambleton,Swaminathan(1985).Item Response Theory principles and applications,Kluwer[M].Nijhoff Publishing.
[4]Lord.Applications of Item Response Theory to Practical Testing Problems,Lawrence Erlbaum Associates[M].Pubishers,1980.