高考語文模考試卷題型結構的多元概化分析

陳維 何壯 趙守盈

摘 要：以X市某校高考語文模考試卷為例，分別以兩類題型結構（主、客觀題與閱讀題和表達題）為劃分，用多元概化理論深入分析高考語文模考試卷，結果發現：此次模考語文測驗試卷的測量信度處于較低水平；主、客觀題在題量和分值設置上不盡完善，而閱讀題和表達題的設置則相對合理；增加主觀題或表達題的數量能使測驗的信度提高得更快。

關鍵詞：高考 多元概化分析 語文 概化系數

一、問題的提出

高考作為國內重要的大規模考試之一，其試卷的命題、實施、評卷、分數標準和統計分析等內部因素構成的科學性，以及試卷如何較為全面、精確地考察不同考生的學科能力，保證考試的公平性，一直是心理與教育測量所關注的焦點問題。然而，傳統測量理論（Classical Test Theory，簡稱CTT）對試題的信度、效度、難度和區分度等參數的分析嚴重依賴于參加考試的學生，其分析結果往往只能評價此次考試，不能對試卷內容所包含的信息進行推廣，是一種教育資源的浪費[1]。另外，CTT無法從宏觀方面評價試卷質量，不能保證試卷的結構合理、各類題型比例設置恰當。而避免上述缺陷的方法就是利用多元概化理論（Generalizability Theory，MGT）分析試卷[2]，為促進各類考試的科學化提出一些合理的建議。如：胡誼等人用MGT分析高考歷史試卷，結果發現主觀題和客觀題之間的得分相關較大，測量信度好；兩組試題實際方差貢獻比例與命題賦分比例存在較大差異，需要進一步改進[3]。汪順玉等人分析了CET-6數據，發現總體信度較高，但各部分相差較大，詞匯和語法最高，而閱讀理解則最低[4]。孫莉等人則分析了語文模考試卷的內容設置，發現試卷總體信度處于中等水平，精度較高；而現代文、古代詩文和語言文字等各方面對全域總分方差分量比例與初始命題賦分比例一致，內容設置較合理；而提高各因子樣本數量的兩倍，可提高到較為理想的測驗信度[5]。關丹丹等人分析了課標后高考數學試卷，發現數學考試的總體測量精度較好，達到了選拔性考試的要求；解答題的測量精度較高，三種題型的實際貢獻與所占分值比例基本持平[6]。張敏強等人分析了英語測驗中閱讀理解的精確性，發現增加閱讀篇數或題目數量，以及兩者的相互補償均可以提高測量的精度[7]。

基于上述分析，本文擬用MGT分析高考語文模考試卷的題型結構，包括區分考生語文能力的測量信度，估計出題型結構上各因子的測量精度及對測驗總分所作的實際貢獻，并通過分析各因子對總分方差貢獻的比例及其在試卷分值上所占比率的比較，判斷試卷結構設置是否合理。最后，通過各題型中題目數量的變化來探討它對試卷信度的影響，旨在為改進測驗的質量提供一定的實證依據和理論建議。

二、方法

1.數據來源

以X市高考前一次模考為例，鑒于各高級中學有關成績的保密性，采取方便整群抽樣的原則，以X校為例，共獲取語文成績654份。

2.試卷分析

試卷為2014年高考前的一次模考語文卷。題型結構分為兩種類型——一是主、客觀題，二是閱讀題和表達題，其結構完全依照高考的大綱要求設置。題型見表1，數字為原試卷題號，括號里為該大題的小題，11與12題為二選一的選做題，故統一分析。

3.概化設計及統計處理

鑒于試卷題型結構的不同分類，故將其分別進行多元概化分析。其中，概化設計均選用多元pxi的隨機測量模式，以學生（p）為測量目標，項目（i）為測量側面，p和i假定完全隨機，且有交叉關系。以原始數據為基礎，在IBMSPSS22.0中進行整理及數據格式轉換，擬在mGENOVA中進行基于題型二因子的多元概化分析。

三、結果與討論

1.G研究

結果發現，在I類題型上被試效應在客觀題上的方差分量為0.01690，而在主觀題上的方差分量僅為0.06887，表明主觀題的影響較大，而客觀題上的影響則較小。兩因子間的協方差分量為0.02624，遠低于一般標準0.08，表明本次語文考試中，考生在主觀題和客觀題的得分順序并不一致，即本次試卷中，主、客觀題在預測考生的語文能力方面區分度并不理想，不適合用來作選拔考試。典型相關系數為0.76909，處于高相關水平。項目效應的方差分量在客觀題上為1.17630，而在主觀題上為171.18987，表明考生在客觀題上的誤差相對較小，但在主觀題上誤差則非常大。另外，被試與項目交互效應的方差分量均較小。就II類題型來說，被試在閱讀題的方差分量為0.04415，而在表達題上的方差分量為0.04764，分量數值差異相對較小，表明閱讀題和表達題的影響相差無幾。兩因子間的協方差分量為0.02466，這與I類題型分類一樣，表明考生在閱讀題和表達題的得分順序并不一致。兩者典型相關系數為0.53764，處于中等相關水平。項目效應的方差分量在客觀題上為2.02049，而在主觀題上為294.64651，表明考生在閱讀題上的誤差相對較小，但在表達題上誤差則非常大。

2.D研究

結果顯示（表2）：在I類題型上，主觀題和客觀題的全域方差分量均較小，但主觀題的分量大于客觀題。主、客觀題的概化系數分別為0.44和0.08773，前者的概化系數達到了中等水平，但后者則非常低，表明本次考試中，單憑客觀題的分數來衡量考生水平是很不可信的，這與該因子的題目數量較少、總體分值較低都有關系。在II類題型結構上，閱讀題和表達題的全域方差分量亦都較小，兩者相差不大。兩者的概化系數分別為0.34093、0.16963，兩者都不高。

3.各題型因子的方差貢獻率

依據題目所占分值計算權系數，結果顯示（表3）：各類題型分值的貢獻比例與它們對全域方差的貢獻比例很不一致。I類題型中，主觀題的方差貢獻很大，占了90.09%，遠高于其所占的分值比例78.67%；而客觀題僅占9.91%，遠低于其分值比例。主觀題對總分的作用比較大，而客觀題對總分的影響較小，表明客觀題和主觀題在題量和分值設置上有待進一步改善。在II類題型中，閱讀題和表達題對全域方差的貢獻比例與它們所占的分值比例基本處于持平狀態，表明閱讀題和表達題無論在題量和分值的設置方面均合理。

4.各題型因子題目數量對測量精度的影響

為了研究改善測驗的方法，可通過改變各題型的題目數量來觀察測量信度的變化特點，限于篇幅和便于討論，每類題型僅考慮3次每次增加5個題目的變化。

結果顯示（表4）：當各題型題目數量為1時，其概化系數，即測量信度分別為0.07161和0.04663，這對于高考這類大規模的考試肯定不予以接受。但是，無論是I類題型還是II類題型，增加各題型的題目數量均能提高測驗的信度，表中2倍和3倍模式給予了體現，這與傳統測驗理論中通過增加測驗的項目數量提高信度是相一致的。不過，無論哪類題型，單一增加客觀題或者閱讀題的題目數量，其測驗信度與原來的信度相比提高都不大。如果增加主觀題或者表達題的題目數量，其信度就會有明顯的提高。

四、結論

本研究通過多元概化理論分析了高考語文模考試卷的題型結構，得出了以下結論：（1）本次語文模考測驗的測驗信度較低，這對于選拔性的能力測驗來說是無法接受的。（2）客觀題對測驗總分的貢獻遠低于它所占的分值，而主觀題則相反，即主、客觀題型在題目數量和分值的設置上不盡完善；而閱讀題和表達題的題目數量和分值設置則相對合理。（3）增加各題型的題目數量可提高測驗的信度，但增加主觀題和表達題可以使總分的測驗信度提高得更快。

參考文獻

[1] 漆書青.現代測量理論在考試中的應用[M].武漢：華中師范大學出版社，2003.

[2] 楊志明，張雷.測評的概化理論及其應用[M].北京：教育科學出版社，2002.

[3] 胡誼，顧春梅.高考歷史試卷的多元概化理論研究[J].心理科學，2007，30（5）.

[4] 汪順玉，席仲恩.復雜結構語言試卷信度的多元概化理論分析——以CET-6數據為例[J].重慶大學學報：社會科學版，2008，14（6）.

[5] 孫蓀，余嘉元.高考模考語文試題的多元概化理論研究[J].江蘇技術師范學院學報：自然科學版，2009，15（2）.

[6] 關丹丹，任子朝.應用概化理論評價課標后高考數學試卷[J].數學通報，2009，74（11）.

[7] 張敏強，劉淑楨，黎光明.概化理論在英語閱讀精確性研究中的應用[J].教育測量與評價：理論版，2010，3（9）.

【責任編輯 白文軍】