《概率論與數理統計》試卷質量分析

劉艷娜 劉敏 王瑞

在“以學生為中心”的現代教育理念中，考試的診斷性功能和發展性功能在不斷強化。通過測量與評價，判斷課程整體的教學效果，幫助測評者與被測評者盡快發現問題，及時調整與修正教學中存在的不足，可以達到以考促教、以考促學、以考促建的目的。

2017—2020年，我院《工程數學》課程使用試卷庫隨機抽題的形式進行課程終結考核。隨著考核方式的優化，規范地、科學地開展教育測量與評價，挖掘并反饋數據關系中隱藏的大量教育信息，準確地把握學生對知識的掌握程度，對于后續課程的教學和考核評價工作具有重要的意義和價值，準確、科學的試卷質量評價工作使試卷庫考核評價方式形成閉環。

一、試卷質量分析指標體系

根據教育測量學的理論，常用衡量試卷質量的檢驗指標主要有信度、效度、難度和區分度，即試卷的成績能否反映學員的學習水平、考核內容能否反映教學重點、考核難度是否適中、學員水平是否能區分等，下面分別說明四個指標的含義和計算方法。

（一）信度

信度即測驗結果的可信程度，它是反映測驗結果的一致性、可靠性和穩定性的指標。常用的信度系數有三種：再測信度系數、復本信度系數、內部一致性系數。內部一致性系數是反映一個測驗中被測各題所得分數的一致性指標，可用來估計測驗內部一致性信度，常用的內部一致性系數有分半信度系數、庫德—理查遜系數和克倫巴赫系數三種。針對不同的測驗可使用以上三種方法中的一種。

（二）效度

效度是指測驗結果的有效程度。通俗地說，效度是度量測驗是否達到了預期目的的指標，是評鑒測驗質量的重要指標。效度是教育測量中最基本也是最重要的問題。根據不同的角度，可將效度分為不同的類型，按照測驗目標對效度進行分類：內容效度、構想效度和效標關聯效度、結果效度。內容效度是指測驗內容與預定要測的內容之間的一致程度，它反映了測驗題目在所要測量的內容范圍和教學目標內取樣是否充分和確切的問題，主要用于學科成績測驗。內容效度的評估方法分為定性分析和定量分析兩種。定性分析的方法為專家判斷法。定量分析的統計分析法有：克倫巴赫法、前后測對比法、評分一致性考查法。

（三）難度

難度是指測驗題目的難易程度，一般以能夠正確回答試題的人數與參加測驗的總人數之比作為難度指標。測驗試題的難度可以反映出被測者的能力水平能否得到真實的體現，因而恰當的難度是一個好的測驗的重要質量指標。

（四）區分度

區分度是指試題對不同考生的知識、能力水平的鑒別程度。計算區分度的方法有：極端分組法和相關法。

二、試卷質量分析指標等級判定

以2017年《概率論與數理統計》試卷為例說明分析過程，其他年份方法相同。首先使用SPSS軟件對考核結果進行描述性統計分析。

（一）試卷成績的頻率直方圖和箱線圖

為了直觀反映學員的成績分布情況，繪制成績的頻率直方圖和箱線圖，如圖1、圖2所示。

由圖1頻率直方圖可以看到：成績有一個峰，中間高、兩頭低，比較對稱，接近正態分布，可進行正態分布的檢驗。箱線圖是基于最小值、第一四分位數、中位數、第三四分位數、最大值以上5個數的圖形概括，圖上標出了第一四分位數67、中位數76、第三四分位數85三條數值線。

從圖2箱線圖中，我們可以看到：箱線圖從最小值到最大值被分成四個區間，區間的長短反映了成績的集中程度，即區間越短說明成績落在該區間比較集中，說明學員成績不存在兩極分化的現象。箱線圖中位數所在的位置就是數據集的中心，若中位數位于箱子的中間位置，則數據分布較為對稱。另外，最小值與中位數的距離比最大值與中位數的距離大，說明成績的數據分布向左傾斜，由頻率直方圖也可以發現此規律。將成績低于45分的標為離群點，并在圖上可以看到對應的編號。

（二）試卷成績的描述性統計分析

2017年《概率論與數理統計》結課試卷成績的描述性統計分析見表1。

表1 2017年概率統計試卷描述性統計分析

標準差：學生成績的標準差一般在滿分的5%—10%以內是正常的，即100分試題的標準差為5—10分是合理的。經計算2017年試卷的標準差為13.84分，成績離散度比較大，說明學員兩極分化的情況比較嚴重，例如最低分17分，與平均分相距過大導致。

偏度值：描述數據分布的對稱性。經計算偏度值為-0.803，說明大部分學員的成績集中于平均分左側，即學員成績小于平均分的人數略多于高于平均分的人，屬于負偏態分布。正態分布是一種不作任何教學要求的成績的隨機分布，教師期待的學生成績分布不應該是正態分布。對于有教學目標、有教學要求的教學，學生成績的頻率呈負偏態分布是更期望的結果。

峰度值：描述數據圍繞平均分分布的緊密程度。經計算峰度值為1.109，屬于低峰態，成績中間部分的少，兩端人數相對較多，屬于兩極分化。

（三）試卷信度分析

分半信度系數是將一個測驗分成兩個等值且獨立的部分，如按照奇數、偶數將試題分成兩部分。分組之后，求兩部分得分的積差相關系數，即分半信度系數。由于計算題共九道大題，為了使分類后兩組試題分數和相同，舍去最后一道大題，每組有十道題目，對分好后的兩組得分數據進行分半信度系數的計算。首先計算每一名學生的奇數題總分和偶數題總分；其次由積差相關系數公式計算分類的兩組題目的相關系數作為分半信度系數rxy=0.58；最后使用斯皮爾曼—布朗公式校正分半信度系數得到矯正后的信度系數r=0.735。信度是測驗中隨機誤差大小的反映，試卷信度大于0.5為宜，故該試卷測得的分數具有較高的可靠性。

（四）試卷效度分析

計算試卷的效度采用計算克倫巴赫系數的方法。克倫巴赫法通過計算克倫巴赫系數a來判別測驗的內容效度。克倫巴赫認為，內容效度可由一組被測在測驗試卷的兩個等值復本上得分的相關系數來表示。當相關系數較高時，可以推斷測驗具有較高的內容效度；當相關系數較低時，則說明測驗的內容效度較低。經計算本套試卷的克倫巴赫系數為0.713，可見試卷內容具有較高的效度。效度是對測驗中系統誤差大小的反映，是對測試所要研究的問題而言，檢驗測試是否測量了想測量的知識和技能，主要回答測量工具是否合適，即測試結果的正確性問題。

（五）試卷難度分析

針對不同的題型類別計算試題難度的方法是不同的，一般的試題難度評判等級如下：極高（0.3以下），較高（0.3—0.6），中等（0.6—0.8），較低（0.8以上）。下面針對不同題型分別給出其計算方法。

二值記分題就是每個題目只有兩種評分結果，比如選擇題，答對記3分，不答或答錯記0分，這些屬于二值記分題。二值記分題的難度值計算公式為P=K/N；其中P為難度值，N為被測試的人數，K為答對該題目的人數。難度值P越大說明這道題越容易做，即難度越小。選擇題第6小題難度值為0.425，級別屬于較高。多值記分題的難度值計算方法：多值記分題至少有3種可能的記分結果，學科測試中的簡答題、計算題論述題等都屬于多值記分題。多值記分題的難度值計算公式為P=X/Xmax，其中P代表題目難度，X為被試在某題目上的平均得分，Xmax為該題目的滿分。填空題、計算題4、5難度值接近較高的級別，計算題1、綜合題1、2、3都屬于中等難度的題目。整張試卷的平均分為74.46分，故試卷的難度值為0.7446，屬于難度中等。

（六）試卷區分度分析

區分度計算方法也依據主觀性試題和客觀性試題具有不同的計算方法。一般的考試成績的區分度評判等級如下：好（0.4—1），良好（0.3—0.4），尚可（0.2—0.3），差（0.2以下）。下面根據不同的題型給出其計算方法：

客觀性試題的區分度計算公式D=PH-PL，其中D為區分度，PH為高分組通過率，PL為低分通過率。客觀性試題（選擇題）的區分度良好和好的題目有第5題和第6題。主觀性試題的區分度計算公式：D=（XH-XL）/N（H-L），其中D為區分度，XH為高分組的總分，XL為低分組的總分，H為該試題的最高得分，L為該試題的最低得分，N為考生總人數的25%。主觀題（填空題、計算題）區分度良好的題目有填空題和計算題1；區分度好的題目有計算題4、5，綜合題2、3。最后，試卷客觀題區分度為0.201，屬于尚可等級；主觀題區分度為0.356，屬于良好等級；試卷的區分度為0.326，屬于良好等級。

三、試卷質量分析的結論與啟示

《概率論與數理統計》作為我院最早開始建設試題庫的課程，2017年投入使用。筆者從四個維度對試卷的質量進行分析，得到以下的一些結論和啟示：

（一）試卷質量的情況

表 2017—2020年概率統計試卷質量分析指標值

通過對試卷質量多項指標體系進行定量的計算，并依據評定標準對概率統計試卷的質量做出評定結論。由表可以看到，四年的試卷在效度、難度和區分度上都比較接近，并且其評定結論也比較理想，說明試卷達到了科學有效地評估學生學習成績的目的。同時，為了突出試卷的診斷性和發展性功能，我們對試卷難度和區分度進行詳細的分析和評估，并對難度較大、區分度較好的知識點進行了梳理，如一維隨機變量的綜合題、抽樣分布判別參數、無偏性等知識點失分較多，針對每類失分較多的題目總結其原因有：綜合性題目涉及多個知識點對分析能力有要求、如抽樣分布等抽象概念學生存在原理理解困難的情況、無偏性等題目題型靈活要求學生邏輯推理能力等。

（二）注重核心概念和數學思想的考查

通過對四年試卷的題型進行分析，試卷的計算題和綜合題側重考查課程的基本方法和應用，試卷的選擇題和計算題則側重考查基本概念和基本理論。在題目內容的設計上，選擇題和填空題雖然分值略少，但是一部分題目分量不小，很多核心概念和性質的考查非常細致，學生對于概念的掌握稍微模糊一點就會出錯。在綜合題中，試卷設計了考查學生對區間估計思想方法的題目，構造教材上沒有給出的參數的置信區間。對于抽象性強的課程而言，學生能夠理解并準確地使用數學語言描述問題、解決問題是考查的一個重點，因此對于核心概念和數學思想的考查應成為課程考核和試卷質量分析的關注點。

（三）增加應用問題的考查

當下，學生用數學解決問題的能力已經成為很多選拔性考試關注的焦點。數學應用意識是主體運用所獲得的數學觀點和方法，主動地從數學的角度觀察事物，闡述現象，分析問題，用數學的語言、知識、思想方法描述、理解和解決各種問題。課程考核中，可以將應用性問題以大作業的形式作為形成性考核的內容，還可以設計數學實驗，引導學生了解、使用數學計算平臺進行數值模擬和計算，在實踐中增加用數學解決實際問題的體驗感，反過來對數學的繼續學習起到引導作用。

（四）提倡開放性問題的考查

教師要鼓勵學生一題多解，從不同的角度對問題進行分析與求解。一題多解要求學生對問題有深入的思考，對知識體系還要能夠達到融會貫通的能力。

運用數理統計的方法分析試卷可以準確地掌握學員在知識學習中集中存在的問題，幫助教師準確掌握本班級的教學情況，發現學生在學習中存在的困難與問題，準確掌握學生學習的知識點盲區，包括對概念、定理和計算方面存在的不足等，從而及時對教學內容進行完善與優化，進而科學地制定、改進教學計劃，提出改進策略。通過對試卷進行科學、規范地分析，還可以為試題庫或試卷庫的建設提供數據支撐，刪除或替換區分度、效度不高的題目，提高試題庫質量，達到有效合理使用教學測量與評價的目的。

（焦? 佳）