華東師范大學資源與環境科學學院(200241) 段玉山中華地圖學社(200063) 陳春方
地理測驗的分析技術*
華東師范大學資源與環境科學學院(200241) 段玉山中華地圖學社(200063) 陳春方
當一份地理試卷擺在我們面前,我們應該科學地進行試卷的反饋:一方面是針對測題及試卷的質量,另一方面是針對測驗結果的分析。
對測驗質量做定性分析,需檢測構成測驗的每一道題目是否真正符合了其相應的命題原則。通過定性分析選出來的測題,其質量并沒有足夠客觀的指標進行說明,因此必須將測驗進行預測,然后運用統計分析技術,對所收集到的數據進行客觀的定量分析,從而確定每一道題目的難度與區分度指標,進而根據各項指標進一步篩選題目以及對題目進行分類以供題庫使用。
1. 測題難度
難度是指題目的難易程度,它是反映題目對學生知識和能力水平的適合程度的指標。
對地理測題,其原始回答數據由答題者對問題的正確作答、錯誤作答及未作答的試題數構成。根據這一信息可以立即算出正確作答題數的比例或百分比。這個統計量稱為題目難度。換句話說,難度的指標通常以通過率來表示,即以答對或通過該題的人數比例來表示。當題目分數是二分變量(即答對為1,答錯為0,如選擇題)時:

式中:P為題目難度值,R為答對或通過該題的人數,N為全體人數。
【例1】在一地理測驗的某道選擇題上,100名學生中選擇正確答案的有68名,則該題難度為:

當題目分數是多分值時,難度是全體學生在該題上的平均數與該題滿分的比例:

【例2】一組學生在某道地理題上得分分別為2,5,9,10,4,8,7,5,3,0。該題滿分為10分。則該題難度為:

當被試人數較多時,則可以根據測驗總成績取被試的高分組(一般取分數最高的27%被試)和低分組(一般取分數最低的27%被試),分別求這兩組被試的通過率,再求題目難度:

式中:P為題目難度,PH高分組通過率,PL為低分組通過率。
當題目以二分法計分時,上式即為:

式中:P為題目難度,RH、RL分別為高、低分組被試答對人數,NH、NL分別為高、低分組被試總人數。
當題目分數是多分值時,難度又為:

【例3】從例2中取高分組學生3人,低分組學生3人,則該題難度為:

與例2的結果十分近似。可見這一方法可以簡化分析過程。
此外,當題目采用多項選擇時,由于有多個可能的答案可供選擇,正確作答的數目可能受機遇的影響而增長,這就使P值變化。為了平衡選項數目對難度的影響,也可以對難度值做如下矯正,但這種方法使用不多。

式中:CP為矯正后的難度值,P為未經矯正的難度值,K為選項數。
2. 測題區分度
測題的區分度又稱鑒別指數,是指測題對于被試反應的區分程度和鑒別能力。一般用某測題的得分與測驗總分之間的相關關系數來表示。二者的相關程度高,表明該題的區分度高。就教育成績測驗來說,區分度高就意味著該題對于學習成績好的和學習成績差的學生,有較好的區分和鑒別能力。也就是說,學習成績好的學生在該題上得分高,學習成績差的學生在該題上得分低。如果某題得分與測驗總分之間的相關程度低,表明該題的區分度低。這意味著該題對于學習成績好的和學習成績差的學生的區別和鑒別能力差,即學習成績好的學生在該題上的得分反而低,學習成績差的學生在該題上的得分反而高。區分度是篩選測題的主要依據之一。
當題目分數是二分變量(即答對為1,答錯為0,如選擇題)時,用分組法估計測題的區分度。
將由高到低排列的測驗總分,分成高分組和低分組。兩組的人數可以各取總人數的50%、33%、25%或27%,其中以取總人數的27%為最好。某題的區分度可以用高分組該題答對的人數比率與低分組該題答對的人數比率之差來表示,稱為測題的鑒別指數。用公式可表示為:

式中:D表示測題的鑒別指數,PH表示高分組該題答對的人數比率,PL表示低分組該題答對的人數比率。美國測量學家伊貝爾根據自己編制測驗題的經驗提出了從鑒別指數上評價測題的標準。

表1 鑒別指數的評價標準
【例4】一次地理測驗的學生共18人,高分組和低分組若各取總人數的27%,那么兩組各為5人。其中第4題高分組5個人中全部答對,低分組5個人中有1個人答對,根據公式,該題的鑒別指數為:

3. 地理教學標準參照測驗的題目分析
以上所述是常模參照測驗測題的分析方法。由于常模參照測驗的目的在于測量學生的相對位置,因此測題的區分度相當重要,而且難度也要能使它充分發揮提高鑒別力的作用。標準參照測驗的目的在于測量學生是否完成了預先規定的教學內容和目標。測題的難易程度應根據教學內容及目標來確定。而測題的區分度對標準參照測驗來說意義不大。例如,假如教學內容及目標較為簡單,那么,測題也必然比較容易。在此情況下,有可能所有的學生都能答對某一測題。雖然其區分度為零,但對于標準參照測驗來說,該題還是有效的。
標準參照測驗測題的品質,可以用教學前后答對的人數比率之差來表示。用公式來表示為:

式中:RA表示教學后某題答對的人數,RB表示教學前該題答對的人數,T表示作答該題的總人數(不包括未答者)。


表2 初中地理標準參照測驗測題分析結果
當S值為正,則數值越大,表示測題對教學效果或學生的學習效果反映得越敏銳;當S為零或為負值,則為不良的測題,表示該題不能反映教學效果或學生的學習效果。
一次測驗結束后,須判斷學生是否達到了預定的標準,一般的傳統做法是以60分作為判斷的標準,60分以上即為及格分數。在教育測量學中我們將這一過程叫做設置標準。在地理教學標準參照測驗中,我們需在施測前設置一個切點分數,以此分數作為參照,對學生的測驗分數作出解釋。設置標準就是指建立切點分數的過程。有多種方法設置標準,這里列出三種:
1. 由了解測驗內容的專家和有經驗的教師來判斷標準
由了解測驗內容的專家和有經驗的教師來判斷標準,判斷學生正確回答百分比應該是多少,才表明學生達到了最低能力水準。例如通過確定學生正確回答了60%的測驗內容,就認為學生達到了最低能力水準。
2. 根據測題內容分析設置標準
這種方法也是由專家和有經驗的教師來判斷標準,但做法比較細致。考慮到測題內容和難度都會影響標準的設置,所以此法采用兩維的表格,從測題的內容和難度兩方面對測題進行分類,一維是測題與教學目標的關聯性,分為三類:實質性的、重要的、一般的;另一維是測題的難度,分為三類:難、中等、易。見表2的例子。表中的題數是統計出的地理測驗屬于各類測題的數目,如屬于實質性的容易的題目有6題,表中的百分比表示專家判斷出的該類題學生至少答對百分之幾十才能視為達標。具體分析方法是:
(1)將測題逐一歸類到方格中,計算出屬于各方格的測題數量。
(2)由專家和有經驗的教師判斷每個方格中的測題,達標的學生至少應答對百分之幾十。例如,重要的中等的測題,及格的學生至少應答對30%。這樣就編制完成表3。

表3 根據內容設置測驗標準的分析表
(3)計算切點分數。即達標學生的最低得分。計算公式如下:

式中:X為切點分數,P為各方格達標學生至少應答對的百分比,M為各方格中測題的規定的得分的總和,∑為全部方格的P與M的積的連加和。
在表3的例子中,假定每題1分,則切點分數為:

(4)如果由多位專家判斷切點分數,則要各位專家判斷的切點分數的平均數,以平均數為達標的標準。
3. 根據學生的成績設置標準
由熟悉學生的教師將學生分為成績較好的、中等的、不達標的三組,分別統計成績較好組、不達標組兩組該測驗的分數,在同一個直角坐標系中繪制兩組次數多邊圖,以圖中兩個次數分布多邊形的交點的橫坐標為切點分數。該例中兩組次數多邊圖的交點橫坐標為“71”,則以71分為這次測驗的達標分數線。

圖1 學生成績次數分布圖
*本文系全國教育科學“十二五”規劃2011年度教育部重點課題“高考加強能力考查的創新研究——以地理學科的命題研究為例”(項目號:GFA111014)的階段性研究成果。