地理試題的公平性檢驗
——以淮安市2016屆高三第一次調研測試試題為例

張三元

（淮安市教學教研室, 江蘇 淮安 223001）

地理試題的公平性檢驗
——以淮安市2016屆高三第一次調研測試試題為例

張三元

（淮安市教學教研室, 江蘇 淮安 223001）

以淮安市2016屆高三第一次調研測試獲得的數據為基礎，探討了檢驗試題公平性的理論依據、技術路線，運用excel軟件實現MH法檢驗試題公平性得到相關結果并建立相應模板。根據得到的結果，文章進行了案例分析并對公平性檢驗在高中階段的應用進行了初步的思考。

試題公平性；MH法；調研測試；excel

保證試題公平是實現考試公平的前提和保證，然而長時間以來高中地理的各級各類測試中對試題公平性的關注往往是定性的而非定量的，檢驗試題公平性往往依據教師的經驗，這在一定程度上影響了對試題公平性判斷的準確性。

近來，筆者對淮安歷年統測的成績進行分析的過程中，注意到運用統測大數據檢驗試題公平性，有了一定的收獲。

一、檢驗試題公平性的理論依據

所謂試題的公平性，就是對不同群體的學生來說，沒有偏向，一視同仁，結果平等，機會均等。影響試題公平性的因素很多，如性別差異、城鄉差異、校際差異（如不同星級的學校之間的差異）、教材差異等。

檢驗試題公平性的方法很多，比如同質性信度分析、試題功能差異（DIF）分析等。其中，試題功能差異分析試圖通過統計方法來識別題目偏差，是目前使用較廣泛的一種公平性分析方法。

MH法是檢驗試題功能差異最廣泛的方法之一，得名于兩位研究者Mantel和Haenszel，該方法將被試者分為兩個群體：由研究目標組成的目標組和作為參照的參照組，通過統計目標組和參照組正誤頻次求得固定偏移比αMH，進而求得固定偏移比的標準化值ΔMH，從而獲得對試題公平性的認知。

二、檢驗試題公平性的技術路線

1.確定組別變量

首先要確定目標組和參照組以及匹配變量并進行數據分組，比如為研究淮安市2016屆高三第一次調研測試中不同學校之間的試題公平性，筆者以老四星級學校為目標組，其他學校為參照組，試卷總分為匹配變量，以本次調研測試地理學科等級劃分作為數據分組的依據，分別將學生分成A、B、C、D四組。

A B C D目標組（老四星）總分≥72 72＞總分≥59 59＞總分≥34總分＜34參照組（其他）

2.統計對錯人數

統計每個匹配小組中目標組和參照組對錯人數。如第2題A組統計結果如下：

列A列B列C列D行6正確人數錯誤人數總人數行7目標組196 215 411行8參照組71 75 146行9總計267 290 557

3.計算標準化值

固定偏移比αMH＝（Σ B7*C8/D9）/（Σ C7*B8/ D9）。其中B7等表示上述表格中對應列和行的單元格（下同）。

固定偏移比的標準化值ΔMH＝－2.35*ln（αMH）。

通過計算可得到本題αMH＝1.48，ΔMH＝-0.92

4.檢驗DIF顯著性

一般根據以下表格來檢驗DIF顯著性：

|ΔMH|等級顯著性＜1 A項目可以直接用于測驗＞1且＜1.5 B項目經過專家修改后可以用于測驗＞1.5 C除非專家認為項目至關重要，否則應被刪除

其中ΔMH＞0表示對參照組有利，而ΔMH＜0表示對目標組有利。本題ΔMH＝-0.92，│ΔMH│<1表明可以直接用于測驗。

三、在excel中實現MH法檢驗試題公平性

專家往往使用SPSS等專業軟件統計，但對于普通高中地理教師來說，利用excel進行MH法檢驗試題公平性可能更易于實現。具體操作如下：

1.導入原始數據

原始數據包括兩張sheet，其中一是原始成績，重命名為“成績”，其表頭如下：

列A列B列C列D列E列F列G列H……列AC列AD列AE行1姓名縣區卷面得分客觀分主觀分dx-1 dx-2 dx-3……mx-6 mx-7 mx-8行2馬騫三星74 35 39 0 0 2……3 3 3

另一是分組依據，重命名為“分組”，其中目標組為老四星組，參照組為其他組，數據分組依據為本次測試等級劃分分數線。相關數據如下：

列A列B行1目標組老四星行2參照組其他行3行4 A 72行5 B 59行6 C 34行7 D 33

2.統計對錯人數

目標組正確人數計算公式如下：

=SUMPRODUCT((成績!B:B=分組!$B$1)*(成績!F:F=2)*(成績!C:C>=分組!$B$4))

其他各組公式可以依此類推。最終可以統計各題各組的對錯人數等相關數據。如第一題相關數據如下：

3.計算標準化值

αMH、ΔMH可以根據以下公式分別計算并分別填在Q3、Q4單元格。

列A列B列C列D列E列F列G列H列I列J列K列L列M列N列O列P列Q行1 dx-1正確人數錯誤人數總人數 正確人數錯誤人數總人數 正確人數錯誤人數總人數 正確人數錯誤人數總人數行2目標組174 237 411目標組270 496 766目標組366 827 1193目標組367 830 1197行3參照組43 103 146參照組116 307 423參照組231 969 1200參照組236 991 1227行4總計217 340 557總計386 803 1189總計597 1796 2393總計603 1821 2424

αMH=((B 2*C 3/D4)+(F 2*G3/H4)+(J 2*K 3/ L4)+(N2*O3/P4))/((C2*B3/D4)+(G2*F3/H4)+(K2*J3/ L4)+(N3*O2/P4))

ΔMH=－2.35*ln（Q3）

利用同樣的方法可以計算出所有題目的αMH、ΔMH值，還可以將最終的excel文件存為模板，這樣今后只要重新錄入數據（如考生成績、等級標準、目標組和參照組等）就可以自動生成相關數值。

四、檢驗試題公平性的案例分析

1.校際差異的檢驗案例：第7題

以全體考生為樣本，以老四星為目標組、其他學校為參照組，最終計算出各題的ΔMH，發現大多數題目的|ΔMH|在1.5以內，僅單選第7題和雙選第8題略大于1.5，說明總的來說校際差異不明顯，但大多數題目ΔMH<0，這表明對目標組相對有利。其中單選第7題的ΔMH為－1.57，是本份試卷ΔMH最大的題目。題目如下：

圖7為北半球某地熱力環流模式圖。讀圖，回答7～8題。

圖7

7.圖中甲、乙、丙、丁四地

A．甲地氣溫低于丁地 B．丁地氣溫低于丙地

C．乙地氣壓高于丙地 D．甲地氣壓低于乙地

專家組對此題進行了分析討論，認為本題選用熱力環流的三維立體圖，對空間概念有較高的要求，因而對參照組的學生有一定難度。如果將“等壓線”幾個字直接標示在圖上，并且將甲、丁之間和乙、丙之間標上反映氣流運動方向的箭頭，可能降低對空間概念的要求，從而促進不同級別之間的公平性。

2.性別差異的檢驗案例：第24題（雙選題6）

因為本次統測沒有錄入性別數據，所以這里只能以部分考生（淮安市某中學考生）為樣本進行統計和計算。我們以男生為目標組、女生為參照組，最終計算出各題的ΔMH，發現部分題目性別差異明顯，其中多數題目對目標組（男生）有利，雙選題6的ΔMH更是高達－3.22。

我們分析，如不考慮由于采樣樣本較少可能造成的誤差，出現這一現象的主要原因，一是本份試卷自然地理占比相對較大，對考生地理思維和地理核心素養要求較高；二是本份試卷覆蓋面廣，多數試題的綜合性較強。這也從一個側面印證了男生的讀圖能力、區域定位能力和綜合判斷能力強于女生，當然女生在記憶和語言表達等方面強于男生。

總的來說，本次調研測試試題的編制比較公平合理，可以達到預期的效果和目的。

五、幾點啟示

通過檢驗試題公平性的初步實踐，我們認識到：

1.加強教育測量公平性的認識和理解勢在必行

長期以來我們對教育測量公平性的關注不夠，或者說我們更關注試卷保密、考場紀律、閱卷過程等方面，而忽視對試題本身公平性的科學認識和理解，今后有必要對這一方面進一步強化，使教育測量更具有科學性和公平性。

2.加強教育測量公平性的培訓和指導刻不容緩

目前我國高中階段教育測量公平性的研究還處于空白狀態，需要更多的高等院校、科研院所進行長期的培訓和指導，培養出一批能夠初步掌握科學檢驗試題公平性的教師隊伍。

3.加強教育測量公平性的實踐和推廣功在千秋

從短期來看，這一工作有利于關注弱勢群體，促進教育公平，實現教育均衡發展。從長期來看，在高中學業水平測試題庫建立以后，這一工作有助于加強試題審核，提升試題質量，從而提高測試的信度和效度。

[1] 陳吉,黃偉.試題開發中的公平性審核——避免試題中的構念無關因素[J].教育測量與評價(理論版),2012(2):4-8.

[2] 柴省三. 漢語水平考試(HSK)閱讀理解測驗公平性研究[J]. 語言文字應用,2013(4):107-116.

[3] 盛驟,謝式千,潘承毅.概率論與數理統計[M].北京:高等教育出版者,2008.

（責任編校：周曉輝）