高中地理學業水平考試情境化試題難度的影響因素研究*

姚澤陽 段玉山

（華東師范大學 地理科學學院, 上海 200062）

一、引言

情境化試題，是指通過定義場景或者描述現實問題、自然現象以及實驗步驟等方式，為構建回答問題與提供補充信息的一種試題類型。[1]此類試題不僅可以深度評估學生的知識理解與遷移能力，還能夠全面考查學生的復雜思維過程，已被廣泛應用于國內外大規模教育測評項目。[2]例如，國際學生評估項目（PISA）的試題基本上都設置了問題情境，國際數學與科學趨勢研究項目（TIMSS）也有近78%的試題是基于情境設問的。[3]隨著新一輪高考改革工作的啟動以及普通高中各科課程標準的頒布，通過真實情境考查學生核心素養已成為我國高考試題改革的重要方向，情境化試題在高中各科學業水平考試試題中的比重正在逐年增加。[4][5][6]

當前，我國正在試行的高中學業水平考試承擔著鑒定、監測與選拔三種功能，建設高質量的情境化試題題庫對于發揮高中學業水平考試的各項功能具有重要意義。[7]作為一種新的試題類型，澄清情境化試題難度的影響因素是題庫建設過程中亟待解決的首要問題。情境化試題的解答過程相較于傳統試題更為復雜，學生必須獲取情境材料蘊含的主旨內容，明確試題所涉及問題的學科實質內涵，將試題情境呈現的設問空間轉換并表征為個體有待解決的問題空間。在這一過程中，情境材料導致的信息量增加有可能引發學生與所測建構無關的其他反應，進而干擾試題分數解釋的可靠性與有效性。有國內學者揭示了高考試題難度的部分影響因素。例如，程力等人以實測數據為基礎，證實了認知層次、物理過程的復雜性和數學過程的復雜性是影響自學考試物理選擇題難度的重要因素。[8]陳燕等人開發了高考實驗題難度評估工具，認為閱讀量、背景、內容量、推理、數學技能、開放度以及階梯性會對高考實驗題難度產生影響。[9]但以往研究一方面將試題情境作為影響試題難度的整體因素，并未對其特征展開深入分析；另一方面分析過程大多依賴專家個人經驗與主觀判斷，缺少客觀數據的支持。對于近年來在高中學業水平考試中逐漸興起的情境化試題而言，其試題有哪些情境特征？這些特征又如何影響試題難度？上述問題須系統性的實證研究。有鑒于此，本研究以2019～2020年高中地理學業水平考試的試題為研究對象，從情境類型、文本復雜性、圖表復雜性、概念抽象性及建構關聯性入手，剖析試題的情境特征，并實證檢驗其對試題難度的影響，以期為地理情境化試題的科學設計提供理論與實踐指導。

二、研究設計

1.研究對象

本研究選取2019～2020年6省市11份高中地理學業水平考試試卷中的情境化選擇題為研究對象。樣本試題中：單一情境對應多道小題的題組題55道，包括小題137道，非題組題10道，共計147道試題。

2.分析方法

(1)試題難度標定

經典測量理論認為，試題難度值是指試題答對人數占總人數的百分比。難度值越大表明答對的人數越多，試題越簡單；反之，難度值越小表明答對人數越少，試題越難。試題難度是一種相對測量值，其取值因受試者樣本大小而不同。[10]為了兼顧數據的可獲取性與準確性，本研究收集了全國25所高中有關樣本試題的模擬考試數據，對各所學校的試題難度值相加后取均值，最終將平均值標定為樣本試題難度。樣本試題的受試人數最多為13300人，最少為1011人，平均受試人數為6613人；難度值最低為0.280，最高為0.940，平均難度值為0.620。

(2)試題情境特征編碼方案

本研究借鑒魯伊斯普里莫（Ruiz-Primo）等人提出的試題情境特征編碼方案，該方案已被研究者應用于多項大規模測評的試題情境特征分析，如PISA、美國國家教育進步評估項目（NAEP）等。[11]根據我國高中學業水平考試試題的具體特征，最終修訂形成的編碼方案包括情境類型、文本復雜性、圖表復雜性、概念抽象性以及建構關聯性等五個維度十三個指標。

如表1所示，試題情境特征編碼方案的具體指標如下：①情境類型，是指試題情境的環境類型設定，包括“日常生活類”“專業工作類”以及“學術信息類”3類。②文本復雜性，反映考生理解情境文本內容的困難程度。試題情境一般通過長短不一的文本呈現，它可以被考生轉化為不同想法，并可能蘊含或多或少的無關信息。文本復雜性的衡量指標包括文本長度、概念數量以及無關信息3項。③圖表復雜性，反映考生理解情境中圖表材料的困難程度。圖像、表格、曲線圖等是試題情境的重要非文本支撐材料，是表征相關學科信息的載體與工具，對于考生理解文本、解決問題具有重要意義，與試題難度密切相關。圖表復雜性的衡量指標包括圖表類型、圖表數量、圖問相關水平及圖表復雜水平4項。④概念抽象性，是指試題情境所涉及概念的抽象程度。對考生而言，日常教學未涉及的陌生抽象概念屬于新的知識內容，在一定程度上會影響考生對情境信息的理解。試題情境通常會采用案例、解釋等方式使抽象概念具體化，更容易理解，以避免其制約對學生遷移應用能力的考查。概念抽象性由概念抽象水平、概念解釋水平、概念關聯水平3項指標衡量。⑤建構關聯性，是指試題情境與所測建構的關聯程度。在教育測評中，建構是指所要測量的某種心理屬性，如學業成就或核心素養。建構關聯性高的試題情境，不僅應激活與所測建構相關的知識、技能或能力，為回答問題提供必要信息，還應避免讓不具備相關能力的考生直接從情境中得出答案。建構關聯性的衡量指標包括建構聚焦水平、問題關聯水平、建構保真水平3項。

表1 試題情境特征編碼方案

3.分析過程

根據上述編碼方案對樣本試題進行分析。題組題以小題為分析單位，非題組題以整題為分析單位，以試題的情境特征及其與情境的關系為分析內容。為檢驗編碼方案中定義與編碼標準的清晰性和可操作性，確保編碼過程的客觀性，編碼工作由兩位高中地理教師和一位在讀博士研究生分別完成。三位研究人員編碼結果的肯德爾一致性系數為0.826，表明編碼結果的一致性很高，具有可信度。編碼完成后使用SPSS軟件對編碼結果進行統計：首先，對試題情境各維度頻次進行描述統計；其次，采用t檢驗對不同試題情境類型的難度差異進行檢驗；最后，采用多元回歸分析進一步考察試題情境特征對試題難度值的影響。

三、結果與分析

1.試題情境的特征分析

第一，情境類型的數量分布不均。如表2所示，情境類型以“學術信息類”為主，占比55.8%；“專業工作類”與 “日常生活類”試題情境相對較少，分別占比23.1%與21.1%。

表2 試題情境類型的頻次統計

第二，情境文本的精簡程度相對較高。如表3所示，試題情境的文本長度普遍偏短，76.2%的試題情境文本只有1～3個句子；文本蘊含概念不多，85%的文本僅蘊含1～2個概念；文本語言較精煉，86.4%的文本有少量無關信息或沒有無關信息。

表3 樣本試題情境文本復雜性的水平頻次統計

第三，情境圖表材料以圖像為主，圖問相關水平仍有改進空間。如表4所示，試題情境普遍具有圖表材料，并非以單獨文本形式呈現，有圖表材料的試題情境占總數的71.4%；試題情境主要利用地圖、地理景觀照片以及示意圖等圖像表征地理信息，表格或曲線圖的使用頻次相對較少，其中81%的圖表類型是圖像，剩余的圖表類型為表格或曲線圖；材料數量較為固定，86.7%的試題情境配有一幅圖表材料；圖問相關水平有待進一步提高，雖然有48.6%的圖表是解決問題的必備材料，但也有19.0%的圖表與問題理解無關，特別是部分題組題并非所有設問都與圖表材料相關，例如，某題第一問要求從地圖中總結區域特征，第二問要求提出與地圖信息無關或弱相關的區域發展策略；圖表材料的復雜水平相對較低，有56.2%處于簡單水平，有28.6%處于一般水平，處于復雜水平的試題最少，占比15.2%。

表4 試題情境圖表特征的水平頻次統計

第四，情境概念抽象性總體較低。如表5所示，抽象概念出現頻次相對較少，75.5%的試題會使用教材中出現過的地理概念描述不同區域或現象的地理特征以實現情境化；有24.5%的試題情境包含抽象概念，其中88.9%的試題情境又為抽象概念提供了解釋說明；概念關聯水平較高，89.8%的試題情境的概念邏輯關系較為明確，容易被考生識別。

表5 試題情境概念抽象性的水平頻次統計

第五，情境建構關聯性總體較高，建構保真水平有待提升。如表6所示，試題情境具有較高的建構聚焦水平，有91.2%的試題情境非常聚焦或一般聚焦于所測建構，能夠激活學生與所測建構相關的知識或能力，避免誤導學生應用其他無關知識；情境與問題之間具有較高的關聯水平，有97.9%的試題情境與試題問題非常關聯或一般關聯，只有極少數試題問題在無需情境信息的情況下仍能作答；試題情境的建構保真水平有待進一步提升，有24.5%的試題可直接從情境材料中獲得答案。如果試題情境的提示線索過于明顯，就可能導致試題正確率過高，無法反映考生真實能力水平。

表6 試題情境建構關聯性的水平頻次統計

2.試題情境特征對試題難度的影響

第一，不同情境類型的試題不存在顯著難度差異。如表7所示是試題情境類型的平均難度及其差異檢驗結果，從中可知：“學術信息類”試題最難（M=0.604）；“專業工作類”次之（M=0.639），難度最小的是“日常生活類”試題（M=0.650）。但方差分析發現，三類情境的難度差異并不顯著（p=0.312）。

表7 試題情境類型的平均難度

第二，建構關聯性、概念抽象性、圖表復雜性、文本復雜性對試題難度變異的解釋貢獻率存在差異。如表8所示是文本復雜性、圖表復雜性、概念抽象性以及建構關聯性對于試題難度影響的多元回歸分析結果。如表中模型1～模型4的確定系數R2所示，建構關聯性、概念抽象性、圖表復雜性、文本復雜性分別能解釋54.6%、52.3%、44.3%、5.5%的試題難度變異，表明建構關聯性、概念抽象性、圖表復雜性、文本復雜性對試題難度的解釋力度依次減小。可見，相較于情境類型與文本復雜性等表面特征，建構關聯性、概念抽象性、圖表復雜性等與測評內容相關的實質情境特征對試題難度的影響更加明顯。

第三，圖問相關水平、圖表復雜水平、概念關聯水平、建構聚焦水平、問題關聯水平、建構保真水平對試題難度有顯著影響。如表8所示，從文本復雜性來看，模型1通過了F檢驗，但文本長度、概念數量、無關信息對試題難度都沒有顯著影響。從圖表復雜性來看，材料相關性與材料復雜水平對試題難度有顯著影響，其標準化回歸系數分別為-0.206和-0.727，表明試題情境的圖問相關性越強、圖表復雜水平越高，試題難度值越小，試題越難。地理要素的分布、格局以及時空變化等關鍵地理信息需要依靠圖表作為支撐材料呈現，試題問題與圖表材料相關水平越高，考生越需要從圖表中獲得更多的信息支持，試題就越困難。隨著圖表材料復雜水平提升，考生正確獲取信息的難度會提升，試題難度也會隨之增加。從概念抽象性來看，概念關聯水平對試題難度有顯著影響，其標準化回歸系數為0.679，表明試題情境的概念關聯水平越高，試題難度值越大，試題越簡單。試題解決過程需要考生基于概念之間的關系進行推理，情境中概念之間的邏輯關聯越明顯，考生推理得到正確結果的難度就會越小。從建構關聯性來看，建構聚焦水平、問題關聯水平、建構保真水平對試題難度有顯著影響，其標準化回歸系數分別為0.346、0.241、-0.315，表明試題情境的建構聚焦水平及問題關聯水平越高，試題難度值越大，試題越簡單；建構保真水平越高，試題難度值越小，試題越難。試題情境越聚焦于所考查的相關能力，與試題問題的關系越明確，越不會誤導考生做出錯誤回答，考生的正確率就越高。此外，考生一般無法從高保真水平的試題情境直接獲得答案，導致其比低保真水平試題更難。

表8 試題情境特征與試題難度的回歸分析

四、討論與建議

情境化試題是評估學生核心素養的有效途徑，深入分析情境化試題難度的影響因素對于建設高質量的題庫、保障高中地理學業水平考試各項功能的實現具有重要意義。以實測數據為基礎，本研究初步澄清了試題情境特征及其對試題難度的影響，相關研究結果能夠為科學設計情境化試題提供理論與實踐指導。

1.切實保障試題情境與所測建構的實質關聯

研究結果表明，情境建構關聯性是解釋試題難度變異貢獻率最大的因素，建構聚焦水平、問題關聯水平、建構保真水平對試題難度有顯著影響，以建構為核心應是試題情境設計的基本原則。因此，在試題情境設計時，一方面要在試題情境中恰當“隱藏”與所測建構相關的提示線索，避免考生不需應用相關能力就能直接得出答案。例如，2020年文科綜合全國Ⅲ卷第4題，以2010年我國西部某市 50 歲以下各年齡組女性戶籍人口與常住人口數為情境素材，要求考生根據當前各年齡組人口數推斷人口出生率最高的時間段。此題巧妙地使用時間間隔將人口出生率與當前人口數關聯起來，能夠更加有效地考查考生從圖表材料提取地理信息并進行合理推理的能力。另一方面要確保試題情境能激活與所測建構直接相關的學習表現，避免對考生的錯誤引導。例如，2020年文科綜合全國Ⅱ卷第4題，以巢湖平原某地農業生產實際為試題情境，重點呈現了城鎮化發展、機械化普及和青壯年勞動力外出務工的時代背景，成功引導學生關注農田耕種的新變化，有效避免考生對農田耕種特征進行不必要的錯誤分析。

2.合理配置試題情境的圖表材料

研究結果表明，圖表復雜性是試題難度的關鍵影響因素，圖問相關水平、圖表復雜水平對試題難度有顯著影響。事實上，對于地理學科情境化試題而言，圖表材料在信息呈現方面發揮的作用要強于文本材料，合理配置圖表材料對試題情境設計至關重要。首先，根據問題選擇必要支撐圖表材料，防止圖問無關內容影響試題難度。例如，為考查考生分析空間格局的能力，2019年文科綜合全國Ⅱ卷第1～3題選擇長江三角洲城市群的城市協調發展水平變化示意圖以及長江三角洲城市群的范圍及城市分布圖作為支撐材料，要求考生利用圖表材料信息逐步分析城市的分布規律、格局特征以及變化機理。其次，在明確圖問關聯性的基礎上，還應保持圖表材料復雜水平與所測能力水平的一致性。例如，2019年文科綜合全國Ⅳ卷第19～20題使用祁連氣象站山谷風風向與風速變化曲線圖呈現風向、風速隨時間的變化特征，考生需要根據曲線圖的時間變化特征分析氣象站山谷風風向、山谷走向以及地形特征，進而實現對考生時空演變分析能力的有效考查。最后，注意各種圖表類型的組合應用。不同圖表類型所表征的地理信息一般不盡相同，地圖多用于表征空間分布信息，示意圖常用于體現地理要素之間的關系，景觀圖常用于呈現區域綜合體的全貌，表格與曲線圖可很好地反映出時空演變的量化特征。改變當前圖表材料配置較為單一的局面，進行情境設計時將多類型圖表以組合圖的形式呈現，如地圖組合景觀圖、地圖組合表格、多地圖組合等，可以多維立體地展現地理信息，全面深入考查學生地理學科核心素養水平。

3.適當增加試題情境類型的多樣性與文本篇幅長度

情境類型與文本復雜性是試題情境的重要表面特征，確定情境類型與文本篇幅是情境設計的關鍵步驟。研究結果表明，情境類型的數量分布不夠均衡，文本的精簡程度相對較高。今后的試題情境設計一方面可以在借鑒其他大規模教育測評情境分類方案的基礎上，根據地理學科特征進一步細化地理試題的情境類型。例如，PISA科學測試將考生在進行科學學習過程中涉及的知識產生和應用情境依據應用領域和應用尺度劃分為15類，應用領域包括健康與疾病、自然資源、環境質量、災害以及科學技術前沿，應用尺度包括自我、家庭和個人群體（個人）、社區（地區/國家）以及世界各地（全球）。這樣的情境類型劃分使得情境設計更具針對性與可操作性。另一方面還可以適當增加文本篇幅長度。為營造出更強和更真實的臨場感，PISA科學測試的試題情境文本大多為2～3段文字，對考生的閱讀與信息獲取能力提出了更高要求。我國地理情境化試題也可適當增加文本篇幅，根據真實生活或學習情況如實描述問題情境，不必刻意刪減信息，使其更具真實性。