高中學(xué)業(yè)水平合格性考試命題難度控制技術(shù)的探究
——以信息技術(shù)學(xué)科為例

羅志卿

高中學(xué)業(yè)水平合格性考試作為標(biāo)準(zhǔn)參照性考試，各省（區(qū)、市）都明確了考試的難度、不同難度水平試題的比例、平均分、合格分?jǐn)?shù)等考試目標(biāo)。部分命題者對(duì)試題難度控制往往停留在經(jīng)驗(yàn)上，難度控制缺乏科學(xué)操作和監(jiān)控體系，導(dǎo)致考試結(jié)果與考試目標(biāo)的不一致，制約了考試測(cè)量的精準(zhǔn)性，影響了學(xué)業(yè)水平合格性考試評(píng)價(jià)的導(dǎo)向功能。

為確保學(xué)業(yè)水平考試測(cè)量的精準(zhǔn)性，應(yīng)建立一套試題難度控制的科學(xué)操作和監(jiān)控體系，以實(shí)現(xiàn)考試結(jié)果與考試目標(biāo)的一致。本文以高中學(xué)業(yè)水平合格性考試命題難度控制技術(shù)為主題， 以信息技術(shù)學(xué)科為例，從試題難度的分析、試題難度的預(yù)估、試卷整體難度的把控等方面開(kāi)展命題難度控制技術(shù)的探究。

一、試題難度

（一）試題難度定義

試題難度是指試題的難易程度， 是衡量考試質(zhì)量的一項(xiàng)重要指標(biāo)， 可以衡量試題是否能檢測(cè)出學(xué)生的能力水平和學(xué)科核心素養(yǎng)層次。 不同類型的考試，試題的命題難度不同。

試題的難度是評(píng)價(jià)試題質(zhì)量的重要指標(biāo)之一，在教育測(cè)量學(xué)中它被定義為：該題（卷）考生所得的平均分與該題（卷）總分的比值。

試題難度包括單個(gè)試題的難度和整卷試題 （試卷）的難度，考試命題需要評(píng)估各試題的難度，再根據(jù)各試題難度來(lái)預(yù)估整卷試題（試卷）的難度。

（二）試題難度計(jì)算

根據(jù)經(jīng)典測(cè)量理論（CTT 理論），試題難度用“難度系數(shù)”來(lái)表示，“難度系數(shù)”反映試題的難易程度，“難度系數(shù)”也可以理解成“容易度系數(shù)”。

假設(shè)該題（卷）的滿分為N，該題（卷）考生的平均得分為R，難度系數(shù)值為P，則：

P值越小，試題（卷）越難；反之試題（卷）越容易。

二、試題難度預(yù)估

在大規(guī)模考試的命題過(guò)程中，試題難度預(yù)估是科學(xué)化命題的重要環(huán)節(jié)。試題難度預(yù)估的方法主要包含以下三個(gè)方面：一是確定影響試題難度的主要客觀因素； 二是設(shè)計(jì)科學(xué)有效的試題難度計(jì)算方法； 三是通過(guò)歷年實(shí)測(cè)數(shù)據(jù)建立試題難度預(yù)估的參照模型。

（一）影響試題難度的主要客觀因素

影響學(xué)業(yè)水平合格性考試試題難度的客觀因素主要包括核心素養(yǎng)水平、內(nèi)容要求、知識(shí)點(diǎn)數(shù)、情境維度、技巧層次等。

1. 核心素養(yǎng)水平

面向?qū)W科核心素養(yǎng)的測(cè)評(píng)要以核心素養(yǎng)要求作為測(cè)量目標(biāo)，試題要體現(xiàn)具體的學(xué)科核心素養(yǎng)要求。《普通高中信息技術(shù)課程標(biāo)準(zhǔn)（2017 年版2020 年修訂）》（以下簡(jiǎn)稱“《新課標(biāo)》”）明確了高中信息技術(shù)學(xué)科的四個(gè)核心素養(yǎng)，分別是信息意識(shí)、計(jì)算思維、數(shù)字化學(xué)習(xí)與創(chuàng)新、信息社會(huì)責(zé)任。根據(jù)學(xué)科核心素養(yǎng)的內(nèi)涵及表現(xiàn)，每一個(gè)素養(yǎng)維度又劃分為預(yù)備級(jí)、水平1、水平2、水平3 等四個(gè)水平層次，每個(gè)水平層次包含若干個(gè)具體的能力要求，如“信息意識(shí)”中的水平1 包含有5 個(gè)具體的能力要求。

高中信息技術(shù)學(xué)業(yè)水平合格性考試要注重測(cè)量學(xué)生的學(xué)科能力水平，明確以學(xué)科核心素養(yǎng)的水平層次為測(cè)量目標(biāo)。《新課標(biāo)》明確了各模塊內(nèi)容的學(xué)業(yè)要求， 指出學(xué)生通過(guò)學(xué)習(xí)各模塊內(nèi)容后應(yīng)該具備的學(xué)科核心素養(yǎng)及水平層次， 應(yīng)該達(dá)到相應(yīng)的學(xué)科能力。 高中信息技術(shù)學(xué)科學(xué)業(yè)水平合格性考試對(duì)應(yīng)的學(xué)科核心素養(yǎng)水平層次為預(yù)備級(jí)、水平1。表1 通過(guò)“數(shù)據(jù)與計(jì)算”模塊中的“數(shù)據(jù)與信息”部分內(nèi)容的學(xué)業(yè)質(zhì)量、核心素養(yǎng)水平及層次要求加以說(shuō)明。

表1

命題時(shí)命題人員首先要確定測(cè)量的目標(biāo)， 可以根據(jù)考試的性質(zhì)及《新課標(biāo)》的要求來(lái)確定核心素養(yǎng)維度， 再結(jié)合學(xué)生的實(shí)際選擇預(yù)備級(jí)或者水平1 層次中的單個(gè)能力要求確定測(cè)量目標(biāo)， 也可以綜合多個(gè)核心素養(yǎng)維度的多個(gè)能力要求確定測(cè)量目標(biāo)。 合格性考試單個(gè)試題一般不超過(guò)2 個(gè)核心素養(yǎng)維度的能力要求。 一般情況下容易題對(duì)應(yīng)預(yù)備級(jí)的1 個(gè)能力要求， 中等難度題對(duì)應(yīng)水平1 層次中的1 個(gè)能力要求或預(yù)備級(jí)的2 個(gè)能力要求， 較難題對(duì)應(yīng)水平1層次中2 個(gè)能力要求。

2. 內(nèi)容要求

考試內(nèi)容要求是指知識(shí)深度，也稱為考試內(nèi)容的認(rèn)知水平。 根據(jù)布魯姆教育目標(biāo)分類法的認(rèn)知層次劃分，可以劃分為知道（知識(shí)）（knowledge）、領(lǐng)會(huì)（理解）（comprehension）、應(yīng)用（application）、分析（analysis）、綜合（synthesis）、評(píng)價(jià)（evaluation）等六個(gè)認(rèn)知層次。

《新課標(biāo)》對(duì)高中信息技術(shù)必修課程、選擇性必修課程、選修課程的內(nèi)容要求有明確的規(guī)定。高中信息技術(shù)學(xué)業(yè)水平合格性考試的內(nèi)容為必修課程，必修課程包括“數(shù)據(jù)與計(jì)算”“信息系統(tǒng)與社會(huì)”兩個(gè)模塊。課程標(biāo)準(zhǔn)對(duì)各模塊的內(nèi)容要求做了具體的規(guī)定，內(nèi)容要求與布魯姆教育目標(biāo)的認(rèn)知層次劃分相對(duì)應(yīng)。表2 通過(guò)“數(shù)據(jù)與計(jì)算”模塊中的“數(shù)據(jù)處理與應(yīng)用”的內(nèi)容要求加以說(shuō)明。

表2

經(jīng)對(duì)照， 必修課程中所有的內(nèi)容要求對(duì)應(yīng)布魯姆認(rèn)知分類中的知道（知識(shí)）（knowledge）、領(lǐng)會(huì)（理解）（comprehension）、應(yīng)用（application）三個(gè)層次，因此將高中信息技術(shù)學(xué)業(yè)水平合格性考試的內(nèi)容要求分為三個(gè)認(rèn)知層次，分別是知識(shí)、理解、應(yīng)用。三個(gè)認(rèn)知層次所對(duì)應(yīng)的試題難度也是由低到高的遞進(jìn)，命題時(shí)可以根據(jù)學(xué)生的實(shí)際， 通過(guò)高層次要求的知識(shí)內(nèi)容命制低層次要求的試題， 達(dá)到降低試題難度的目的。

3. 知識(shí)點(diǎn)數(shù)

知識(shí)點(diǎn)數(shù)又稱為知識(shí)的廣度，指試題所考查的知識(shí)點(diǎn)個(gè)數(shù)。一般來(lái)說(shuō)，含1 個(gè)知識(shí)點(diǎn)，試題為容易題；含2-3 個(gè)知識(shí)點(diǎn)且跨度較小，試題為中等難度題；含大于等于3 個(gè)知識(shí)點(diǎn)且有較大的跨度，試題為較難題。

4. 情境維度

情境維度包括情境的科學(xué)性、 真實(shí)性、 復(fù)雜程度、熟悉程度等要素。命題者要充分考慮試題情境維度，情境設(shè)定應(yīng)盡量符合問(wèn)題的實(shí)際情況，盡可能符合高中學(xué)生的生活經(jīng)驗(yàn)，引起學(xué)生的興趣，可以根據(jù)個(gè)人、公共、學(xué)科和人文等方面設(shè)置情境。

一般地說(shuō)，情境較為簡(jiǎn)單，學(xué)生較熟悉，與歷年常考的題型、樣題相近的試題以及選材貼近學(xué)生的生活試題，解答題目所需時(shí)間較少，則難度就小；反之難度就大。 根據(jù)情境的復(fù)雜程度及熟悉程度，一般將情境分為簡(jiǎn)單情境、一般情境、復(fù)雜情境三個(gè)層次。

5. 技巧層次

技巧層次包括試題的設(shè)問(wèn)、應(yīng)答要求、干擾因素等。一般來(lái)說(shuō)，試題的設(shè)問(wèn)不直接、應(yīng)答要求較高、干擾因素較多，甚至某些干擾因素有較強(qiáng)的誘惑性，會(huì)使學(xué)生的解題思路誤入歧途，這些題目就比較難。反之，題目就比較簡(jiǎn)單。

技巧層次一般分為簡(jiǎn)單、一般、復(fù)雜三個(gè)層次。試題沒(méi)有干擾因素、直接設(shè)問(wèn)、直接應(yīng)答的試題技巧層次為簡(jiǎn)單程度；有單個(gè)干擾項(xiàng)，需要在一定的情境中理解知識(shí)的本質(zhì)屬性，通過(guò)簡(jiǎn)單的變式將知識(shí)進(jìn)行轉(zhuǎn)換的試題技巧層次為一般程度；有多個(gè)干擾項(xiàng)，要求學(xué)生能從實(shí)際的問(wèn)題中抽象出模型或?qū)僭O(shè)進(jìn)行探索， 把具體現(xiàn)象上升為本質(zhì)從而解決問(wèn)題的試題技巧層次為復(fù)雜程度。

（二）量化各客觀因素的影響程度，預(yù)估試題難度

在命題過(guò)程中要開(kāi)展難度預(yù)估， 首先要量化各因素對(duì)試題難度的影響程度， 將各客觀因素的影響程度進(jìn)行數(shù)字化表示，分別配以相應(yīng)的計(jì)分，具體如表3 所示。

表3

試題難度預(yù)估的步驟為： 首先對(duì)各道試題估算各客觀因素的計(jì)分，其次把各因素的計(jì)分累加，最后對(duì)照“累加計(jì)分與難度系數(shù)（P）換算表”換算成該試題的難度（見(jiàn)表4）。

表4

以下通過(guò)兩個(gè)實(shí)例進(jìn)行具體分析。

【例1】將他國(guó)語(yǔ)言文字用“百度翻譯”翻譯成中文，這屬于人工智能技術(shù)中的

A．機(jī)器翻譯 B．機(jī)器證明

C．自動(dòng)控制 D．虛擬現(xiàn)實(shí)

【答案】A

表5

本題累加的計(jì)分為5，對(duì)應(yīng)難度系數(shù)應(yīng)該在0.90～0.99 范圍內(nèi)，預(yù)估該題為容易題。 根據(jù)考后的質(zhì)量分析， 該題實(shí)測(cè)難度與設(shè)計(jì)難度數(shù)據(jù)如表6 所示。

表6

【例2】在VB 中，下列程序段執(zhí)行后，輸出結(jié)果是

【答案】A

表7

本題累加的計(jì)分為13，對(duì)應(yīng)難度系數(shù)為0.60 以下，預(yù)估該題為較難題。 根據(jù)考后的質(zhì)量分析，該題實(shí)測(cè)難度與設(shè)計(jì)難度數(shù)據(jù)如表8：

表8

從例1、例2 的實(shí)測(cè)難度與設(shè)計(jì)難度的數(shù)據(jù)對(duì)比可以看出， 根據(jù)量化各客觀因素的影響程度預(yù)估試題難度是科學(xué)有效的， 試題設(shè)計(jì)難度與實(shí)測(cè)難度大體基本一致。

（三）建立試題難度預(yù)估的參照模型，進(jìn)一步調(diào)整試題的難度預(yù)估。

通過(guò)量化客觀因素預(yù)估試題難度開(kāi)展難度預(yù)估有一定的局限性，容易受到一些主觀因素、外在因素的制約，導(dǎo)致預(yù)估往往會(huì)出現(xiàn)一定偏差。

主觀因素包括命題者經(jīng)驗(yàn)、試題“新穎度”。學(xué)生對(duì)試題選材是否熟悉， 命題者在判斷上有一定的主觀因素。此外，試題的預(yù)估值的準(zhǔn)確程度還受試題的“新穎度”影響。

外在因素包括題型、試卷的長(zhǎng)度、閱讀量等。 如選擇題和填空題根據(jù)量化客觀因素計(jì)分， 累加計(jì)分一樣，但是難度會(huì)有較大的差異。

為更準(zhǔn)確地開(kāi)展試題的難度預(yù)估， 命題團(tuán)隊(duì)在根據(jù)量化客觀因素預(yù)估試題難度的基礎(chǔ)上， 還需要通過(guò)歷年學(xué)業(yè)水平合格性考試的試題實(shí)測(cè)難度數(shù)據(jù)調(diào)整試題的難度預(yù)估。 命題人員要對(duì)近三年考試的同類試題進(jìn)行分析對(duì)比， 獲取各同類試題的實(shí)測(cè)難度系數(shù)。 可通過(guò)教育測(cè)量學(xué)理論來(lái)建立同類試題的難度預(yù)估的參照模型， 可以從情境維度、 試題新穎度、技巧層次、設(shè)問(wèn)方式、選項(xiàng)及干擾項(xiàng)等角度進(jìn)行剖析。通過(guò)難度預(yù)估參照模型的大數(shù)據(jù)分析，命題者能對(duì)試題做出更客觀、更準(zhǔn)確的難度預(yù)估。

三、試卷（整卷）難度控制

為確保考試結(jié)果與考試目標(biāo)的一致性， 提升提升考試的信度與效度， 在完成單一試題的難度預(yù)估基礎(chǔ)上，需對(duì)試卷（整卷）的難度進(jìn)行預(yù)估和控制。一份試卷的難度取決于各個(gè)試題的難度及各類難度試題所占的比例，為此要控制整卷的難度，首先要明確試卷的難度要求， 其次要通過(guò)科學(xué)的方法對(duì)整卷試題難度進(jìn)行調(diào)整。

（一）明確試卷的難度要求。

一般情況下，各省（區(qū)、市）的高中學(xué)業(yè)水平合格性考試的試題難度均有一定的要求， 一般包括試題難度的劃分、各難度試題的比例、試卷的難度，試題難度比例等。 以廣西普通高中信息技術(shù)學(xué)業(yè)水平合格性考試的要求為例，相關(guān)要求如表9。

表9

容易題、中等難度題、較難題的賦分比例約為7∶2∶1。 試卷難度系數(shù)控制在0.78±0.03，即試卷的滿分為100 分，考試的平均分控制在78±3 分。

（二）整卷試題難度的把控與調(diào)整。

整卷試題難度的控制與調(diào)整的步驟如圖1 的流程圖所示：

圖1

1． 統(tǒng)計(jì)整卷難度

在確保每一小題難度預(yù)估準(zhǔn)確和試卷中各類難度試題比例符合要求的前提下，通過(guò)學(xué)科“試題難度預(yù)估表”來(lái)統(tǒng)計(jì)整卷的難度，具體如表10 所示。

試卷難度的計(jì)算公式如下：

試卷的難度用難度系數(shù)P（試卷）來(lái)衡量，取值范圍為[0，1]，系數(shù)越小則試卷難度越大，反之難度越小。 其中Pi 表示某試題難度，Xi 表示該試題的滿分值，W 表示試卷的滿分值。

根據(jù)試題難度預(yù)估表的數(shù)據(jù)統(tǒng)計(jì)出整卷的難度、各難度試題的比例。 一般情況下，統(tǒng)計(jì)出來(lái)的數(shù)據(jù)往往與考試目標(biāo)有一定的偏差， 會(huì)出現(xiàn)偏難或者偏易的情形。 下面根據(jù)偏難的假設(shè)模型做分析，假設(shè)模型的數(shù)據(jù)如表11 所示。

從表中數(shù)據(jù)看出，容易題、中等難度、較難題的分值比例與考試要求7：2：1 的比例有一定差距，容易題偏少， 中等難度題和較難題偏多， 整卷難度偏大，需要對(duì)部分試題做出必要的調(diào)整。如可將2～3 分的較難題調(diào)整為中等難度的試題， 將5～6 分的中等難度試題調(diào)整為容易題。

表10

表11

2. 調(diào)整試題難度

此階段的試題調(diào)整不宜對(duì)原來(lái)的試題做過(guò)大的改動(dòng)，可以從影響試題難度因素，通過(guò)修改試題的設(shè)問(wèn)、選項(xiàng)、應(yīng)答方式等調(diào)整相關(guān)試題的難度。 如下面的例3、例4。

【例3】下列選項(xiàng)中，屬于音頻文件的是

A．海草.wav B．海草.bmp

C．海草.gif D．海草.ppt

【答案】A

原預(yù)估難度為0.75，屬于中等難度試題，需降低難度，變?yōu)槿菀最}。

本題嘗試從試題選項(xiàng)中材料的熟悉程度進(jìn)行調(diào)整，將學(xué)生比較生疏的“wav”格式改為學(xué)習(xí)熟悉的“mp3”格式，所以將A 選項(xiàng)中的“海草.wav”修改為“海草.mp3”，修改后試題難度將降低到0.90 以上。

另本題也可以從干擾項(xiàng)去修改， 將B 選項(xiàng)中的“海草.bmp”修改為學(xué)生較為熟悉“海草.doc”。

【例4】在VB 中，若x=5，y=3，下列表達(dá)式的值為True（真）的是

A．x<=y B．x-y

C．x>y Or x=y D．x<2*y And y>0

【答案】BCD

原預(yù)估難度為0.50，需降低難度，變?yōu)橹械入y度題。

本題考查的知識(shí)點(diǎn)個(gè)數(shù)為2 個(gè)， 即關(guān)系運(yùn)算和邏輯運(yùn)算， 但是學(xué)生對(duì)邏輯運(yùn)算符不熟悉， 特別是And 運(yùn)算符。可以去掉一個(gè)正確答案，并將D 選項(xiàng)的難度降低，改為關(guān)系運(yùn)算，并對(duì)換C、D 選項(xiàng)的位置，修改后的試題如下：

【例4】在VB 中，若x=5，y=3，下列表達(dá)式的值為True（真）的是

A．x<=y B．x-y

C．x>2*y D．x>y Or x=y

修改后，試題的答案為BD，試題難度將降低到0.70 左右。

3. 重新預(yù)估難度

相關(guān)試題調(diào)整后， 要根據(jù)量化各因素的影響程度、 歷年實(shí)測(cè)數(shù)據(jù)的參照模型重新調(diào)整相關(guān)試題的難度預(yù)估， 然后再根據(jù)試題難度預(yù)估表重新預(yù)估整卷的難度。

整卷試題難度的控制與調(diào)整是一個(gè)復(fù)雜而反復(fù)的過(guò)程，需要多次調(diào)整，每一次調(diào)整都要嚴(yán)格按照整卷試題難度的控制與調(diào)整的步驟進(jìn)行， 直到整卷的各項(xiàng)參數(shù)到達(dá)考試目標(biāo)為止， 即容易題、 中等難度題、較難題的賦分比例約為7：2：1，試卷難度系數(shù)為0.78±0.03，最理想的難度系數(shù)是0.78。

提高試題預(yù)估難度的準(zhǔn)確性一直是廣大命題者追求的目標(biāo)，近年來(lái)我們一直在實(shí)踐，嚴(yán)格按照科學(xué)的命題難度控制技術(shù)開(kāi)展命題。經(jīng)實(shí)踐，近兩年高中學(xué)業(yè)水平合格性考試信息技術(shù)學(xué)科命題的預(yù)估難度與實(shí)測(cè)難度基本一致， 充分說(shuō)明命題難度控制技術(shù)是行之有效的， 對(duì)普通高中學(xué)業(yè)水平合格性考試命題具有較好的借鑒意義。 面對(duì)高中新課程改革，學(xué)業(yè)水平合格性考試命題工作也要與時(shí)俱進(jìn)，需進(jìn)一步根據(jù)《新課標(biāo)》的要求，并結(jié)合本地區(qū)的實(shí)際，更深入地開(kāi)展命題難度控制技術(shù)的研究， 發(fā)掘更科學(xué)的技術(shù)方法，提高試題難度預(yù)估的準(zhǔn)確性，提升命題質(zhì)量。