基于學科關鍵能力的分析模型探索——以八年級期末科學考試為例

孔建美 鮑雯雯 傅建鋒

考試命題與測評分析工作具有很強的專業性，教師需要具備教育測量的專業素養。目前，國內中、高考考試命題專家基本為各級教研員及學科骨干；一些相關大學也已開設了“教育測量與評價類”專業，但測評專家依然稀少，遠未能達到現實需求。2019年11月，教育部《關于加強初中學業水平考試命題工作的意見》指出，要嚴格依據義務教育課程標準科學命題，取消初中學業水平考試大綱[1]。依據課程標準命制試題成為極具挑戰性的工作[2]。事實上，近幾年在中考、高考中涉及試題命制及分數解釋的科學性的問題已有發生，曾經造成了一些不良影響。區域層面的考試雖然不具備中、高考這樣大規模選拔性考試的高利害性，但是也引發越來越多的家長及社會的關注。試卷背后透視出的教育教學理念、教師的專業水平、學生的發展水平、區域的教育質量管理等都是社會以及家長熱議的話題。隨著大數據、云計算等概念的引入，數據驅動教育教學改進、基于數據的實證研究已成為越來越多一線教育工作者的研究重點。學校借助閱卷系統開展網上閱卷已積累了很多的數據，如何確保這些數據的公正公平，如何對這些數據進行分析，充分挖掘數據背后的相關因素，通過數據撬動學教方式的轉變，有效提升教師專業成長、學生素養發展及學校教育質量，是需要思考的關鍵問題。

本研究以八年級下冊科學學科期末卷為例（見附錄），詳細闡述以“指向核心素養的學業成就測量和評價的學科試卷命題改革”為手段，深入診斷學科試卷命題的質量以及區域學生學科能力素養的發展現狀，為后續區域基于學科能力的命題設計以及學生學業水平分析提供診斷和優化依據。

一、基于關鍵能力指向的質量分析模型設計

本研究的質量分析模型借鑒維金斯和麥克泰格的“逆向設計”模式[3]。維金斯指出，最好的設計應該是“以終為始”，“終”是指教師在課程設計時先明確學習要達到的目標，然后采集證據表明學習達到了目標，最后再設計學習體驗和教學。“逆向設計”體現了課程標準對教學的指導性[4]，及對質量分析的指導性。質量分析應是對課程改革核心要素的檢驗和評價。質量分析模型包括三個階段：首先根據課程標準和監測重點確定區域質量分析目標，即指向學科關鍵能力的學業評價，并通過測試分析、基于評價的結果來發現教與學中存在的問題，以數據驅動教研與教學的診斷改進；其次確定支持預期目標的評估證據，指向學生學科關鍵能力維度，以數據為實證的區域、學校、年級、班級各能力維度的學業水平可視化；最后確定學科考試命題依據，指向學科關鍵能力維度的命題設計，試題細目表。以“逆向設計”模式，架構體現學科關鍵能力的質量分析模型，引導學校開展目標導向的試卷命題及質量分析評估。

二、基于關鍵能力指向的命題設計與評估

（一）命題設計

1.關鍵能力命題設計

單一的學科總分并不能有效支持了解學生學科能力素養發展的評估。為了更好地了解學生關鍵能力的發展情況，需采集更多數據作為診斷區域和學校教學教研的依據。從八年級的科學學科核心素養維度出發，梳理出“依據標準、立足課本”“緊扣核心、重視方法”“強化實驗、突出探究”“體現綜合、關注素養”四個核心要點。依據這四個核心要點，確定了六個關鍵能力維度，分別是概念的掌握、基本運算的能力、方法應用、思維能力、實驗能力以及綜合運用能力。將學生的各題得分與各關鍵能力進行關聯統計分析，區域、學校以及教師能夠進一步分析和探究學生學科能力的掌握情況，為后續區域教育制度設計、學校教研診斷與反思、學生學習方式優化提供依據。

2.關鍵能力小題設計

確定基于關鍵能力的學科小題知識點細目表，作為命題的關鍵一步，實現從知識立意到能力立意、素養導向的命題轉變。這需要命題教師深諳學科課程標準與學習目標、學習內容，明確學科考試的測評結構，做到研發的試題與課程標準一致，需要具有整合課程標準中多個維度要求的能力。表2梳理了八年級下冊科學四大題35小題涉及的知識點及對應的關鍵能力。各知識點的覆蓋、能力維度的劃分及分值的分配，符合本次命題設計的要求。該環節的設計過程，能改變教師隨意粘貼復制拼湊試卷的現象，進一步幫助教師深入學習課程標準，更深刻把握基于課程標準的命題設計；同時，推動教師進行教學反思，深刻體會課程標準與學習目標是緊密關聯的，思考有效教學的改進方法。

表2 八年級下冊科學試題關鍵能力及對應小題知識點細目表

續表2

（二）命題評估

試題命題評估主要采用項目反應理論（Item Response Theory，簡稱IRT）[5]，該理論是在分析與克服經典測量理論局限性基礎上發展起來的一種測量理論。通過項目反應理論可以對學生的能力和試題的參數進行估計，計算出試題的信息量，并建立學生的作答反應結果、試題與學生能力水平之間函數關系的模型。將學生的能力水平與項目的難度進行比較，能估計不同能力水平的學生作答各難度項目時的答對概率。結合項目的難度、區分度與學生能力的指標，可以體現出項目在各能力水平上所能提供的信息量大小和測驗的誤差大小，更好地指導測驗編制。通過利用項目反應理論（IRT），八年級科學試題命題評估結果主要呈現了學生“能力信息量”“易猜度和區分度”“不同性別學生的能力與易猜度”三個維度的統計分析情況。統計圖表通過基于區域“教育智慧治理平臺”數據實驗室的IRT算法得出。

1.學生能力信息量

使用R語言的mirt工具包對整卷進行分析，了解到該試卷所反映出的學生能力信息量為-6到6，呈正態分布（見圖2）。根據正態分布的定義，學生能力值在-2到2之間可以覆蓋到95%的學生，學生能力值在-3到3之間可以覆蓋到99%的學生。該試卷反映出學生能力值范圍-2到2所顯示出的信息量較高，在0值附近左右到達了峰值，說明本次考試能充分反饋能力值在-2到2之間的學生能力水平，而對于能力值＞2和＜-2的的學生無法準確反饋其能力。通過進一步分析，可以發現各小題所反映的學生能力信息量情況（見圖3）。基于該分析結果，修正個別題目，增加＞2難度的題目和＜-2難度的題目，能使本試卷起到診斷這兩能力區間的學生的作用。

圖2 八年級科學卷學生能力及題目信息量統計

2.易猜度和區分度

基于IRT技術的整卷分析還進一步呈現了試題的易猜度和區分度（見圖3）。圖3呈現的是IRT模型中的項目特征曲線ICC（Item Characteristic Curve），該曲線將學生的能力水平和題目的難度轉化到同一尺度上進行衡量和評價，可視化各試題的區分度和易猜度。圖中的Y軸代表學生作答的答對概率，X軸代表學生的能力值（也是題目的難度值）。其中，圖4中的第二題（X2）、第七題（X7）、第19題（X19）以及第23題（X23）具有較高的易猜度，這意味著學生即使不具備科學學科能力素養也能有40%-50%猜對該題的概率。

圖3 各題目的易猜度、區分度以及對應學生能力水平的統計結果情況

3.不同性別學生能力與題目易猜度區分度統計

通過進一步將各題目與不同性別的學生進行分析，發現大部分題目都呈現出了相似的區分度以及不同性別學生能力水平對應相似的得分情況（見圖4）。其中第11題（X11）和第20題（X20）呈現出相對于男生而言女生更易猜對這題的情況，結合試卷命題的設計發現，這類題都屬于實驗能力考查題，說明本次考試從性別維度分析，個別題目并不公平，需要進一步修正。

圖4 不同性別學生能力與題目易猜度、區分度統計

“測評也是學習”[6]，命題分析能夠為后續的試卷優化提供依據，使學科命題更加專業化，并成為學科學業水平檢測分項分析以及區、校教育教研診斷的有效工具。該試卷從命題設計分析，能較好反映區域學生的科學能力素養水平，基于測評技術呈現出命題的部分問題，后續還需深入研究并迭代優化。

三、基于學科關鍵能力的質量分析

傳統意義上的學生學科成績基本以小題分相加最終以總分呈現結果，質量分析停留在平均分、優良合格率等統計上，并成為傳統考核教師教學水平的重要指標。基于學科關鍵能力的分項評價，改變了傳統的質量分析方法，變籠統抽象的量化評價為量與質并重的具體的學科關鍵能力評價，反映了課程改革的核心精神，體現了素養導向的診斷功能，能夠為教師改進教學提供有力的證據。

1.總分離散比較

離散度指標豐富了傳統意義上總體分析質量的內涵，通過離散度分析可以評估各校學科學業水平均衡情況。圖5中各個盒子代表每個學校八年級科學成績的離散分布情況。盒子外最上面橫線代表分數的最大值，盒子中間橫線是各個學校第50%位數的成績，盒子上端橫線是該校第25%位數的學生成績，盒子下端橫線是第75%學生的成績。盒子外下方顯示的點為異常值，點越多表明該校有更多成績較低的學生。盒子越狹長、盒子外上下線越長，說明離散度越大，異常值越多說明尾部越重。

圖5 各中學八年級科學總分得分離散度情況

2.學校各關鍵能力與區常模的比較

將概念、基本運算、方法應用、思維能力、實驗能力以及綜合運用能力等維度對應的得分進行標準化處理，使用可視化軟件Tableau得出各個學校（橫坐標的一個點對應一所學校）相較于區常模平均分（在圖6中顯示為0）之間的距離，該距離以標準差為單位計算。若高于區常模平均分則為正值，低于區常模平均分則為負值。從圖中可以看出各個學校在分項上的不同表現，了解各分項關鍵能力的優勢與劣勢。據此不同主體可以發現自己的問題，進而查找問題的原因，如學科教研員可以研究區域教研整體推進的方向，學校學科組可以明晰問題解決的方向以及校本推進要達到的目標。

圖6 區各中學八年級科學各分項得分與區常模之間的距離分布情況

3.多校區/同類學校關鍵能力比較

通過進一步對同一集團或連鎖辦學的不同校區的各分項維度平均分進行比較分析，可以深入了解校區間的優勢與劣勢。如圖7所示，A校區的概念和方法應用維度平均分均高于區域常模，但是思維能力和實驗能力平均分低于區域常模且與B校區得分分布情況相似。B校區的概念以及綜合運用能力平均分相較于A校區得分遠低于區域常模且較為顯著。該分析為學校完善質量管理內控機制提供了依據，促使學校發揮多校區優勢，加強“問題導向”的集團一體化校本教研改進教學提升質量的實效性研究。

圖7 集團不同校區/同類學校之間的各分項能力分布對比情況

圖8顯示了區域處于質量相對薄弱學校的各分項能力得分分布情況，三所學校學生在思維能力和實驗能力對應的得分點都比較低，其中B中學學生在基礎概念對應的得分點上失分尤為顯著，暴露出對學科基礎概念的掌握存在較大問題。

圖8 同類學校各分項能力對比統計

4.班級各關鍵能力比較

學科分項能力維度的分析除了能夠為區域層面的教育決策提供依據之外，還能夠為學校的教研診斷以及教師的教學改進提供依據。以X校為例，學校的各項能力分布較均勻且高于區域常模，但是放大至八年級各班級的各分項能力得分分布情況則可以看出，各班級學生能力分布差異性較大（見圖9-1、9-2）。其中，2班學生各項能力得分除了方法應用能力，其他分項維度得分都低于區域常模；在基礎概念及基本運算方面，1班、2班和10班表現較弱；在方法應用方面，2班、4班、6班、10班、12班和14班表現較弱，其中6班各分項能力維度得分在年級層面表現都較好，但方法應用維度表現最弱；在思維能力方面，2班、4班和13班表現較弱，尤其2班得分相較于其他班級遠低于區域常模水平。各班各分項能力分布的差異性與學生的生源以及教師的教學方法密不可分，為了探究造成差異性的原因，需要結合班級實際情況進一步探究與分析。

圖9 X校八年級各班各分項能力相較于區域常模分布情況

圖10-1、10-2顯示了部分班級男女生的各分項能力差異具有顯著性，其中1班、2班、3班、4班、5班、6班、7班、9班、10班和13班的男生在大部分的分項能力維度上的平均分都高于女生，尤其是1班男生平均分均超過區域常模，而女生則低于區域常模，8班、11班和14班的女生則顯示在大部分的分項能力維度上的平均分都高于男生。該分析為差異化教學提供了依據。

圖1 基于學科關鍵能力的分析模型

圖10 X校八年級男女生科學各分項能力得分情況

5.關鍵能力指向的小題分析

采用經典測量理論梳理整卷得分情況，從小題得分率顯著較低的題目（見表3）開展診斷分析。表3顯示，15小題與18小題滿分值均為3分，各校得分率分別在0～0.3、0.3～0.5之間。需要通過數據及開展教學調研作進一步歸因分析，挖掘數據背后隱含的教與學雙方存在的問題。

表3 八年級下冊科學小題得分率情況

第15題與18題（見圖10）共同指向學科關鍵能力培養，15題重點考查“方法應用能力”，18題重點考查“思維能力”。通過建構知識點、知識點涉及的內容及運用知識解決實際問題的關聯，厘清解決問題所需要具備的知識與能力。同時結合答題情況對師生開展調研，梳理失分原因。通過分析可以發現，兩題共同反映出目前課堂教學要進一步把握學科本質，教師要從多方面關注和幫助學生理解科學概念，學會探究，提高學生解決實際問題的能力。如15題反映教師日常教學“防治空氣污染物”時，重在“防”忽視“治”，提示課程改革的重心是提高學生的核心素養，教師要立足學科素養重構課堂，要夯實知識基礎，更要注重能力培養。18題同樣反映出平時的課堂教學中培養學生的分析能力和逆向思維不夠，辨別電動機和發電機的工作原理和構造需要提高學生的分析能力，而不僅僅是局限在記憶層面。經過監測數據及調研結果開展歸因分析，具體見表4。

表4 八年級科學試題（第15、18題）失分歸因分析表

圖11 八年級下冊科學試題（第15、18題）

四、考試命題與質量分析的模型探索思考

1.以終為始到主動建構，以逆向設計的思維推進學科命題與質量分析研究。區域確定指向學科關鍵能力素養的學業評價目標，確定支持預期評價目標的各維度可視化評估證據，到指向基于學科關鍵能力維度的命題設計評估，以“逆向設計”的理論頂層架構為學校開展學科質量分析提供了一條新思路，引導學校開展基于能力目標導向的命題設計，學會基于學科關鍵能力的分項測評，開展基于問題導向的校本學科教學研究。

2.從零碎到系統推進，以關鍵能力為核心優化學科質量分析與行動模型。基于學科關鍵能力的命題設計評估，與基于學科關鍵能力的質量分析，是提升質量的兩個關鍵行動。實踐中，區域形成了命題設計評估、關鍵能力分析、反思歸因研究、教研優化改進、教學行動改進的“五環節”質量分析與行動模型。實施該模型，有助于引導學校厘清學業質量分析的操作路徑和方法，形成數據驅動改進教學提升質量的閉環；而落實每一環節的行動研究，無疑為教師專業化發展提供了一條“直通道”。如，開展“試卷命題設計與評估”為教師命題技術的提升提供研究依據；開展“學科關鍵能力分項分析”，為教師診斷學生關鍵能力水平提供“靶向診治”的改進依據；開展“反思歸因研究”，幫助教師查找“分數”背后的影響因子，引導教師多維度深層次分析學生成績，改變教師粗暴的“經驗式”結論，有助于通過正確歸因改變教學決策；開展“教研優化改進”，有助于推進教研從走過場走向實質性學科研究，成為課堂教學改變的“智庫”；在此四環節基礎上開展“教學行動改進”，真實推進“學教評”一致性的發生。

3.發展教師數據素養，以多路徑協同推進數據驅動教育教學改進的落地。質量分析離不開數據的采集與分析，要實現數據驅動改進教育教學的真落地，需要教師具備數據素養，即教師對數據的收集、處理、分析、應用的能力[7]。教師數據素養直接關系到數據驅動教學的效果與質量，培養具有較高數據素養的新型教師，已成為新時代教育高質量發展亟需解決的問題。區域通過三條路徑協同推進區域教師數據素養的提升：一是課題引領開展區域教師數據素養現狀實證研究，精準把握區域教師數據素養現狀，為設計教師數據素養提升策略提供了依據；二是構建三級聯動數據素養培養機制，營造以數據驅動教育教學診斷和改進的文化氛圍，提高校長教師數據賦能教育的意識；三是設計開發數據素養學習平臺，為教師提供便捷的數據使用和分析平臺，支持教師數據素養的發展。

附錄：