一致性分析
——地理教學評價的又一視角

南京師范大學教師教育學院（210046） 蘆怡婷

南京師范大學地理科學學院（210046） 趙 媛

一致性分析
——地理教學評價的又一視角

南京師范大學教師教育學院（210046） 蘆怡婷

南京師范大學地理科學學院（210046） 趙 媛

教師和學生是地理教學中的互動主體，教師課堂教學評價和學生學業成就評價是地理教學評價的重要組成部分。作為我國第八輪基礎教育課程改革的重大成果，課程標準對教育實踐有著重大影響。《基礎教育課程改革綱要（試行）》中明確規定：“國家課程標準是教材編寫、教學、評估和考試命題的依據，是國家管理和評價課程的基礎”[1]，這就要求課堂教學與學業評價要嚴格參照課程標準進行，與課程標準的“相符程度”是衡量課堂教學質量和學業評價質量的重要指標之一。“一致性分析”方法為地理教學評價中與課程標準“相符程度”的判斷提供了可能性，并可以進行縱向或者橫向上的量化比較，是地理教學評價的又一視角和有效方法。

一、一致性分析的緣起

學界廣泛接受的“一致性”（Alignment）的定義是Bhola等人提出的：“某一學科的國家課程標準與衡量學生是否達到標準要求的測試之間的相符程度”[2]。

20世紀90年代初，基于標準的美國基礎教育改革在《美國2000：教育戰略》和《2000年目標：美國教育法》兩個文件的指導下展開，制定了全國性的課程標準和相應的考試制度，力圖改變當時美國教育水平日漸低下這一事實。在改革中，評價與國家課程標準的一致性引起了許多學者的關注。為此，1994年美國教育部與科學教育國家委員會合作建立了課程與評價一致性分析協會，推動并專注于一致性研究范式的開發。

隨后，2002年，美國總統布什正式簽署了《不讓一個孩子落伍》（NCLB）教育法案，引起了全社會對基礎教育階段教育質量的關注，一致性的研究進入了嶄新階段。研究的范圍從數學、物理等理科學科擴展到了語言藝術、社會科學等人文學科，研究也不再局限于基礎教育階段；而且研究逐漸從理論走向實踐，如：美國教育相關部門開設的SEC On-Line網站，提供工具幫助教師測量課堂教學實踐與課程標準的一致性，并可以與在該網站注冊的其他學校及地區的教師進行比較，為學校及老師進一步提高教學質量提供參考。

一致性分析傳入我國較晚，2008年以來有相關文獻發表，但是大多數還停留在理論層次，應用分析的文章主要見于生物、物理和數學學科等，在地理教學評價方面的應用幾乎還是空白。

二、一致性分析在地理教學評價中的意義

1. 促進地理課程改革的深入推進

國家課程標準是新一輪課程改革理念的集中體現。教師課堂教學、學生學業評價與課程標準的一致性大小從一定程度上反映新課改的理念是否已經滲入了地理教學實踐中。一致性研究可以讓教育管理部門更好地認識到課程標準以及地理教學實踐中存在的問題，并進行及時的調適。同時，與課程標準一致性程度較高的地理教學實踐可以很好地將地理課程標準落在實處，是新課程改革執行力的體現，真實呈現課改進程，便于教育管理部門進行調控，促進地理課程改革的進一步深化。

2. 促進有效課堂教學及學業評價的開展

教師的課堂教學和學生的學業評價，都應該以國家課程標準為依據，以促進學生的學業成就為目的，教師的課堂教學內容與課程標準要求一致應該是教學實踐中必須注意的問題。但實際情況中，受“考試指揮棒”的影響，學業評價可能與課程標準存在較大差異。于是，與課程標準不一致的學業評價又會導致教師課堂教學活動的偏離，這樣一來也許學生的考試成績會得到提升，但是遠遠背離了新課程改革的初衷。因此，課堂教學、學業評價與課程標準的一致性應該是相統一的整體。只有當課堂教學、學業評價與課程標準均相適應時，教師才可以在地理課堂上自由的“演繹”課標，學生在學業評價中可以取得與自己實際水平相符的成績，形成良性循環。一致性分析方法可以對教師課堂教學活動、學生學業評價與國家課程標準的一致性做出量化的評價，為地理教學評價提供新的方法，方便教師的自評與他評，也利于學校及教育管理部門對地理教學進行調控。因此，應加強一致性分析方法在地理教學評價中的應用，從理論走向實踐，加強校際、區域間的交流，共同推動地理課程改革的深化。

三、一致性分析在地理教學評價中的應用

1. 常用的一致性分析范式

自從一致性分析的必要性得到美國教育界的充分認識后，眾多機構和學者致力于一致性分析范式的開發，如：韋伯（Webb）一致性分析范式，成功（Achieve）分析范式，SEC（Survey of the Enacted Curriculum）分析范式，威克森（Wixson）范式，2061計劃等。其中韋伯分析范式、成功分析范式和SEC分析范式在現階段的教育研究中應用的最為廣泛。

三種分析范式的操作步驟基本相似，最大不同就是分析的維度不同，具體比較見表1。

表1 常用一致性研究范式比較

由于分析維度的不同導致三種一致性分析范式的使用對象存在差異，在帕特和史密森開發出SEC分析范式之前，一致性研究范式還只能針對試卷或者教材等文本與課程標準之間的一致性進行測量，而SEC研究范式可以針對教材、試卷、教師課堂教學、課程標準等任意兩者間的一致性進行測量[3]，使用范圍大大拓寬。

2. 地理教學評價中的一致性分析

因為地理教學評價中包括對教師課堂教學的評價，所以SEC一致性分析范式在地理教學評價中的應用會更具有普遍性。下面就以SEC一致性研究范式為例，論述一致性分析方法在地理教學評價中的應用，分析的對象是教師課堂教學或者紙筆測驗的載體——試卷等。

（1）知識種類深度分類表的編制

分類表的編制是一致性分析正式開始后的第一步，也是最關鍵的一步，決定著后面分析的準確性和質量。

分類表的橫坐標是對知識深度的分類，鑒于布魯姆的教育目標分類在教育研究領域的廣泛應用，是公認的客觀“參考系”。所以在一致性分析二維分類表制訂時，知識深度分類一般都采用布魯姆教育目標分類，按照認知水平由低到高依次劃分為：記憶、理解、應用、分析、評價、創造[4]，并可以根據學科特點進行一定的修訂。縱坐標是研究對象及其涉及的課程標準的某一部分在知識種類上的劃分，要根據研究對象的實際內容進行確定。劃分時需要保證研究對象所包含的所有知識點都有且只有一個知識分類與其對應，這就要求知識分類對研究對象知識點的覆蓋率要達到100%，不能有遺漏；知識分類的種類必須具有互斥性，不能有重疊。知識種類的分類可以由研究者與課程專家、學科專家合作商討完成，力求分類的合理性。例如，進行地理學業水平測試卷中自然地理內容和人文地理內容與課程標準一致性分析時，知識種類深度分類二維表可如圖1、圖2所示。

圖1 自然地理部分知識種類深度分類

圖2 人文地理部分知識種類深度分類表

（2）數據的搜集、整理、填入

數據的搜集主要是對研究對象的獲得和記錄。一致性研究的參照標準——國家課程標準和試卷，比較容易獲得，并可以進行反復分析，但是對于課堂教學活動這類研究對象的數據搜集相對比較困難。一種方法是進行詳細的課堂觀察記錄，另一種方法是進行課堂錄像，將影像資料作為研究載體。顯然后一種方法比較科學，可供重復分析。

接著，要從搜集到的資料中整理出所需要的研究數據并進行歸類、填入。對于國家課程標準，需要將二維表涉及的知識點提取出來并按照知識種類和深度進行歸類，并將對應的知識點的個數填入二維表對應的單元格中。對于試卷這類研究對象，需要將整張試卷的各個小題按照二維表的知識種類和深度進行歸類，并乘以各小題對應的分值，然后將對應知識種類、深度的題目的總分填入對應的單元格中。對于課堂教學活動，則需要將整節課涉及的知識點按照二維表的分類進行歸類，并乘以在每個知識點上所用時間，然后將對應知識種類、深度的知識點的總耗時填入對應的單元格中。這里的歸類可以邀請不同專家獨立完成，將每個專家的歸類進行相關性分析，當相關良好時就可以作為最終結果填入，也可以請多個專家一同協商進行歸類，但最終目的就是保證歸類的準確性。

由于國家課程標準形成的二維表和研究對象形成的二維表中單元格內數據的單位不同，不能進行直接比較，所以要對各表進行“標準化”處理，將每個單元格中的數據都除以對應表格中所有單元格數據之和，讓二維表變為一張比率表，所有單元格數據之和為1。

（3）一致性指數P的計算

一致性指數P是表征研究對象與國家課程標準一致性程度的指標，在SEC一致性分析范式中被定義為：

一致性指數P的范圍在0到1之間，數值越大表示一致性程度越高，P=0表示兩者完全不相符，P=1表示兩者完全一致。

（4）數據的分析

計算得到研究對象與國家課程標準的一致性指數P后，并不能簡單地根據P的大小來認定一致性高或者低，要根據實際情況設定一個P的參考值P0。若計算出的一致性指數大于P0，就可以認為這個P在一定的顯著性水平上具有統計學意義，這時可以認定研究對象與國家課程標準的一致性達到要求。

對于P0的確定不同的學者有不同的方法，與SEC開發者帕特在方法上敘述最接近的是Xiufeng Liu等人的研究思路：運用Microsoft Visual Basic編寫一定的運算法則，將課程標準和卷面分數隨機賦值到一定結構的表格中，計算出兩個隨機表格的一致性指數P，然后重復從隨機賦值到計算一致性指數P的過程20000次，得到關于這20000個P的正態分布，然后求得在此正態分布中要達到0.05的統計顯著水平的P值即為P0[5]。在實際操作中可以運用Matlab，Excel等軟件完成上述過程。

計算出一致性參考指數P0后，就可以判斷研究對象與國家課程標準一致性的“好壞”，同時也可以根據研究目的進行橫向或縱向的圖表比較。

一致性分析是一種有效的地理教學評價方法。但一致性分析方法起源于美國，廣泛運用的幾種分析范式的開發者也均為美國學者，由于文化及課程環境的差異，一致性分析方法在中國教育環境下的“本土化”，特別是知識種類深度分類等，仍是一個亟待解決的問題。本土一致性研究范式的研究與開發，將極大地有利于一致性分析在教育領域應用的推廣。

[1] 中華人民共和國教育部.基礎教育課程改革綱要（試行）[S] .人民教育,2001(9):6-8.

[2] Bhola, D. S., Impara, J. S., Buckendahl, C. W.. Alignment tests with states’content standards: Methods and issues [J]. Educational Measurement: Issues and Practice, 2003,22(3), 21-29.

[3] Andrew C. Porter, John Smithson, Rolf Blank, Timothy Zeidner. Alignment as a Teacher Variable [J]. Applied Measurement in Education, 2007, 20(1): 27-51.

[4] L. W. 安德森等. 學習、教學和評估的分類學[M]. 上海:華東師范大學出版社, 2008.

[5] Xiufeng Liu, Baohui Zhang, Ling L. Liang, Gavin Fulmer, Beaumie Kim, Haiquan Yuan. Alignment Between the Physics Content Standard and the Standardized Test: A Comparison Among the United States-New York States, Singapore, and China-Jiangsu [J] .Science Education, 2008, 22(12): 777-797.

（責任編校：戴心雨）