第三方評價技術在教育質量監測中的運用

郝夏穎+郭倩雯+陳彤彤+張勇

第三方評價有別于學校第一方評價和政府第二方評價，既打破了第一方評價囿于自身視野、利益而不能自覺、客觀、公正地評價自我發展的局限性，又突破了政府在教育管理和評價中既擔任裁判員又擔任教練員的管評不分的弊端。

第三方評價技術——ACTS

政策依據。《國家中長期教育改革和發展規劃綱要（2010-2020年）》明確提出：“改進教育教學評價，根據培養目標和人才理念，建立科學、多樣的評價標準。開展由政府、學校、家長及社會各方面參與的教育質量評價活動?！?013年，《教育部關于推進中小學教育質量綜合評價改革的意見》中提出：“要探索建立一種政府、社會組織和專業機構等共同參與的外部評價機制。”2015年，教育部下發的《關于深入推進教育管辦評分離、促進政府職能轉變的若干意見》中指出，“大力培育專業教育服務機構，整合教育質量監測評估機構，完善監測評估體系，定期發布監測評估報告，擴大行業協會、專業學會、基金會等各類社會組織參與教育評價”，部署構建“政府管教育、學校辦教育、社會評教育”的格局。

理論依據。18世紀到19世紀，實驗心理學和教育統計學的發展，為解決教育評價的主觀性、隨意性、隨機性問題提供了理論和方法上的指導；20世紀30至50年代，美國泰勒提出了以教育目標為核心的“教育評價原理”，并提出了“教育評價”概念，從而把教育評價與教育測量區分開來；20世紀50年代，布魯姆提出的“教育目標分類學理論”，從課程評價出發，把教育目標分類視為一個系列化的目標系統，形成的診斷性評價、形成性評價、終結性評價的評定方法，為教學評價提供了有效依據；20世紀70年代，喬納森的“學習結果分類理論”，把焦點放在高層次的認知、元認知和情感性的學習結果上，有效地將知識的類型、評價的標準和教學策略結合在一起，綜合考慮各種因素對評價結果的影響；20世紀80年代以來，“項目反應理論”把教育評價引向了計算機化和因人施測的方向，模糊評價法發展了教育評價的數據處理技術；20世紀80年代中后期，加德納提出的“多元智能理論”，為因材施教提供了理論依據，賦予學生觀、教學觀與評價觀以新的含義；21世紀以來，馬扎諾明確提出了系統一致的“教育目標新分類”，把知識分為信息、心理程序和心理動作程序三個領域，系統一致的教育目標分類提供了人類思維的一種模式，而且將認知加工過程和三種知識水平結合在一起。

ACTS評價技術。基于上述政策和理論依據，ACTS評價技術誕生，它的全稱是Ability-Competence Test System，即學業素質能力評價系統。它是以新課程標準提出的“知識與技能，過程與方法，情感態度與價值觀”的三維目標為基礎，以教育目標分類學、認知建構理論、多元智能理論等為主要理論和方法依據，結合教育學、心理學領域最新的研究成果，借鑒國際上最新的測量評價發展趨勢，形成的一個以“知識、技能、能力”為顯性維度，以“方法、過程、策略”以及“價值、情感、態度”為隱性維度的三維多元多層測量評價技術模型。它力求從根本上解決當前學科教育評價不能診斷、反映課程目標和課程標準的問題。該模型滿足了國家提出的關于教育評價與考試改革的新要求，以及新課程改革的課程目標和課程標準要求，評價結果能與國際學業成績評估接軌。

知識、技能和能力的顯性三維目標的測量、評價、甄別與診斷，有助于學生找到并確診認知要素和成果結構中存在的長短板和不均衡問題；其關聯分析也有助于學生發現和診斷學習上存在的問題點、困難點、盲點及其形成的原因和機制，進而找到解決問題的方向和方法。該模型在成績報告方面，學習和借鑒了國際大型標準化測試的報告系統，不僅能提供數據多元、多維、多重比較結果，而且能提供面向不同群體（學生、教師、學校、地區或學區）的數據報告，從而為教育咨詢提供可靠、可信、有效的工具，為教研、教學、教學管理等提供可靠有效的平臺和工具，為教師專業發展提供科學的操作平臺。

ACTS評價技術在成都市小學五年級語文學業質量監測中的運用

第三方評價技術——ACTS成功運用于成都實驗區，充分體現了其評價的科學性和公正性。

項目及評價工具介紹。成都市小學五年級語文學業質量監測項目于2015年開展實施，由中國教育學會采用中小學教育質量綜合評價改革實驗專用技術——ACTS學業素質能力評價系統對成都市21個區（市）縣的五年級學生，以抽樣方式進行2015年學業質量監測工作。本次學業質量監測采用的模式為：“學業質量監測+學校問卷調查?！奔瘁槍Τ啥际形迥昙壵Z文閱讀水平進行學業質量監測，并以校長問卷、教師問卷、學生問卷的方式展開。此項目意在通過監測結果使各地區各學校認識到影響語文閱讀質量的原因，從而合理引導教育行政管理部門科學決策，及時調整評價學校和學生的標準，推動各學校教育質量和學生健康水平的提升。

本項目采用的第三方評價技術主要運用ACTS學業素質能力評價系統，針對語文閱讀學業質量監測，所使用的監測工具分為知識、技能和能力三個維度。其中知識維度分字詞、句子、語段、文章4項指標；技能維度分為認知、理解、信息提取、綜合概括、推理、應用、分析、表達共8個指標；能力維度分為詞匯辨析、語言理解、邏輯分析、人際理解、自我認識共5項指標。

學業質量監測的具體情況。成都市共有21個區（市）縣的抽樣學校參與此次學業質量監測，成績有效的有11913人。此次監測結果顯示，成都市五年級學生在知識、技能、能力、總成績四個維度中，其平均得分率略高于60%。在知識、技能、能力維度中，相對應地，學生在語段、分析、人際理解指標的區域平均水平最低。

就三個維度總體情況在成都各區（市）縣的表現水平而言，新津縣在總成績、知識、技能、能力四項中的閱讀水平最高，大邑縣的閱讀水平最低。各區（市）縣在中等成績分數段的人數普遍占多數，低等成績分數段的人數比例次之，高等成績分數段的人數比例最少。在知識維度中，各區（市）縣在語段指標項的平均水平最差，表現最為明顯的是金堂縣；在技能維度中，各區（市）縣在分析指標項的平均水平最差，表現最為明顯的是大邑縣；在能力維度中，各區（市）縣在人際理解指標項的平均水平最差，表現最為明顯的是大邑縣。

成都市小學語文學業質量存在的問題主要在四個方面：一是各維度指標均衡性不足。成都市五年級學生在知識、技能、能力三個維度的指標中表現出不均衡的趨勢。在知識維度中，主要體現在語段的表現水平較弱；在技能維度中，主要體現在綜合概括、分析、表達技能的表現水平較弱；在能力維度中，主要表現在人際理解、自我認識指標的表現水平較弱。三個維度各個指標間相互關聯，且較高層次的指標與較低層次的指標之間的平均得分率存在較大差異，有的平均得分率差異竟高達30個百分點。

二是總體水平偏低。成都市五年級閱讀成績監測結果表明，在知識、技能、能力、總成績四項指標中，各指標的平均得分率均略高于60%，并且各區（市）縣各分數段人數比例在上述四個指標中的結果表明60-85分數段的人數占大多數，而0-60分數段的人數次之，有些區縣在0-60分數段人數所占比重甚至比60-85分數段人數所占比重還高，85-100分數段的人數最少。由此可見，該市五年級學生閱讀水平整體偏低。成都市五年級各區（市）縣在總成績、知識、技能、能力中，普遍表現為其中位數得分率高于其平均得分率，且低水平區（市）縣的成績分化程度較大。這表明各區（市）縣閱讀的平均成績受到后進生的影響較大，即后進生的成績拉低了整個區（市）縣的平均閱讀水平。并且低閱讀水平區（市）縣的學生成績分布不均衡，高低分差異十分明顯。

三是城鄉差異明顯。成都市不同區（市）縣城鄉同類學校在閱讀成績指標項的表現也有明顯差別。城市學校、城關鎮學校在知識、技能、能力、總成績中的平均得分率和中位數得分率要明顯優于農村學校，這不僅與地理位置有關，更與優渥的教學資源、教學設備有關。在知識、技能、能力三維度各指標中，城市、城關鎮學校的平均得分率也明顯優于農村學校。

四是學生成績受父母受教育程度、經濟環境的影響較大。在知識、技能、能力、總成績四項指標中，學生的閱讀成績與父母受教育程度呈正相關關系。因此，父母受教育程度不同，其子女在閱讀學業質量監測中的差距也較為明顯，尤其是在技能方面表現突出。

學生閱讀成績的高低同樣也受到父母經濟環境的影響。父母職業層級較高且有穩定經濟收入的家庭所教養出的學生的閱讀水平較高，反之，學生的閱讀水平也相對較低。

針對上述問題，專家給出了四條建議。一是有效培養學生閱讀中的薄弱知識、技能和能力。成都市五年級學生閱讀學業質量監測結果表明，學生在語文知識中的語段閱讀、分析、綜合概括技能、人際理解能力是影響其閱讀水平的薄弱環節。這些薄弱的知識、技能、能力普遍存在于各區（市）縣的監測結果中，因此，針對此薄弱環節，應有的放矢地提升、訓練學生的弱勢項目。平時語文教學過程中應加強學生的語段訓練，注意引導學生挖掘材料背后所傳達的思想感情、分析語段中句與句之間的邏輯結構。在學習生活中培養學生的人際理解能力，注重培養學生在班級、學校中的人際交往能力，使學生在學習生活中和諧友愛相處，換位思考，互幫互助。教師也應引導家長在家庭中培養學生獨立自主的生活能力，體諒父母，從而為其語文學習打下良好的基礎。

二是有效提升薄弱區（市）縣后面50%的學生的學科能力。成都市五年級學生閱讀學業質量監測結果中各區（市）縣的閱讀成績受到后進生的影響較大，且低閱讀水平區（市）縣的學生成績分布不均衡，高低分差異較大。因此，針對此問題應有效提升薄弱區（市）縣后50%學生的學科能力。一方面，加強優等生對后進生的幫扶工作，學習優等生的學習經驗。另一方面，加強區（市）縣之間的溝通與交流，轉變教師以講和灌為主的教學方式，改進教學，高度關注后進生。

三是大力開展農村教師的專項幫扶計劃。針對各區（市）縣學校閱讀成績城鄉差異明顯的現象，成都市教育局在政策層面上應開展針對農村教師的專項幫扶計劃，在寒暑假或不影響教師日常教學的時間，安排農村教師培訓，使農村教師學習城市、城關鎮學校較為先進的教學管理經驗和教學經驗；實行教育政策的傾斜，以優厚條件鼓勵城市中優秀教育人才支持農村教育事業。此外，通過促進教師專業水平的提升來促進學生能力的提升。

四是制定針對弱勢條件學生克服先天差距的計劃和方案。針對義務教育階段的弱勢條件學生群體，成都市教育行政主管部門應對各區（市）縣的弱勢學生制定有助于他們克服這種先天差距的計劃和方案。對義務教育階段家庭經濟困難的學生加大幫扶力度，為每一個學生創造良好的學習發展環境。

運用第三方評價技術對于成都乃至全國教育都產生了積極影響

成都市教育局以項目的形式委托第三方開展教育質量監測工作，是一場順應時代變革的重大舉措。在這場改革過程中，第三方評價技術運用于教育質量監測取得了一定的成效，也為全國教育改革實驗區教育質量監測工作的開展提供了借鑒和經驗。

引入“第三方評價”，有效體現評估中的公平性。當前，我國義務教育階段尤為突出的問題之一就是不公平。這種不公平突出表現為區域之間、城鄉之間、學校之間在地理位置、教學設備、師資隊伍等教育資源分配中的不公平。一直以來，我國教育質量監測的主體多為教育行政部門。教育行政部門掌握著對本地區教育監測的實施權和評估權，而監測評估的結果往往會直接關系到地區及學校的資源配置。在這樣一種“運動員兼裁判員”的角色定位下，由于缺乏必要的責任監管和問責制度，常常會不可避免地造成評估的主觀性以及監測結果的不真實，并因此誤導政府決策，最終將不利于形成教育資源的科學、均衡配置，這與教育質量監測所要達成的終極目標——提升教育質量，促進教育公平顯然是背道而馳的。

本次成都市引入第三方評價參與對全市教育質量的監測，可以說是在實踐層面上建立了政府與第三方評價機構在教育監測及評估領域一種協同合作的工作機制。以《國家義務教育質量監測方案》為政策基礎，由第三方評價機構憑借其專業團隊力量，科學的評估技術以及專業的監測實施程序，獨立于行政機構去承擔質量監測與評價的責任。從這個角度講，第三方因存在形式的獨立性決定了其評估結果的公平性。因此，基礎教育質量監測中引入“第三方評價”，才能有效地體現評估的客觀性和公平性。

引入“第三方評價”，有效提升監測和評估結果的精準性。國家義務教育質量監測中一個重要的要求就是能“深入分析影響義務教育質量的主要因素”。那么如何才能實現監測和評估結果的精準化？一方面需要在監測指標的設置上做到精細化。本次成都市五年級學業質量監測采用第三方評價技術——ACTS學業素質能力評價技術系統作為處理、分析工具，是我國目前唯一能按學科教育三維目標要求研制的測評工具。它參考了課程標準中知識與技能、過程與方法、情感態度和價值觀的三維目標以及國際學生評估項目（PISA）閱讀素養框架，將學業質量監測工具的內容指標，在2013年《中小學教育質量綜合評價指標框架（試行）》中的“知識技能與學科思想方法”的基礎上進一步細化，形成了知識、技能、能力3個維度，共17項具體的內容監測指標。另一方面，精準化體現在評估的結果具有準確性和指向性。質量監測內容的評估如果只關注學業成果，就與一般的學科測驗無異，而應該同時聚焦學情和學業成果。所以，教育質量監測在技術層面不僅能夠就學業成績以多維、多元、多層的數據結果呈現監測結果，還能聚焦學生成長，將學業成績與學業負擔、學校資源、家庭背景等學生成長過程中的影響因素進行分析，從而給出充分的學業質量的診斷信息和評估建議。從這個角度而言，基礎教育質量監測中引入“第三方評價”，能有效提升監測和評估結果的精準性。

引入“第三方評價”，有利于優化教、學、研、管等工作。國家義務教育質量監測的目的之一就是“為轉變教育管理方式和改進學校教育教學提供參考”。這里體現了兩個重要的目標訴求：一是改進教育教學，提高學生學業水平；二是轉變教育管理方式，提高效率。本次學業質量監測，針對第一個目標訴求，通過運用ACTS學業素質能力評價系統，可提供集學業診斷和甄別等功能于一體的成績報告單，用詳實的數據，記錄每一個學生、每一所學校、每一個區（市）縣的真實學業水平以及問題的癥結所在。其中，從學生個體數據分析來看，報告直觀地呈現了學生個體在知識、技能、能力三個維度的成長情況，包括其長短板及優劣勢。從學的層面引導學生學習觀念和方法的轉變。從班級、區域的學生群體數據分析來看，能夠精細反映教師的教學績效、專業成長中存在的問題，以及準確地識別區際間教學質量存在的差異，從而有針對性地制定教研計劃，使教學和教研工作變得更加科學有效。針對第二個目標訴求，第三方評價機構通過提供專業的學業質量監測報告，集中呈現成都市各區（市）縣的學生閱讀水平的現狀，在總結成果的同時指出其存在的問題；對學業水平影響因素進行相關性分析；對成都市教育質量的均衡性及影響因素進行評估?；诖?，可以有效提升教育管理部門工作的針對性和實效性，轉變管理方式，促進區域教育資源的優化配置和教育質量的不斷提升。

作者單位：北京市公眾教育科學研究院。

（責任編輯 曾憲波）