美國國家教育評估與地區(qū)援助中心的項目評估及其啟示

摘 ? 要：國家教育評估與地區(qū)援助中心是美國重要的研究機構之一，主要通過對聯(lián)邦教育部實施的相關教育項目的有效性與影響進行評估，為政策制定者與決策者提供信息，并推廣與宣傳其研究成果。其項目評估包括提前制定評估方案與計劃，根據(jù)目標不斷調試與改進策略，推廣與宣傳研究成果和報告等重要環(huán)節(jié);體現(xiàn)出評估人員的專業(yè)性與專業(yè)匹配度高、評估過程與數(shù)據(jù)透明度高、評估結果反饋與評價及時、項目資助金額大的特點。我國在開展教育項目評估時可通過遵循整體推進原則、全方位考量項目評估的科學性，確保研究數(shù)據(jù)的客觀性與真實性，促進科研數(shù)據(jù)開放路徑提升評估水平。

關鍵詞：美國 項目評估 國家教育評估與地區(qū)援助中心

國家教育評估與地區(qū)援助中心（National Center for Education Evaluation and Regional Assistance，NCEE）是美國科學研究所（The Institute of Education Science，IES）下屬的四個中心之一。[1]NCEE的使命是對聯(lián)邦教育部實施的相關教育項目進行評估，其主要職能包括：為政策制定者和決策者提供信息;對教育項目的有效性實施評估;對相關研究成果進行傳播和推廣。[2]截至目前，NCEE已實施70多項評估，評估領域和主題涉及早期掃盲干預、教師專業(yè)發(fā)展、殘障學生教育等。本研究聚焦NCEE的評估項目，探究其開展項目評估的主要環(huán)節(jié)和特點，以及對我國的啟示。

一、項目評估主要環(huán)節(jié)

（一）制定評估方案

在開展項目評估前，NCEE擬訂評估方案，進一步明確研究目標、研究問題、研究方法等。這一階段，項目評估組需要確定研究對象的數(shù)量與類型、闡述這些對象的特征以及選擇其作為研究對象的原因、根據(jù)研究問題提出研究設想、描述每種研究方法的使用過程與情境等。例如，NCEE在2004—2010年完成了一項關于閱讀理解項目的評估，并發(fā)布了研究報告，報告闡述了研究問題以及研究干預方法的選擇等，主要圍繞閱讀理解課程對閱讀理解產生的整體性影響是什么，學生、教師以及學校的特點與課程的影響有什么聯(lián)系，在干預措施實施一年后課程對學生產生了哪些影響等多個問題展開研究。這項研究基于嚴格的隨機分配設計，明確實施干預措施的過程，參與地區(qū)、學校和教師遵循自主自愿原則，全面和嚴格地搜集數(shù)據(jù)以便于回答與解釋主要研究問題。[3]NCEE調查研究的問題、方法與研究過程明確將可能發(fā)生的問題與風險考慮在內，并為其發(fā)生做好充足的準備。這降低了潛在風險的發(fā)生率，有效避免一些其他因素對研究結果的影響，有助于研究結論的真實性與精確性。

（二）根據(jù)目標調試推進策略

在推進與實施項目評估的進程中，根據(jù)設定的目標不斷地調試與改變當前的推進策略。最初的推進策略往往與達成的目標所需策略之間存在一定的差距，為達成目標，必須在項目推進、策略實施的過程中不斷審視與調試。例如，在一項調查研究中，為確定調查樣本與目標群體之間的相似性以及差異性，在招募研究對象的過程中，可能會出現(xiàn)一些不符合條件的學校，因此，項目評估組制作出一個表格，用于記錄與分析這些不符合標準的學校的數(shù)量以及其與符合標準的學校之間的區(qū)別與聯(lián)系，通過統(tǒng)計不符合標準的學校數(shù)量來判定其影響研究結論的程度，如果數(shù)量不多，可能對研究結論的影響較少，反之，就需要重新選擇與規(guī)范調研對象。[4]以這種方式來分析與調試研究框架的局限性與問題，進一步確保研究結論的信度與效度。

項目評估組還會關注到一些潛在的影響研究結果的因素。例如，項目評估組不僅要計算和評估被招募的學校的退出率，還要獲取學校拒絕參加調查研究的相關信息，助力于提升研究結果的普遍接受性，并對這些學校的退出原因（如學校認為當前學校尚未有足夠的教育資源參與這項研究）進行分析。總而言之，這一過程需要調查研究者全面地考慮問題、多方面地分析原因等，動態(tài)地、全面地審視與監(jiān)督整個調查研究過程。

（三）推廣與宣傳研究成果

推廣與宣傳研究成果是NCEE實施項目評估的關鍵環(huán)節(jié)，亦是最后一步。研究成果推廣的方式與途徑是多樣的，既可以在官網上公開研究報告，也可以通過工作簡報的形式向公眾展示，其中研究報告不僅包括聚焦國家重大研究項目的主題式評估報告，也有區(qū)域教育實驗報告、技術方法報告。

研究報告的主要意圖是定期為教育工作者與政策制定者提供可信的、科學的研究基礎，同其他報告的評估過程一樣，在發(fā)表與公布之前需要進行嚴格的同行評審程序，以確保符合各項標準等。區(qū)域教育實驗報告主要包括熱點與問答、技術簡報兩個模塊。技術方法報告主要涉及現(xiàn)有數(shù)據(jù)集的分析以及探索新技術方法的使用兩個部分，NCEE致力于通過對這兩種方法的探索與研究，來促進教育評估領域方法的進步，供研究人員、方法學家及評估專家使用。[5]NCEE不僅在推廣與宣傳的路徑與方式上體現(xiàn)多樣性，在宣傳的內容方面也進行嚴格的審查與核對，突出強調內容的真實性、可靠性與專業(yè)性。

二、項目評估特點

（一）評估人員的專業(yè)性強、專業(yè)匹配度高

高質量的研究既依賴于研究項目的統(tǒng)籌規(guī)劃、各部門間的協(xié)調合作，也依托于評估專家的專業(yè)知識與能力。選擇參與評估的專家需按照一定的原則、標準與要求，對這些專家進行專業(yè)背景的考察以確保評估人員的專業(yè)匹配度，將評估合同授予那些與評估部門沒有利益沖突的專家，專家以多樣化的形式參與到評估過程中，保持高度的專業(yè)性與科學性。

（二）評估過程與數(shù)據(jù)的透明度高

評估過程以及數(shù)據(jù)的公開透明是NCEE開展教育評估的重要特征。《2002年教育科學改革法》（Education Sciences Reform Act 2002）中明確提到了所有的評估項目應嚴格按照獨立性、相關性、質量、透明度和倫理五個方面的標準進行。為確保政府和公眾能獲得正在進行中的以及已經完成的評估項目的信息，NCEE網站發(fā)布項目簡介，提供每項評價項目的相關信息，如成本、預期時間表、背景和目的、評價問題、方法和數(shù)據(jù)收集、主要觀點等。所有已完成的評估項目報告都會上傳到NCEE網站上以供參考。NCEE還將評價中的數(shù)據(jù)提供給有資格的個人便于再次分析與研究。NCEE的評估項目重視評估過程以及數(shù)據(jù)的公開性，并采取一定的措施提升評估的透明度。

（三）評估結果的反饋與評價及時

NCEE實施大規(guī)模評估項目采用的方法是與該項目的部門主管保持聯(lián)系，以確定評價主題和重要問題，并且在評價期間為其反饋最新評估進展，在評價結束后第一時間告知評價結果等。NCEE評估項目重視及時反饋評估進展的基本情況，與相關人員保持緊密聯(lián)系，讓相關領域專家充分了解評估的全過程，及時指出項目實施過程中存在的問題，進而根據(jù)意見與建議做進一步完善與調整，更好地幫助項目組解決問題。例如，部門主管對項目評價的側重點在于能否幫助解決實際問題、發(fā)現(xiàn)隱藏的風險等，而評估專家團隊所考慮的問題則是如何運用專業(yè)知識與手段達成預期目標，以及在過程中該如何做出調試與改進等。因此，及時反饋與交流評估進展十分必要，項目的反饋評價與改進完善是相輔相成的，在反饋評價中不斷完善，改進評估過程也進一步提升反饋與評價的質量與方法。

（四）項目資助金額大

根據(jù)NCEE官網公開的可供其他研究者申請使用數(shù)據(jù)的項目情況，NCEE項目資助金額大。以其列出的前十個項目為例，資助金額最低為7，861，244美元，最高為33，072，062美元，平均資助金額超過1400萬美元（見表1）。

三、啟示

（一）遵循整體推進原則，全方位考量項目評估的科學性

評估項目的有效實施能夠在一定程度上挖掘有意義的和值得進一步探究的研究項目，并從中發(fā)現(xiàn)新的研究生長點，節(jié)約研究成本與時間，提高評估項目實施的效率。NCEE開展項目評估的運作機制前期、中期和后期各具特點。前期針對整個評估項目制定實施計劃并做好全方位的風險評估，未雨綢繆;中期對標所要達成的目標不斷調試研究方式與方法，及時反饋與公開研究過程與結論，使研究過程更為充實與豐富;后期公開與發(fā)表研究成果，供不同群體參考與學習。

（二）確保研究數(shù)據(jù)的真實性與客觀性，避免學術不端

在開展評估時應確保數(shù)據(jù)的真實、客觀與有效。國內許多研究項目的研究過程與數(shù)據(jù)是不公開的，外界無法熟悉與了解原始數(shù)據(jù)以及整個分析過程，研究中可能存在的一些的瑕疵與問題難以被發(fā)現(xiàn)。為了提升科研水平與優(yōu)化科研環(huán)境，有必要使用專業(yè)的軟件以及專業(yè)知識進一步檢驗與核實研究數(shù)據(jù)的準確性。必要時研究團隊進一步闡述數(shù)據(jù)收集過程以及分析過程。同時，也要求研究者恪守職業(yè)道德與規(guī)范，樹立正確的研究價值觀，扎根于中國本土腳踏實地開展研究，切勿心思浮躁、急功近利。

（三）促進科研數(shù)據(jù)開放，便于學者開展二次研究

我國一些學者苦于國內尚沒有一個比較完整的、公開的數(shù)據(jù)庫，想要圍繞一個熱點問題展開研究，必須自己去調研查找資料，或者查找與登錄國外的公開數(shù)據(jù)庫，在數(shù)據(jù)獲取、選擇與運用方面存在一定的難度。這一方面消磨教師開展研究的積極性，另一方面增加研究成本。如果國內的智庫與研究機構能夠選擇性地公開一些調查研究項目的相關信息，就便于教師充分利用公開的數(shù)據(jù)展開個性化的研究。

參考文獻：

[1]鞠光宇.透視美國教育科學研究所[J].世界教育信息，2012，25（15）：40-42.

[2]NECC.Evaluation report[EB/OL].[2022-03-21].http：//ies.ed.gov/ncee/aboutus/.

[3]NECC.Effectiveness of selected supplemental reading comprehension interventions：findings from two student cohorts[EB/OL].[2022-03-22].https：//ies.ed.gov/ncee/pubs/20104015/pdf/20104015.pdf.

[4]NECC.Enhancing the generalizability of impact studies in education[EB/OL].[2022-03-23].https：//ies.ed.gov/ncee/pubs/2022003/pdf/2022003.pdf.

[5]NECC.NCEE publications[EB/OL].[2022-03-23].https：//ies.ed.gov/ncee/pubs/.

編輯 呂伊雯 ? 校對 娜迪拉·阿不拉江

作者簡介：楊曉瑩，江蘇大學教師教育學院講師、江蘇大學教師教育學院教育倫理研究所副所長

基金項目：2021年度江蘇大學高等教育規(guī)劃發(fā)展研究一般項目“《深化新時代教育評價改革總體方案》背景下江蘇大學教師評價體系研究”（編號：G202113）