“實時監測+結果評價”在職業教育項目建設績效評價中的運用研究

王向東 黃 亮

近年來，我國大力發展職業教育，國家和省（市）級政府都投入巨額資金并設立相關重點建設項目以促進職業教育高質量發展。為精準評估職業教育重點建設項目建設績效，國家和省（市）主管部門分別在項目建設中期和結束時會對項目建設績效進行評價。評價對傳播建設經驗、總結建設成效起到了很好的作用，但傳統項目績效評價多采取專家實地結果評價的單一形式，在實踐過程中，傳統和單一的專家結果評價方式難以完全發揮項目績效評估的診斷、改進、提升功能。如何改進傳統的項目績效評價方式？新的績效評價形式有哪些特點和優勢？實施新的評價方式需重點解決哪些問題？這些是本文重點探討的內容。

一、傳統職業教育項目建設績效評價方式的不足

績效是一個經濟學概念，是指企業在一段時間內投入與符合企業目標和滿足社會需求產出之比。為更有效地使用公共財政資源，實現“花費更少、做得更好”的目的，我國近年來學習發達國家經驗，開始重視對公共財政支持的職業教育建設項目實施績效評價，注重考察項目建設的效益、影響、效果等，強調政府公共績效和結果問責[1]。職業教育項目建設績效評價主要是指職業教育項目建設管理部門對項目建設投入的成效及合規性進行客觀公正的測量、分析和評判。在中等職業教育國家改革發展示范校項目建設、職業教育“雙高”項目建設、職業教育骨干專業及重點學校建設的項目績效評價中多采取專家結果評價的單一評估形式。隨著數字化時代的到來，“周期性、終結性、靜態性、專家判斷”為主的評估范式在理念、時效和精準度等方面，已不能“滿足時代發展的需求”[2]，主要體現在以下四個方面。

（一）項目績效評價內容龐雜與專家精力、時間有限的矛盾

職業教育項目建設績效評估涉及的內容非常龐雜，涵蓋項目建設“輸入資源—建設過程—成果產出”的全過程，具體內容更是包括經費投入、經費使用、辦學規范、治理架構、專業建設、教師隊伍、教學資源、實習實訓、產教融合、學生服務和德育、代表成果等龐雜的內容，特別是這些龐雜的內容又因職業教育的“跨界性”和專業多樣性而愈顯復雜多樣。專家實地評估時限一般不會超過15個工作日，在較短的時間內，實地評估專家需要聽取學校匯報、查看學校辦學條件、查閱海量的“橫斷面”建設材料、填寫評估表格和撰寫評估反饋材料，并結合學校實際情況提出建議，實在是心有余力而時間不夠。所以，傳統的專家實地結果評價方式，一方面，由于時間過于緊張，專家難以掌握足夠、全面的信息；另一方面，學校提供的材料也難以還原整個項目建設過程的原貌。

（二）項目建設周期較長與監管人員數量、手段有限的矛盾

從當前的實際情況看，職業教育重點項目建設的時間跨度多則三五年，少則一二年，但教育行政部門不可能有專門的行政人員對項目建設的全過程進行監管，即使第三方評價機構也只會有個別人員兼帶從事項目的管理工作，但因其負責的相關項目過多，實際上也不可能有足夠的時間和有效的手段針對數量眾多的建設項目進行有效的過程監管，所以，項目建設過程存在疏于管理的情況。

（三）結果評估中既成事實與項目建設質量要求的矛盾

由于對建設過程疏于管理的原因，很多職教項目建設存在方向偏離、過程不規范、進度延緩、資金不到位等問題而不能及時發現和糾正，一直到項目終結性評估驗收時才能被發現，但這個時候“生米已做成熟飯”，有些工作往往不了了之，導致項目建設達不到預期成效。

（四）項目評價過程中診斷不足、根據欠缺與有效改進需求的矛盾

傳統結果評價往往以項目建設結束時的“橫斷面”數據材料為主，這種缺少建設過程的縱向追蹤設計會導致項目建設的績效評估只注重橫向對比，輕視縱向增值評價，重結果狀況，輕原因分析，對建設項目的診斷和改進的作用難以充分彰顯。再者，評估專家因在評估過程中沒辦法還原建設過程且缺少建設的過程性數據材料，這既會妨礙他們獲得充分的評價依據，也會導致他們提出的意見和建議缺少堅實的事實根據。

二、“實時監測+結果評價”項目建設績效評價方式的內涵

職業教育事業的改革與發展離不開有效教育評價體系的支撐，合理有效的項目績效評價方式有利于保障項目建設的順利實施與客觀公正評價的實現。隨著公眾對評估結果反饋的實時訴求，以及信息技術的極大發展，監測和評估相結合逐漸成為教育評估不斷調整和發展的目標[3]。“實時監測+結果評價”的項目建設績效評價方式，是指政府委托第三方評價機構，利用現代信息技術手段對項目建設全過程進行日常監測和及時反饋，并與在項目建設中期或結束時聘請專家實施結果評估相結合的評估方式。實時監測主要針對建設過程中的監控，結果評估注重于建設結果評價，有效的項目建設績效追蹤與保障需要實時監測和結果評估兩種手段相互配合和補充使用。

“實時監測”是指在項目實施過程中，利用現代信息技術對項目的建設任務、建設過程、建設進度、建設成果和影響等進行持續化、日常化、多維化、規范化的數據采集，加工后將數據指標化、標準化、價值化，并能即時呈現項目建設狀態。“實時監測”可以實現即時追蹤或檢視項目建設方案執行的過程與相關產出，確保建設項目依照先前建設方案所設定的計劃目標與期望效益持續進行下去[4]，并對項目建設是否在按照任務書既定內容執行、時間和進度是否符合既定要求作出監測、預警和整改。各利益相關者通過監測結果可即時掌握項目建設的目標達成及建設任務完成情況，有助于明晰項目建設實施過程中出現的問題及其原因，有助于及時反饋和調整項目建設的任務，從而確保項目建設順利地實施，并為后續項目建設的實施提出相應改進對策。

“結果評價”主要是組織和聘請相關評估專家，利用統一制定的評估標準，借助專家的經驗和智慧對項目建設成效進行主觀綜合判斷，它有利于從整體上檢驗項目建設成果和建設質量，防止只見樹木不見森林，在定性方面對評估對象作出綜合、客觀的評價。“實時監測”不是代替評估專家在評估過程中的主導地位，它只是利用自動分析技術和數字化信息技術使專家從查閱繁雜的評估材料等機械化的工作中解放出來，有利于評估專家在結果評估中更充分發揮在評估理念、知識經驗等方面的智慧與作用。總之，利用“實時監測”結果輔助評估專家實施“結果評價”既可以充分發揮評估專家的理性、知識、經驗來保證績效評估工作的專業性，又可減少專家在評估過程中的道德風險和主觀隨意性。

“實時監測+結果評價”的評價方式有效避免了以數據為主的定量分析與以專家經驗判斷為主的定性判斷中各自的不足[5]，兼顧信息技術手段的便利和專家豐富的經驗，把專家評價和數據評估進行優勢互補、有機結合，促進評估活動更加科學、合理、客觀、公正[6]，實現了從周期性評估向常態化監測，從終結性結論到多元主體根據需求自我進行價值判斷的替代性變革[7]，它與傳統績效評價方式在評價主體、評價目的、評價手段、評價內容、評價應用等方面的具體差別見表1。

表1 傳統績效評價方式與“實時監測+結果評價”績效評價方式的區別

三、職教項目績效評價中運用“實時監測+結果評價”方式的優勢

（一）增強績效評價結果的客觀真實性

實時監測堅持以客觀監測數據為依據，強調評估數據的客觀性、真實性、常態性、直觀性。首先，實時監測系統可以連續并定期采集和主動搜集項目建設的所有信息，利用大數據技術匯聚、分析和公開后的數據信息可達到對項目建設的全過程進行監測、督促和反饋的功效。可以把基于固定樣本和證據的傳統績效評價方式升級為全過程、全環節、源數據的績效評價方式，獲得更真實、詳細、全面的評價信息，有效增強評價結果的客觀性。其次，基于大數據技術、人工智能技術的客觀數據證據會盡可能降低專家個人情感的影響，減少專家“人情評估”和“感情照顧”的風險，增強了評價的科學性、客觀性和精準性。

（二）簡化和公開教育評估流程

全國教育大會提出“深化教育領域‘放管服’改革、大幅減少各類檢查、評估、評價的總體要求”，實時監測可以有效減輕被評估學校收集、整理、重復提交評估材料的壓力，減輕了學校的工作負擔。實時監測系統打破了評估過程的“黑箱化”操作，可以讓利益相關者清楚地看到在績效評估中收集了哪些數據、如何分類整理數據、怎樣分析解讀數據、如何得出評價結論，提升了評價的透明度和公信力，保障了利益相關者對教育評估過程的知情權和監督權。總之，隨著公眾對績效評估結果反饋的實時訴求，這種高效能、低成本的實時監測技術最大限度地滿足了人們日益提高的對績效評價工作透明度和關注度的需求。

（三）實現對項目建設進度、資金、質量的及時預警

實時監測系統按照不同的時限要求，根據公布的項目建設質量評價標準設置不同的項目建設完成進度和質量檔次要求，利用大數據采集與處理、分析與挖掘、直觀呈現等手段，對項目建設進度、項目建設任務完成率、項目建設質量得分、項目建設資金使用數量和進度等設置“預警紅線”。當某一建設項目的監測指標達不到最基本的“預警紅線”時，或者監測數據排名靠后，實時監測系統就會自動預警，提醒項目建設和管理單位及時發現問題并查找原因，并立即采取針對性措施加以改進，杜絕項目建設不達標或完不成的問題，消除項目建設的各種潛在風險。

（四）實現直觀呈現與及時反饋項目建設的現狀與問題

項目建設實時監測系統借助大數據的手段對項目建設監測指標進行技術分析和加工，并建立不同地域、不同類型建設單位項目建設觀測指標的常模數據，使雜亂無章的數據轉化為管理者所需要的數字化指標[8]，并以直觀的形式加以呈現。直觀呈現的數據信息既可充分迎合利益相關者隨時了解各項目建設動態情況的需要，也可清楚揭示項目建設存在的問題。項目建設單位和管理單位可以隨時提取和對比所有建設項目的過程數據和匯總建設成果，準確估算過程數據與建設成果匯總數據所反映出來的問題，并通過比照國家相關要求及動態縱橫對比同類地區項目建設的情況，找到本地區項目建設單位的薄弱點，并基于存在的問題采取針對性改進措施。

（五）實現對項目建設的有效引導和改進

評估最重要的目的不是為了證明（Prove），而是為了改進（Improve）[9]。管理部門和評估專家可利用監測評估系統提供監測數據和結論進行精準評價和指導，幫助項目建設單位提高建設質量，并通過數據預警對改進工作的進展進行追蹤問責，切實保障項目建設質量達標并不斷提升[10]。如國家和省級項目建設主管部門也可以通過數據模型分析并比較各項目建設單位的建設質量差距，進而采取整改、復查、約談、問責等一系列針對性措施。當地教育行政部門或評價指導部門也可以通過監測平臺隨時查詢并分析各項目建設單位相關建設指標進度和質量所處的相對位置與水平，通過在全國和省域內的精準定位，做出針對性的幫扶改進工作。

四、運用“實時監測+結果評價”績效評估方式的關鍵

“實時監測+結果評價”的績效評價方式綜合利用現代信息技術的優勢和傳統專家評價方式的長處，在項目績效評價的實踐中具有較好的使用效果，但要真正運用好還需注意幾個關鍵點。

（一）建制度與標準，實現評價工作標準化和常態化

建立成熟的項目績效評估制度和標準，實現項目監測評估工作常態化需要注意以下幾個方面：

第一，依據項目投入必進行績效評估的原則，政府管理部門要建立引入社會第三方專業評價機構監督和推進項目建設實施過程，檢驗建設成果，對項目建設的“輸入—過程—產出”全過程實施系統監測。政府要通過第三方績效評價制度推進政府職能的轉變，重塑政府、項目學校、社會在項目建設質量保障中的角色，逐步建立起決策、執行、監督既相對分開又相互制約的現代教育治理體系[11]。

第二，評價機構要針對建設項目特點制定項目建設績效評價指標體系和成效標準體系。項目建設單位擁有明確的指標體系和標準體系才能在項目建設實施中實現心中有底、手中有尺、眼中有標、胸中有計、腳下有路。因此，第三方評價機構要積極引入、建立、完善職業教育資格框架標準和辦學質量標準等“度量衡”，以便于項目建設單位確定建設目標和對建設績效進行比較、評價。

第三，評價機構需充分利用監測評估系統對項目建設的投入、項目建設的合規性、項目建設的成果進行制度化和常態化收集數據、密切跟蹤、準確描述、自動分析、即時反饋，進而依據項目建設目標和要求對項目建設工作進行評價、預警和調控，從而實現項目監測評估工作的日常化、常態化。

（二）建系統與平臺，實現“實時監測”精準化和智能化

開發和建設職教項目建設動態監測信息平臺，充分運用信息化手段的優勢輔助教育評估需要做好以下四個方面的工作。

第一，建立項目動態監測信息采集平臺。沒有教育評估的信息化就沒有現代化的教育評估體系。隨著“數字化”時代的到來，要充分利用云計算、大數據、物聯網、移動互聯網、人工智能等新一代信息技術手段與方法，快速、系統、自動、全面地收集、處理、分析、直觀呈現項目建設的所有信息和數據。一方面，基于網絡系統的充分互聯，利用網絡搜索或數據挖掘軟件對項目建設的成果信息進行采集；另一方面，讓相關政府部門、項目承擔單位、學校教師、學生及家長、用人單位以及市場等其他利益相關者積極運用監測評估端口提供項目建設的原始數據。在填報過程中，要加強對項目建設單位的培訓，做好對數據內涵的解讀，著力消除填報盲區和模糊地帶；要盡可能做到學校一次填報、多種使用，提高數據使用效率、減少重復性的數據上報，切實減輕學校填報負擔。

第二，實現相關數據庫的互通。要以項目申報單位申報時的狀態數據庫為基礎，逐步打通與其他相關部門數據庫資源的聯系，形成職業教育績效評估的“大數據”，實現縱向、橫向的數據都可以在數據庫中獲得并能相互印證。如要將有關體現教育背景狀況及教育的投入產出效益的教育事業發展年鑒數據、教育投入數據、學生獲獎及學業成績數據納入建設績效監測大數據平臺，并通過對數據平臺的框架結構整體化設計實現不同年份相關數據互通，使不同年度的指標內容和數據類型保持穩定，以便對各項目建設的發展趨勢進行追蹤分析[12]。

第三，引進、開發大數據智能監測分析系統，準確、自動地分析和呈現數據信息。靠人工手段難以及時完成對多類型的龐雜數據的分析任務，需要引進、開發智能監測分析系統對采集到和從別的數據庫調取到的教育大數據進行海量集成、智能計量、直觀分析、多維核對、目標跟蹤、關聯挖掘、可視化呈現等，挖掘數據背后的事實和根據，以此推動績效評價的網絡化與智能化。

第四，實施數據資源的開放共享和分級使用。依托“互聯網+”的泛在網絡、大數據技術和云計算技術，實時監測平臺通過“用戶端口—數據分析—評估報告”的技術手段[13]，高效、形象呈現基于大數據的伴隨式評價結果，并通過智能化、精確化的技術即時反饋給公眾，便于各利益相關者獲得不同層面的數據分析報告，既方便評估機構和被評單位直觀了解建設相關指標在同類單位中的相對排序，明確優勢和不足，為后續改進工作、制定教育決策提供依據，又能吸引公眾參與項目績效信息分享，為問責制度的建設奠定公眾基礎。

（三）強隊伍提水平，提高評價專家的專業化和信息化水平

“實時監測”屬于新的評估輔助手段，大部分評估專家并不具備運用信息技術和教育測量與評價的專業知識去解讀數據化的實時監測結果并從海量數據中精準發現建設項目中存在的不足及提出恰當的改進措施的能力。因此，對專家培訓要特別關注評估專家準確了解“實時監測”數據的內涵和作用，提醒評估專家在結果評估中充分運用“實時監測”的客觀數據，增強評估專家“用數據說話”的評估技能，幫助評估專家讀懂“實時監測”數據結果并從中找出項目建設中存在的各種問題，并結合專家自身的工作經驗進行原因分析，以此推動項目建設工作不斷提升。

第一，提高準確和完整地解讀“實時監測”結果的水平。要實現對監測結果全面和客觀的解讀，不能只關注項目建設的表面成效而忽略學校的長遠發展，只關注建設項目的橫向排序而忽視建設項目自身的增值評價。

第二，提高找準項目建設不力責任者的能力。監測結果反映出的問題往往是混沌模糊的，但評估專家提出的整改意見需要精準定位，要明確整改的責任者。如建設經費和資源不足的原因是當地政府保障不力，需知會政府統籌協調；建設思路不清是項目建設單位管理水平不高的原因，需學校管理者借助專家資源理清思路。

第三，提高項目建設不力的原因分析水平。監測結果呈現出來的問題可能只是淺表化和形式上的，不找出它背后的本質原因難以從根本上扭轉項目建設的不利局面，可通過專家集中討論方式使專家集體的質性分析和量化的評估監測數據相互印證而找準原因。

第四，提高直觀呈現評估結論的水平。專家要學會利用智能化的數據分析系統，用簡單、直白、易懂的形式表達評價結論，實現評估結論表述和反饋的簡單化、直觀化、親民化，杜絕用晦澀難懂的語言和數據公式表述和反饋評估結果。

（四）多主體廣參與，增強評估過程的體驗性和開放性

教育治理應該構建“政府、市場和社會”共治的治理格局，強調政府主體之外的行業、企業、社會中介組織以及個人等多元化社會主體參與[14]，拓寬利益相關者參與的途徑，增強評估過程的體驗性和開放性，落實教育治理現代化的理念。

首先，實時監測平臺要為社會公眾、教師、學生、家長等利益相關者在項目建設績效評估活動中便捷、快速、充分參與教育評估工作提供方便，要專門建設為項目建設單位的教職工、學生及其家長、社會其他利益相關者提供各類信息查詢的途徑，并及時公布項目建設進度與評價結果。

其次，在績效評價指標體系中要增加教師、學生等利益相關者的滿意度調查，并利用信息技術等便利的調查手段吸引他們參加調查活動，降低大眾參與監督成本，為他們參與教育評估活動創造途徑。

最后，要建立評估信息主動公開制度。評估制度、評估標準、運轉規則、進展情況、評估團隊自身構成、評估結果等信息需通過相關APP或機構官網等多種渠道主動、及時公開，提高評估工作的透明度，減少因信息不對稱而形成的操作空間，避免評估失范行為的發生，為評估結果的真實可信性奠定基礎。

（五）強應用泛效益，擴大績效評價結果的應用面和適度的利益相關性

績效評價結果的應用面和是否有利益相關性決定著績效評估作用的大小，績效評價所具有的激勵、診斷、改進和服務作用的發揮需要提高績效評價結果使用的范圍和利益相關性。

首先，項目建設單位不但要充分利用“實時監測+結果評價”的評估意見對績效評估所呈現的問題進行深度分析，積極改善內部質量保證機制，并有針對性地調整與改進項目建設工作，還要將項目績效評價結果與學校內部教育資源分配建立聯系，在學校內部建立教育資源的競爭機制，根據項目績效評價結果實現辦學資源的動態調整與合理分配，以此提高教育資源使用效益，增強學校的辦學活力。

其次，政府可利用項目建設評價結果實施宏觀管理。一方面，政府可根據績效評估結果判斷項目建設的實際效果，并調整相關政策和制度；另一方面，政府還可將項目績效評估結果與其它獎勵性財政撥款掛鉤，形成教育市場的競爭機制，進而激勵學校提升項目建設水平和質量。如在新一輪“雙高校”“產教融合”項目評定時對前一輪獲得項目建設績效優異評價的建設單位給予一定的加分，當然，也要防止項目績效評估結果與財政撥款之間建立過于直接的聯動關系，而只能是一個參考性因素，否則會導致被評院校在績效評估中出現弄虛作假的行為。

最后，對于其他利益相關者而言，可以利用評價機構經官網、各類媒體等多樣化渠道主動向社會公開的評估結果為自己的選擇服務。如為行業企業選擇合作辦學院校或進行人才招聘提供信息參考、為學生家長選擇理想的學習院校提供信息參考、為投資者對擬合作院校或專業的教育發展狀況進行綜合考察，為其是否選擇投資以及選擇何種投資方式等提供有效的信息參考[15]。