上海市職業教育開放實訓中心評估的整體設計與理論探索

劉蘋蘋， 韓正之,2

(1.上海市教育評估院， 上海 200031; 2.上海交通大學 電子信息與電氣工程學院， 上海 200240)

0 引 言

管、辦、評是行政管理中三項最有效的措施，管辦評分離是提高管理質量與效率的重要舉措。近年來，國家多次強調教育管理的管辦評分離。2015年5月，教育部發文《教育部關于推進教育管辦評分離、促進政府職能轉變的若干意見》(教政法[2015]5號)，明確管辦評分離是教育綜合改革的重要內容，“各地要把推進教育管辦評分離作為轉變政府職能、深化教育綜合改革、推進依法治教的重要任務和有效抓手”[1]。此后，管辦評分離一直是教育管理研究的一個重要話題，近千篇文章從理論到實踐對管辦評的“分”和“合”問題進行了探討[2-4]。從唯物主義的觀點看，“辦”是第一位的，一切改革的成果都要通過“辦”才能體現出來，才能讓人民群眾有確確實實的“獲得感”。管辦評中的“評”就是教育評估，“以評促建，以評促改，以評促管”，說出了“評”是教育改革、教育發展不可或缺的助推器。

上海市職業教育開放實訓中心(以下稱開放實訓中心)的設置與建設是上海市職業教育的一張名片。本文結合驗收評估、績效評估和等級認定兩項評估工作，具體說明評估設計需要整體設計，需要著眼對評估對象全程跟蹤；還探討了整體設計對教育評估理論發展的促進作用。

1 上海市開放實訓中心的設置與等級認定

從世界范圍來看，就業一直是高等教育的主要目標之一。例如歐洲，博洛尼亞進程始終強調高等教育改革是為了提高民眾終生的就業能力[5]。在我國，2004年《教育部關于以就業為導向，深化高等職業教育改革的若干意見》(教高〔2004〕1號)指出職業教育要“以就業為導向”，并且要求“特別重視高等職業院校實習實訓條件的建設”。此后，各級各類職業院校紛紛建設實訓基地。就在上述文件頒發的當年，上海市以“先行者”和“排頭兵”的勇氣、秉承全國教育綜合改革試驗區的使命，著手籌建職業教育開放實訓中心，在實訓中心前冠以“開放”二字，旨在向社會開放，不但讓在校師生受益，而且讓全社會受益。

1.1 舉辦上海市開放實訓中心

上海市開放實訓中心設置在職業學校內，采用學校出資、企業參與、政府資助的方式舉辦。學校根據自身專業特點和學科專長向上海市教育委員會提出舉辦開放實訓中心的申請，經市教委審核批準后開始籌辦，學科基礎、學校出資和企業參與是舉辦開放實訓中心的先決條件。批準籌辦的開放實訓中心經過1到2年的籌辦之后，按照“建成一個，驗收一個”的原則，由上海市教育評估院組織驗收評估。通過驗收評估才能掛牌為上海市職業教育開放實訓中心。

1.2 上海市開放實訓中心評估及指標體系

驗收評估指標系統于2006年首次頒布，2016年修訂。修訂后的版本有7個一級指標，含19個二級指標，每個二級指標有若干個具體的評價要素，共有30個要素。這30個評價要素分成3類，即必備要求(19個)、發展性要求(7個)和指導性要求(4個)[6]。其中，必備要求是驗收通過必要條件，發展性要求只需要部分達到，4個指導性意見都在第7個一級指標“特色建設”中，指出開放實訓中心的發展方向[7]。

上海市于2012年開始實行開放實訓中心的績效評估和等級認定，2016年修訂了《上海市職業教育開放實訓中心運行績效評估指標體系》[8]并于當年開始執行。績效評估的指標體系有5個一級指標，15個二級指標，31個評估要素，另外還指定了支撐評估要素的數據或材料名稱。績效評估與等級認定同時進行。為了幫助各中心確定自己申報的等級，上海市教育評估院頒布了《上海市職業教育開放實訓中心運行績效評估自評核心標準》[8]，該標準一共9項，每項都分“合格” “良好”和“優秀”3個等次要求，分別對應了“一星級” “二星級”和“三星級”，參加等級認定的單位根據這些要求可以確定申請的等級和明確進一步發展的方向。“四星級”和“五星級”的認定的基本要求與低星級一樣，但是另外有7項標準[8]。這7項標準都不是定量的，申報者須從這7個方面敘述自身業績，同時要求在某些方面有所突破。例如申報四星級的單位，必須就7項中的兩項重點闡述自己的特色做法，而申報五星級的單位，則要求就其中4項做特色介紹。

1.3 上海市開放實訓中心的評估過程

開放實訓中心的驗收評估、績效評估和等級認定都采用自評-審核-頒布程序。驗收評估要求各開放實訓中心根據《上海市職業教育開放實訓中心建設驗收評估指標體系》進行自查，根據上海市教育評估院設計的《基本情況統計表》填報具體支撐數據或材料，完成自評報告。上海市教育評估院組織專家進行網評，根據網評結果發布合格或不合格的公告。

績效評估和等級認定的程序與驗收評估類似，申報低星級的開放實訓中心根據《上海市職業教育開放實訓中心運行績效評估指標體系》和上海市教育評估院提供《自評總結報告撰寫提綱》撰寫自評報告。申報材料先由專家進行網評，然后按照不低于10%的比例對申報低星級的開放實訓中心進行實地評估。申報高星級的開放實訓中心也需要根據上述兩個文件和《上海市職業教育四星級、五星級開放實訓中心認定標準》撰寫自評報告，經過專家網評后，還需要接受為時一天的專家實地綜合考察，考察形式包括查閱原始資料，師生訪談，實地察看等。

等級認定的結論先在網上公示，經質疑期而無異議者由上海市教委頒文認定。

2 教育評估對上海市開放實訓中心建設的促進作用

根據現代評估理論，對一個對象實施評估有四個要素：評估項目、指標體系、評估過程的設計和評估結論的應用[9]。在教育評估過程中，評估項目設計要有發展的引領作用，評估指標設計要有建設的標準作用，評估過程設計要有效能的提升作用，評估結論的應用要有持續的激勵作用。上海市職業教育開放實訓中心建設項目曾于2015年獲國家及教育成果二等獎，本著全國教育綜合改革試驗區再接再厲、不斷創新的宗旨，上海市于2016年全面修訂了職業教育開放實訓中心的評估設計。現結合上海市開放實訓中心建設，從評估項目設計、指標建立、過程開展和評估結論應用四個方面來闡述職業教育實訓中心評估的整體設計，分析教育評估四個要素對教育發展的意義和作用。

3.1 危害特點：幼蟲以蛀食葉片上下表皮間的葉肉細胞為主，常在葉片上形成曲曲彎彎的蛇形隧道。隧道前端較細，隨幼蟲長大，后端隧道較粗。

2.1 評估項目的設計要發揮引領作用

上海市第一所職業教育開放實訓中心于2005年掛牌，時至今日，還不斷有學校申請舉辦開放實訓中心，說明開放實訓中心對職業教育發展的促進作用，也提醒上海市開放實訓中心的發展水平不可能在一個水平上。如何對開放實訓中心進行教育評估，同時促進不同發展水平的實訓中心都能繼續創新發展是這一制度設計的核心。在總結開放實訓中心成功經驗的基礎上，參考了2013年國家對于高等教育的評估設計，上海市對于職業教育開放實訓中心的評估分成驗收評估和績效評估兩個階段，在績效評估的同時開展等級認定，同時這些評估的執行時間設置了要求。

按照上海市確定的“建成一個，驗收一個”原則，對批準設立的上海市職業教育實訓中心在批準后的2年里要進行驗收評估，主要驗收實訓中心在硬件和軟件建設方面是否達到對校內師生和校外民眾開展實訓的基本條件。驗收合格是對硬軟件基本達標的裁定，是實訓中心的出生證。績效評估則要檢查開放實訓中心掛牌后的運行情況。制度規定，驗收合格的實訓中心必須在兩年內接受績效評估，以后每3年內必須再接受一次績效評估和等級認定。等級認定分成一星級到五星級，這種設計給開放實訓中心不斷發展的空間。

驗收評估和績效評估的兩階段設計具有連貫性，引領實訓中心在基本硬軟件達標后重點放在績效建設上，從外延發展轉到內涵發展，確實提高自身的實訓水平，而星級提升則要求開放實訓中心不斷辦出新意。出于城市發展需要上海市政府每年會向開放實訓中心提出新要求，例如在2016年提出要開放實訓中心服務于上海科創中心的建設，培養科創中心需要的藍領人才；根據國務院對“產教融合”人才培養方式改革，2017年提出要舉辦社會體驗活動，讓更多的市民了解開放實訓中心，吸引他們參加培訓活動； 2018年又鼓勵開放實訓中心向中小學生開放。并與星級提升相輔相成，各實訓中心結合專業特色，積極落實政府要求、制訂活動計劃、創新工作經驗為星級提升準備素材。

2.2 指標體系的設計要具有標準建設意識

在評估學中，“指標是用來衡量某事物在一定時期內預期目標達成情況的指數、規格或者標識等”[9]。“指標作為一種評價準則”[10]，因而是“整個評估的依據”[11]，就是說指標對于評估是“標準”，起著衡量的作用，而這種標準會自動地轉化成評估對象建設的模版。在上海市開放實訓中心的籌建中，各實訓中心自覺地將驗收評估指標作為建設的方向，努力地達到這些指標要求，因此驗收指標在開放實訓中心籌建中發揮了標準的作用；對于參加驗收評估專家來講，這些指標是用來衡量中心是否可以通過驗收的標準。

標準的基本要求是權威性、確定性、可量測性以及層次性。作為評估使用的指標系統，除了這四方面的要求之外，還需要與評估目的的一致性，進一步，作為對開放實訓中心評估工作的整體設計，在指標設計上還必須保持驗收評估和績效評估在整體上的連貫性和階段上的區別性。下面以“培訓”要求為例，說明在指標設計中的整體考量。

實訓中心的核心是培訓，圖1給出了驗收評估、績效評估和等級認定(優秀)中關于校內和社會開展實訓的指標中的要素設計。從圖1可見，驗收評估主要考核“有沒有”的問題，只要求能提供本校師生的專業培訓，和社會培訓人次不低于本校師生培訓人次；績效評估指標則要考核“好不好”的問題，要求全面滿足本校師生的專業培訓，而且要求有一定的取證率和得獎率，對于社會培訓則提出更具體的要求；在等級認定的核心指標中“優秀”的標準則顯示出更高的要求，讀者如果對其他數值沒有感覺，那么從“≥市平均值+20%”可以看出明顯高出一截的要求。圖1給出的指標設計不但具有階段性和連貫性，而且帶有明顯的逐級提升的態勢，這種要求的提升鼓舞了被評對象不斷努力，爭取達到新的更高標準。

圖1 培訓指標的提升型設計

由于指標體系的標準作用，各開放實訓中心對照指標建設，努力達標，恰如其分斷定自己可以申請的等級，因此驗收通過和等級認定的效率是極高的。

2.3 評估過程的設計要重視效能提升作用

第四代評估理論被稱為是基于構建主義的評估理論，古貝與林肯又進一步指出是回應式構建主義評估[12-13]，強調被評估方與評估方之間的交互作用，增進評估效能的提升。這與“以評促建”完全吻合。在21世紀的第2個10年，第四代評估理論被廣泛地應用到我國教育評估的實踐中。

按照通常的理解，評估雙方的交互主要體現專家評估過程。專家的參與可看成是一次集體會診。上海市教育評估院多元化地聘請參與開放實訓中心評估專家，有行業企業成員、職教院校的老領導、市教科院的職教專家，以及當前職業院校的一線干部，他們熟悉職業教育，有豐富的教育管理經驗，特別是對職業教育的政策、現狀，甚至對各個學校的情況都非常熟悉，因此他們的意見和建議具有很強的針對性，對于中心的建設與發展，效果明顯。根據上海職教在線刊登的報道，在評估中，專家們主要對數據統計的規范性、規章設計的嚴密性和管理措施的科學性提出了指導意見，主要集中在開放實訓中心的“內涵建設”領域。報道說專家們高屋建瓴的指導對于開放實訓中心的效能提升有著積極的意義。

近年來，在上海市教育評估機制設計中，自查自評也被當作一項重要的交互過程，這是被評估方與評估方通過指標的交流與交融，將自查自評過程看成是被評對象與評估指標之間的一個持續的互動。為了落實自查自評作用，上海市教育評估院不但公布開放實訓中心評估的所有指標系統，而且提供自評報告撰寫提綱和支撐指標的數值要求，方便被評估方自查和撰寫自評報告，真正落實“以評促建”的目的。根據上海職教在線提供的新聞，絕大多數開放實訓中心都非常認真對待驗收評估和每一次績效評估和等級認定。在提出驗收評估申請之前，開放實訓中心所在學校領導大多會親自組織會議，逐條對照驗收指標，認真檢查達標情況。由于學校領導召開會議，校內各相關部門負責人悉數到位，對照指標體系查出來的不足，現場指定職能部門限時解決。自查讓全校一起參與到中心的建設中來，解決存在的問題，提升中心的效能。這種自查自評設計順應了第四代評估理論要求。

2.4 評估結論的應用要發揮持續激勵作用

評估結論的應用是評估過程中的一個重要的環節，李克強總理曾在國務院常務會上要求各部門用好第三方評估成果[14]。然而在實際中，很多被評估單位只關心評估結果，通過還是不通過，或者幾個A、幾個B，而對理解評估結論所蘊含的用意，應用評估結論指導今后工作做得相對不夠。為了突出評估結論的持續激勵作用，上海市在評估制度設計中下了功夫，用評估結果來促使被評單位自覺地產生不斷進步的愿望。

上海市開放實訓中心的兩類評估結論，以上海市教育委員會的名義頒文，頒文只涉及通過不通過或星級，并在上海市教委的官網和上海職教在線上公布，專家在評估過程發表的意見則總結轉告學校。但規定開放實訓中心的舉辦申請批準后，必須在2年之內建成并組織驗收，因此申辦批準就促使被評估方按照驗收要求加緊建設；驗收評估通過后，制度要求在2年內進行績效評估和等級認定，也就是說，工作重點轉移了，必須花大力氣提高實訓效益；期間，各中心對照“績效評估自評核心標準”，積極找出薄弱環節，補齊短板，努力達標；在首次星級認定之后，制度規定每3年須再進行一次績效評估和等級認定，因此各實訓中心必須持續地針對“績效評估自評核心標準”嚴格要求自己，積極響應政府的號召，結合新要求努力創新，創造新成果提升等級的條件。

3 開放實訓中心評估對教育評估理論探索

上海市開放實訓中心的評估工作對于教育評估理論做出的貢獻，突出的是對分類評估的探索。

分類評估起于高等教育，是在高校第一輪本科教育水平評估以后提出來的，因為在那一輪評估中對所有高校采用了同一指標系統，沒有顧及各類高校的特點，于是就有人提出要分類評估，風靡一時。然而“將高等教育分類是一個世界性難題”[15]。盡管如何分類沒有解決，但是有文章開始研究分類評估的指標系統設計：有人認為應該有不同的指標體系，有人提出按照教育使命可以設計不同的模塊，對不同類型的學校評估時可以選取不同模塊的組合，有人提出相同的指標系統但是權值不同，又有人提出統一指標系統和權值，但是觀測點可以不同等等。

一個評估項目通常是對同一類對象進行的，因此可以認為這類對象屬于一個概率分布。對N個對象分類，有兩種極端的情形：分成一組或分成N組(每個對象一組)。既然在討論分類，那么這兩種極端的分類一定不會是最好的，從而需要研究根據某個目標函數確定合適的分類數。在數理統計中分類數也是一個研究專題[16]，但在教育評估中幾乎沒有任何研究。

從評估的本源講應該有一個統一的標準，而從被評方的現狀看，分類評估又是必須的，在上海市開放實訓中心的評估設計中是怎樣解決這個矛盾的呢？

根據上海市教育年報，截至2017年年底，上海市建有94個市開放實訓中心，涵蓋30多類專業(工種)。有信息技術(計算機)、電子與通信技術、數控技術應用等涉及先進技術的職業，也有食品工藝與檢測、化學工藝、海員職業等交叉程度較大的職業，還有工藝美術、烹飪、會計等相對傳統的職業。這些職業在從業人數，崗位增長速度、社會飽和程度、實訓設備、實訓師資、技術含量等等都有很大區別。例如數控技術應用專業至少要有一臺比較先進的加工中心，其價格在千萬以上，而烹飪與會計需要的設備卻較簡單；又如隨著上海市5個中心建設的深入開展，數控技術、數字娛樂業、金融業、生物技術的人才需求量急劇增加，這些專業實訓中心生源充沛，而現代物流管理、會計、制冷技術的管理人才相對飽和，實訓中心的生源也受到影響。差別的存在說明分類的必要。面對極大的差異，上海市開放實訓中心的兩類評估還都各自采用一套指標系統。那么怎樣體現分類評估的呢？

如試卷的命題規則一樣：考題內容分基本知識點，拓展知識點和創造性應用；考試是60分就及格！也許是受了這點啟發，開放實訓中心的兩個指標系統設計都給出了若干個評估要素，而這些要素被分成必備要求，發展性要求和指導性要求。通過驗收評估不需要達到100分，只要達到必備要求，部分發展性要求，考慮過指導性要求就行。必備要求在要素的數量上絕對占優，這些必備條件反映了“開放”“實習”和“訓練”的基本內涵，是所有開放實訓中心必須達到的。而發展性要求反映的繼續發展的潛力，可以是選擇性地達到，指導性要求不是硬性規定，這些指標的合理設置充分體現了對分類評估的考慮。將評估要素分成三類能很好地照顧了各類不同職業開放實訓中心的特點，體現分類評估的精神。例如“實訓裝備的技術含量、技術水平應與企業當今的主流生產技術”相同，對于烹飪、會計等專業來說是比較容易辦到的，而對于日新月異的數控技術、生物技術、汽車運用與維修等專業要與主流技術同步有一定難度，尤其在上海這樣一個飛速發展的環境中。所以這項列為發展性要求，對于發展特別快的專業，僅要求有一定程度反映。這樣做的成效較明顯。所有的開放實訓中心都能一次通過驗收，很大程度上取決于有必備條件托底。

相似地，在績效評定中，在績效評定指標中抽出9項核心指標，并且這9個核心指標的“合格”作為績效評估和等級認定的必備要求，其他則作為發展性或指導性要求。由此可以照顧到不同專業(工種)的特點。高星級開放實訓中心的認定則是更加靈活。除了必須達到三星級的必備條件之外，四星級中心只要就7項標準中的兩項有突出成績就可以申報，更是充分估計各類開放實訓中心的特點。

2016年修訂指標已經運行了3年，各類中心基本都認同這些評估指標系統和評估方法，說明這些指標系統和評估方法基本達到了通用和分類的辯證統一。

4 結 語

管辦評是行政管理的三項最主要手段，在上海市職業教育開放實訓中心建設中，教育評估起到了重要的作用，而使得這種作用具有持久性和發展性，整體設計是重要環節。理論是實踐的指導，在實施整體設計的過程要不斷地根據國家對教育發展的總體部署、教育評估的理論發展和評估對象的變化，全面地設計評估內容、評估指標和評估過程，必須設計好評估結論對評估對象發展的指導作用，讓教育評估成為促進教育發展重要手段。