大數據背景下高水平專業群建設成效評價體系構建

宋楚平 陳正東 路雅淇 朱永君 邵世智

摘 要 中國特色高水平高職專業群建設呈現數據多源化、數據海量化、數據多維化特征，在此背景下帶來高水平專業群建設成效評價的困境，即高水平專業群建設成效評價標準的缺失、群內信息的共建共享和溝通不暢問題突出、大數據支持下的評價指標體系尚未形成。基于科學性、可操作性和定量性三大原則，運用層次分析法對專業群實踐工作進行分析，構建出高水平專業群建設成效評價指標體系，并提出評估分值計算方法，為當下中國特色高水平高職專業群建設提供一種新的評價工作思路和操作方法。

關鍵詞 高水平專業群;高職院校;建設成效;評價體系;大數據

中圖分類號 G719.2 文獻標識碼 A 文章編號 1008-3219（2021）29-0071-05

自2006年11月16日教育部在《關于全面提高高等職業教育教學質量的若干意見》（教高[2006]16號）中提出“高職院校要建立專業群，以提高服務面向，增強學生就業能力”的要求以來，專業群建設逐漸成為高職院校開展人才培養改革的重要載體。2019年隨著中國特色高水平高職學校和專業建設計劃（簡稱“雙高計劃”）的實施，高水平專業群建設正式納入國家頂層設計的范疇，成為高職院校革新人才培養模式、促進地方區域性產業發展、提升人才培養質量的關鍵抓手。隨后，各省市為響應“雙高計劃”，啟動了以“引領改革、支撐發展、特色鮮明、融合發展”為主要目標的高水平專業群建設工程。各地高職院校紛紛啟動了面向區域產業、圍繞職業崗位、依托共享資源等不同模式的高水平專業群建設工作。但專業群建設得怎么樣、建設成效如何評估，目前相關研究還十分缺乏，國家層面也尚未出臺統一的評價標準和評價辦法。因此，為明確專業群建設依據、落實建設計劃、監督實施過程、評估建設成效，基于大數據開展專業群建設評價體系研究顯得尤為重要。

一、專業群建設的大數據特征

作為教育信息化、網絡化、智能化的一種教育教學組織形式，專業群涵蓋行業企業、師生隊伍、課程教材、儀器設備、財務資金等各個方面的內容，隨著專業群建設的不斷深入，任何一個教學對象和資源要素都可以在信息技術的支持下產生數據，專業之間的跨界融合會越來越強烈，多元化、多樣化和復雜化將是專業群建設數據發展的必然趨勢，這也就決定了專業群建設的“大數據”形態。

（一）專業組群重構數據的多源化

“雙高計劃”中專業群所含專業數以3～5個較為普遍，其中跨2個及以上專業類組群的占比高達85.4%[1]。由此可見，專業群的出現打破了原有專業之間的邊界，重組了不同專業的師資、課程、設備、實習實訓等資源。以南京科技職業學院省級高水平專業群“化工裝備技術”為例，該專業群以化工裝備技術專業為龍頭，包含數控技術、電氣自動化技術、工業過程自動化技術、云計算技術與應用4個專業，所有專業合力對接新一代化工裝備智能制造產業鏈，進而形成一個全新的“政—?！蟆怠獙！n”教學組織共同體。這種多元主體構成的專業群在建設中產生的數據必然表現為一種新的數據樣態，即多源化，這種多源化的數據形態勢必會給專業群的評估決策帶來困難。

（二）專業群教育教學數據的海量化

專業群建設的初衷就是要發揮專業集群優勢，加快專業間的融合與創新，增強專業群服務區域產業和經濟發展的能力，這種協同性的專業群建設所開展的教育教學活動，產生了大量各種各樣的數據。如南京科技職業學院“化工裝備技術”專業群內有學生231人，專兼職教師23人，課程總數92門（含共享課程11門），群共享合作企業8家，在高水平專業群建設計劃推進過程中，存儲了人才培養模式創新、課程體系與教學資源、教材建設與教法改革、教師教學創新團隊建設、產教融合平臺建設、服務發展能力提升、管理體制和運行機制等方面的大量數據，這些數據每日都在快速增長，積累起來的海量數據為評估專業群建設成效奠定了數據基礎。

（三）專業群建設數據的多維化

根據教育部、財政部2020年12月21日發布的《中國特色高水平高職學校和專業建設計劃績效管理暫行辦法》（教職成[2020]8號）[2]，專業群建設數據采集指標含產出、效益、滿意度3個一級指標、6個二級指標、26個三級指標，這里既包含學校自評指標，又包含用人單位、學生家長等第三方評價指標;既有人才培養模式創新、課程教學資源建設等相對靜態的指標，又有任務完成進度、引領職業教育改革發展和人才培養的貢獻度等時效動態指標，這些繁多的指標體系直接導致專業群建設數據的多維化和微觀性。為了窺視多維數據中隱藏的專業群建設缺陷，科學評價建設成效，必須將大數據技術賦能專業群建設，設計合理有效的評價體系，以信息化手段持續驅動專業群建設質量的提升。

二、高水平專業群建設成效評價存在的困境

目前，高水平專業群處在建設的初級階段，還沒有經歷一個完整的建設周期，對專業群的建設成效如何評價，如何達到以評促建的目的，仍存在諸多問題，總體來說，開展專業群建設的成效評價遇到以下挑戰。

（一）高水平專業群建設成效評價標準缺失

對于建設效果及目標達成的評價，《中國特色高水平高職學校和專業建設計劃績效管理暫行辦法》（教職成[2020]8號）中明確指出：評價工作主要包括學校自評、省級評價、兩部復核與綜合評議，評價工作應當做到職責明確、相互銜接、科學公正、公開透明。但暫行辦法并沒有給出一個規范性的建設評價文件標準，各省級教育主管部門也沒有制定一個指導專業群建設的指標體系。因此，高職院校在進行高水平專業群建設時就很容易出現建設效果與建設目標不匹配，以及建設方向缺失“航標”等問題。

（二）群內信息的共建共享和溝通不暢問題突出

專業群建設不是群內各專業“單打獨斗”，更不是各部門各院系“單兵作戰”，專業組群的主要目的之一就是打破專業界限、破解院系組織壁壘，整合資源與共享信息，提高辦學效益。相關研究表明，專業群建設過程中“信息孤島”現象普遍存在，部門院系之間、政校企之間在建設層面的信息溝通和數據共享未能實現，具體表現就是建設數據缺乏系統設計，政府、學校、師生、企業及家長等相關利益者在建設期間的信息溝通與反饋不及時，建設任務涉及多個部門或院系時執行難度較大[3]。

（三）大數據支持下的評價指標體系尚未形成

基于大數據開展高水平專業群協同建設是教育信息化、教學數字化的必然產物，也是國家戰略層面職業教育創新發展的內在需求。因此，高水平專業群建設是以專業交叉融合為切入點，基于專業群建設全要素，采用大數據技術手段對建設內容和預期成效作出實時診斷和評價的過程。令人遺憾的是，目前全國范圍內還沒有建立一套數據支撐的建設成效評價體系，直接導致多數高職院校在專業群建設方面只有群的外在形式，缺乏統一的數據支持，違背了專業組群的初衷。

三、高水平專業群建設成效評價體系的構建原則

只有建立了科學、規范的專業群建設成效評價體系，才能更好地引導專業群建設方向，客觀評價建設成效，正確診斷建設中存在的問題，真正實現以評促建，保證專業群建設質量。在構建評價體系過程中，要遵循以下基本原則。

（一）科學性原則

評價體系的制定工作必須要在科學理論的指導下，靈活運用對標法、層次分析法、數據包絡分析法、公眾評判法等開展評價體系設計，如對建設指標進行全面梳理，抓住關鍵環節，掌握全面的信息，聚焦評價的核心要素，明確評價目標，合理甄別各評價指標的權重，分階段有序開展論證工作。評價工作的科學性還表現為評價指標能適用于反饋專業群建設中多變量、大系統的各種新問題，以實際建設數據為依據，方便開展獨立評價活動。

（二）可操作性原則

評價體系要適用于內部評價、同業互評、外部評價等多種評價方式，既要涵蓋與預設的目標、成果的橫向對比內容，又要包含與上一時段預期建設效果縱向對比的內容。根據專業群建設方案和上級主管部門評價要求，將建設任務轉換成可觀測、可檢測的評價指標，做到有據可評、評價有序。如對教學團隊建設的評價可以分級設計，既有“雙師”數量、專兼職教師結構等通用指標，又有領軍人物、能工巧匠等特色指標，盡量避免主觀評價，增強評價的可操作性。

（三）定量性原則

在對專業群績效目標定性分析的基礎上，將表征考核項目的數量指標、質量指標、時效指標和效益指標等描述清楚，即便是一些定性考核的項目，也要以定量考核結果為依據，充分發揮大數據在評價中的賦能作用，確保評價結果客觀可信。以“人才培養模式創新”評價項為例，數量指標反映的是學校在立德樹人文化體系、校企合作培養人才等方面完成的改革數量及學生受益人數等;質量指標反映的是人才模式創新效果和達到的水平，如教學成果獎和學生獲獎等級等;時效指標反映的是建設完成度和效率情況;效益指標反映的是此項改革所產生的成本效益和對社會、行業帶來的數量影響和對比效果。上述定量指標為后期的可視化評估活動奠定了數據基礎。

四、高水平專業群建設成效評價體系構建

基于上述基本原則，本研究依據國家“雙高計劃”建設內容和績效管理要求，借鑒中國特色高水平專業群建設經驗，結合南京科技職業學院省級高水平專業群建設成果，利用層次分析法[4]將高水平專業群建設成效評價問題分解為不同的評價組成因素，確定專業群建設產出數量、產出質量、效益和滿意度等4個一級指標，然后根據專業群建設的目標鏈和標準鏈，從學校層面、專業群層面、課程層面、教師層面、學生層面、校企合作層面以及國際交流層面科學設計二級評價指標及權重，以專家組專題會議的形式推敲各指標項和權重值。具體做法是，若80%以上的專家勾選該指標，則選用該指標，否則舍棄該指標項，三級指標的設計也采用相同的做法進行篩選，最后形成形成1～3級指標矩陣。從1級指標矩陣開始，由專家組按重要性或影響大小對其中的指標進行5級排序（排序過程中相同重要性的指標可以賦予相同的權重分），按排序大小分別用數字5、4、3、2、1填充矩陣，然后按下列公式計算第i項指標的權重值wi。

上式中fi是矩陣中第i項指標的權重得分，其他2級和3級指標矩陣也采用上述方法計算各指標的權重，隨后逐項檢查并結合大家的意見，最終形成如表1所示的包含105個觀測點在內的高水平專業群建設成效評價指標體系。

基于上述評價指標體系，利用下面式來計算高水平專業群建設成效的評價分值S。

公式中pk是第k個一級指標的權重值，pki是第k個一級指標下第i個二級指標的權重，pkij是編號為ki的二級指標下第j個三級指標的權重，函數 的取值= ，

其中xkij是編號為kij的三級指標的實際值，tkij是此項三級指標的學校預設目標值。經過迭代計算，就能計算出建設成效的總體評估分值S。當S<60時，評價結果為不合格，若60≤S<90，評價結果為合格，如S≥90，評價結果為優秀。此外，利用上述公式還能逐項計算出目標值與實際值之間的偏差，繪制出動態的時效進度曲線，體現“對比度”。另外，公式還可以分級統計出各一級或二級指標的評價值，突出各評價值的結果導向作用。例如，產出質量指標中“人才培養模式創新”的評價值如果明顯偏低，則建設院校要加強教學改革力度，以教學要素體系改革為切入點，必要時需重新調整人才模式創新思路，以提高育人模式創新效果。

高水平專業群評價體系的構建，為建設方、評價方及相關利益者之間建立共建共享數據鏈奠定了底層數據結構和評價框架。運用評價分值計算方法，不僅能分級統計建設成效和工作進度，還能多維度分析專業群建設的質量和效益，實現對高水平專業群的建設績效進行客觀公正的評價，保證評價結果的可信度。同時，量化的評價結果可供院校參考決策，及時發現建設中存在的問題和不足，以便適時調整建設方向和力度，最終達到以評促建的目的。然而，評價活動本身就是一個不斷動態變化的過程，涉及的評價對象和狀態數據都因時而動，本文的評價體系只是在南京科技職業學院實踐中得到應用和檢驗，其中的指標和權重仍需在后續研究中進一步優化和完善。

參 考 文 獻

[1]王亞南，成軍，王斌.高職教育專業組群的邏輯依歸、形態表征與實踐方略——基于253個高水平專業群申報資料的質性文本分析[J].高等教育研究，2021（4）：84-93.

[2]教育部，財政部.關于印發《中國特色高水平高職學校和專業建設計劃績效管理暫行辦法》的通知[EB/OL].（2020-12-23）[2021-07-09].http：//www.moe.gov.cn/srcsite/A07/moe_737/s3876_qt/202012/t20201225_507515.html.

[3]徐潔.“雙高”建設背景下高職院校內部質量保證體系診斷與改進路徑[J].中國職業技術教育，2021（1）：81-87.

[4]馬燕，汪愛珠，郭惠芬，等.基于AHP的教師教育學科群評價指標體系研究[J].現代教育管理，2021（7）：81-88.