基于層次分析法的職業教育專業教學資源庫績效評價指標體系的構建

鄭 穎，徐高峰，童章成

(杭州職業技術學院 a.商貿旅游學院；b.達利女裝學院；c.財務處，浙江 杭州 310018)

一、 職業教育專業教學資源庫建設及研究概況

職業教育專業教學資源庫(以下簡稱資源庫)是“互聯網+職業教育”的重要實現形式。教育部職業教育與成人教育司于2020年2月11日發布《關于在疫情防控期間充分利用職業教育專業教學資源庫組織好職業院校在線教學活動的通知》，以203個國家級資源庫全面開放的方式，充分發揮資源庫“能學、輔教”功能[1]，積極響應落實疫情防控期間“停課不停學”的要求。在新冠肺炎疫情防控期間，資源庫發揮的作用得到了充分彰顯。

資源庫建設自2010年啟動以來，經過10余年建設，已初步形成了國家、省、校三級互補的優質資源共建共享體系。根據“職業教育專業教學資源庫項目管理與監測系統”[2]數據顯示，截至2020年3月31日，共立項建設國家級資源庫203個(其中95個已通過驗收)，覆蓋了高職(專科)19個專業大類和22個民族文化傳承與創新項目，參建院校1 355所，開發各類資源369萬余條，注冊用戶1 225萬余人，累計訪問超過19億人次。資源庫重點解決了傳統教學中“講不清、看不到、進不去、動不得、難再現”的問題，有力地推動了信息技術在職業教育專業教學和職業培訓領域的綜合應用。

資源庫建設作為目前職業教育唯一保持的中央財政資金支持項目，隨著通過驗收項目的數量持續增加和質量不斷提升，逐漸從建設內容為主的起步期，建立機制的完善期，轉到了抓推廣應用的發展期，并逐步注重項目績效。教育部在2015年的資源庫申報文件中提出，參與項目的學校要牢固樹立績效意識，從2016年開始在項目申報書中明確要求填寫績效目標和績效指標。同年，教育部出臺了專業教學資源庫建設專項資金管理辦法[3]，明確 “注重績效”原則，并專門用“績效管理與評價”對事前績效設定、事中績效監控、事后績效評價、強化績效目標管理作出具體要求。資源庫項目管理已經逐步形成了以目標為導向，強化支出績效管理意識；以任務為導向，落實事業為先的管理理念；以結果為導向，使激勵與約束機制“硬著陸”。績效目標及其具體指標設定緊盯核心產出與效果。項目申報基于有無必要建設、目標是什么、任務是什么、舉措有哪些、需要花多少錢等視角填寫申報書，一步接一步、一環扣一環。項目立項專家評議緊緊圍繞 “有無必要予以支持，給錢放不放心”兩個方面，從不同的維度共同審核項目建設的必要性、實施方案與績效目標的相關性、績效目標及績效指標的匹配性、預算編制的政策相符性、經濟合理性及目標相關性。項目驗收以支出績效評價結果為主要依據，對于績效評價不好的項目實行一票否決。

目前，對于資源庫建設的研究主要集中在以基礎教育理論為載體，單一地強調信息技術手段與教育教學的融合，以此促進教學資源庫在職業教育中的應用。因此，國內對于該類研究的文獻也較多，如洪國芬[4]詳細分析了資源庫在職業教育中的應用現狀，探索了智慧課堂資源應用的路徑，構建了職業教育基于資源庫的智慧課堂教學模式；陳擁賢[5]運用資源庫使用中的監測數據和項目建設實踐經驗，分析了資源庫共建共享效果不佳、推廣應用動力不足的成因，并提出改進建議，為實現資源庫的功能定位、跨區域推廣應用提供參考。本文以國家級職業教育服裝設計專業教學資源庫為例，根據教育部和財政部明確提出的職業教育資源庫建設中的績效評價目標要求，采用層次分析法(AHP)，構建用戶維度、運維維度、成效維度和財務維度四個方面的一級準則層，進行資源滿意度等15個二級指標評估。

二、 層次分析法基本原理

層次分析法[6](Analytic Hierarchy Process，簡稱AHP)是美國運籌學家Saaty提出的一種解決多目標復雜問題的定性與定量相結合的系統分析方法。該方法首先要求把問題層次化，將與決策問題有關的元素分解成目標、準則、方案等層次；然后通過對每個層次元素兩兩比較來確定各元素的相對重要程度，并將比較的結果構造為一個判斷矩陣；最后計算各判斷矩陣的最大特征根及其對應的歸一化特征向量。在此基礎上進一步綜合，求出各層次組成因素相對于總目標的組合權重，進而得出各目標的權重值或多指標決策的各可行方案的權重值。這是一種使人們的判斷、比較實現規范化和數量化的科學方法，能夠使很多不確定因素得到大幅度降低，現已被廣泛引入教育評價領域，用以確定評價指標的權重系數，應用于預測、評估和決策等方面。

三、 基于層次分析法構建評價指標體系

1. 建立評價指標體系層次結構模型

根據教育部發布的《職業教育專業教學資源庫建設工作手冊(2019)》[7]對資源庫建設的績效管理要求，在借鑒項目申報書中給出的績效目標和績效指標體系的基礎上，通過研究有關績效評價的文獻[8]，基于投入產出的視角，預設資源庫績效評價指標集。采用德爾菲法[9]，組織專家對預設指標集進行打分和建議，并進行多輪調整修訂直到意見趨于一致，最終確定4個一級指標和15個二級指標，并對二級指標逐項進行說明(見表1)，以此建立層次結構模型，如圖1所示。目標層為資源庫建設績效評價，準則層為用戶維度、運維維度、成效維度和財務維度四個方面，每一個準則層細分為若干指標層。

表1 職業教育專業教學資源庫績效評價指標及說明

2. 構建兩兩比較判斷矩陣

利用各層次元素之間的相對重要程度之比建立判斷矩陣，這是層次分析法的核心步驟，直接影響評價指標權重的結果計算[10]。假設要比較n個因素C1、C2、…、Cn對上一層的影響程度，也就是確定它在上一層中所占的比重。對任意兩個因素Ci和Cj，用aij表示Ci和Cj對上一層的影響程度之比。為使元素之間相對重要程度之比便于量化，通常采用1～9標度法，具體含義見表2。按比例標度1～9來度量aij(i、j=1、2、…、n)，可得到兩兩成對的比較矩陣A=[aij]n×n。

表2 判斷矩陣標度及定義

本研究使用專家評價法，邀請了包括2010—2018年立項資源庫建設的項目負責人(執行負責人)、課程負責人、項目主持院校的財務部門負責人、職業教育領域研究學者等共10人，各自相互獨立對圖1中的指標進行兩兩重要性比較和評價，對評價結果取平均值，得到一級指標的判斷矩陣1個(見表3)，二級指標的判斷矩陣4個(見表4～表7)。

圖1 職業教育專業教學資源庫績效評價層次結構模型

表3 準則層一級指標判斷矩陣A

表4 用戶維度的二級指標層判斷矩陣B1

表5 運維維度的二級指標層判斷矩陣B2

表6 成效維度的二級指標層判斷矩陣B3

表7 財務維度的二級指標層判斷矩陣B4

3. 確定評價指標體系權重系數

以準則層一級指標為例，采用和積法計算出判斷矩陣A的最大特征根以及對應的特征向量，并進行一致性檢驗[10]。

(1) 將判斷矩陣A的每一列歸一化，得到矩陣B=[bij]n×n，其中：

(1)

將矩陣B的元素按行相加，得到向量C=(c1,c2,...,cn)T，其中：

(2)

對向量C進行歸一化處理，得到特征向量W=(w1,w2, …,wn)T，其中：

(3)

(2) 計算判斷矩陣A的最大特征值λmax：

(4)

根據式(1)～式(4)，計算該判斷矩陣的最大特征值和對應的特征向量。表3判斷矩陣A的最大特征值λmax= 4.144，對應的特征向量W= (0.242,0.191,0.450,0.117)T。

(3) 一致性檢驗。計算一致性比值CR并進行判斷，若CR<0.1，則表明通過一致性檢驗，否則需要調整判斷矩陣A，直到滿意為止。

(5)

根據式(5)，測算其偏離判斷矩陣一致性的指標CI= 0.048，查詢平均隨機一致性指標RI值(表8)，其4階矩陣的平均一致性指標RI=0.90，得到CR= 0.053< 0.1，表明通過一致性檢驗，得到一級指標權重為W=(0.242,0.191,0.450,0.117)T。

表8 平均隨機一致性指標RI值

同理，可以確定二級指標的最大特征值和對應的特征向量：

W1=(0.435, 0.309, 0.150,0.106)T，λmax=4.122，CR=0.045<0.1

W2=(0.122, 0.234, 0.312,0.332)T，λmax=4.206，CR=0.076<0.1

W3=(0.334, 0.417, 0.156,0.093)T，λmax=4.456，CR=0.073<0.1

W4=(0.346, 0.544, 0.110)T，λmax=3.054，CR=0.046<0.1

由此得出資源庫績效評價指標體系的權重，如表9所示。

表9 資源庫績效評價指標體系權重

四、 績效評價指標體系的應用

1. 確立資源庫績效綜合評價計算公式

依據評價指標體系的層次結構及各指標的權重，評價資源庫的績效水平[11]。假設每個一級指標由n個二級指標構成，第i個一級指標對應的二級指標權重分別為wi1，wi2，…，win。假設m位評價專家對每個二級指標分別獨立打分，那么m位專家對第i個一級指標的n個二級指標的打分情況分別為Xi11，Xi12，…，Xinm。第i個一級指標的評價結果為

(6)

根據4個一級指標的評價結果，計算資源庫績效水平的綜合評價結果為

(7)

2. 資源庫績效評價實證分析

筆者所在的高職院校主持了4個國家級資源庫建設項目，為本研究提供了充分的實證分析條件。下面以其中一個已經通過教育部驗收的資源庫為例進行分析。我們組織了包括教師、學生、社會學習者、企業用戶、職教研究學者等10位專家，根據表1的指標觀測點及說明，按照百分制的形式對各二級指標進行獨立評分，評分結果如表10所示。

表10 資源庫績效評價二級指標專家評價分值

依據表 9的權重和表10 的專家評價得分，運用綜合評價方式，根據式(6)計算各一級指標Yi=[91.121, 90.797, 91.233, 92.214]，再根據式(7)得到該資源庫績效的綜合評分Y為 91.237。為了評定資源庫績效等級，設定綜合評分值Y≥90，評定等級為優秀；80≤Y<90，評定等級為良好；60≤Y<80，評定等級為一般；Y<60，評定等級為較差。根據該資源庫績效的綜合評價得分，評定等級為優秀，該評定結果與項目驗收結論一致。

五、 結語

資源庫建設績效評價指標體系的設計和運用，為投入巨大的資源庫項目的可持續發展提供了一種衡量方式。實踐證明，“目標導向的績效管理、任務導向的預算管理、結果導向的杠桿管理”已經成為事業發展的“指南針”；通過績效目標設定來校準，已經成為事業發展的“方向盤”；通過任務確定來把控，已經成為事業發展的“導航儀”。總之，績效評價是激發項目實施單位謀事、做事和做成事的催化劑。本研究構建的資源庫績效評價指標體系，從用戶、日常運營維護、建設成效、財務管理四個維度對所涉及的各個指標進行了綜合，層次分析法為確定指標的權重提供了可行的研究思路和解決方案，提高了指標權重計算的精確度和科學性，形成了較為完整的績效評價體系。實證分析表明，資源庫績效評定結果基本明確合理，具有較好的參考價值。為了提高評價結果的可比性，還可進一步采用模糊綜合評價方法，并利用離差標準化方法對評價結果進行數字化處理。考慮到實際評價主體的評判尺度存在差異性，需要利用服從正態分布的標準對評價結果進行修正，以達到更為公平合理的結果。