基于層次分析法—熵權法的教學實驗室評價體系構建

田 夏

（上海交通大學教務處，上海200240）

0 引 言

高校教學實驗室以培養學生實踐能力、創新能力和提高教學質量為核心，是培養學生綜合能力的重要場所［1］。高校教學實驗室建設投入是國家高等教育投入的重要組成部分，教學實驗室的建設質量對我國高等教育內涵式發展具有重大影響［2］。

1995年7月原國家教委印發了關于高等學校基礎課教學實驗室評估辦法及評估標準表，全國743所普通高校的4 977個基礎課教學實驗室完成了自評估工作，2 883個教學實驗室進行了省級評估，2 803個教學實驗室合格達標，各級政府投入資金13．7億元［3］。該次評估體系指標包括“體制與管理”“實驗教學”“儀器設備”“實驗隊伍”“環境與安全”“規章制度”等6個方面39項具體要求。但1995年的考核辦法僅為合格性評估，且指標反饋基本是“全或無”的評價，部分指標完全依賴專家的主觀評價，全國近5 000余個教學實驗室的評價顯示通過率高、評審質量不佳、缺乏持續改進等弊端。2004年教育部發布《全面實施2003—2007年教育振興行動計劃》，提出“進一步深化高校教學改革，建設一批示范教學基地和基礎課程實驗教學示范中心”，2005年5月教育部發布《關于開展高等學校實驗教學示范中心建設和評審工作的通知》，正式啟動國家級實驗教學示范中心建設，并對建設目標、建設內容、評審指標等作出明確規定［4］。實驗教學示范中心的評審與考核包含教學、隊伍、管理、信息化、設備與環境、成果與示范六大類指標，六大類指標雖有權重分布，但在實際評審過程中，各種數據完全依賴評審專家的主觀判斷，評審難度較大，也存在評審效率低下的問題。2017年，教育部發布《關于提交2017年度國家級實驗教學示范中心年度考核報告的通知》，要求對全國901個國家級實驗教學示范中心進行“5年定期評估”，但評估方式和具體的評估指標并未公布。

由于教學實驗室以人才培養為目標，涉及指標多元，產出難以量化，導致目前針對教學實驗室評價的研究較為零散，缺乏系統、操作性強的評價體系［5-6］。僅有的評價指標也源自2005年教育部的評價指標，該評價指標操作性不強，評定方式完全依據主觀性評定，缺乏一定的模型支撐。國內現有的教學實驗室評價模型相關研究也較少：中國石油大學（華東）物理實驗教學中心構建了面向學生、教師、實驗技術人員的多元化定量考核體系，該體系從教學、科研、成果等多維度對實驗中心進行考核，體系全面但完全依賴于考核組評分且評分指標較多，操作起來較為困難［7］。湖南省食品科學技術實驗教學示范中心依據領導聽課與檢查、學校和學院督導團聽課、學生對實驗課的意見反饋、同行教師聽課與評議、教學文件檢查進行評估，該評價方式局限于教學層面，體系性尚有欠缺［8］。科學合理的教學實驗室評價體系有助于激發各實驗室人才培養動力，并解決高校教學實驗室考核評價的實際問題。

1 基于層次分析法——熵權法的教學實驗室評價體系構建

1.1 評價體系的建立

將目標層A進行分解，分解為若干準則層B（1級指標），再以準則層為目標分解實施層C（2級指標）的各項因素指標，構建評價體系。結合教育部對教學實驗室的考核要求并結合多位實驗實踐教學專家意見，采用德爾菲法，依據客觀性、科學性、代表性的原則，制定準則層指標（1級指標）6項、實施層指標（2級指標）19項，評價體系如圖1、表1所示。

圖1 高校教學實驗室評價體系

表1 教學實驗室評價指標分解

1.2 混合模型構建

層次分析法（AHP，Analytic Hierarchy Process）是由美國運籌學家發明的一種科學決策的方法，將復雜的目標層進行分解，通過一系列的比較評判確定各評價指標重要性的量度，具有較好的數學模型支持，廣泛用于科學決策、系統規劃、考核評估等多個領域，該方法的優勢在于能明確準則層與目標層的關系以及確定各評價指標權重［9-10］。

熵的概念最早由Clausius于1865年提出，之后信息論之父C．E．Shannon在1948年將熵的概念引入信息領域，利用“信息熵”作為衡量信息紊亂程度的測度。熵的概念從宏觀上反映了系統在微觀狀態下的不確定性程度，熵權法是一種客觀賦權的方法，通過客觀排序真實反映指標的實際情況，根據各項指標的差異程度，利用信息熵對各指標初步給定的權重調整實現動態賦權、確定權重，優點是不受主觀因素的干擾，對系統的評價較為公正客觀，同時較為簡便［11］。

層次分析法與熵權法聯合使用多應用于工程、金融等領域的評價模型中［12-15］。研究將層次分析法與熵權法結合使用，構建混合評價模型應用于教學實驗室評價。由于1級指標較少且較為固定，參考教育部對于教學實驗室的明確要求和考核導向，準則層對目標層（1級指標）權重宜采用層次分析法，由各實驗實踐教學專家參考教育部分類要求確定；目標層（1級指標）內涵豐富，實施層指標（2級指標）較多且變化性較強，宜采用熵權法動態篩選各項2級指標數據取得，具有可調整、效率高、易操作、避免主觀性的優點，可以高效大批量實施評價。本研究中，準則層對目標層（1級指標）權重確定采用層次分析法賦權，措施層對準則層（2級指標）權重采用熵權法賦權，最后結合準則層和實施層運算得出各實驗教學示范中心評分。

1.3 準則層對目標層（1級指標）權重分析——層次分析法

（1）確定要素集。U 為目標層，U1，U2，…，Um代表1級指標，為準則層；U11，U12，…，Umn代表2級指標，為實施層。

將目標層U分解為準則層，準則層分解為實施層：

根據評價體系通過目標分解，實驗教學示范中心準則層為U1～Umm項。m項準則層分別分解為若干實施層。

（2）構建判斷矩陣。使用成對比較和專家咨詢法來構造判斷矩陣，A ＝（aij）m×m，比較1級指標Um之間的相對重要性，標度值由Saaty的1～9值法決定。

（3）一致性檢驗與一級指標權重確定。通過計算可得出各一級指標的權重wi，i＝ ｛1，2，…，m｝，帶有偏差的最大特征值為λmax。計算一致性指標CI，CI＝（λmax－m）／（m －1），式中m 為一致性矩陣具有的最大特征值。

一致性比率指標為CR＝CI／RI，RI為判斷矩陣的平均隨機一致性指標，當CR＜0．1時，認為層次分析排序的結果有滿意的一致性，即權數的分配是合理的。剔除未通過一致性檢驗（CR≥0．1）的判斷矩陣，采用權重算術平均法綜合各位專家意見，計算準則層對目標層U（1級指標）的權重集合。

1．4 實施層對準則層（2級指標）權重分析——熵權法

（1）構建原始化矩陣和標準矩陣。每一1級指標下的所有2級指標采用熵權法進行判定。在某個1級指標下，n個2級指標，p個被評價對象，構建原始化矩陣和標準矩陣：

對判斷矩陣B＝（bij）p×n進行歸一化處理，歸一化后的標準矩陣：

（2）計算信息熵。根據標準矩陣B′＝ （bij′）p×n，計算各指標的熵值，熵值用Ej表示，Ej＝－bijln bij／ln n，j＝ ｛1，2，…，n｝。

（3）計算實施層對準則層（2級指標）熵權。得到第i個1級指標下面的2級指標的權重為

1．5 權重最終確定

綜合1級指標權重、2級指標權重，計算出各評價對象各最終的考核評價值

其中，l＝ f（i，j，p），表示標準化矩陣B′中第p 個中心第i個1級指標下第j個2級指標對應的元素值。

2 基于層次分析法——熵權法的教學實驗室評價體系實證

我校共有本科實驗教學實驗室32個，分布在20個院系，承擔全校本科生實驗實踐教學任務，其中9個大型教學實驗室（中心）承擔了全校70%的實驗實踐教學任務（約120萬人時），體量上具有一定的代表性。同時9個大型教學實驗室（中心）基本涵蓋了理科（物理、化學）、工科（機械、電子、工程訓練、工程力學、材料）、生命科學（生命、農業）學科，也具備一定的學科代表性。通過數據統計和深度訪談，對所需的19項基礎數據進行搜集，根據2017年各教學實驗室的數據，采用層次分析法-熵權法混合評價模型進行實證。

2.1 數據處理

2.1.1 采用層次分析法，確定1級指標的權重

根據構建的指標體系，確定各1級指標權重判斷矩陣。本研究采用專家訪談（德爾菲法），收集8位教學實驗室主任和實踐教學專家對指標權重判斷的問卷調查與實際建議，采用層次分析法對判斷矩陣進行數據處理。現以其中1位專家的判斷為例說明，依據該專家經驗判斷得出教學實驗室評價1級指標的判斷矩陣（見表2）。

表2 某一位專家的判斷矩陣

*矩陣中數字越大，說明行要素比列要素越重要，最大數字為9；最小數字為1，表示同等重要。倒數表示相對不重要程度，其中1／9表示最不重要。

矩陣歸一化處理后計算1級權重為

（0．030，0．133，0．251，0．462，0．062，0．062）

進行一致性檢驗

所有8位專家判斷矩陣均通過一致性檢驗，最終對選取的8位專家的指標權重值進行算術平均值計算1級權重。

2．1．2 采用熵權法，確定2級指標權重

根據熵權法，計算各1級指標下若干2級指標的熵權原始數據矩陣（bij）p×n，再經過標準化處理，標準化的熵權矩陣（bij′）p×n。計算9 個評價對象，實驗環境1級指標下3 項2 級指標的熵權矩陣（bij′）9×3（見表3）。

計算實驗環境1級指標下3項2級指標的信息熵Ej，Ej為（0．569，0．769，0．771）。

最后，計算得到該1級指標下各個2級指標的權重（0．486，0．260，0．254）。類似地可以得到其他5 個1級指標下的各項2級評價指標權重。

2．1．3 綜合1級指標、2級指標權重計算評價得分

綜合1級指標權重、2級指標權重，得出教學實驗室考核指標總權重（見表4）。

結合標準化數據B′，計算出各評價對象最終考核得分Sp（見表5）。

表3 實驗環境1級指標下3項2級指標的熵權矩陣bij′

表4 教學實驗室考核指標體系與權重

2.2 評價體系的結論與分析

2.2.1 整體結論與分析

評價體系在實際操作中可以給每一所教學實驗室具體綜合評價，對參評對象進行總體排序，同時也能給出各評價維度的評價意見和各教學實驗室需要進一步提升的方向。以電子電工實驗中心評價結果為例，電子電工實驗中心在9個被評價的教學實驗室中排序第二，各項指標均高于均值，其中教學服務、信息化開放對整體評價貢獻度較大，但師資保障和教學成果兩個維度處于整體中等水平，有進一步提升空間（見圖2）。

表5 教學實驗室綜合評價表

圖2 評價分析反饋結果圖

2.2.2 1級指標評價分析

根據層次分析法的1級指標評價與權重分布，發現專家對于教學服務、師資保障、實驗環境3個維度較為關注，這3個維度構成教學實驗室的保障性指標；對于成果與研究、信息化開放、示范輻射作用關注度和權重分配較弱，這3個因素構成教學實驗室的激勵性指標。我國處于高等教育大眾化時期，教學實驗室的基本軟硬件（保障性指標）對于教學實驗室作用基礎，成果與研究、信息化開放、示范輻射作用（激勵性指標）未來的作用將逐步提升，同樣指標體系作為一個開放的體系，也可以依據不同時期對教學實驗室的不同定位和不同要求進行權重調整。

2.2.3 2級指標評價分析

基于熵權法的2級指標評價可以給予各被評價對象診斷性分析，確定各被評價對象后續質量提升的方式。以整體排序第一的被評價對象——工程訓練中心為例，在1級指標“成果與研究”上落后于其他教學實驗室，通過分析2級指標評分發現，該中心在教學論文、教學成果上存在較大不足，也是制約該中心后續進一步發展的“短板要素”。

3 對兩種評價體系的思考

3.1 基于層次分析法——熵權法的教學實驗室評價體系優點

（1）與評價要求結合緊密。本評價體系指標和1級權重的確定由實驗實踐教學專家參考教育部相關規章和要求完成，可以保證評價體系的評價指標與教育部的指導性要求相結合，具有一定的規范性，可以滿足考核主體的考核目標。同時層次分析法相較于傳統的指標權重確定方法，更具有專業性和科學性。

（2）考核評價的效率性。效率性是實行大范圍、大規模考核的重要考慮因素，高效率低成本的考核評價體系可以大幅度節省人力物力。近20項2級指標使用熵權法完全基于各教學實驗室數據客觀評價，對評價多數量的教學實驗室具有很強的優勢，同時也能兼顧數據統計周期問題，避免實際評價實施過程中專家再度主觀介入，省時省力。

（3）動態性與開放性。層次分析法的指標權重確定是一個動態的過程，根據不同“成長周期”的教學實驗室，考核的側重點和要求不同，層次分析法的動態性解決了傳統的僵化考核體系的弊端。熵權法確定指標權重具有較好的開放性，各2級指標數量可以隨著評價要求增加和動態調整，但并不降低評價的效率。

（4）持續改進性。考核評價的基本作用在于質量提升和糾偏，基于層次分析法與熵權法的評價體系能明確判斷被評價對象各考核指標高低，便于評價者及時反饋給被評價對象，避免傳統評價體系缺失持續改進環節的弊端。同時評價模型可以在各1級、2級指標維度篩選出“榜樣標桿”，更適合教學實驗室對標建設和標準化制定。

3.2 基于層次分析法——熵權法的教學實驗室評價體系不足與改進

（1）差異化實驗室的評價不完善。本評價體系對于評價不同層次、不同學科的教學實驗室區分度不夠，不能完全體現差異化評價。后續可以考慮針對不同類型、不同學科的教學實驗室賦予不同的1級指標權重，以適應不同學科類別教學實驗室的考核評價。

（2）科學考評的維度有待提升。2級指標的熵權法判定完全基于客觀數據進行相對性評價，絕對性評價有所缺失，且不同年度的評價數值缺乏縱向可比性。此外，評價中僅參考客觀數據無法鑒別數據的真實性，也無法進行多方位多角度評價。本評價體系適合大規模、大范圍的初步評價，復評和精細化評價還需要與專家主觀評價結合起來，使評價更為有效。