基于熵值法的課程畢業要求達成性評分方法探索

王春林 李鑫陽 石宏巖 趙佳美

摘 要：課程評價指標與畢業要求達成度的關系是專業評估的重要指標。過程性評價中的主觀因素對總評影響較大，不同評分者之間的評分信息相互干涉，總分難以反映學生的綜合素質能力。在專業認證背景下，通過對畢業要求指標點的細化分解，運用熵值法對主觀評分進行了二層次的分析，并匯總綜合成績，得到了客觀賦權方法，更真實地反映了學生的學習特點，權重結果反映了評分者對各指標的評分傾向性，權重指標能夠反映畢業要求達成的相關程度，更有利于進行課程教學目標的調整和持續改進。

關鍵詞：熵值法；畢業要求；課程評價；過程化考核

中圖分類號：G642? 文獻標識碼：A? 文章編號：1673-260X（2023）09-0102-05

我國自20世紀80年代工程教育專業認證的探索，2013年《華盛頓協議》（Washington Accord）制定的畢業要求框架作為專業認證具有實質等效的基本依據，從教學目標層次對畢業要求的“可遵循”“可評價”“可落實”三原則[1]。在評價解決復雜工程問題的活動中，涉及資源范圍、交互程度、創新程度、社會和環境影響、精細程度等方面，評價指標具有較強的主觀性，不同評分者的關注點差異導致了評分結果的巨大差異[2]。為了更科學合理地進行課程主觀評分部分的教學評價，選取熵值法對不同評分者的評分進行客觀賦權，按照每個指標的信息量進行權重評估，以求更接近真實反映學生學習目標達成度，從而更好地為課程教學的持續改進服務。

1 過程化考核中存在的主要問題及解決途徑

1.1 信息論在過程化考核中的研究

過程化考核，側重對復雜工程問題的分析過程、基本知識原理的應用、數據采集分析等廣泛的數據作為樣本，以評分者主觀評價作為指標的形成性評價。為了避免主觀因素對評價結果的影響，通過信息論熵值法進行權重賦值以形成相對客觀的評分權重。許多學者在課堂質量、成績分析、教學評價等方面進行了深入研究。王儀等用模糊綜合評價分析了對應畢業要求的教學環節、支撐課程作用[3]；任吉等用德爾菲法，構建了包含17個指標、2個評分層級的方法論課程課堂質量評價指標體系[4]；李廉等通過熵值法與平均值法進行數據對比，形成正態分布曲線進行評價效果分析[5]；張金標等以熵值法探討全過程考核成績分析的方法[6]；田夏用層次分析法與熵值法結合進行了教學實驗室評價體系的構建[7]；陳曉亮將熵權計算用于人工智能通識在線課程的質量評價[8]。

1.2 熵值法的適用條件

通過大量的計算案例，分析熵值法的適用條件：（1）對成績權重無特別要求，按成績區分度進行成績的綜合評價，得到相對客觀的成績評定結果，更接近于對數據本身的差異化計算得出的權重指標，是一種相對客觀的賦權方法。（2）對總體分數集中、個別打分顯著偏離的樣本，對權重的設置有影響，如除1個零分，其他全為100，這種情況下權重高、而實際意義并不大。需要在計算方法上進行改進，如用VCM方法進行改進。（3）權重設置的第三位有效數字無意義，故計算過程可只取到百分位的整數位，四舍五入。為避免出現0和1，歸一化運算均計算到0.01-0.99。（4）權重與數值大小無關，僅與屬于的差異性相關，如果要考慮指標差異化比例，需要進行再次加權。

2 面向畢業要求達成的考核指標設計

畢業要求的達成情況與課程評價緊密聯系，課程的評價要對畢業要求形成有力的支撐，因此需要從課程教學目標上體現畢業要求[9]。以matlab工程應用課程為例，該課程目的是使學生能夠掌握Matlab的基本概念以及主要模塊的流程和功能，熟練的使用Matlab的原理進行實際的問題分析和研究，實現簡單的仿真及交互設計應用。課程要求強調與工程相結合的研究能力和使用現代工具解決問題的能力，兩部分成績各占50%。其中的研究部分，設計了6個不同的團隊作業，對應復雜工程問題活動的5個因素進行綜合打分；對現代工具的使用，設計平時的作業、期中期末兩次習題進行客觀評價。本文重點討論綜合打分部分的成績形成方法。

對照專業認證、畢業條件設置評分標準項目、權重，將畢業要求的指標點細化為可量化評價的具體指標，形成評分細則。其中，平時成績的作業、習題等兩部分形成學生自檢、教師集中檢查兩種考核方式，按照循序漸進、少量多次組織日常學習，典型題目抽檢集中測評來形成班級學情的總體把握。自主設計部分，形成教師評價、學生自評、組內互評、組間互評等四種評分，是體現學生查閱資料發現問題、設計合理的實驗過程分析問題、綜合運用知識有效解決工程問題的綜合性、過程性評價方法。與教學目標對應關系如表2所示。

3 基于熵值法的課程環節評價

評分指標按照平均分法和熵值法進行了評分比較，形成了9個評分者、每人6個評分小項的綜合評分，進一步分析畢業要求達成情況[10]，評分標準如表3所示。

3.1 熵值法的基本原理

熵值法的主要計算過程有：數據標準化（歸一計算）、計算指標權重、計算指標信息熵、確定指標權重、計算綜合評分等5個步驟，計算流程如圖1所示。

（1）數據標準化：

設成績評價共n人，參評學生m人，將成績初始化為100分制。

標準化矩陣Y，取值（0，1）區間，為避免計算結果出現0、1數值，導致信息熵結果不可用，進行指標微調：

在式（1）中，Xi={x1，x2，…，xm}——每個評分者的評分；

Yij——標準化矩陣，或稱為歸一化矩陣，即講所有指標化為（0，1）的數據集，轉為無量綱數，方便數據的比對和處理。

（2）指標權重計算：

在式（2）中——pij為無量綱數的指標權重。

（3）根據信息熵的定義，每個評分者的信息熵為Ej：

在式（3）中——Ej為指標信息熵。

（4）確定指標權重：

在式（4）中——j為基于信息熵的指標權重，1-Ej為信息的效用值，與信息的可用價值成正比。

（5）計算每個方案的綜合評分：

在式（5）中——Si為加權評分分值

3.2 過程性考核評價案例

（1）二級指標及評分。按照畢業要求達成度的5個相關指標進行，選取9人的評價小組進行綜合打分，9人中包括教師、學生、實踐指導、行業專家等。分值按A、B、C、D、E等五個梯度打分，分別對應90、80、70、60、50分，用（1）公式進行數據標準化，再將標準化的數據通過（2）公式進行指標權重的計算，所得的結果通過（3）式進行信息熵的計算，生成表4中Ej信息熵的數值，再用（4）公式計算二級權重指標，公式（5）得到二級指標每個學生的評分值。所列公式進行數據分析，計算得出二級指標的各評分者信息熵，并得到各評分者的評分權重，部分原始評分及對應權重計算結果如表4所示。

由計算結果可以看出，“評6”的權重最高、為17.9%，“評8”的權重最低、為2.6%。原因是整個數據表的分數梯度，“評6”的最高分和最低分差值較大，“評8”的最高、最低分分差最小。即相對變化程度大的指標有較高權重，從而減小了區分度低的評分者在整個評分過程中的權重，評分結果有利于增強分數的區分度，篩選出學生的不同學習特點。

按此方法分別將五個相關指標進行學生成績評定，得到五個指標及一個加分項的評分匯總表，作為指標評分分析的基礎。

（2）一級指標及評分。按照描述復雜工程問題的資源范圍、交互程度、創新程度、社會和環境影響、精細程度等5個指標，運用熵值法進行二次評分。（1）公式進行數據標準化，再將標準化的數據通過（2）公式進行指標權重的計算，所得的結果通過（3）式進行信息熵的計算，生成表4中Ej信息熵的數值，再用（4）公式計算一級權重指標，公式（5）得到一級指標每個學生的綜合評分值。相應的二級指標部分計算得分值、對應的信息熵及一級指標的信息熵權重指標見表6。從計算結果看，從表8所示匯總指標來看，指標2所對應的比例占30.8%，為所有指標的最大值，說明指標2在各評分者中的比例權重最高。指標4、5其次，指標1、3最后，明顯形成了三個評分梯度。

3.3 評價結果分析

按熵值法將5個指標、9個評分者的評分進行了二次分析，用（5）式得出了不同指標的評分權重，結果見表6。分析兩級指標的數據特點，可以發現對評分者、評分指標的差異化權重，對學生的總體表現有相對客觀的評價。

（1）二級指標對應評分者對不同指標的權重差異。由表6可知，打分者的各項指標分配的權重差異顯著，如評7在指標3中權重近30%，評6在指標4中權重1.9%，從中可以相對客觀的按照打分者的評價側重點基于更客觀的評價。且同一打分者，在不同指標的評分權重不同，客觀上反映了評分者對各指標的評分傾向性，更有利于進行課程教學目標的調整和持續改進。

（2）一級指標對應不同指標對綜合成績的權重。關聯畢業要求達成度中的高、中、低三個指標，為人才培養的畢業要求達成度確定和評判提供了相對客觀的數據支持。從本次的評分指標上看，指標2是教學過程中的高關注點，即師生更關注解決問題的交互程度，對應形成研究結論的解決過程。對資源范圍、創新程度關注相對較低，即未來可以調整和改進的關注點。由一級指標的權重值可以發現，熵值法有利于輔助教師確定下一步的持續改進方案，鎖定關鍵指標進行課程優化。

（3）總成績分布及區分度。總成績分布及區分度對表7熵值法和表8平均值法形成的學生成績比較發現，總體上二者總評成績相近，熵值法的標準差更小，最高分基本一致，最低分變化明顯，總成績區分度熵值法相對較低。平均成績各分項的平均成績提高了1-3分，單項指標最高分與最低分差異減少了7-9分，總分最高分、最低分影響不大，約為2分。說明熵值法的成績評價降低了評分的區分度，學生間在總成績上的差異性指標降低。體現了錯位發展、特色培養的教學導向，有利于學生通過成績評價發現在一門課程中的不同畢業要求達成情況之間的差異，進而調整學生的個人規劃發展方向。

進一步分析兩種評分的標準差，由圖2可知，熵值法與均值法在班級總評分數上基本一致，但在各指標的分項評分中標準差更小，成績分布更集中，避免了不同評分者打分過高或過低對總評成績的影響。同時，受動態的指標權重的影響，評價成績更傾向于學生的綜合素質、能力的評估。

4 小結

過程化考核是激發學生持續學習能力、促進知識的日常積累、營造師生之間教學相長的學習氛圍、激活課程思政元素的有效手段，而評價過程中，始終存在著主觀性過強、個別評分者的評分影響過大的情況，通過熵值法的成績評價，把主觀評分用相對客觀的方式統一起來，使得形成性課程評價在評定過程中更符合學生的總體水平、體現綜合素質能力。同時將評分者在評分過程中的評分傾向性客觀的表現出來，為形成有效的畢業達成度指標提供參考。

——————————

參考文獻：

〔1〕李志義，趙衛兵.我國工程教育認證的最新進展[J].高等工程教育研究，2021，39（05）：39-43.

〔2〕李志義.對畢業要求及其制定的再認識——工程教育專業認證視角[J].高等工程教育研究，2020， 38（05）：1-10.

〔3〕王儀，朱凱.畢業要求達成度模糊綜合評價方法研究——以土木工程專業為例[J].高等建筑教育，2021，30（01）：151-160.

〔4〕任吉，于佳琪.熵權法在碩士研究生方法論課程質量評價體系構建中的應用[J].黑龍江高教研究，2021，39（09）：105-110.

〔5〕李廉，張萬紅.高校課程考試成績正態分布辨析[J].中國考試，2021，19（04）：86-93.

〔6〕張金標，徐向棋，劉建，等.基于信息理論的高校課程全過程考核成績分析方法研究[J].未來與發展，2021，45（02）：74-78.

〔7〕田夏.基于層次分析法—熵權法的教學實驗室評價體系構建[J].實驗室研究與探索，2020，39（07）：264-269.

〔8〕陳曉亮.基于熵權計算的人工智能通識在線課程質量評價[J].計算機教育，2020，18（09）：137-140.

〔9〕楊晚生，劉琳，高云飛，等.基于工程認證標準要求的課程權重系數計算方法分析[J].高等建筑教育，2021，30（01）：161-166.

〔10〕呂燕，李穎娜，孟麗軍.工程教育認證背景下畢業要求達成度評價實踐——以唐山學院化學工程與工藝專業為例[J].教育教學論壇，2021，13（19）：121-124.