基于改進(jìn)層次分析法的工程教育認(rèn)證課程畢業(yè)要求達(dá)成度評價

沙 金　鄭斯斯

基于改進(jìn)層次分析法的工程教育認(rèn)證課程畢業(yè)要求達(dá)成度評價

沙 金1鄭斯斯2

（1.廣東海洋大學(xué)機(jī)械與動力工程學(xué)院，廣東 湛江 524088；2.惠州學(xué)院數(shù)學(xué)與統(tǒng)計(jì)學(xué)院，廣東 惠州 516007）

工程教育認(rèn)證強(qiáng)調(diào)課程體系設(shè)置和考核緊密圍繞學(xué)生畢業(yè)要求達(dá)成這一核心任務(wù)展開，而作為考核畢業(yè)要求達(dá)成的基礎(chǔ)，課程達(dá)成度評價工作，在理論研究和具體實(shí)踐中均未形成統(tǒng)一、標(biāo)準(zhǔn)的方法。通過建立畢業(yè)要求指標(biāo)體系，設(shè)計(jì)重要程度統(tǒng)計(jì)表，簡化傳統(tǒng)層次分析法判斷矩陣構(gòu)建過程，在分析各級指標(biāo)重要度基礎(chǔ)上得到課程目標(biāo)點(diǎn)貢獻(xiàn)度，準(zhǔn)確計(jì)算課程達(dá)成度，為測算畢業(yè)要求達(dá)成奠定基礎(chǔ)，并通過實(shí)例分析詳細(xì)說明實(shí)施過程。該方法將定性評價轉(zhuǎn)化為定量評測，既體現(xiàn)專業(yè)特征又反映課程特色，且具有較強(qiáng)普適性，為認(rèn)證工作的順利開展提供有益的參考與范式。

改進(jìn)層次分析法；工程教育認(rèn)證；課程畢業(yè)要求達(dá)成度

引言

自1989年由美國等6個國家民間工程專業(yè)團(tuán)體發(fā)起并簽署《華盛頓協(xié)議》以來，世界范圍內(nèi)逐步形成了以之為核心的工程教育專業(yè)認(rèn)證和工程技術(shù)人員職業(yè)資格認(rèn)證的國際協(xié)議體系，這也成為工程技術(shù)人員國際流動的基礎(chǔ)[1]。中國的工程教育認(rèn)證最早始于1992年，教育部于2006年啟動了工程教育專業(yè)認(rèn)證試點(diǎn)工作。

近年來，我國工程教育認(rèn)證體系發(fā)生了積極、顯著的變化，以考核教育成果對畢業(yè)要求的滿足程度為核心的質(zhì)量監(jiān)控體系不斷推進(jìn)高等教育的內(nèi)涵式發(fā)展[2]。以學(xué)生為中心、成果為導(dǎo)向前提之下的教育績效評估亟須解決如何判斷畢業(yè)生是否達(dá)到畢業(yè)要求所涉及的相應(yīng)能力這一問題[3]。精準(zhǔn)計(jì)算具體課程畢業(yè)要求達(dá)成，是工程教育專業(yè)認(rèn)證的前提基礎(chǔ)，因此研究工程教育認(rèn)證過程中課程畢業(yè)要求達(dá)成度的評價方法，不但具有非常顯著的理論意義，而且具備十分重要的實(shí)踐價值。

1　研究現(xiàn)狀分析

為切實(shí)做好課程達(dá)成度的衡量工作，不少學(xué)者在理論層面進(jìn)行了較為深入的研究，各高校也從實(shí)踐角度采取了各具特色的舉措。

1.1　理論研究方面

王建龍等[4]對比分析了基于平均成績、知識點(diǎn)得分率的定量評價方法與采用問卷調(diào)查、學(xué)生訪談的定性評價方法的優(yōu)缺點(diǎn)。張建樹等[5]運(yùn)用評分表分析法對實(shí)驗(yàn)教學(xué)及實(shí)踐性教學(xué)環(huán)節(jié)的達(dá)成度進(jìn)行評價。張國強(qiáng)等[6]以具體課程為例，利用公式對課程達(dá)成度進(jìn)行計(jì)算與分析。邱然鋒等[7]提出了依照分解指標(biāo)點(diǎn)—確定教學(xué)環(huán)節(jié)支撐—賦權(quán)重值—確認(rèn)評價依據(jù)—課程達(dá)成度評價—抽取樣本—明確課程關(guān)聯(lián)度值和權(quán)重值—分析得出評價結(jié)果的過程來計(jì)算達(dá)成度的方法。高相勝等[8]在構(gòu)建畢業(yè)要求與專業(yè)認(rèn)證通用標(biāo)準(zhǔn)對應(yīng)關(guān)系矩陣、畢業(yè)要求對培養(yǎng)目標(biāo)達(dá)成支撐矩陣和課程與畢業(yè)要求對應(yīng)關(guān)系矩陣的基礎(chǔ)上，對課程達(dá)成度的計(jì)算進(jìn)行了定性分析。蔡述庭[9]等將工程教育認(rèn)證標(biāo)準(zhǔn)中的12項(xiàng)畢業(yè)要求分解為若干便于評價的指標(biāo)點(diǎn)，采用直接評價與間接評價相結(jié)合的方法對畢業(yè)要求達(dá)成情況進(jìn)行評價。孫晶等[10]在建立畢業(yè)要求指標(biāo)點(diǎn)與課程支撐關(guān)系前提下，由課程評價中對指標(biāo)點(diǎn)達(dá)成度的評價值及其權(quán)值，計(jì)算指標(biāo)點(diǎn)達(dá)成度數(shù)值。吳新燁等[11]提出多參數(shù)分級評價機(jī)制對畢業(yè)要求達(dá)成度進(jìn)行評價。李擎等[12]以各課程所支撐的畢業(yè)要求指標(biāo)點(diǎn)權(quán)重為基礎(chǔ)，對畢業(yè)要求達(dá)成度進(jìn)行了計(jì)算。

1.2　實(shí)踐操作方面

目前高校較為一致的做法是：首先，根據(jù)各專業(yè)課程的不同特征，將其培養(yǎng)目標(biāo)及授課內(nèi)容與《中國工程教育專業(yè)認(rèn)證協(xié)會工程教育認(rèn)證標(biāo)準(zhǔn)》（以下簡稱《標(biāo)準(zhǔn)》）中所規(guī)定的畢業(yè)要求進(jìn)行比對，形成相關(guān)課程的若干指標(biāo)點(diǎn)，用以體現(xiàn)相應(yīng)課程對于畢業(yè)要求達(dá)成的支撐；然后，對特定課程的各項(xiàng)指標(biāo)點(diǎn)設(shè)置權(quán)重或百分比，用以確定考核環(huán)節(jié)中關(guān)于該指標(biāo)點(diǎn)考核內(nèi)容所占總體考核內(nèi)容的比重；最后，根據(jù)學(xué)生考核實(shí)際得分計(jì)算出每一指標(biāo)點(diǎn)的完成情況，匯總得出該課程的畢業(yè)要求達(dá)成度，用以反映特定課程對于完成畢業(yè)要求的支持程度。盡管上述過程在認(rèn)證實(shí)踐中被廣泛接受并采用，但在指標(biāo)點(diǎn)權(quán)重設(shè)置的方法上，各高校的做法卻大相徑庭：有按照授課內(nèi)容所占學(xué)時進(jìn)行確定的，有依據(jù)課程性質(zhì)進(jìn)行決策的，有根據(jù)專業(yè)特色進(jìn)行判斷的，有依照任課教師經(jīng)驗(yàn)進(jìn)行分配的，等等。

綜上所述，對于工程教育認(rèn)證中課程畢業(yè)要求達(dá)成度評價問題，無論是理論研究層面或是實(shí)踐操作領(lǐng)域均尚未形成統(tǒng)一、成熟和標(biāo)準(zhǔn)的方法，勢必給認(rèn)證高校帶來困惑，對認(rèn)證工作造成不便。針對于此，本文將設(shè)計(jì)一套基于改進(jìn)層次分析法的課程目標(biāo)點(diǎn)貢獻(xiàn)度計(jì)算方法，對具體課程的畢業(yè)要求達(dá)成度進(jìn)行定量評價，以期為工程教育認(rèn)證工作提供有益參考。

2　評價模型建立

2.1　畢業(yè)要求指標(biāo)體系建立

《標(biāo)準(zhǔn)》詳細(xì)規(guī)定了12項(xiàng)畢業(yè)要求，據(jù)此，本文將工程教育認(rèn)證中相關(guān)規(guī)定轉(zhuǎn)化為畢業(yè)要求指標(biāo)體系，如圖1所示。

圖1　畢業(yè)要求指標(biāo)體系

2.2　改進(jìn)層次分析法計(jì)算指標(biāo)項(xiàng)重要度

不同高校不同專業(yè)對于不同指標(biāo)點(diǎn)的側(cè)重難免存在差異，根據(jù)專業(yè)特征準(zhǔn)確分析各項(xiàng)畢業(yè)要求在本專業(yè)教育過程中的重要程度，成為精確計(jì)算畢業(yè)要求達(dá)成度的前提。

本文中指標(biāo)項(xiàng)重要度計(jì)算方法分為兩步進(jìn)行：第一步，完成各一級指標(biāo)對于達(dá)成畢業(yè)要求的權(quán)重計(jì)算；第二步，計(jì)算各一級指標(biāo)下轄的二級指標(biāo)對于該一級指標(biāo)的權(quán)重貢獻(xiàn)。使用傳統(tǒng)層次分析法，完成圖1所示所有判斷矩陣共需進(jìn)行108次兩兩對比，不但工作量巨大，而且極易產(chǎn)生不一致的情況，在具體實(shí)踐過程中的可操作性較差。為此，本文對傳統(tǒng)層次分析法進(jìn)行改進(jìn)，具體操作如下：

首先結(jié)合專業(yè)實(shí)際，完成表1和表2的填寫（在各指標(biāo)點(diǎn)對應(yīng)位置打“√”）。

表1　指標(biāo)Y1-Y12重要度統(tǒng)計(jì)表

表2 指標(biāo)Hm-1至Hm-n重要度統(tǒng)計(jì)表

進(jìn)而，對各判斷矩陣的一致性進(jìn)行檢驗(yàn)，并計(jì)算各一級指標(biāo)對于達(dá)成畢業(yè)要求的權(quán)重K，以及各二級指標(biāo)對于實(shí)現(xiàn)其隸屬一級指標(biāo)的權(quán)重K。

改進(jìn)后的方法，僅需對12個一級指標(biāo)和37個二級指標(biāo)各進(jìn)行一次重要程度判斷，且避免了對比過程中因考慮一致性而帶來的判斷困難，在不降低判斷準(zhǔn)確性的前提下，有效減少判斷次數(shù)，并提升判斷的一致性。

2.3　課程目標(biāo)點(diǎn)貢獻(xiàn)度計(jì)算

課程能否有效支持相應(yīng)畢業(yè)要求指標(biāo)，是衡量課程體系是否達(dá)標(biāo)的主要判據(jù)，《標(biāo)準(zhǔn)》對于“支持”的解釋不但要求整個課程體系能夠支撐全部畢業(yè)要求，還要求每門課程能夠?qū)崿F(xiàn)其在課程體系中的作用。

課程目標(biāo)點(diǎn)的作用在于明確具體課程對畢業(yè)要求特定指標(biāo)項(xiàng)的支撐關(guān)系，將課程任務(wù)分解為若干教學(xué)目標(biāo)，并逐一建立各目標(biāo)點(diǎn)與相關(guān)畢業(yè)要求指標(biāo)的對應(yīng)聯(lián)系。為更加清晰地體現(xiàn)課程目標(biāo)點(diǎn)對畢業(yè)要求達(dá)成的貢獻(xiàn)度，本模型構(gòu)建三級（強(qiáng)（H）、中（M）、弱（L））三檔（高（＋）、中、低（－））關(guān)系衡量課程對畢業(yè)要求的支撐力度，并規(guī)定H+至L-（共9級）所對應(yīng)的支撐度分別為99%至11%（每級遞減11%）。以此為基礎(chǔ)，結(jié)合3.3的計(jì)算結(jié)果，便可計(jì)算出相應(yīng)課程各目標(biāo)點(diǎn)對于畢業(yè)要求的貢獻(xiàn)度，如公式（2）所示：

其中L表示該課程第目標(biāo)點(diǎn)對其所支撐的第個畢業(yè)要求二級指標(biāo)項(xiàng)的支撐度。

2.4　課程畢業(yè)要求達(dá)成度評價

課程的教學(xué)效果始終需要通過考核來體現(xiàn)，而畢業(yè)要求達(dá)成度也最終將以考核成績?yōu)榛A(chǔ)來反映。課程目標(biāo)點(diǎn)對畢業(yè)要求的支撐程度越高，其在考核中所占分?jǐn)?shù)應(yīng)當(dāng)越多，通過公式（3），可確定課程目標(biāo)點(diǎn)在考核中所占分?jǐn)?shù)比例P。

課程的畢業(yè)要求達(dá)成度則由公式⑷求出。

3　實(shí)例分析

某課程畢業(yè)要求達(dá)成度的具體計(jì)算過程如下。

步驟一，計(jì)算各畢業(yè)要求項(xiàng)重要度。根據(jù)專業(yè)辦學(xué)特色對畢業(yè)要求一級指標(biāo)項(xiàng)進(jìn)行重要度統(tǒng)計(jì)，填入表1，得到表3。

表3 XX專業(yè)畢業(yè)要求重要度統(tǒng)計(jì)表

依據(jù)各級指標(biāo)重要度統(tǒng)計(jì)結(jié)果，可得到一級指標(biāo)判斷矩陣Y。

對判斷矩陣進(jìn)行一致性檢驗(yàn)，一致率比率CRH小于0.1。畢業(yè)要求二級指標(biāo)項(xiàng)的重要度統(tǒng)計(jì)與一級指標(biāo)類似（具體過程由于篇幅限制，本文進(jìn)行了省略）。各指標(biāo)權(quán)重，如表4所示。

表4　畢業(yè)要求各指標(biāo)項(xiàng)權(quán)重

步驟二，計(jì)算課程目標(biāo)點(diǎn)貢獻(xiàn)度。假設(shè)XX課程設(shè)置4個目標(biāo)點(diǎn)，每個目標(biāo)點(diǎn)支撐畢業(yè)要求的對應(yīng)指標(biāo)項(xiàng)及支撐力度如表5所示，將表4的計(jì)算結(jié)果以及2.4中對于三級三檔支撐力度的界定代入公式（2）和（3），計(jì)算得到該課程的各目標(biāo)點(diǎn)對于畢業(yè)要求的貢獻(xiàn)度。

表5　XX課程目標(biāo)點(diǎn)權(quán)重計(jì)算

步驟三，計(jì)算課程畢業(yè)要求達(dá)成度。通過筆試、作業(yè)、課程論文、實(shí)驗(yàn)、實(shí)習(xí)等形式對學(xué)生掌握各目標(biāo)點(diǎn)的情況進(jìn)行考核，得到不同目標(biāo)點(diǎn)學(xué)生的平均得分，依據(jù)公式（4）計(jì)算得到該課程的畢業(yè)要求達(dá)成度，如表6所示。

表6　XX課程畢業(yè)要求達(dá)成程計(jì)算

4　結(jié)束語

工程教育專業(yè)認(rèn)證要求課程體系的設(shè)置和考核緊密圍繞學(xué)生畢業(yè)能力達(dá)成這一核心任務(wù)展開，而課程達(dá)成度評測作為畢業(yè)要求達(dá)成度評價的基礎(chǔ)，是一項(xiàng)系統(tǒng)、復(fù)雜的工作，不僅決定認(rèn)證結(jié)果，更關(guān)乎人才培養(yǎng)質(zhì)量。本文所設(shè)計(jì)的基于改進(jìn)層次分析法的課程畢業(yè)要求達(dá)成度評測方法，將課程目標(biāo)點(diǎn)重要程度主觀評價與學(xué)生考核分?jǐn)?shù)客觀統(tǒng)計(jì)相結(jié)合，準(zhǔn)確反映課程設(shè)置對畢業(yè)要求的支撐力度，在精確計(jì)算教學(xué)效果對畢業(yè)要求達(dá)成程度的前提下，將專業(yè)特征和課程特色有機(jī)結(jié)合，有效簡化評價過程，具備較強(qiáng)的理論可行性與實(shí)踐便捷性，且能夠適用于不同專業(yè)的不同課程需要，對國家認(rèn)證工作的順利開展和高校認(rèn)證工作的積極準(zhǔn)備具有一定的參考意義和借鑒價值。但本文僅局限于討論具體課程的畢業(yè)要求達(dá)成情況，如何在此基礎(chǔ)上準(zhǔn)確評價專業(yè)教育畢業(yè)要求達(dá)成度，可成為下一步研究的方向。

[1]王玲，雷環(huán). 《華盛頓協(xié)議》簽約成員的工程教育認(rèn)證特點(diǎn)及其對我國的啟示[J]. 清華大學(xué)教育研究，2008(5): 88-92.

[2]蔣宗禮. 工程專業(yè)認(rèn)證引導(dǎo)高校工程教育改革之路[J]. 工業(yè)和信息化教育，2014(1): 1-12.

[3]李志義，朱泓，劉志軍，等. 用成果導(dǎo)向教育理念引導(dǎo)高等工程教育教學(xué)改革[J]. 高等工程教育研究，2014(2): 29-70.

[4]王建龍，李俊奇，張曉然，等. 工程教育專業(yè)認(rèn)證畢業(yè)要求達(dá)成度評價方法探討[J]. 中國現(xiàn)代教育裝備，2018(17): 41-44.

[5]張建樹，郭瑞麗. 工程教育認(rèn)證背景下課程達(dá)成度的評價改革[J]. 高教論壇，2016(6): 72-74.

[6]張國強(qiáng)，陳峻，王昊，等. 工程教育認(rèn)證背景下“交通控制與管理”課程達(dá)成度評價研究與實(shí)踐[J]. 東南大學(xué)學(xué)報(哲學(xué)社會科學(xué)版)，2017，19(S2): 150-153.

[7]邱然鋒，邱然鋒，肖笑，等. 工程教育認(rèn)證畢業(yè)要求達(dá)成度的評價[C]. 高等科學(xué)與工業(yè)研究中心2017年第四屆高等教育技術(shù)與管理科學(xué)國際會議論文集，2017.

[8]高相勝，昝濤，王民. 工程教育認(rèn)證畢業(yè)要求達(dá)成度評價方法和步驟[J]. 教育教學(xué)論壇，2016(51): 206-208.

[9]蔡述庭，李衛(wèi)軍，章云. 工程教育認(rèn)證中畢業(yè)要求達(dá)成度的三維度評價實(shí)踐[J]. 高等工程教育研究，2018(2): 71-76.

[10] 孫晶，張偉，任宗金，等. 工程教育專業(yè)認(rèn)證畢業(yè)要求達(dá)成度的成果導(dǎo)向評價[J]. 清華大學(xué)教育研究，2017，38(4): 117-124.

[11] 吳新燁，王東東，高婧，等. 基于多參數(shù)分級機(jī)制的工程教育專業(yè)認(rèn)證畢業(yè)要求達(dá)成度評價研究[C]. 中國軟科學(xué)研究會2019年中國軟科學(xué)論文集，2020.

[12] 李擎，崔家瑞，楊旭，等. 面向工程教育專業(yè)認(rèn)證的自動化專業(yè)持續(xù)改進(jìn)[J]. 高等工程教育研究，2019(5): 76-80，96.

Evaluation of Degree of Achievement of Graduation Requirements of Engineering Education Certification Course Based on Improved Analytic Hierarchy Process

Engineering education certification emphasizes that curriculum system setting and assessment are closely carried out around the core task of achieving students' graduation requirements. As the basis for assessing the achievement of graduation requirements, the evaluation of curriculum achievement has not formed a unified and standard method in theoretical research and specific practice. By establishing the graduation requirement index system, designing the importance statistical table, simplifying the construction process of the judgment matrix of the traditional analytic hierarchy process, obtaining the contribution degree of the curriculum target points on the basis of analyzing the importance of the indicators at all levels, accurately calculating the curriculum achievement degree, laying a foundation for calculating the achievement of graduation requirements, and explaining the implementation process in detail through example analysis. This method transforms qualitative evaluation into quantitative evaluation, which not only reflects professional characteristics, but also reflects curriculum characteristics, and has strong universality. It provides a useful reference and paradigm for the smooth development of certification work.

improved analytic hierarchy process; engineering education certification; degree of achievement of graduation requirements

G647

A

1008-1151(2022)02-0129-04

2021-11-28

廣東高校重點(diǎn)平臺和科研項(xiàng)目青年創(chuàng)新人才類項(xiàng)目（2018KQNCX251）；廣東省研究生教育創(chuàng)新計(jì)劃項(xiàng)目（2019JGXM60）；湛江市科技攻關(guān)計(jì)劃項(xiàng)目（2019B01013）；廣東海洋大學(xué)科研啟動資助項(xiàng)目（101502/R18014）；廣東海洋大學(xué)教育教學(xué)改革項(xiàng)目（580320073）；惠州學(xué)院2021年校級教學(xué)質(zhì)量與教學(xué)改革工程建設(shè)項(xiàng)目（X-JYJG2021047）。

沙金（1978－），男，河南鄭州人，廣東海洋大學(xué)機(jī)械與動力工程學(xué)院講師，博士，研究方向?yàn)槲锪髋c供應(yīng)鏈管理、工業(yè)工程。

鄭斯斯，惠州學(xué)院數(shù)學(xué)與統(tǒng)計(jì)學(xué)院講師，博士，研究方向?yàn)槲锪髋c供應(yīng)鏈管理。