基于不同數(shù)據(jù)源的畢業(yè)要求達成情況評價實證研究

趙敏華 孟月波 徐勝軍

摘? 要：畢業(yè)要求的達成情況評價是“學生為中心、面向產(chǎn)出、持續(xù)改進”工程教育基本理念實施的關(guān)鍵環(huán)節(jié)，其通過跟蹤學生的學習軌跡對畢業(yè)要求進行達成情況評價，檢驗認證期內(nèi)的某一屆獲學士學位畢業(yè)生能力是否達成，對于評價學生培養(yǎng)質(zhì)量及持續(xù)改進教學薄弱環(huán)節(jié)具有重要參考依據(jù)。不同的評價方法和評價數(shù)據(jù)源會直接影響評價結(jié)果的有效性和持續(xù)改進的合理性。該文在分析畢業(yè)要求達成情況評價常用方法的基礎(chǔ)上，討論課程定量評價不同樣本的選取方式對畢業(yè)要求達成結(jié)果的影響，最后以畢業(yè)要求達成的直接評價和間接評價結(jié)果探討可行的持續(xù)改進措施，以提升專業(yè)的產(chǎn)出質(zhì)量。

關(guān)鍵詞：工程認證；面向產(chǎn)出；畢業(yè)要求達成評價；樣本選擇；數(shù)據(jù)源

中圖分類號：G642? ? ? 文獻標志碼：A? ? ? ? ? 文章編號：2096-000X（2024）08-0020-06

Abstract： The evaluation of the achievement of graduation requirements is a key point of "student-centered， outcome-based and continuous improvement" engineering education. It evaluates the achievement of graduation requirements by tracking the learning process of students， and tests whether the ability of the graduates with bachelor's degree in the certification period is achieved， it has an important reference basis for evaluating the quality of students' training and continuously improving the weak points of teaching. Different evaluation methods and data sources will directly affect the effectiveness of evaluation results and the rationality of continuous improvement. This paper first analyzes the common methods of evaluating the achievement of graduation requirements， then discusses the impact of different sample selection methods of quantitative evaluation of curricular objectives on evaluating the achievement of graduation requirements， and finally explores the feasible continuous improvement measures based on the results of quantitative evaluation and qualitative evaluation， to improve the output quality of the major.

Keywords： engineering education accreditation; outcome-based education; achievement of graduation requirements; sample selection; data source

從2006年教育部啟動工程教育專業(yè)認證試點工作到2016年中國正式加入《華盛頓協(xié)議》，標志著中國工程教育質(zhì)量在該協(xié)議成員間達到了實質(zhì)等效[1]。截至2021年底，我國共有288所普通高等學校1 977個專業(yè)通過了工程教育認證，涉及自動化、化工等24個工科專業(yè)類。工程教育專業(yè)認證的深入開展，進一步規(guī)范了我國高等教育專業(yè)人才培養(yǎng)體系和各教學環(huán)節(jié)，使人才培養(yǎng)質(zhì)量保證體系滿足國際互認的標準，促進了人才培養(yǎng)質(zhì)量的提高，增強了我國大學工程教育的國際影響和競爭力。國內(nèi)學者針對工程認證進行了大量研究[2-3]，促進了工程認證的深入開展。

為落實“學生為中心、面向產(chǎn)出、持續(xù)改進”的基本理念，認證專業(yè)應(yīng)基于人才培養(yǎng)經(jīng)驗、培養(yǎng)目標及畢業(yè)生能力的總體要求，構(gòu)建如圖1所示的課程體系、課程目標達成及畢業(yè)要求達成的定期評價及持續(xù)改進機制。定期根據(jù)內(nèi)外需求的變化，開展培養(yǎng)目標合理性評價，修訂培養(yǎng)目標，并基于培養(yǎng)目標達成情況修訂畢業(yè)要求；綜合考慮畢業(yè)要求達成情況及課程體系合理性評價，修訂課程體系，改進課程教學、師資隊伍及支撐條件。畢業(yè)要求應(yīng)能支撐人才培養(yǎng)目標的達成，課程目標需支撐畢業(yè)要求的達成。國內(nèi)外每個畢業(yè)要求指標體系構(gòu)建都是遵循著這種支撐性原則[4]。畢業(yè)要求達成情況評價對于落實培養(yǎng)目標、構(gòu)建課程體系、實施課程目標具有重要的橋梁作用。

畢業(yè)要求達成情況評價有利于專業(yè)持續(xù)改進相關(guān)教學質(zhì)量過程；使授課教師明晰自己承擔的畢業(yè)要求培養(yǎng)任務(wù)，并圍繞其實施教學活動、開展畢業(yè)要求達成情況評價，以便持續(xù)改進優(yōu)化教學過程；畢業(yè)要求達成度評價的開展也有利于學生認識自己畢業(yè)時應(yīng)具備的知識、能力和素養(yǎng)，以及每門課程的課程目標，理解和配合教師實施教學活動，明確自己獲取能力的強項和弱項，及時調(diào)整自己的學習活動；管理部門根據(jù)畢業(yè)要求達成度評價可以評價教師工作狀況、評價專業(yè)辦學質(zhì)量、考查院系和大學的辦學目標達成情況。此外，評價結(jié)果也是作為專業(yè)經(jīng)費資助、硬件和各項資源配置的依據(jù)[5]。本文根據(jù)作者在工程認證過程中的經(jīng)驗與反思，探討分析了畢業(yè)要求達成情況評價實踐過程中評價周期、評價樣本選取，評價方式對評價結(jié)果的影響。

一? 畢業(yè)要求達成情況評價方法

為了保證評價結(jié)果能客觀反映畢業(yè)要求的達成情況，專業(yè)應(yīng)根據(jù)每項畢業(yè)要求的不同特點，采用適當?shù)姆椒ㄩ_展評價。目前，對于工程教育認證畢業(yè)要求達成度的評價方法尚無統(tǒng)一的標準，采用的方法主要包括直接評價和間接評價兩類，如課程考核成績分析法、評分表分析法、問卷調(diào)查法和學生訪談法等。原則上，與專業(yè)相關(guān)的技術(shù)性指標，適宜采用課程考核成績分析的方法進行評價。對于團隊合作、溝通、工程職業(yè)道德等非技術(shù)性指標，適宜采用評分表分析法進行評價。在確保數(shù)據(jù)可靠有效的前提下，輔以問卷調(diào)查等其他方法，對上述兩種方法的評價結(jié)果進行佐證，綜合分析得出最終的評價結(jié)果[6-7]。

（一）? 直接評價方法

畢業(yè)要求達成的直接評價方法主要是依據(jù)面向產(chǎn)出的課程質(zhì)量開展評價。其過程應(yīng)體現(xiàn)學生的學習成效，要求課程內(nèi)容、教學方法和考核方式應(yīng)與該課程支撐的畢業(yè)要求相匹配。

1? 面向產(chǎn)出的課程質(zhì)量評價

面向產(chǎn)出的課程質(zhì)量評價的實施手段是課程目標達成情況評價，如圖2所示，其評價方法包括定量評價和定性評價。定量評價是指任課教師對照課程目標，對學生的學習成果進行量化評估，形成課程目標達成分析報告。定性評價為學生自我評價，以課程調(diào)查問卷為依據(jù)，經(jīng)過綜合分析得到課程目標定性評價分析報告。

課程目標達成定量評價的評價依據(jù)主要來自學期成績登記表和平時成績，其基于平時作業(yè)、考試試卷、實習和實驗報告等反映學生成績的資料。在開展課程達成度評價前，應(yīng)由熟悉該門課程的專家對評價依據(jù)的合理性進行確認，確保考核內(nèi)容覆蓋相應(yīng)畢業(yè)要求的觀測點，試題難度適中，覆蓋面及課程作業(yè)、實習實踐內(nèi)容合理，能夠反映學生相應(yīng)畢業(yè)能力的狀態(tài)。

計算單門課課程目標及畢業(yè)要求指標點達成度時，專業(yè)依據(jù)對學生的試卷、報告、答辯等考核成績，抽取選修該門課程的全部或部分學生作為樣本，進行課程對該畢業(yè)要求指標點的達成度評價。計算方法和過程如下。

某門課程i對畢業(yè)要求分觀測點k的達成度C的計算公式為

C=O×Bt×Ft /100，

式中：O為課程i對分指標點k達成度的目標值；t為構(gòu)成總評成績的分成績項數(shù)，例如，當總評成績由卷面和平時成績構(gòu)成時，則t=2；Bt為換算后第t項成績的平均得分相對于應(yīng)得分的百分比；Ft為第t項成績占總評成績的百分比。

2? 畢業(yè)要求達成情況定量評價

規(guī)定畢業(yè)要求j對應(yīng)的分觀測點k的達成度目標值之和為1，畢業(yè)要求j的各個分觀測點達成度D具體計算公式為

D=ωC，

式中：i為支撐分指標點k的第i門課程；C為課程i對觀測點k達成度的評價值；ω為課程i對觀測點k達成度的權(quán)值。

求出各畢業(yè)要求對應(yīng)的分觀測點達成度D后，取各達成度最小值作為該項畢業(yè)要求達成度評價值Ej，具體計算公式為

Ej=min（D），

式中：D為支撐畢業(yè)要求j的分觀測點k的達成度評價值。

在確定單項畢業(yè)要求j的達成度Ej后，取其最小值作為總體畢業(yè)要求達成度A的評價值，具體計算公式為

A=min（Ej），

式中：Ej為畢業(yè)要求j的達成度評價值。

（二）? 間接評價方法

畢業(yè)要求達成的間接評價方法主要是通過問卷調(diào)查應(yīng)屆畢業(yè)生對專業(yè)畢業(yè)要求的達成情況認同度，以此來反映畢業(yè)要求達成度的評價。

其計算公式為

Bm=/5，

式中：Bmn為畢業(yè)要求m得分為n分的人數(shù)，例如，B14為畢業(yè)要求1得分為4分的人數(shù)；Bm為畢業(yè)要求m的定性達成度。

（三）? 綜合評價

將直接和間接評價結(jié)果按權(quán)重求和，得到其綜合評價結(jié)果，即

畢業(yè)要求m的達成度=Am×W1+Bm×W2，

式中：W1、W2分別表示直接評價方法和間接評價方法的權(quán)重，其和為1。

二? 樣本數(shù)據(jù)選取對評價結(jié)果的影響分析

在具體開展畢業(yè)要求達成情況計算時，各專業(yè)根據(jù)評價周期選取不同的樣本計算方法。

（一）? 以三年為周期評價畢業(yè)要求達成情況

若畢業(yè)要求達成情況評價以三年為周期，每隔三年開展一次。那么在評價時，某門課程i對觀測點k達成度的評價值C取近三年的最小值。采用這種方法計算簡單，但是周期較長，不利于及時發(fā)現(xiàn)問題，而在最終計算畢業(yè)要求達成度時，可能因采用了不同屆學生的樣本，且以近三年為周期，樣本數(shù)據(jù)來自不同的培養(yǎng)目標與課程體系，容易掩蓋存在的問題，造成計算結(jié)果分析的混亂。

（二）? 以一年為周期評價畢業(yè)要求達成情況

不同于以三年為周期的畢業(yè)要求達成評價方法，該種方法在課程結(jié)課后及時開展課程質(zhì)量評價，并針對每屆畢業(yè)生均開展畢業(yè)要求達成情況，該種方法雖然增加了評價次數(shù)，但也更加細致深入，能夠快速準確地發(fā)現(xiàn)課程體系、課程實施及支撐條件方面存在的薄弱環(huán)節(jié)，及時改進。

成果導向教育的實施要堅持三大原則，即反向設(shè)計、學生中心和持續(xù)改進[8]，畢業(yè)要求達成情況評價是檢驗課程體系反向設(shè)計合理性的重要手段，以一年為周期，針對每屆畢業(yè)生開展評價，時效性更快、借鑒意義更大。

（三）? 課程目標達成情況評價樣本選取對評價結(jié)果的影響

計算畢業(yè)要求達成情況時需要用到課程對所支撐觀測點k達成度的評價值，該樣本選取有兩種方式，一種是以課程結(jié)課時所采用的原始試卷考核結(jié)果為樣本進行分析，即以課程質(zhì)量評價結(jié)果為依據(jù)，其分析結(jié)果便于發(fā)現(xiàn)課程實施過程中所存在的不足，利于任課教師發(fā)現(xiàn)問題，持續(xù)改進。另一種是更新原始考試不及格學生的成績，以最終畢業(yè)時補考通過后的成績?yōu)闃颖具M行達成情況評價，這種方式更接近畢業(yè)要求達成情況的實際，利于發(fā)現(xiàn)課程體系設(shè)計中存在的問題。

（四）? 畢業(yè)要求達成情況評價實證分析

本文以西安建筑科技大學自動化專業(yè)2020屆和2021屆學生的樣本數(shù)據(jù)為例，分析采用原始考試結(jié)果和替換補考成績后評價結(jié)果的差異，以及直接評價和間接評價結(jié)果對達成情況評價非一致性結(jié)果的原因。這兩屆學生培養(yǎng)方案相同，選取兩屆樣本數(shù)據(jù)，更利于發(fā)現(xiàn)該版方案實施過程中存在的共性問題，為持續(xù)改進提供更充分的依據(jù)。

直接評價結(jié)果和間接評價結(jié)果在畢業(yè)要求達成度計算中所占權(quán)重分別為0.7和0.3。本文選取正考和補考成績波動大的畢業(yè)要求1—5為例展開分析，表1、表2分別為2020屆、2021屆達成評價結(jié)果，其樣本數(shù)據(jù)分別采用課程正考成績和替換補考成績，剔除未畢業(yè)學生后的成績進行評價。

分析表1、表2可知，2021屆學生相對于2020屆學生畢業(yè)要求達成情況整體有所提升，且畢業(yè)要求觀測點的薄弱環(huán)節(jié)滿足一致性，達成情況較低的均為畢業(yè)要求1.1，2.2，3.1，4.1，5.2。本文以畢業(yè)要求1和畢業(yè)要求2為例進行討論。

畢業(yè)要求1中觀測點1.1支撐的課程為數(shù)學、物理類公共基礎(chǔ)課，其樣本均為更新補考成績后的數(shù)據(jù)。兩屆學生的大學物理、線性代數(shù)的達成值均較低。到底是教師教學的問題？學生學習的問題還是課程教學計劃的問題？大學物理屬于掛牌授課，學生自由選擇不同的老師，學生可能由不同的任課老師教學，線性代數(shù)屬于按專業(yè)授課，但每屆學生的任課教師不固定。不同的授課老師，面向不同屆的學生，其達成結(jié)果卻都不佳，是否由于教學計劃安排不恰當造成的？經(jīng)與任課教師、學生座談、分析教學計劃發(fā)現(xiàn)，大學物理課程教學與實驗脫節(jié)、使學生學習存在一定困難，建議理學院對課程和實驗的設(shè)計進行優(yōu)化、使之符合學生的認知規(guī)律。線性代數(shù)和高等數(shù)學同時安排在大一第一學期，對于初入校的學生理解力不足，根據(jù)課程銜接及學生的認知，線性代數(shù)安排在第二或第三學期更合適。

畢業(yè)要求2中觀測點2.2的支撐課程為自動控制原理、線性系統(tǒng)理論、建模與辨識、電機與拖動基礎(chǔ)和電力電子技術(shù)，2020屆采用課程原始試卷樣本學生的畢業(yè)要求達成值分別為0.664、0.747、0.680、0.695和0.713，2020屆采用最終補考通過成績替換原始試卷未及格學生的成績后，其達成值分別為0.716、0.747、0.720、0.730和0.740。從評價結(jié)果可知，用最終補考成績替換原始樣本中的不及格成績后，課程對畢業(yè)要求的達成值提升了，并滿足評價的一致性。但是如果使用原始試卷樣本值，自動控制原理的畢業(yè)要求達成值為0.664小于專業(yè)制定的合格標準0.670。說明成績薄弱的學生通過重修、補考，在畢業(yè)時該項能力得到提升。也說明任課教師加大課程的過程考核，引入雨課堂、微課堂、思維導圖等多種舉措是有效的。2021屆學生達成情況分析的結(jié)果與2020屆學生相似，本文就不再贅述。

三? 直接評價結(jié)果和間接評價結(jié)果一致性判定畢業(yè)要求課程支撐的合理性

2020屆、2021屆畢業(yè)生12項畢業(yè)要求通過發(fā)放調(diào)查問卷，得到的間接評價結(jié)果與前文所述采用補考成績更新后計算所得直接評價結(jié)果，其二維柱形圖如圖3和圖4所示。由圖3和圖4可知，兩屆學生的畢業(yè)要求達成情況評價結(jié)果基本一致。12項畢業(yè)要求的綜合評價均大于期望得分0.670。學生整體對個人畢業(yè)要求的間接評價值均大于0.8，和直接評價基本趨勢一致，但高于直接評價值，說明較多學生對自身達到畢業(yè)要求的認可度高于直接評價結(jié)果。

畢業(yè)要求1、8、11直接評價和間接評價相對關(guān)系不一致，其直接評價結(jié)果在12項中處于較低情況，但是學生自我評價結(jié)果較高，說明定量評價和學生的自我評估有一定出入，需要進一步明確是課程達成原因還是觀測點支撐課程不匹配的原因。經(jīng)對比分析，畢業(yè)要求1所涉及的工程知識是指能夠?qū)?shù)學、自然科學、工程基礎(chǔ)和專業(yè)知識用于解決工業(yè)過程控制與運動控制、建筑智能化系統(tǒng)設(shè)計與集成等相關(guān)控制領(lǐng)域的復雜工程問題。從前面分析已知，畢業(yè)要求1低的主要原因是觀測點1.1，其支撐課程主要是數(shù)學和物理，但是問卷是針對畢業(yè)要求1的評價，那么綜合工程基礎(chǔ)和專業(yè)知識，學生在畢業(yè)時對自己的評價高于大一時的考核結(jié)果也是合理的。

畢業(yè)要求8職業(yè)規(guī)范強調(diào)畢業(yè)生應(yīng)具有良好的人文社會科學素養(yǎng)、社會責任感，能夠在自動化領(lǐng)域工程實踐中理解并遵守工程職業(yè)道德和規(guī)范，履行責任。評價值低的主要原因是觀測點8.1，其支撐課程僅為思想道德修養(yǎng)與法律基礎(chǔ)和馬克思主義基本原理，僅靠這兩門課的考核成績并不能真實反映學生該項畢業(yè)要求的達成，對于這類非技術(shù)性指標應(yīng)該綜合考慮，設(shè)計合理的達成評價方法。

畢業(yè)要求11項目管理的觀測點11.1理解自動化領(lǐng)域工程活動中涉及的經(jīng)濟與管理因素，掌握相應(yīng)的工程管理原理與經(jīng)濟決策方法，這個觀測點的支撐課程只有概率論與數(shù)理統(tǒng)計及馬克思主義基本原理，結(jié)合間接評價結(jié)果，說明僅有這兩門課程不能有效支撐畢業(yè)要求的達成，需要增加經(jīng)濟管理方面的課程來支撐該觀測點，以充分反映學生畢業(yè)要求11的達成情況。

四? 結(jié)論

本文在分析畢業(yè)要求達成情況評價必要性的基礎(chǔ)上，探討了畢業(yè)要求達成情況評價的常用方法。以3～4年長周期開展畢業(yè)要求達成評價，評價樣本的選取會影響分析結(jié)果的精準性，本文評價采用按年選取每屆畢業(yè)生的完整樣本進行評價，并以西安建筑科技大學自動化專業(yè)2020屆、2021屆畢業(yè)生的學習成果樣本為評價依據(jù)，從樣本選取、直接評價、間接評價、綜合評價的不同角度對畢業(yè)要求達成情況進行了分析。

根據(jù)不同樣本分析可知，采用原始考核成績計算的畢業(yè)要求達成度與更新補考成績后計算的畢業(yè)要求達成度其趨勢一致，但是更新補考成績后畢業(yè)生的達成情況提升了，說明在后期經(jīng)過課程實施的持續(xù)改進，對學習困難的學生進行幫扶和輔導，其最終達到了畢業(yè)要求，提升了該屆學生相關(guān)畢業(yè)要求達成度，兩種計算方法對畢業(yè)達成度問題分析與持續(xù)改進的結(jié)論性意見基本一致，但使用重修、補考成績替換后得到的達成度指標分析更能準確判定畢業(yè)要求達成與課程目標達成之間的關(guān)系，便于發(fā)現(xiàn)課程設(shè)計方面的問題。

針對不同的畢業(yè)要求，專業(yè)在進行達成分析時應(yīng)綜合考慮直接評價和間接評價的結(jié)果，單純基于課程考核的直接評價方式，在評價結(jié)果上會存在片面性，不利于發(fā)現(xiàn)課程體系、課程實施等方面的不足，引入合理的間接評價方式是非常必要的。

參考文獻：

[1] 李志義.對畢業(yè)要求及其制定的再認識——工程教育專業(yè)認證視角[J].高等工程教育研究，2020（5）：1-10.

[2] 李志義.對我國工程教育專業(yè)認證十年的回顧與反思之一：我們應(yīng)該堅持和強化什么[J].中國大學教學，2016（11）：10-16.

[3] 李志義.對我國工程教育專業(yè)認證十年的回顧與反思之二：我們應(yīng)該防止和摒棄什么[J].中國大學教學，2017（1）：8-14.

[4] 孟祥紅，齊恬雨，張丹.從課程支撐到能力整合：工程教育專業(yè)認證“畢業(yè)要求”指標研究[J].高等工程教育研究，2021（5）：64-70.

[5] 顧曉薇，王青，邱景平，等.工程教育認證“畢業(yè)要求”達成度的認識與思考[J].教育教學論壇，2016（14）：24-26.

[6] 蔡述庭，李衛(wèi)軍，章云.工程教育認證中畢業(yè)要求達成度的三維度評價實踐[J].高等工程教育研究，2018（2）：71-76.

[7] 沙金，鄭斯斯.工程教育認證背景下畢業(yè)要求達成度評測研究[J].湖北師范大學學報（自然科學版），2021，41（3）：50-57.

[8] 李志義，趙衛(wèi)兵.我國工程教育認證的最新進展[J].高等工程教育研究，2021（5）：39-43.

基金項目：陜西高等教育教學改革研究項目“建筑電氣與智能化虛擬教研室建設(shè)路徑探索研究”（21BY044）；西安建筑科技大學一流專業(yè)建設(shè)項目“結(jié)合創(chuàng)新創(chuàng)業(yè)教育的課程體系及專業(yè)課教學模式探索”（YLZY0601C00）、“工程教育認證視角下自動化專業(yè)‘人工智能課程群建設(shè)”（YLZY0601K00）、“新工科+工程教育認證背景下自動化專業(yè)建設(shè)實踐”（YLZY0601Z00）

第一作者簡介：趙敏華（1971-），女，回族，陜西西安人，博士，副教授，系教學副主任。研究方向為復雜系統(tǒng)建模與仿真、建筑智能與節(jié)能。