DEA法對(duì)材料化學(xué)專業(yè)課程教學(xué)效果評(píng)價(jià)的研究

趙靜，侯靜云，馮輝

(1.淮南師范學(xué)院化學(xué)與材料工程學(xué)院，安徽 淮南 232000；2.淮南師范學(xué)院計(jì)算機(jī)學(xué)院，安徽 淮南 232000)

0 引言

材料化學(xué)是一門高等教育應(yīng)用型本科專業(yè)，其人才培養(yǎng)方案以化學(xué)和材料科學(xué)兩大基礎(chǔ)學(xué)科為支撐，旨在為社會(huì)輸送綜合性和專業(yè)性的高質(zhì)量技術(shù)人才。其主要課程涵蓋各類理工科課程，如高等數(shù)學(xué)、大學(xué)物理、無(wú)機(jī)化學(xué)、有機(jī)化學(xué)、數(shù)據(jù)分析、儀器分析等，具有內(nèi)容涉及范圍廣、知識(shí)點(diǎn)更新速度快、課程交叉性強(qiáng)、前沿科技含量高等特點(diǎn)。對(duì)材料化學(xué)專業(yè)學(xué)生的授課過程的要求，不僅包含對(duì)專業(yè)內(nèi)課程的熟練掌握，也細(xì)化到對(duì)具體材料化學(xué)性質(zhì)的表征、功能材料的合成和制備、特殊材料的物理性能的分析。這一過程需要學(xué)生在專業(yè)課程的學(xué)習(xí)基礎(chǔ)上，具備交叉學(xué)科知識(shí)儲(chǔ)備、實(shí)驗(yàn)設(shè)計(jì)動(dòng)手能力以及解決問題實(shí)踐能力；需要教師能夠靈活、迅速、直觀地對(duì)授課效果進(jìn)行分析和掌握。目前，教學(xué)工作者主要通過收集各界(學(xué)生、同行、學(xué)校等)反饋意見、整合教學(xué)成果(諸如考試成績(jī)、發(fā)表論文、學(xué)科競(jìng)賽)等方法對(duì)課程教學(xué)效果進(jìn)行評(píng)價(jià)，但由于各指標(biāo)的評(píng)價(jià)標(biāo)準(zhǔn)不同，難以獲得統(tǒng)一的、客觀的整體性評(píng)價(jià)。因此，材料化學(xué)專業(yè)教學(xué)過程中，在對(duì)學(xué)生全方面、全方位的知識(shí)傳授和實(shí)踐指導(dǎo)的同時(shí)，需要找到一種基于各項(xiàng)反饋信息、科學(xué)的課程教學(xué)效果可視化評(píng)價(jià)辦法[1]。

本論文以科學(xué)高效評(píng)價(jià)材料化學(xué)專業(yè)課程為研究目標(biāo)，依托淮南師范學(xué)院大學(xué)生就業(yè)平臺(tái)進(jìn)行研究背景調(diào)查，向2018—2022屆全體材料化學(xué)專業(yè)畢業(yè)生發(fā)放專業(yè)課程評(píng)價(jià)調(diào)查問卷，收集數(shù)據(jù)并進(jìn)行統(tǒng)計(jì)分析，整理其中部分代表性數(shù)據(jù)，如圖1所示。統(tǒng)計(jì)結(jié)果表明，材料化學(xué)往屆畢業(yè)生對(duì)專業(yè)課程教學(xué)方法、教學(xué)效果的滿意度均較高，均已超過75%；對(duì)專業(yè)知識(shí)系統(tǒng)學(xué)習(xí)后自身評(píng)價(jià)，諸如知識(shí)掌握以及運(yùn)用知識(shí)解決實(shí)際問題的能力自我評(píng)價(jià)“優(yōu)秀”的占比較小，尤其是對(duì)自身應(yīng)用能力較差的評(píng)價(jià)高達(dá)69.76%，同時(shí)認(rèn)為自身較好的掌握了專業(yè)知識(shí)的僅占比3.21%。以上分析表明往屆材料化學(xué)專業(yè)畢業(yè)生對(duì)專業(yè)課程的開設(shè)、課程安排、教授方法均較為滿意，但同時(shí)認(rèn)為實(shí)際知識(shí)掌握情況不好，在實(shí)踐動(dòng)手能力、知識(shí)拓展運(yùn)用、與其他學(xué)科的交叉分析等方面存在缺陷和不足。問卷調(diào)查數(shù)據(jù)體現(xiàn)出課堂教學(xué)、理論實(shí)踐、專業(yè)應(yīng)用等方面共同發(fā)展不足、存在短板現(xiàn)象，極大限制了教育教學(xué)效果的提高。

圖1 問卷調(diào)查結(jié)果

綜上所述，需要一種對(duì)教學(xué)成果定量分析，并對(duì)短板部位定量考察的教學(xué)效果評(píng)價(jià)方法，并在此基礎(chǔ)上進(jìn)一步發(fā)現(xiàn)問題、解決問題。論文以材料物理導(dǎo)論課程為評(píng)價(jià)對(duì)象，進(jìn)行教學(xué)效果的評(píng)價(jià)研究。該課程是一門材料化學(xué)專業(yè)課程，介于基礎(chǔ)物理學(xué)、微觀量子力學(xué)、材料加工技術(shù)、儀器分析和檢測(cè)技術(shù)之間，在理論授課之外還包含實(shí)踐課程指導(dǎo)，即實(shí)驗(yàn)操作和論文寫作指導(dǎo)。因此滿足課程在理論教學(xué)、實(shí)踐操作、拓展應(yīng)用方面的多維度評(píng)價(jià)需求。本研究選用數(shù)據(jù)包絡(luò)分析(data envelopment analysis，DEA)對(duì)材料物理導(dǎo)論課程進(jìn)行教學(xué)效果分析。

1 教學(xué)評(píng)價(jià)方法介紹

1.1 分析原理

DEA是一種成熟的非量綱效率分析方法，于1978年由運(yùn)籌學(xué)家A.Charnes，W.W.Cooper和E.Rhodes三位學(xué)者共同提出[2]，由于其對(duì)效率的評(píng)教采用相對(duì)效率的概念，因此不需要考慮影響因素間量綱的差異，是一種非參數(shù)的對(duì)決策單元進(jìn)行評(píng)價(jià)的高效方法。此后在進(jìn)一步總結(jié)規(guī)律后三位學(xué)者用各自名字的首字母創(chuàng)建了第一個(gè)DEA模型，命名為CCR，即規(guī)模報(bào)酬不變CRS(constant returns to scale)模型[3]。DEA的優(yōu)勢(shì)在于其評(píng)價(jià)效率的依據(jù)的是決策單元的數(shù)據(jù)輸入/輸出，即評(píng)價(jià)單元間的相對(duì)有效性。DEA模型只需設(shè)計(jì)投入與產(chǎn)出，不需要對(duì)指標(biāo)進(jìn)行無(wú)量綱化處理，可以直接進(jìn)行技術(shù)效率與規(guī)模效率評(píng)價(jià)，而無(wú)需再定義一個(gè)具體的表達(dá)函數(shù)。同時(shí)，不需要大量的樣本，無(wú)需任何權(quán)重假設(shè)，且以決策單元輸入、輸出的實(shí)際數(shù)據(jù)求得優(yōu)先權(quán)重，排除了很多主觀因素，具有較強(qiáng)的客觀性。DEA方法假定每個(gè)輸入都關(guān)聯(lián)到一個(gè)或者多個(gè)輸出，且輸入輸出之間確實(shí)存在某種聯(lián)系，但不必確定這種關(guān)系的顯示表達(dá)式。

在使用DEA進(jìn)行效率分析時(shí)，首先需要選定模型的技術(shù)效率。技術(shù)效率是指某個(gè)生產(chǎn)單元在生產(chǎn)過程中可以實(shí)現(xiàn)的在該技術(shù)領(lǐng)域的水平程度，需要根據(jù)研究對(duì)象進(jìn)行具體設(shè)計(jì)。一般來(lái)說(shuō)，技術(shù)效率從投入既定和產(chǎn)出既定兩個(gè)角度衡量，前者旨在使產(chǎn)出最大化，后者旨在使投入最小化[4]。諸如本研究中，投入既定產(chǎn)出最大化指導(dǎo)評(píng)價(jià)課程的教學(xué)效果，擬選取成績(jī)的優(yōu)秀率作為其中一項(xiàng)考核指標(biāo)。技術(shù)效率的選擇可以極大的體現(xiàn)生產(chǎn)單元的技術(shù)水平情況，因此在選定過程中需要注意生產(chǎn)單元和技術(shù)效率之間確切存在內(nèi)在聯(lián)系。其次，DEA需要選取標(biāo)定測(cè)度對(duì)象效率的決策單元(decision making unit，DMU)，DMU可以是任何可數(shù)據(jù)化表征的投入(輸入)、產(chǎn)出(輸出)的研究對(duì)象，在數(shù)據(jù)準(zhǔn)備階段需要注意必須對(duì)DMU原始數(shù)據(jù)進(jìn)行命名且不允許有缺失值。最后是輸入數(shù)據(jù)和輸出數(shù)據(jù)的確定。

課程評(píng)價(jià)過程中，教學(xué)基礎(chǔ)條件一致，因此研究使用以產(chǎn)出為向?qū)?output-oriented)的基于規(guī)模報(bào)酬不變的CCR模型。在不考慮生產(chǎn)規(guī)模影響的前提下，技術(shù)效率可通過產(chǎn)出/投入的比值來(lái)定量的測(cè)量。假設(shè)要測(cè)量一組共N個(gè)DMU的技術(shù)效率，記為DMUj(j=1, 2…,N)；每個(gè)DMU有m種投入，記為xi(i=1, 2…,m)，投入的權(quán)重表示為vi(i=1, 2…,m)；q種產(chǎn)出，記為yr(r=1, 2…,q)，產(chǎn)出的權(quán)重表示為ur(r=1, 2…,q)。將待測(cè)DMU記為DMUk，其產(chǎn)出投入比為

將效率值限定在[0, 1]的區(qū)間內(nèi)，在所有DMU的效率值都不超過1的條件下令被評(píng)價(jià)DMU的效率值最大化。確定模型的權(quán)重u和v，將各單元的產(chǎn)出/投入比值除以其中的最大比值，就可以將產(chǎn)出/投入比值標(biāo)準(zhǔn)化成0～1之間的數(shù)值，實(shí)現(xiàn)被評(píng)價(jià)單元與最優(yōu)單元之間技術(shù)效率差距的評(píng)價(jià)。

1.2 準(zhǔn)備數(shù)據(jù)

輸入數(shù)據(jù)指決策單元在某種活動(dòng)中需要消耗的某些信息量，輸出數(shù)據(jù)指決策單元經(jīng)過一定的輸入之后產(chǎn)生的表明該活動(dòng)成效的某些信息量。通過上述分析，在經(jīng)過2021—2022第二學(xué)期和2022—2023年第一學(xué)期的理論教學(xué)、實(shí)踐操作、拓展應(yīng)用方面的教學(xué)后，本研究以淮南師范學(xué)院化學(xué)與材料工程學(xué)院材料化學(xué)專業(yè)學(xué)科評(píng)價(jià)指標(biāo)(如表1所示)，結(jié)合材料物理導(dǎo)論課程教學(xué)目標(biāo)(如表2所示)，考慮到具體指標(biāo)的量化情況，對(duì)投入和產(chǎn)出進(jìn)行DEA方法設(shè)計(jì)。為了對(duì)教學(xué)方法三個(gè)方面的效果分別評(píng)價(jià)，決策單元設(shè)計(jì)為理論教學(xué)、實(shí)踐操作、拓展應(yīng)用，將學(xué)科評(píng)價(jià)指標(biāo)中的具體項(xiàng)目劃分為以上三個(gè)決策單元的投入變量和產(chǎn)出變量。合并決策單元間一致的運(yùn)算數(shù)據(jù)，如工作基本條件和學(xué)術(shù)隊(duì)伍情況，由于授課使用指定教材、授課隊(duì)伍組成情況一致，設(shè)計(jì)時(shí)不做體現(xiàn)。考慮課程授課學(xué)期不包含畢業(yè)年級(jí)，不考察優(yōu)秀畢業(yè)論文等相關(guān)目標(biāo)。最后，在學(xué)科評(píng)價(jià)指標(biāo)的選擇上，鑒于本研究向教學(xué)效果受眾傾斜，產(chǎn)出變量的選擇以本科生可以實(shí)現(xiàn)的目標(biāo)為考量基礎(chǔ)。考慮課程教學(xué)拓展應(yīng)用的高質(zhì)量要求，增加發(fā)表科研論文、大學(xué)生創(chuàng)新創(chuàng)業(yè)類項(xiàng)目立項(xiàng)數(shù)量的考核。此外，由于教學(xué)效果是師生雙向協(xié)同的共同結(jié)果，研究將參與學(xué)生人數(shù)納入投入變量的選擇范圍。

表1 學(xué)科評(píng)價(jià)指標(biāo)

2 評(píng)價(jià)效果分析

2.1 規(guī)劃模型

分析使用MaxDEA 8軟件，從理論教學(xué)、實(shí)踐操作、拓展應(yīng)用三個(gè)方面考察材料物理導(dǎo)論課程的教學(xué)效果，并將其設(shè)置為決策單元，選擇CCR模型，以產(chǎn)出為導(dǎo)向，旨在使技術(shù)效率實(shí)現(xiàn)產(chǎn)出最大化。投入變量設(shè)計(jì)為授課人數(shù)、參與人數(shù)和實(shí)驗(yàn)平臺(tái)，產(chǎn)出變量課程期末考試成績(jī)優(yōu)秀人數(shù)(簡(jiǎn)稱“考試成績(jī)”)，大學(xué)生創(chuàng)新創(chuàng)業(yè)、大學(xué)生創(chuàng)新科研項(xiàng)目、大學(xué)生挑戰(zhàn)杯等科學(xué)技術(shù)競(jìng)賽(簡(jiǎn)稱“立項(xiàng)數(shù)目”)、各類賽事三等獎(jiǎng)以上獲獎(jiǎng)數(shù)目(簡(jiǎn)稱“獲獎(jiǎng)數(shù)目”)、各類本科學(xué)報(bào)以上公開刊物發(fā)表的論文數(shù)量(簡(jiǎn)稱“論文數(shù)量”)。其規(guī)劃模型的基本方法是，對(duì)考察樣本的投入及產(chǎn)出數(shù)據(jù)的分析確定有效生產(chǎn)前沿面，并根據(jù)DMU與生產(chǎn)前沿面的距離情況，確定DMU是否為DEA有效。課程教學(xué)效果DEA分析的輸入/輸出(Input/Output)數(shù)據(jù)，如表3所示。

表3 輸入數(shù)據(jù)

2.2 運(yùn)行結(jié)果

建立MaxDEA支持的Access數(shù)據(jù)，選擇Envelopment Mode，對(duì)包絡(luò)模型的基本選項(xiàng)諸如模型距離、導(dǎo)向、規(guī)模報(bào)酬和前沿類型等基礎(chǔ)選項(xiàng)進(jìn)行設(shè)計(jì)后，運(yùn)行上述模型。得到DMU數(shù)量、投入/產(chǎn)出數(shù)量、距離函數(shù)類型、模型導(dǎo)向和規(guī)模報(bào)酬等信息。需要注意，為了避免DEA模型在松弛變量產(chǎn)生不完全計(jì)算，導(dǎo)致結(jié)果中計(jì)算出的投影值處于無(wú)效/低效狀態(tài)，研究采用兩階段法(Two Stage)對(duì)模型進(jìn)行求解[5]，運(yùn)算結(jié)果包括數(shù)據(jù)效率值(Score)、參考標(biāo)桿(Benchmark and Lambda)比例改進(jìn)值(Proportionate Movement)、松弛改進(jìn)值(Slack Movement)和目標(biāo)值/投影值(Projection)。表4中列出了部分關(guān)鍵數(shù)據(jù)的運(yùn)行結(jié)果，其中Score體現(xiàn)了模型的有效性，等于1為弱有效，如果同時(shí)滿足松弛兩邊均為0，則為強(qiáng)有效。Slack Movement本身為正值，在輸出結(jié)果中通過添加“±”號(hào)表示投入產(chǎn)出松弛變化的方向，定義為正值表示增加方向、負(fù)值表示減弱方向。Projection是原始值、比例改進(jìn)值和松弛改進(jìn)值的代數(shù)和。

表4 運(yùn)行結(jié)果

2.3 結(jié)果討論

理論分析表明，模型有效的基本條件是需要至少有一項(xiàng)產(chǎn)出的松弛變量為0，如果產(chǎn)出的松弛變量都不等于0，說(shuō)明模型設(shè)計(jì)的不合理仍然需要等比例調(diào)整，或者參數(shù)選擇不具有代表性，無(wú)法獲得最優(yōu)解。對(duì)本例結(jié)果進(jìn)行分析，在產(chǎn)出導(dǎo)向模型中，理論教學(xué)和拓展應(yīng)用的松弛變量均為0，即在材料物理導(dǎo)論課程的教學(xué)過程中這兩個(gè)方面的教學(xué)效果達(dá)到了課程的授課基本目標(biāo)，是合理的；而實(shí)踐操作的松弛變量存在不為0情況，且數(shù)值為正，表明需要正向提高的改進(jìn)。

上述模型運(yùn)行結(jié)果表明，理論教學(xué)和拓展應(yīng)用DMU的效率值均為1，并且這所有投入(A、B、C)和產(chǎn)出(D、E、F、G)的松弛變量均為0，說(shuō)明這2個(gè)DMU均為強(qiáng)有效，即在材料物理導(dǎo)論課程的教學(xué)中理論教學(xué)和實(shí)踐拓展的教學(xué)效果為強(qiáng)有效。而實(shí)踐操作方面的教學(xué)效果并未到達(dá)最優(yōu)，其中Slak Movements在產(chǎn)出松弛變量(D、E、F、G)的運(yùn)行數(shù)據(jù)均為正值，表明實(shí)踐操作在考試成績(jī)、立項(xiàng)數(shù)目、獲獎(jiǎng)數(shù)目和論文數(shù)目方面均需加強(qiáng)，結(jié)合Projection的運(yùn)行結(jié)果，模型分析給出了投入松弛變量改進(jìn)的方法。

3 結(jié)語(yǔ)

本文在淮南師范學(xué)院材料化學(xué)專業(yè)人才培養(yǎng)方案的基礎(chǔ)上，以材料物理導(dǎo)論為分析案例，結(jié)合其課程教學(xué)大綱，采用數(shù)據(jù)分析包絡(luò)法設(shè)計(jì)以產(chǎn)出為導(dǎo)向的規(guī)模報(bào)酬不變模型，從理論教學(xué)、實(shí)踐操作和拓展應(yīng)用方面對(duì)課程教學(xué)效果進(jìn)行了評(píng)價(jià)。模型運(yùn)行結(jié)果表明，課程教學(xué)效果總體顯著，理論教學(xué)和拓展應(yīng)用的效率值均為強(qiáng)有效，實(shí)踐操作的效率值需要提高，可以通過增加授課人數(shù)、擴(kuò)大授課基數(shù)和建設(shè)實(shí)驗(yàn)平臺(tái)的方法進(jìn)行改進(jìn)。