基于EduCoder的程序設(shè)計(jì)類(lèi)課程教學(xué)效果評(píng)估方法研究

張?jiān)品?，王維維，汪松鶴

（國(guó)防科技大學(xué) 電子對(duì)抗學(xué)院，安徽 合肥 230037）

0 引言

OBE（Outcome Based Education）教育模式現(xiàn)已成為國(guó)內(nèi)外眾多高校普遍認(rèn)可的工程教育模式，國(guó)內(nèi)又將其稱(chēng)為基于學(xué)習(xí)產(chǎn)出的教育模式、成果導(dǎo)向教育模式等。OBE教育模式已廣泛應(yīng)用于人才培養(yǎng)和課程建設(shè)。OBE教育模式是以實(shí)際產(chǎn)出為核心的教育理念，如何評(píng)價(jià)學(xué)生已取得的學(xué)習(xí)成果，即如何進(jìn)行教學(xué)質(zhì)量評(píng)估是OBE教育模式強(qiáng)調(diào)解決的問(wèn)題［1-5］。

教學(xué)效果評(píng)估作為院校教學(xué)工作的重要部分，評(píng)估的目的是為了及時(shí)掌握學(xué)生的學(xué)習(xí)情況并發(fā)現(xiàn)問(wèn)題。通過(guò)原因分析，改進(jìn)教學(xué)方法、調(diào)整實(shí)訓(xùn)內(nèi)容、優(yōu)化教學(xué)設(shè)計(jì)，進(jìn)而提高教學(xué)質(zhì)量。根據(jù)不同的教學(xué)對(duì)象與課程特點(diǎn)，教學(xué)評(píng)估的方法有很多。為了探索有效的教學(xué)評(píng)估方法，學(xué)者們有的在模型算法上進(jìn)行深入研究，有的在評(píng)估系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)上開(kāi)展工作。教學(xué)效果評(píng)估需要設(shè)計(jì)評(píng)估指標(biāo)以及評(píng)估權(quán)值，然后運(yùn)用相關(guān)算法進(jìn)行評(píng)估［6-7］。目前研究的指標(biāo)大多為通用指標(biāo)，不能完全支持程序類(lèi)課程評(píng)估。為了克服傳統(tǒng)評(píng)估系統(tǒng)數(shù)據(jù)冗余度高、工作量大、操作繁瑣等不足，人們開(kāi)發(fā)了各類(lèi)教學(xué)質(zhì)量評(píng)估系統(tǒng)［8-9］，但這類(lèi)系統(tǒng)傾向于進(jìn)行全面分析，缺少對(duì)課程及學(xué)生學(xué)習(xí)過(guò)程的分析。隨著數(shù)字化教學(xué)技術(shù)的快速發(fā)展，涌現(xiàn)出一系列在線實(shí)踐教學(xué)工具和平臺(tái)，各平臺(tái)都有學(xué)習(xí)評(píng)估功能，但在課程教學(xué)效果評(píng)估方面都有需要改進(jìn)的地方［10］。本文根據(jù)程序設(shè)計(jì)類(lèi)課程特點(diǎn)，在通用評(píng)估指標(biāo)基礎(chǔ)上，提出針對(duì)程序設(shè)計(jì)課程的專(zhuān)用評(píng)估指標(biāo)，設(shè)計(jì)了用于統(tǒng)計(jì)分析的數(shù)據(jù)表結(jié)構(gòu)，開(kāi)展了評(píng)估數(shù)據(jù)的分析，實(shí)現(xiàn)了教學(xué)效果評(píng)估從定性評(píng)估向定量評(píng)估轉(zhuǎn)變；利用EduCoder平臺(tái)自動(dòng)實(shí)現(xiàn)評(píng)估數(shù)據(jù)的收集、處理及應(yīng)用，提高了評(píng)估效率。

1 程序設(shè)計(jì)類(lèi)課程教學(xué)目標(biāo)及課程特點(diǎn)

程序設(shè)計(jì)類(lèi)課程的教學(xué)目標(biāo)是學(xué)生在掌握程序設(shè)計(jì)語(yǔ)言基本語(yǔ)法的基礎(chǔ)上，能夠熟練使用程序設(shè)計(jì)語(yǔ)言進(jìn)行軟件開(kāi)發(fā)，具有一定的解決實(shí)際問(wèn)題的能力。程序設(shè)計(jì)類(lèi)課程通過(guò)介紹基本編程語(yǔ)言、數(shù)據(jù)結(jié)構(gòu)和算法，進(jìn)一步提高學(xué)生的數(shù)據(jù)思維能力，從而設(shè)計(jì)出高質(zhì)量的程序［11］。

程序設(shè)計(jì)類(lèi)課程是實(shí)踐性非常強(qiáng)的課程，實(shí)踐是學(xué)好課程的關(guān)鍵。與一些偏重理論的課程相比，程序設(shè)計(jì)動(dòng)手實(shí)踐的過(guò)程強(qiáng)調(diào)學(xué)生“思行并重”［12］。學(xué)生只有通過(guò)經(jīng)常性地上機(jī)實(shí)踐，才能掌握編程方法，熟悉調(diào)試技術(shù)，最終提高解決實(shí)際問(wèn)題的能力。

為了提高程序設(shè)計(jì)類(lèi)課程的教學(xué)質(zhì)量，學(xué)者們對(duì)教學(xué)模式、教學(xué)內(nèi)容以及教學(xué)方式等方面的改革進(jìn)行了深入研究［13-15］。隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，線上線下混合式教學(xué)模式已被廣泛采用，如MOOC［16］、雨課堂［17-18］及各類(lèi)在線實(shí)訓(xùn)平臺(tái)現(xiàn)已普遍應(yīng)用于教學(xué)過(guò)程中，程序設(shè)計(jì)類(lèi)課程的講授、測(cè)試及評(píng)估方法發(fā)生了巨大變化。

2 程序類(lèi)課程教學(xué)效果評(píng)估指標(biāo)及評(píng)估方法

2.1 評(píng)估指標(biāo)

常見(jiàn)的教學(xué)效果評(píng)估指標(biāo)包括出勤率，以及作業(yè)的完成率、正確率、重復(fù)率、上交及時(shí)性與測(cè)試情況。但由于課程教學(xué)目標(biāo)及課程特點(diǎn)不同，不同課程的評(píng)估內(nèi)容有一定區(qū)別。

程序設(shè)計(jì)類(lèi)課程除關(guān)心學(xué)生對(duì)基本語(yǔ)法的掌握情況外，更關(guān)注學(xué)生獨(dú)立編寫(xiě)程序的能力。程序類(lèi)課程教學(xué)效果評(píng)估指標(biāo)主要包括學(xué)生作業(yè)完成情況、程序開(kāi)發(fā)能力、學(xué)習(xí)態(tài)度等方面。作業(yè)完成情況包括作業(yè)上交及時(shí)性、正確率、重復(fù)率和完成時(shí)間；程序開(kāi)發(fā)能力包括調(diào)試方法掌握情況以及解決復(fù)雜問(wèn)題的能力；學(xué)習(xí)態(tài)度情況包括課堂活躍度、作業(yè)雷同情況以及附加作業(yè)完成情況。評(píng)估指標(biāo)還包括測(cè)試情況以及定期的問(wèn)卷調(diào)查結(jié)果。評(píng)估指標(biāo)如圖1所示。

Fig.1 Evaluation indicators圖1 評(píng)估指標(biāo)

2.2 評(píng)估方法

為了實(shí)現(xiàn)及時(shí)、準(zhǔn)確、分類(lèi)記錄評(píng)估數(shù)據(jù)，方便評(píng)估數(shù)據(jù)管理，根據(jù)確定的評(píng)估指標(biāo)建立相關(guān)二維表，主要包括作業(yè)情況記錄表、學(xué)習(xí)態(tài)度記錄表和測(cè)試成績(jī)記錄表。其中，作業(yè)情況記錄表用于記錄平時(shí)作業(yè)完成情況，主要字段包括學(xué)號(hào)、課程編號(hào)、教師編號(hào)、作業(yè)編號(hào)、正確率、是否雷同、雷同關(guān)系（相關(guān)同學(xué)信息）、作業(yè)提交時(shí)間、作業(yè)截止時(shí)間、作業(yè)提交及時(shí)性、備注（用于對(duì)作業(yè)總結(jié)），表結(jié)構(gòu)見(jiàn)表1；學(xué)習(xí)態(tài)度記錄表用于記錄學(xué)生一個(gè)時(shí)間段的課堂活躍度、是否有抄襲情況以及學(xué)習(xí)主動(dòng)性，主要字段包括學(xué)號(hào)、課程編號(hào)、教師編號(hào)、活躍度、作業(yè)雷同情況、附加作業(yè)完成情況、統(tǒng)計(jì)起始時(shí)間、統(tǒng)計(jì)結(jié)束時(shí)間，表結(jié)構(gòu)見(jiàn)表2；測(cè)試成績(jī)記錄表用于統(tǒng)計(jì)單元或階段測(cè)試情況，主要字段包括學(xué)號(hào)、課程編號(hào)、教師編號(hào)、測(cè)試名稱(chēng)、測(cè)試時(shí)間、成績(jī)、分析報(bào)告，表結(jié)構(gòu)見(jiàn)表3。將3個(gè)基本信息表數(shù)據(jù)進(jìn)行匯總，基本就能反映學(xué)生的學(xué)習(xí)情況，同時(shí)配合問(wèn)卷調(diào)查等其他活動(dòng)，能夠作為了解學(xué)生情況、教學(xué)情況以及改進(jìn)教學(xué)的依據(jù)。為了降低數(shù)據(jù)冗余度，還需設(shè)計(jì)學(xué)生基本信息表、課程信息表及教師信息表，表結(jié)構(gòu)在此不再進(jìn)行贅述。

Table 1 Assignment record表1 作業(yè)情況記錄

Table 2 Learning attitude record表2 學(xué)習(xí)態(tài)度記錄

Table 3 Test performance record表3 測(cè)試成績(jī)記錄

教師通過(guò)定期分析記錄表中的學(xué)生學(xué)習(xí)情況信息，有利于及時(shí)發(fā)現(xiàn)問(wèn)題，從而及時(shí)改進(jìn)教學(xué)，促進(jìn)教學(xué)質(zhì)量提升。通過(guò)記錄表的形式，實(shí)現(xiàn)了教學(xué)效果評(píng)估從定性評(píng)估向定量評(píng)估轉(zhuǎn)變。

隨著學(xué)生人數(shù)以及學(xué)習(xí)任務(wù)的增加，手工進(jìn)行記錄維護(hù)效率低、易出錯(cuò)。因此，開(kāi)發(fā)相應(yīng)的數(shù)據(jù)維護(hù)系統(tǒng)或采用成熟的平臺(tái)是解決此問(wèn)題的最佳途徑。

3 基于EduCoder的教學(xué)效果評(píng)估

3.1 EduCoder平臺(tái)概述

Trustie-EduCoder（Trustworthy software tools and integration environment）是指一個(gè)有600多所大學(xué)參與共建共享的智能學(xué)習(xí)平臺(tái)，支持全技術(shù)棧的實(shí)驗(yàn)和實(shí)訓(xùn)教學(xué)。其中包含各高?？赏扑]給本校學(xué)生學(xué)習(xí)的各種教學(xué)資源，實(shí)現(xiàn)了實(shí)踐教學(xué)的課程軟件化、過(guò)程游戲化、環(huán)境生產(chǎn)化和測(cè)評(píng)全?；?9］。

EduCoder能夠有效支持課堂教學(xué)與實(shí)踐教學(xué)的一體化運(yùn)行，教師完成平臺(tái)注冊(cè)后，可在平臺(tái)中創(chuàng)建“教學(xué)課堂”，開(kāi)展各種常規(guī)教學(xué)活動(dòng)。教師可以將實(shí)踐項(xiàng)目發(fā)送到課堂，學(xué)生開(kāi)始在線學(xué)習(xí)和實(shí)戰(zhàn)。教學(xué)課堂能夠有效支持課件資料管理、視頻直播、作業(yè)考試、分班簽到、統(tǒng)計(jì)報(bào)告、實(shí)踐任務(wù)等功能。教師可以通過(guò)邀請(qǐng)碼邀請(qǐng)學(xué)生加入班課，提供課件和視頻資源，布置普通作業(yè)、分組作業(yè)。該平臺(tái)最大的特色是能布置實(shí)訓(xùn)作業(yè)，讓學(xué)生在平臺(tái)上直接練習(xí)闖關(guān)，同時(shí)還可生成在線試卷進(jìn)行測(cè)試，并將結(jié)果直接反饋到平臺(tái)。平臺(tái)還支持問(wèn)卷調(diào)查和討論。

3.2 基于EduCoder的教學(xué)效果評(píng)估

下面以本校開(kāi)設(shè)的大學(xué)計(jì)算機(jī)基礎(chǔ)課程在EduCoder上的應(yīng)用為例，介紹基于EduCoder的教學(xué)效果評(píng)估方法。大學(xué)計(jì)算機(jī)基礎(chǔ)課程是面向一年級(jí)學(xué)生開(kāi)設(shè)的一門(mén)公共基礎(chǔ)課程，從使用計(jì)算機(jī)、理解計(jì)算機(jī)系統(tǒng)和計(jì)算思維3個(gè)方面培養(yǎng)學(xué)生的計(jì)算機(jī)基礎(chǔ)能力。大學(xué)計(jì)算機(jī)基礎(chǔ)課程屬于程序設(shè)計(jì)類(lèi)課程，是以Python編程為中心，在學(xué)習(xí)計(jì)算機(jī)信息編碼、計(jì)算機(jī)組成、操作系統(tǒng)、計(jì)算機(jī)網(wǎng)絡(luò)、數(shù)據(jù)庫(kù)技術(shù)、多媒體技術(shù)等計(jì)算機(jī)基礎(chǔ)知識(shí)的過(guò)程中，Python編程貫穿課程學(xué)習(xí)的每個(gè)部分。學(xué)生的練習(xí)、作業(yè)、測(cè)試都是在EduCoder平臺(tái)上完成的。

為實(shí)現(xiàn)有效的教學(xué)效果評(píng)估，可以利用EduCoder的統(tǒng)計(jì)功能以及問(wèn)卷、測(cè)試功能開(kāi)展評(píng)估。EduCoder的統(tǒng)計(jì)功能不僅能夠統(tǒng)計(jì)授課班級(jí)學(xué)生的實(shí)訓(xùn)完成情況以及在班級(jí)的排名情況，而且能夠觀察每位學(xué)生的學(xué)習(xí)情況。通過(guò)EduCode的“學(xué)生成績(jī)統(tǒng)計(jì)”能夠看到截至統(tǒng)計(jì)時(shí)間，所有學(xué)生的整體排名情況，如圖2所示。通過(guò)“課堂活躍度”可觀察學(xué)生的課堂活躍度，如圖3所示。從圖2和圖3可以看出，成績(jī)好的前5名學(xué)生，其課堂活躍度也排名靠前，說(shuō)明課堂活躍度與學(xué)生成績(jī)有一定關(guān)聯(lián)。

Fig.2 Academic ranking圖2 學(xué)習(xí)成績(jī)排名

Fig.3 Class activity ranking圖3 課堂活躍度排名

通過(guò)學(xué)生的個(gè)人實(shí)訓(xùn)完成情況，能夠分析學(xué)生的學(xué)習(xí)態(tài)度和程序開(kāi)發(fā)能力。圖4為兩名學(xué)生的實(shí)訓(xùn)完成情況，從圖中可以看到，這兩位學(xué)生的學(xué)習(xí)態(tài)度都很端正，不僅能完成必做作業(yè)，而且能夠完成選做作業(yè)；同時(shí)通過(guò)對(duì)測(cè)評(píng)次數(shù)的分析，第一位學(xué)生的評(píng)測(cè)次數(shù)多于第二位學(xué)生，反映第一位學(xué)生基于平臺(tái)進(jìn)行程序調(diào)試，由于平臺(tái)沒(méi)有debug等調(diào)試功能，只能通過(guò)試錯(cuò)及添加print語(yǔ)句進(jìn)行調(diào)試，導(dǎo)致測(cè)評(píng)次數(shù)較多。雖然第一位學(xué)生的實(shí)訓(xùn)總分高于第二位學(xué)生，但第二位學(xué)生應(yīng)該不是基于平臺(tái)進(jìn)行程序調(diào)試的，而是運(yùn)用線下開(kāi)發(fā)工具進(jìn)行調(diào)試的。所以從兩圖的比較可以看出，第二位學(xué)生調(diào)試程序的技巧方面應(yīng)該優(yōu)于第一位學(xué)生。

Fig.4 Practical training of students圖4 學(xué)生實(shí)訓(xùn)情況

利用EduCoder平臺(tái)還能記錄學(xué)生在作業(yè)上花費(fèi)的時(shí)間，作業(yè)時(shí)間可作為判斷作業(yè)難度及作業(yè)強(qiáng)度的依據(jù)，提示教師是否需對(duì)作業(yè)內(nèi)容進(jìn)行適當(dāng)?shù)卣{(diào)整。圖5為一次實(shí)訓(xùn)作業(yè)學(xué)生所用時(shí)間，從圖中可以看到，本次實(shí)訓(xùn)共8道題目，該學(xué)生共花費(fèi)了接近85min，而此同學(xué)課堂活躍度排名較靠前，反映了此次作業(yè)量偏大，教師可以適當(dāng)調(diào)整作業(yè)量。

Fig.5 Statistics of students' single homework圖5 學(xué)生單次作業(yè)統(tǒng)計(jì)情況

通過(guò)以上介紹，可以看到Educoder對(duì)于分析學(xué)生學(xué)習(xí)訓(xùn)練情況、評(píng)估學(xué)習(xí)效果可提供一定幫助，不僅有利于學(xué)生進(jìn)行課程實(shí)踐，而且有利于教師及時(shí)掌握學(xué)生學(xué)習(xí)情況。除上面運(yùn)用的效果統(tǒng)計(jì)分析功能外，平臺(tái)還有問(wèn)卷調(diào)查、測(cè)試等功能，這些都可以作為評(píng)估教學(xué)效果、調(diào)整教學(xué)實(shí)施過(guò)程的依據(jù)。

3.3 EduCoder改進(jìn)意見(jiàn)

EduCoder作為教學(xué)實(shí)踐及評(píng)估工具，為進(jìn)行教學(xué)效果評(píng)估提供了便利條件，如進(jìn)一步完善，將在教學(xué)效果評(píng)估方面發(fā)揮更大作用。存在的主要問(wèn)題及建議如下：

（1）學(xué)生學(xué)習(xí)信息不夠完善，匯總統(tǒng)計(jì)數(shù)據(jù)量偏少。教師在匯總信息中只能看到綜合排名及總評(píng)成績(jī)，要觀察具體情況，需進(jìn)入個(gè)人情況分析及實(shí)訓(xùn)情況分析界面進(jìn)行人工統(tǒng)計(jì)，建議調(diào)整數(shù)據(jù)展示方式。

（2）操作步驟不夠簡(jiǎn)潔，需進(jìn)一步優(yōu)化，方便匯總統(tǒng)計(jì)。

（3）缺少調(diào)試過(guò)程的日志管理，不便于教師發(fā)現(xiàn)學(xué)生程序設(shè)計(jì)學(xué)習(xí)中的共性和難點(diǎn)問(wèn)題。學(xué)生程序調(diào)試的過(guò)程數(shù)據(jù)對(duì)于教師的教學(xué)工作開(kāi)展至關(guān)重要，教師需要根據(jù)學(xué)生調(diào)試中暴露出的問(wèn)題開(kāi)展針對(duì)性輔導(dǎo)、講解以及組織相應(yīng)訓(xùn)練，如能提供調(diào)試過(guò)程日志，將提高評(píng)估的準(zhǔn)確性和針對(duì)性。

（4）評(píng)分規(guī)則調(diào)整功能有限，降低了數(shù)據(jù)的實(shí)用性。增加評(píng)分規(guī)則的可調(diào)節(jié)性，有利于提高數(shù)據(jù)利用率。

4 結(jié)語(yǔ)

教學(xué)效果評(píng)估是教師的主要工作，可行的評(píng)估方法、優(yōu)化的評(píng)估模型、方便的評(píng)估工具，有助于對(duì)教學(xué)效果進(jìn)行科學(xué)評(píng)價(jià)，從而提高教學(xué)質(zhì)量。本文提出的針對(duì)程序設(shè)計(jì)類(lèi)課程的評(píng)估指標(biāo)對(duì)于此類(lèi)課程的過(guò)程評(píng)估具有一定參考價(jià)值。由于教學(xué)目標(biāo)不同，評(píng)估方法也有所區(qū)別。隨著對(duì)教學(xué)評(píng)估的深入研究以及軟件平臺(tái)功能的不斷完善，使得精準(zhǔn)評(píng)估成為可能。教師只有在教學(xué)中采用好的評(píng)估方法，熟練運(yùn)用評(píng)估工具，時(shí)刻關(guān)注教學(xué)效果，及時(shí)調(diào)整教學(xué)進(jìn)程，才能真正提高教學(xué)質(zhì)量。