形成性評價在程序設計實踐中的應用

古 平，張 程，孫天昊，李 佳，楊瑞龍

（重慶大學 計算機學院，重慶 400044）

0 引言

形成性評價也稱過程性評價，是指在教學過程中對學生的學習過程進行評價的方式。形成性評價采取目標與過程并重的價值取向，著重關注學生的學習效果、過程、參與程度和學習態度等。教師通過形成性評價可以獲得更加全面的反饋信息，使學生的學習策略與教師的教學方法同時得到改進和優化，促進教與學的協調發展。

形成性評價可以解決傳統總結性評價的很多問題，因此國內研究者逐漸將其引入相關教學活動，如與網絡教學手段相結合，實現全過程的信息采集與評價[1-2]；通過學生自評與互評，實現建構主義學習理論[3-4]；通過構建發展性評價系統[5]，實現多元化評價及結果可視化[6]等。但這些研究均與計算機專業實踐特征和能力要求不符，因此教學、應用過程中面臨以下幾個問題：①以實驗為核心的形成性評價體系研究不足，計算機作為一門實踐性較強的學科，其形成性評價內容、指標和方法均與理論教學不同，需要針對性的研究與設計；②完整、及時的過程數據采集對實驗形成性評價的準確性尤為重要，但現有研究過度依賴人工觀察和采集，無法支撐大數據環境下的形成性評價體系。

1 程序設計實踐中的形成性評價體系

1.1 形成性評價思路

應將程序設計實驗的各個環節與形成性評價相結合，通過自動或半自動方式采集實驗過程相關數據，利用大數據分析與處理方法，形成反映學生實踐能力的多維評價體系，進而準確地對學生在知識、技能、能力、態度等方面進行評價。

1.2 形成性評價主體

傳統評價體系中多采取教師評價與學生自評、互評的方式，因此評價主體主要為教師、學生。但無論是教師還是學生，其評價過程的主觀性都較強，有時還存在一定的隨意性和片面性。因此，本研究將計算機應用也作為形成性評價的主體之一，既可以獨立參與對學生特定實踐能力的評價，也可以為教師評價提供輔助決策。

1.3 形成性評價內容

程序設計類實驗一般由算法設計、編碼、測試、調試、發布、報告編寫等過程組成，涉及的形成性評價內容主要包括實驗方案設計、實驗操作過程、實驗數據記錄、計算機程序源碼、實驗報告、實驗態度等。評價內容不同，數據獲取方式也不同，如實驗方案設計、實驗報告、計算機程序等電子文檔，由于實時性要求較低，可以通過系統上傳獲取；實驗態度可部分通過人臉識別系統自動記錄、匯總學生出勤情況獲得。

實驗過程數據采集最為復雜，一方面其實時性要求很高，另一方面隨著實驗進程，數據量將呈爆發式增長，傳統的事后采集或人工采集方式顯然無法滿足這一特殊需求。因此，本研究將大數據技術引入形成性評價系統，利用學生客戶端駐留程序，實時、自動地采集學生在程序開發過程中產生的關鍵數據，通過數據清洗和預處理，轉化為結構化或非結構化數據，再通過關系數據庫和非關系數據庫（如NoSQL）進行混合存儲。

1.4 形成性評價指標

評價指標無疑是形成性評價體系的核心，本研究主要結合程序設計的能力要求和形成過程，設計了以下形成性評價指標，見表1。

表1 面向程序設計類實驗的形成性評價指標

2 面向程序設計實驗的形成性評價支持系統設計

2.1 軟件架構設計

整個評價支持系統由4部分組成：客戶端采集子系統、數據存儲與加工子系統、形成性評價分析子系統、評價子系統，其總體架構見圖1。

客戶端采集子系統提供多種途徑實現基礎數據采集功能，主要由學生客戶端駐留模塊和面部識別考勤模塊組成；數據存儲與加工子系統負責接收實時或非實時實驗數據，清洗和預處理后，通過MySQL和NoSQL混合存儲；形成性評價分析子系統作為本系統的核心，主要通過多種數據分析、處理技術，對學生實踐能力提供多維可視化和評價量化分析；評價子系統一方面提供教師實驗報告檢查、批閱、綜合評價功能，同時利用反饋機制實現由“實踐”到“理論”教學的反向閉環。

圖1 形成性評價支持系統總體架構圖

2.2 主要模塊設計

2.2.1 代碼靜態評測

代碼靜態評測是指不需要運行源程序，通過程序理解、語義分析等方法對源程序進行質量評價，其在形成性評價中的應用模式主要有3種：用于教師評價學生語法熟悉情況；用于教師評價學生算法設計能力；解決學生程序無法執行時的質量評價問題。

2.2.2 代碼自動評測

好的軟件應該在功能、性能、界面、安全性等多個方面滿足產品質量標準。除界面、安全性等指標外，軟件功能、性能均可以通過代碼自動評測實現。功能評測主要建立在程序編譯、執行結果和預期結果對比的基礎上。對部分編譯無法通過的程序，系統提供簡單糾錯功能，如果仍然無法運行，則轉而執行靜態評測。性能測試主要通過分析程序執行CPU時間、內存使用量、數據訪問量等實現。

2.2.3 代碼與報告查重

代碼和報告對程序設計實驗而言非常重要，但又極易通過抄襲完成，因此，引入抄襲檢測，一方面可以反映學生的實驗態度，也可以作為督促學生獨立、自主實踐的一種手段。

針對某些學生為了逃避抄襲檢測，可能采取改變變量名、顛倒語句順序、增加無關代碼等方式掩蓋抄襲行為的問題，本系統在傳統串處理方法基礎上，利用位置無關的“指紋”信息進行代碼比較，提高了查重的效率。圖2為班級內代碼查重的情況。如果對上述數據進行聚類分析，可以進一步發現多個學生之間直接或間接抄襲的情況，見圖3。

報告查重的原理、方法與代碼查重基本相似，但其內容更復雜，如含有圖、表抄襲檢測。本系統采取PHash算法與OCR字識別相結合的思路，在降低抄襲圖表誤檢、漏檢率的同時，保證了系統的運行效率。

2.2.4 程序開發過程分析

通過對程序開發過程的跟蹤、分析，有助于準確掌握學生的語法熟悉情況、程序調試能力以及實驗態度等，其數據主要源自駐留在學生客戶端的數據采集子系統，主要包括剪貼板數據、編譯錯誤數據、調試結果對比數據、編譯錯誤修復時間、邏輯錯誤修復時間、輸入代碼量、程序執行結果等。

2.2.5 報告輔助批閱

在格式審查的基礎上，自動從實驗報告文檔中抽取規格化信息，并根據報告模板生成待批閱電子報告，教師直接通過系統對實驗報告進行在線評閱，所有批閱信息最后再反向寫入原報告文檔中，見圖4。

3 應用效果分析

為了驗證支持系統對形成性評價的有效性，實驗選取學院計科、網絡專業的程序設計課程Java程序設計進行初步應用，每次實驗課16學時，共分4次進行。

首先，通過隨機抽取的超過200份樣本，對評價支持系統的準確性和效率進行分析。結果顯示，系統對報告查重的誤報率和漏檢率為14%和10%，對源碼查重的誤報率和漏檢率為18%和6%。其次，從運行效率上看，人工評閱報告的時間約為2分鐘/每份，人工評閱程序的時間約為5分鐘/每份，而評價支持系統則在1～2秒/每份。更為關鍵的是，評價支持系統應用以后，學生的抄襲情況明顯好轉，實驗態度得到極大改善。

圖2 某班級內實驗源碼查重情況圖示

圖3 某班級內代碼抄襲團結構圖示

圖4 實驗報告輔助批閱功能圖示

其次，在保持理論教學、實踐內容相同的情況下，在一個專業中應用評價支持系統，而作為對照在另一專業中仍然使用傳統評價方式。通過期末組織的上機獨立水平測試，可以發現兩組學生在實驗完成率、正確率、優秀率等指標上表現出一定的差異，見表2。實驗結果表明，使用形成性評價支持系統對提升學生的程序設計能力效果明顯，表明形成性評價確實起到了引導、反饋和改善的效果。

此外，在兩種評價方式下，分別從原實驗考核成績為“優”“良”“中”的學生中各抽取12、30、16名學生作為觀察樣本，在完成上述獨立水平測試后，對比其水平測試成績與原實驗考核成績，見表3，可以發現使用形成評價支持系統對學生的能力評價更為準確、客觀。

表2 形成性評價支持系統對學生實踐能力影響 %

4 結語

形成性評價是現階段教學評價的熱點，但在計算機專業實驗教學中應用很少，其主要原因在于復雜的實驗環節需要教師投入過多的精力設計評價活動，采集、分析數據。本文以大數據分析技術為基礎，設計了一套面向程序設計類實驗的形成性評價方法、體系，并開發了一套集多種功能于一體的輔助支持系統。通過在實際教學中的應用，證明了該系統對提高學生實踐能力的有效性，但由于系統仍處于試運行階段，所選實驗樣本有限，還需要進一步驗證和優化，并逐漸提升系統的準確性與應用范圍。

表3 兩種評價方式下的準確性對比