大學生在線訓練的過程控制與評價體系

摘 要：圍繞復雜工程問題培養學生能力是當前專業建設的著力點。針對能力培養中的過程控制與評價方面的問題，本文以計算機專業在線訓練為基礎，描述了一種多回路多周期的過程控制模型和多維度多層次的評價指標體系，旨在服務于以可控方式達成能力培養目標。本文介紹的技術途徑對計算機大類專業具有一定普適性。

關鍵詞：一流專業;在線訓練;能力培養;過程控制;評價體系

我國高等教育當前正處于從以規模擴張為主的外延式發展轉向以質量提高為主的內涵式發展的轉型中，為進一步加快建設高水平本科教育，教育部于2019年4月啟動了一流專業建設工作[1]。在專業建設和人才培養的方法學上，工程教育專業認證（以下簡稱“專業認證”）發揮了重要作用。特別是新版《工程教育認證標準》對于如何培養學生能力制定了細致規范[2]：

首先通過定義7個外部特征及其具備要求來界定了復雜工程問題，然后又在12條畢業要求明確了8條畢業要求與解決復雜工程問題強相關。可見，專業認證明確強調“本科工程教育的基本定位是培養學生解決復雜工程問題的能力”[3]。顯然，任何一個專業的任務都是培養出合格的學生，因此一流專業所培養的學生應該具備更強的解決復雜工程問題的能力。

但從已知范圍來看，基于復雜工程問題培養學生能力尚未在教學中取得普遍成效。從課程教學體系的角度來看，目前絕大多數課程建設主要聚焦在知識體系和實驗體系上，而過程控制與評價體系建設則是普遍性短板。這兩者的缺失使得很多課程未能在教學過程中建立起健全的形成性培養體系[4]，這不僅導致能力培養目標難以實現，還使得教師難以合理解釋教學設計、學習行為、能力形成三者間的作用關系，進而難以科學合理地進行教學設計迭代與

優化。

隨著在線教學的發展與應用，近年來越來越多的計算機類專業逐步將課程訓練體系（如作業、實驗等）從線下遷移到線上。除具有7x24小時實踐學習服務、豐富的學習資料與及時的教學指導等傳統線下訓練模式難以具備的優勢外，在線訓練（如在線作業、在線實驗等）還使得更精細的過程控制與更精確的量化評價成為可能，為以可控方式達成能力培養目標奠定了基礎。本文介紹了基于在線訓練開展能力培養的過程控制模型和評價指標體系，并以相關課程為案例簡要說明實施成效。

一、能力培養中的問題

為了培養學生能力，教師必須在理論教學外安排足夠體量和難度的實踐訓練。由于復雜工程問題的固有特性，因此從培養學生解決復雜工程問題能力的角度出發，目前大量專業已經呈現出從單一大作業模式向系列化訓練體系轉變的趨勢。良好設計與有效實施的訓練體系不僅有助于形成性培養，而且有助于改善形成性評價。傳統上，學生在線下以作業或實驗為單元完成訓練，這就帶來了如下問題。

1.能力培養過程的精確控制問題

學生在訓練過程中必然存在大量問題，包括知識的理解、工具的使用、學習的材料、實施的操作、交流的熱點、投入的時間等。理想狀態下，這些信息均應及時反饋給教師，以便教師及時做出相關響應。

由于學生在線下完成訓練，這使得教師難以參與訓練過程。從過程控制角度，受控對象的顆粒度相對過大。顯然，教師僅通過分析作業和實驗成績是難以發現上述過程中的具體問題，也就難以實施針對性的指導。

2.能力培養效果的量化分析問題

由于學生能力形成效果分析僅依賴于各訓練單元的少量終結性的結果數據而缺乏大量細粒度的過程數據（例如學習時長、提交頻次等），必然意味著相應的數據不足以對學生的能力形成效果進行客觀而細致的評價。

這進而使得教師在解釋教學設計、學習行為與能力形成三者間的作用關系時缺乏科學可信的證據，易導致評價結論出現偏差甚至錯誤。特別是在教師提高教學要求與加大學習壓力時，還容易引發大量師生矛盾。

3.能力培養體系的迭代改進問題

任何一個訓練體系都必然經歷從不完善到完善、從不合理到合理、從舊內容到新內容的改進過程。這一過程原本應該成為專業認證核心理念“持續改進”的最佳實踐。

但因缺乏細粒度的過程控制和過程數據，學生能力形成性評價相對粗糙，教師難以及時準確地發現問題，從而導致教學設計改進不僅過于依賴主觀經驗而且迭代周期過長。這在很大程度上制約了教學設計的創新與優化，有時會導致做出的教學設計是不合理甚至失敗的。

二、工作基礎

繼2007年提出并實施“系統能力”培養后[5]，

北京航空航天大學計算機科學與技術專業（以下簡稱“本專業”）后續又配套進行了實踐教學體系改革，制訂了“任何人在任何時間、任何地點均能開展實驗學習”工作目標，確立了“在線實驗平臺、在線實驗體系、在線實驗指標體系、在線實驗過程控制”四位一體建設思路，歷時近10年建設了虛實融合的軟硬件綜合在線實驗平臺及較為完善的專業必修課在線實驗體系，依托在線實驗開展培養學生解決復雜工程問題能力的大量工作，部分成果已應用到國內100余所高校。該項工作基本歷程如圖1所示。

利用在線實驗平臺，全周期細粒度的學生訓練全過程數據被記錄下來，師生與生生間交互方式變得更豐富與及時，教師不再僅限于對訓練過程的宏觀組織與管理，而是可以對訓練過程實施細粒度的階段劃分、組織與管理。由于訓練過程被劃分為多個更細粒度的階段，自然就能針對這些訓練階段制訂更精細的評價指標。學生的訓練過程產生了豐富的過程性數據。通過運用數據挖掘、大數據分析等方法，教師能夠對豐富的過程數據進行科學計算，從而就能更合理地量化評價能力形成效果，并將前階段的量化評估結果反饋至下階段，能力的形成性培養與評價也因此就具有了機制保障。

為更好滿足能力形成性培養要求，本專業經過多年建設，逐步建設了相關課程的層次化實驗體系、多回路多周期的過程控制機制與多維度層次化的評價指標體系，從而為精確量化評價與可控方式達成能力培養目標奠定了堅實基礎。

三、多回路多周期過程控制機制

能力培養過程控制的關鍵在于將能力形成效果作為反饋，對課程教學活動進行控制優化。本文基于控制理論提出了一種多回路、多周期的能力培養過程控制模型，包括課程輸入、教學活動過程、行為觀測與能力形成分析、控制與決策、多回路反饋5部分，如圖2所示。

圖2 能力培養的過程控制模型

教學大綱與訓練計劃等內容是模型的基礎輸入。教師必須在課程開始前確定訓練體系的內容、次序、要求、期望等具體信息。該部分內容不僅制導后續一系列教學活動的展開，同時也作為期望值與課程反饋相比較。

教學活動過程是本控制模型的受控對象，其由授課活動、發布作業訓練、開展訓練、作業評測和作業結果分析這5個前后銜接的周期性教學活動組成。

行為觀測與能力形成分析包括學習行為狀態觀測和能力形成分析兩部分。前者基于教學活動提供的觀測點來收集學習行為數據，后者應用量化分析方法計算能力形成效果。

控制與決策是教學改進優化的中樞，其綜合利用能力訓練的期望值、學習過程行為數據、能力形成效果等決定對何種教學活動進行何種調整優化，從而實現對各教學活動進行及時的調節與控制。同時，結合數據挖掘、預測分析等技術，對教學大綱、課程間銜接等給出調整和修訂建議，實現對整個教學過程的多層次全過程控制。

該過程控制模型包含3個反饋回路。其中，課程內反饋回路為該課程訓練體系各任務間提供反饋通道，使得教師能夠在本輪教學周期內及時調整任務。課程輪次反饋回路為同一門課程的不同教學輪次之間提供反饋通道，使得教師能夠以學期為顆粒度優化后續授課輪次。課程間反饋回路為不同課程間提供反饋通道，使得相關課程教師能夠從課程群角度優化銜接與支撐。

四、多維度層次化評價指標體系

為從微觀角度量化評價能力訓練效果，本文結合在線訓練的不同階段特點與需求制訂了一個較為通用的評價指標體系，如圖3所示。該指標體系包含訓練參與度、訓練完成度和完成質量3個一級指標，且各一級指標又包含若干二級指標。

（1）訓練參與度。該指標主要用于度量學生參與訓練的程度，包括系統訪問次數、指導材料學習情況、預習情況、小測驗完成情況、討論參與等二級指標。

（2）訓練完成度。該指標主要用于度量學生完成訓練內容的程度，包括提交物的有效性、技術要求完成度和報告完成度等二級指標。

（3）完成質量。該指標主要用于考查學生在訓練體系各層次的完成質量，其二級指標一般因課程而異。一般來說，學生必須完成基礎性任務后才被認為達到合格線。

由于不同課程訓練內容、方式及要求有所差別，因此不同課程的二級指標的數量及含義也會有所不同。以訓練參與度指標下的系統訪問次數指標為例，該二級指標在計算機網絡在線實驗中體現為預約設備次數，而在操作系統在線實驗中則體現為對模板文件的訪問次數。

五、課程案例

本文工作成果已應用于多門專業必修課的教學實踐，取得較好效果。下面以“面向對象設計與構造”課程為例，概要介紹本文方法應用成效。該課程面向大二學生，開課時間為春季學期，共64個學時，每年上課人數達300余人。

1.訓練體系

該課程教學設計與國內多數大學相關課程具有顯著區別，強調通過系統性的訓練來達成復雜軟件能力培養的教學目標[6]。訓練體系包括4個單元，相應主題分別為層次化設計、線程安全設計、規格化設計和模型化設計。每個單元由3次迭代式的項目作業、2次小型作業、2次研討和1次單元總結作業構成。表1為2019年的具體訓練體系。

每單元的3次項目作業圍繞實際工程問題或應用主題，形成增量式迭代訓練，強化正確性、安全性、魯棒性、平衡性、可維護性等設計思想。學生在每次項目作業中均要完成需求理解、架構設計、代碼設計、代碼測試、bug修復任務。小型作業是項目作業的技術臺階，一方面幫助學生理解知識點和方法，另一方面通過補全代碼、在給定代碼中找bug等小型訓練鞏固項目作業所需用到的重要技術。這種設計使得項目作業的訓練目標與效果更為聚焦，也使得學生們能清晰理解項目作業的技術路徑。

本課程非常重視測試技術的學習與實踐，構建了4種進階式評測模式。弱測定位于最基本的程序功能測試;中測增加了一些邊界和異常相關測試;強測進一步考慮復雜功能場景和性能要求，其結果決定能否進入互測。互測以匿名方式將多名學生構成一個互測組，每位同學分別測試組內所有其他人的代碼。上述工作均在自主開發的分布式可調度自動化評測系統支撐下開展。

從表1可以看出，訓練體系的代碼規模從300行開始在迭代中穩步增長，直至課程結束時具備一周內完成2000行左右的高質量代碼的能力。在每次項目作業迭代中，同學們需要對上一次項目迭代中發現的bug進行修復，從而盡可能確保本次迭代的質量。

2.作業級過程控制

為確保訓練任務完成度和完成質量，本課程對圖2中的訓練過程控制機制進行了針對性的細化，建立了如圖4所示的作業級過程控制模型。

在線平臺自動實施的控制主要包括：截止時間控制，即超過規定時限關閉提交通道;抄襲控制，即對所有學生的代碼進行全組合相似性檢查，并由人工進行復查;有效性檢測要求在可編譯、可運行和基本功能正確三方面確認作業的有效性，無效作業不能進入下一環節;平衡性控制根據強測分數按三個級別自動將能力相仿的同學放在同一級別，并進行隨機分組;測試控制通過雙盲機制以及必要的公共測試以防止惡意測試并確保互測的有序性和公平性，引導學生關注代碼質量本身;在提交修復bug的代碼后，系統會自動對代碼進行差異分析并選擇相應的測試用例來重新進行測試，確保修復的有效性。

上述流程化、規范化的過程控制機制把傳統黑箱式的訓練過程改造為若干可控制且可觀測的細分階段，教師從而可以及時了解作業各階段的完成情況（如耗時和問題等）。

3.評價指標體系與量化分析

過程控制的反饋與控制均需要及時而有效的學生學習行為數據為基礎。在線教學平臺收集了豐富的、多維度的包括學生學習行為在內的學習過程數據，如表2所示。不難發現，這些數據之間具有緊密的關聯關系，同時這些數據可以直接追溯到作業的訓練任務的具體要求（如需要實現的功能數、設計要求、性能要求、覆蓋的知識點數量等）。

教學團隊通過量化分析上述細粒度學生學習過程數據，重點研究了：持續追蹤學生的能力形成過程[7]，從而獲得能力形成的規律性認識;對不同類別學生的能力形成效果和學習行為進行差異分析，基于二者之間的關聯關系來預測能力形成效果[8]。

4.可追溯的復雜軟件能力評價

學生的總成績評定由以下4類細分成績綜合而來。① 項目作業成績：按照強測、互測、bug修復三種任務的得分進行綜合得到成績。② 小

型作業成績：按照完成度和完成質量綜合評分得到成績。③ 博客成績：每個單元結束后對所學所練的心得體會的博客作業，人工考核內容總結完成情況、總結細致程度、總結深度和博客排版質量等。④ 研討成績：每個單元中包含2次學生總結與經驗分享的研討課，考核點包括分享報告的次數、質量、所提問題等。

將學生在相應類別的累次成績進行累計后就得到了該類別的成績，再進行各類別的綜合就得到了該學生的課程總成績。不難看出，課程成績評定的本質就是能力形成效果的評價。

以系統性的訓練體系為基礎，利用在線平臺構建了細粒度的訓練過程控制機制和量化評價體系，教師能夠即時獲得學生訓練完成情況和質量數據并據此及時采取控制措施，學生能夠即時獲得反饋并據此實施自主性的質量控制。這就是一種可追溯的綜合評價方法，即以可量化、可追溯、可優化的方式來觀察和評價能力培養目標完成狀況。

參考文獻：

[1]教育部. 教育部辦公廳關于實施一流本科專業建設“雙萬計劃”的通知[Z]. 2019.

[2]中國工程教育認證協會. 工程教育認證標準[Z]. 2017.

[3]蔣宗禮. 本科工程教育：聚焦學生解決復雜工程問題能力的培養[J]. 中國大學教學，2016（11）：27-30，84.

[4]王昕紅. 美國工程教育專業認證研究[M]. 西安：西安交通大學出版社，2011.

[5]高小鵬. 計算機專業系統能力培養的技術途徑[J]. 中國大學教學，2014（8）：53-57，34.

[6]吳際，孫青，榮文戈，等. 能力培養目標驅動的軟件開發類課程實踐教學方法研究[J].中國大學教學，2018（10）：37-43.

[7] SUN QING， WU JI， LIU KAIQI. How Are Students Programming Skills Developed： An Empirical Study in an Object-Oriented Course[J]. Proceedings of 2019 ACM Turing Celebration Conference – China， 2019.

[8] SUN QING， WU JI， RONG WENGE， et al. Formative Assessment of Programming Language Learning Based on Peer Code Review： Implementation and Experience Report[J]. Tsinghua Science and Technology， Vol.24， No.4， 2019.

[責任編輯：余大品]