深度學習支持的程序設計實驗課在線教學模型

譚 敏，袁楊明，馮建文，丁繼紅

（1.杭州電子科技大學計算機學院，杭州 310018；2.浙江工業大學教育科學與技術學院，杭州 310023）

0 引言

2020 年，牽動世界的新冠肺炎疫情，把全球各級各類學校都推向了在線教學。盡管目前國內疫情得到了有效控制，但持續的海外疫情仍然嚴重影響著我國各大高校的留學生教育，導致在線教學模式仍是許多高校留學生教學的首選。

盡管“互聯網+”教育的快速發展為在線教學提供了許多資源，然而，在線教學在帶來海量學習資源的同時，也給學習者帶來了認知過載、學習資源零亂等困惑［1-2］，此外，在留學生程序設計類的實驗課中開展在線教育仍十分困難。目前，高校的在線實驗課教學環節大多是由教師先在線講解剖析程序案例，并要求學生在規定時間內獨立或合作完成預留的編程任務。新穎的在線教學模式能有效支持異地互動教學，但在留學生實驗課中，異地教學模式存在以下幾個相互制約和影響的問題：

（1）學習過程難以監測。由于學習方式自由、學生在線學習時無約束、學習流于形式。學生在聽課時存在“假學習”現象；在自主編程過程中也存在作弊現象。這些都導致在線實驗教學質量堪憂。

（2）教學質量難以評價。由于課堂互動性差，老師很難掌握學生在線學習的效果。目前，教師大多依據課堂任務完成度、代碼運行效率等數據來量化教學質量。然而，這些因素容易受外界因素的干擾，且針對不同學習偏好、需求的學生，采用同一套評價標準顯然是不合適的。

（3）難以實現個性化教學。與集中式的課堂教學不同，在線教學本更側重自主學習，使學生可根據自身知識基礎、學習興趣有針對地學習。事實上，教師給定的編程題大多是千篇一律，缺乏對學生個性特征考量；同時，在教學質量上也缺乏個性化的評價標準。

綜上所述，面向程序設計類實驗課的在線教學實踐仍然面臨著重大機遇和挑戰。在當前國際疫情形勢仍然嚴重、留學生線下授課受限的情況下，研究一套有效的程序設計實驗課教學模型很有必要。

1 國內外研究現狀

1.1 學習過程監測

目前學者對在線教學環境下學生情緒、學習狀態等學習過程監測給予了越來越多的關注［3-4］。情感計算、姿態識別、眼動研究等也被廣泛應用于在線學習過程監測中。許多研究者提出了一種多維度的非侵入式的方式來檢測學生的注意力水平，并選擇鍵盤敲擊、鼠標活動、面部表情和頭部姿態作為特征構建注意力分類模型［5-6］。一些學者利用Kinect 采集的學習者的頭部姿態、身體傾斜等信息，來分析其注意力狀態［7］。另一些則根據遠程學習者的臉部表情、姿態以及眨眼頻率等提取出學習者的面部表情特征［3-8］，然后通過情緒模型，分析出學習者的表情和情緒狀態。值得注意的是，這些研究大多是對單一的學習視頻進行分析，然而，在高校的在線教學中，很難要求學生在學習的全過程中開啟攝像頭。

1.2 在線教學質量評價

現有的在線教學質量評價方法大多先確定具體的評價指標，然后學習各指標的權重［9-10］。其中，評價指標的選取策略包括基于學習過程和基于學習結果兩大類。研究表明，過程評價與結果評價指標必須有機結合才能全面刻畫教學效果［11-13］，而文獻［9］中通過美國“Quality manage（QM）質量標準”和我國“精品在線開放課程”評價指標進行比較分析發現，當前我國高校在線開放課程評價體系仍然是側重結果的。在學習評價指標權重時，使用較多的有層次分析法、對偶比較法、比較平均法等。盡管在線教學質量評價方法層出不窮，但其評價指標大多是依賴經驗事先確定的，且很少有研究者利用能涵蓋學生學習視頻特征和學習行為表現的多模態數據，自適應地學習最優的評價指標和模型。

1.3 個性化教學

個性化教學是一種“以學生為中心”，結合學習者的個性特點和發展潛能，采取靈活、適合的方式以充分滿足學習者個體需求的教學方法，也是下一代在線教學的發展機遇和挑戰。個性化教學涉及個性化資源推薦和精準教學服務，具體有兩種推薦策略，一是基于協同過濾的推薦算法［14］，但它們通常存在冷啟動問題；另一種是基于機器學習的個性化推薦，且隨著深度學習技術的滲透，越來越多的研究者提出基于深度神經網絡的在線資源推薦［15-17］。然而，這類模型大多是基于事先定義的用戶行為特征構建的，其性能很大程度上依賴于人工構建的行為特征集。

1.4 研究述評

目前對在線教學狀態監測、質量評價、個性化推薦等相關的研究，一部分是基于事先定義的學習行為特征，其性能很大程度上取決于特征集的構建；而另一些自適應學習模式大多是針對實時互動、攝像頭全程開啟的授課環境，而全過程學習視頻在高校在線教學環節中很難獲取。此外，已有方法通常只針對單一的學習行為文本數據或監控視頻數據，然而這兩種模態數據具有強互補性，目前還沒有利用深度學習技術自動挖掘有效特征，并同時實現過程監測、質量評價和個性化內容推薦的一體化教學方法。

2 基于深度學習技術的在線教學模型

為充分調動線上教學積極性，留學生程序實驗課中采用直播互動教學加自主上機的授課模式。教師先利用視頻直播講授此次編程課所涵蓋的知識點，接著學生通過在線學習、直播視頻回放、上機實驗進行知識內化和遷移。

本研究針對當前在線程序課實驗教學中若干問題，依托智慧教育，利用深度學習技術，提出了一體化的教學模型。具體而言，通過對在線教學中學生學習行為數據和上機實驗監控視頻進行分析，構建端到端的多任務深度學習模型，實現建模過程監測、教學質量評價和學習內容個性化推薦三大核心任務。該模型的幾個主要模塊如圖1 所示。

圖1 實驗課在線教學模型

2.1 數據獲取和處理

為緩解直播時授課環境的網絡壓力、最大限度地保護個人隱私，僅要求學生在自主上機環節中開啟攝像頭、模擬真實考試環境，而在前期的教師直播環節只獲取學習行為數據，實現人性化的課堂監管。最終獲取的數據主要包括兩塊：①學習行為數據，包括點擊、眼動、提問等行為；②上機過程監控視頻數據，用來捕獲上機屏幕和學生行為。針對這些多模態數據，進行如下處理步驟：

（1）知識點切分。為診斷學生對各知識點的掌握水平，并為學生進行個性化的知識點推薦，先對獲取的學習行為數據和上機監控數據進行知識點切分。在授課前的案例設計階段，教師需梳理整節課的知識點，并在直播視頻幀和上機任務中標注對應知識點。針對直播環節，通過采集各知識點下的師生互動信息，包括點擊、眼動行為、提問等行為［18］，得到各知識點下學生的學習行為數據；而針對上機監控視頻，利用文本解析算法得到監控子視頻段所涵蓋的知識點。最終獲取各知識點下對應的學習行為數據和監控視頻段。

（2）針對采集到的學習行為文本和上機監控視頻融合的多模態數據，利用多模態數據對齊方法得到規整的訓練數據，同時，利用數據清洗過濾掉視頻質量差、學習行為過于稀疏的數據樣本。最終得到規范化、“干凈”的多模態數據來訓練圖1 所示的教學模型。

2.2 基于多任務深度學習的教學模型訓練

教學模型訓練包括學習過程監測、教學質量評價和個性化內容推薦在內的一體化教學行為。其中，過程監測是指通過對學習狀態分析實現異常狀態檢測，包括作弊檢測、專注力檢測等，從而有效杜絕“假學習”“程序抄襲”等不當行為。所謂教學質量評價，是指利用深度模型挖掘有效的多模態指標，構建科學的在線學習質量評分模型，從而克服傳統的基于成績等硬性指標量化學習效果的不合理性。在學習內容推薦任務中，通過對用戶在各知識點下的學習行為和任務完成情況進行分析，實現重難點的知識點內容推薦，從而為學生制定個性化的學習策略，做到有側重有興趣的教學。在規范化的多模態數據上，利用多任務深度學習算法，端到端地訓練過程監管、教學質量評價和學習內容推薦三大核心模塊。整個訓練框架如圖2所示。

圖2 基于多任務深度學習的教學模型訓練

它包括如下幾個主要過程：

（1）基于多模態融合的學習模式特征提取。在學習行為數據和上機監控視頻的融合數據上提取多模態特征。針對獲得的不同知識點下的學習行為和監控數據，分別利用循環神經網絡和卷積神經網絡提取深度特征，然后利用多模態特征融合等技術構建有效特征表達。對于視頻數據，擬設計合適的層，分別捕獲鍵盤敲擊、鼠標活動、面部表情、頭部姿態、眼動等關鍵特征。

（2）基于多任務深度學習的端到端訓練。將學習過程監測中的異常狀態檢測建模為異常（如抄襲、疲勞、暴躁等）和正常狀態的分類任務；將圖像質量評價中的分布估計用于教學質量評價模型中，在最小化預測評分和真實評分（通過學生自評、互評、師評過程采集）的Kullback-Leibler（KL）散度分布誤差下優化評價模型；而學習內容推薦任務則可用排序模型來建模。

與傳統的行為模式建模不同，采用深度學習自主挖掘有效的行為模式特征，并在融合的多模態數據上利用多任務學習［19］同時優化分類誤差、KL 散度分布誤差和排序誤差，從而聯合建模異常狀態檢測、教學質量評價和學習內容個性化推薦任務。

3 教學平臺建設

由于全球疫情持續時間還不到1 年，僅獲取了有限的留學生在線教學數據。以2020 年在杭州電子科技大學留學生中開設的C 語言程序設計課為例，該課程共有16 次上機課，每周上機安排、對應考核知識點的編程任務數如表1 所示。隨后，采集相應的授課數據訓練教學模型。

表1 上機安排和對應知識點分配

對訓練好的模型，利用大數據平臺建設技術，搭建異常檢測、質量評價、內容推薦三大核心系統，并在真實的大規模在線教學行為數據上進行框架測試。此外，在這些系統架構上開發包括登錄、數據管理、課程建設在內的核心平臺。

為完成上述任務，首先利用PyTorch 深度學習框架搭建對應的原型系統，并結合云平臺、大數據、邊緣計算、物聯網等技術，搭建統一的個性化教學平臺，囊括登錄驗證、數據管理和課程建設，最終構建統一、聯動的智能教學平臺。

4 結語

打造智慧在線教學平臺是當代智慧教育的基石，對突發疫情等特殊時期尤為重要。以留學生程序設計類實驗課的在線教育為例，利用前沿的深度學習技術，提出了囊括學習過程監測、教學質量評價和學習內容個性化推薦在內的教學模型，以期為在線教育和精準教學提供借鑒。

·名人名言·

沒有大膽的猜測就作不出偉大的發現。

——牛頓