職業教育課堂教學變革：基于多模態數據驅動的深度學習研究

馬云飛　岳婷燕　狄璇

特約主持人：鄭旭東（江蘇師范大學）

主持人按語：21世紀以來，信息技術對教育發展的革命性影響已成為社會共識，特別是近年來，以物聯網、大數據、云計算和人工智能等為代表的新一代信息技術的爆發式發展與應用，給我國職業教育的轉型升級帶來了機遇與挑戰。在此背景下，本專題圍繞當前我國職業教育教學中廣受關注的課堂教學轉型、實訓教學智能化升級和1+X證書制度試點三個重要領域，分別嘗試應用多模態數據技術、數字孿生技術及區塊鏈技術，來探索與破解這些領域在試點或轉型過程中的痛點與難點，以期為新一代信息技術引領與支撐下的職業教育轉型發展，以及培養面向智能產業和智能制造的高素質技術技能人才提供借鑒與參考。

摘 要：隨著人工智能等新興技術的不斷涌現與廣泛應用，未來職業教育的課堂教學已全面轉向培養高素質的創新型應用人才，旨在培養學生的高階思維和創新實踐能力的深度學習，正逐漸成為促進職業教育課堂教學變革的新理念、新方式。為此，從教學目標、教學策略、教學過程、教學評價四個環節構建了面向深度學習的教學設計框架，并基于伴隨性評價理念和多模態數據技術，設計了多維度評估學生深度學習情況的數據采集指標，可支持多模態數據驅動的深度學習實現，但仍需要在未來不斷加強智能空間的構建、提升教師的數字勝任力與數據素養、促進課堂教學與實訓實操對接、確保多模態數據的準確和安全。

關鍵詞：職業教育;課堂教學;多模態數據;深度學習;伴隨式評價

基金項目：江蘇師范大學優秀博士人才引進科研支持項目“促進協作學習有效發生的共享調節機制研究”（項目編號：19XSRX002）;2020年江蘇省研究生培養創新工程研究生科研與實踐創新計劃項目“多模態數據驅動的深度學習發生機制及實證研究”（項目編號：KYCX20_2109）

作者簡介：馬云飛，女，江蘇師范大學智慧教育學院2019級碩士研究生，主要研究方向為多模態數據、深度學習;岳婷燕（通訊作者），女，江蘇師范大學教育科學學院助教，主要研究方向為教育信息化、教師數字化發展;狄璇，女，江蘇師范大學智慧教育學院2020級碩士研究生，主要研究方向為多模態數據、深度學習。

中圖分類號：G710 ? ? ? ? ? ? ?文獻標識碼：A ? ? ? ? ? ? ?文章編號：1674-7747（2020）12-0017-09

職業教育是我國教育體系的重要組成部分，是培養應用型和技術型人才的主要陣地。2019年2月，國務院印發的《中國教育現代化2035》提出，要“加強創新人才特別是拔尖創新人才的培養，加大應用型、復合型、技術技能型人才培養比重”[1]。因此，如何培養具有實踐創新能力的高技術技能人才，已成為職業教育變革的重要課題。

然而，在我國當前的職業教育教學中，既存在如同工廠流水線生產的統一化教學方式問題，也存在教師教學偏重學生的技術技能培養，而輕視對學生深度理解專業知識及其創新實踐能力培養的現象。要破除這些困境，急需“對癥下藥”，阻止學生在課堂教學中被動接受知識“灌輸”和對教師技能的簡易“模仿”現象發生。有研究發現，高階思維和實踐創新能力的提升都是基于深度學習而發生的，而大數據、人工智能等新興智能技術也為深度學習的開展提供了核心技術支持。因此，面向深度學習的課堂教學不失為智能時代變革職業教育及其課堂教學的有效方式。為此，本研究將對智能技術和多模態數據支持下的深度學習展開分析，以期為我國職業教育課堂教學變革提供借鑒與參考。

一、深度學習：智能時代職業教育教學變革的重要取向

（一）深度學習及其發展歷程

深度學習研究的興起是人們自覺回應知識經濟、終身教育、優質教育等理念對教育發展要求的結果[2]。1976年，Ference Marton 和Roger Saljo針對以機械記憶為代表的淺層學習提出了深度學習理念[3]，認為深度學習是指學習者在知識理解的基礎上，能夠主動將所學知識納入到已有的內在知識框架，以及能遷移運用到現實情境以解決實際問題。深度學習與淺層學習的差異性體現于學習動機、目標、內容、方式、過程、結果和評價，具體如表1所示。

本世紀以來，深度學習越來越為國際社會和教育研究者所關注，圍繞深度學習開展的項目實踐也越來越常見。由美國威廉和弗洛拉·休利特基金會（The William and Flora Hewlett Foundation）發起、美國研究院（American Insitutes for Research）組織實施的SDL（Study of Deeper Learning： Opportunities and Outcomes）項目將深度學習能力定義為學生勝任21世紀工作和公民生活所必須具備的能力，這一能力能讓學生靈活掌握和理解學科知識，以及應用這些知識去解決課堂和未來工作中的問題[4]。2012年，加拿大維多利亞大學聯合眾多院校開展了面向深度學習新教學法（New Pedagogies for Deep Learning）的全球性活動，以期尋求深度學習變革的方案[5]。2015年，美國還專門發布了一份有關深度學習的報告，將深度學習視為21世紀教育的重要政策方向[6]。我國教育部也曾實施“深度學習”教學改進項目，并在多個地方進行試點實驗。綜上可見，如何促進深度學習和提升學生的深度學習能力，已成為全球教育改革發展的重要課題。

（二）面向深度學習的職業教育課堂教學框架

深度學習是全新教學理念與學習方式變革的標志。本研究從教學目標、教學策略、教學過程、教學評價四個環節，以培養具有高階思維和實踐創新能力的學生為最終目的，設計了面向深度學習的職業教育課堂教學框架，具體如圖1所示。

1.深度學習的教學目標。教學目標設計直接指引著教學活動的內容方向和評價基準。我國主流的教學目標從“基本知識和基本技能的掌握”到“知識、情感、動作技能”，基本上都指向學生的“核心素養”，這說明關注人的全面發展已成為我國教學目標的主要價值取向。深度學習與我國教育對學生發展的最終價值訴求相符。因此，面向深度學習的職業教育課堂教學總目標要以深度學習為導向，分層小目標的確定則可依據SDL項目劃分的深度學習能力，即在認知領域要培養學生掌握核心學科知識、發展其批判性思維和復雜問題解決的能力;在人際領域要培養學生的團隊協作、有效溝通能力;在個人領域層面要培養他們的學會學習能力及學習毅力。

2.靈活多樣的教學策略。職業教育課堂相較于其他教育課堂而言，更注重學生所學的知識和技能是否可遷移至真實情境中。本框架根據職業教育特點，提出了促進深度學習的四個課堂教學策略。（1）項目式學習策略。項目式學習基于真實環境而展開，將課堂的書面知識和現實世界的真實問題連接起來，以促進學生的相關技能習得和遷移學習，進而產生深度學習。（2）任務驅動和問題導向相結合。任務驅動可以激發學生的內在學習動力，使他們自發學習核心學科知識;而真實問題導向則將課堂所學與現實情境相聯系，不僅能提升學生的問題解決能力，也有利于學生將所學知識快速自然地遷移運用至真實情境中。（3）協作問題解決策略。該策略從學習中的問題出發，通過社會性交互、對話、協商等協作的方式，使學生達成對某個問題的共識，形成問題解決方案。（4）自主探究和小組合作相結合。自主探究和小組合作的結合讓每位學生都能主動參與學習過程，使他們在學習共同體中實現綜合發展。

3.延伸課堂的教學過程。本框架的教學過程借鑒“翻轉課堂”模式，依托職教云、Moodle等多種網絡教學平臺，突破時空限制，延伸課堂教學，使深度學習貫穿所有教學環節。延伸課堂的教學過程可分為以下四個階段。

（1）課前知識理解階段。此階段以學生對知識的獲取和理解為主要目的，包括以下三個主要環節。其一，教師為學生提供與學習目標相對應的學習資源，并發布與真實情境相關的學習任務，激發學生的內在學習動機。其二，學生一方面基于教學平臺獨立自主地完成知識探究活動，另一方面則以小組形式運用所學知識開展協作學習活動，并在此過程中互相提出問題，以及通過交流協商形成問題解決方案，實現所學知識的鞏固與情境化發展。其三，學生以小組形式完成學習任務并形成可視化學習報告，在課堂中向師生匯報。

（2）課中內化遷移階段。線下課堂的最大特點是支持師生面對面交流，故此階段強調師生深度互動，教師作為課堂活動的參與者幫助學生積極建構知識。此階段包括以下三個主要環節。其一，教師發布與真實情境相關聯的學習項目，并為學生提供必需的學習資源。學習項目應具備延續性和實踐性，與后續的實訓實操相關。其二，學生通過小組合作和自主探究等多種活動方式推進學習項目的完成，教師或企業專家可以基于學生的實際需求，為學生提供必要的指導與支持。其三，學習任務完成后，協作小組可將學習成果進行展示，教師和企業專家則可對學生的學習成果進行點評，結合學情和情境引導學生遷移拓展。此外，在整個教學過程中，師生可以組成學習共同體，建立平等且共同配合的關系;同時，要求學生在每次課堂學習后，都應開展生生互評和學生自評，以及最后的總結性教學評價。

（3）課后反思深化階段。反思是促進深度學習的重要手段與有效策略。學生課后應及時回顧自身學習情況，填寫反思日記。此外，由于學生的反思具有主觀性和淺層化，可能會有意無意地忽略內隱數據，教師應該作為學生反思的協助者，采用有聲思維等方法，向學生詢問與課堂相關的問題，讓學生立刻進行口頭回答，以提高學生反思的精確性。

（4）實訓實踐創新階段。實訓教學作為提升高技能人才培養質量的有效方法，能為理論教學提供真實性、先進性與開放性并存的實踐鍛煉機會，有助于擺脫傳統職業教育“重理論、輕實踐”的束縛，提高學生的動手操作能力和創造性解決問題的能力。其一，學生應通過實踐檢驗課堂所學知識，糾正錯誤的知識理解，完善認知，并達成對知識的深度理解;其二，學生應通過多次的實踐操作，解決課堂學習過程中被忽略的深層次問題，提升自身的復雜問題解決能力，實現技術技能的優化提高。

4.伴隨式的教學評價。傳統職業教育以理論考試成績和技能習得情況評價學生，這種單一指標的評價無法挖掘每個學生的潛能，并且評價固化可能會導致學生的學習倦怠。面向深度學習的課堂教學注重過程化、多維度、個性化的教學評價。伴隨式評價是一種追蹤連續學習過程并實現“全程動態”的評價，主張及時采集、分析學習過程數據，關注數據對教學過程的指導、反饋作用[7]。隨著大數據、人工智能、區塊鏈等高新技術的爆發式發展，基于大規模實時收集、精準分析學生的過程性學習數據的伴隨式評價已成為可能。因此，在今后的職業教育課堂教學中，教師可通過智能教學平臺和課堂管理平臺采集學生的資源學習行為、問題提出、互動交流、任務完成等過程性數據，以實現對學生進行多維度建模與畫像，及時評估他們的學習表現，診斷其學習質量，發揮評價的導向和激勵功能。

二、課堂重構：多模態數據驅動的深度學習實現

（一）何為多模態數據

Laurence Nigay等指出，多模態的“多（multi）”即為多樣多源（more than one），“模態（modal）”有“形態（modality）”和“模式（mode）”兩層含義，其中，形態指傳遞或獲取信息的通信信道類型，模式指提取或傳達意義的方式的狀態[8]。多模態數據的建模可以追溯至上世紀90年代，Nalini Ambady通過對學生的學習錄像進行“切片”，量化他們的肢體動作等非語言行為，以實現對學生期末成績的預測[9]。目前，隨著數據采集技術的發展，多模態更趨向于對內隱數據的挖掘，如通過多模態生物識別技術和生理測試手段（如EEG、fMRI、ERP等）獲取的人體大腦血流、腦電波、眼動行為、皮膚電、心率和血壓等生理指標數據[10]。與來自對課堂與學習環境的人工觀察和感悟等得到的傳統教育數據相比，其采集與分析過程更為客觀、可靠，對評估與推動深度學習極具價值。

（二）面向深度學習的多模態數據采集指標

面向深度學習的課堂教學框架包括學習路徑、課堂投入、課后反思及實訓實踐四個維度。為了收集和分析能夠反映學生學習過程的伴隨性數據，筆者對以上四個維度進行了多模態數據采集指標設計，以期監測及促進學生的深度學習，具體如圖2所示。

1.貫穿全程的學習路徑追蹤。學習路徑包括路徑起點、路徑過程和路徑終點，是構成對學生精準建模與畫像的基礎，可直觀反映學習者真實的學習過程、學習狀態，以及評估學生深度學習能力的習得情況，涉及到以下三個數據采集指標。一是學習風格指標。其主要目的是評估學生的學習風格，及時向學生推送個性化資源，激發學生的內在學習動機。該指標的數據來源包括學生自我學習風格評估量表、教師課堂觀察等。二是學習行為指標。其主要目的是形成學生的學習行為序列，以此有效分析學生的風格和偏好，評估學生在學習過程中深度學習的發生情況。該指標的數據以教學平臺產生的學生學習數據為主，包括學生瀏覽資源的次數、學習時長、討論交流、課程評價、課堂任務完成情況等行為數據。三是學習效果指標。其主要目的是多樣化評估學生的課堂學習效果，挖掘學生的內在潛能和創新能力，防止對學生的評價固化。另外，學習效果指標數據涉及到課堂中每個環節的小組評價和學生評價等過程性評價數據，以及學習成績和教師評價等總結性評價數據。

2.課堂學習投入度的動態評估。學生的學習投入度對課程持續性、學生成績及其未來畢業至關重要，也被認為是促進深度學習的前提。通過智能技術采集的學生學習投入度的數據指標涉及以下三個方面。一是課堂活躍度指標。學生的參與意愿是深度學習發生的先導動力，而該指標能反映學生課堂參與的意愿和參與情緒。另外，該指標數據的采集可利用教室攝像頭記錄的上課視頻，提取學生主動提出問題、努力完成任務等相關片段，并對其話語、面部和肢體行為等數據進行分析，以實現對學生課堂活躍度的評估。二是課堂專注度指標。該指標更趨向于對內隱生理數據的挖掘，強調及時捕捉學生的學習狀態波動。三是課堂互動度指標。由于師生、生生間的互動是促進深度學習發生的重要機制，故可采用該指標分析學生的交流合作能力。在分析課堂互動度指標數據時，可借助基于人工智能的情感分析和文本分析等技術，提取學生參與互動的次數和情緒，從而實現評估學生課堂互動的目的。

3.課后及時的多維度反思。人腦深度學習與機器深度學習的最大差別在于人腦具有反思力和創造力[11]。為了便于采集學生在深度學習后的反思數據，本文采用Neville Hatton和David Smith提出的“評價學生反思能力的評估框架”[12]，具體如圖3所示。

基于這一框架的深度學習反思數據來源主要包括以下兩個方面。其一，教師可基于以上反思框架編制相關反思報告，由學生填寫，并形成文本數據。其二，由于學生的自我反思具有主觀性，教師可作為反思參與者，采用有聲思維法幫助學生快速回憶，并將學生回憶形成的文本數據作為一種數據源。有聲思維法是將問題作為回顧刺激，并使大腦思維有聲化，且及時轉存為文本記錄在檔，在此過程中學生難以隱藏內心想法，因而該數據也相對客觀準確。

4.真實環境下的實訓成果檢驗。實訓教學在職業教育中占有重要地位，在培養學生的專業技能和實踐操作能力方面有著不可替代的作用。實訓教學的數據采集包括如下兩個指標。其一，學生實訓成績指標，主要評估學生在較真實環境下的知識遷移運用能力。該指標數據的采集可借助實訓基地的虛擬現實（Virtual Reality）/增強現實（Augmented Reality）技術和大數據技術，在學生進行實操時全過程追蹤采集和精準化記錄，而且這種伴隨式的數據采集方式可避免由單一的成績評價造成的評價數據不準確等問題。其二，專家評估指標，主要評估學生的實訓成果是否符合實訓目標及是否具有創新性。該指標數據的采集可以通過現場或在線等形式，采集企業師傅和專家對學生實訓全程的評價數據以及對實訓產品的評價數據。

三、變革建議：未來職業教育課堂教學的發展路徑

（一）構建面向深度學習的智能空間，實時采集過程性數據

學習數據是多模態技術驅動深度學習開展的基礎，而這些多模態學習數據的采集離不開智能環境的支持。為此，職業院校急需構建面向深度學習的智能空間，其主要分為在線和線下兩種形式。其一，在線智能教學平臺的構建可通過職教云、Moodle等課堂管理平臺，采集課堂學生的資源使用、任務完成、討論互動和學習評價等過程性行為數據，并以此實現對學生的學習過程進行建模與畫像。其二，針對線下物理空間的構建，職業院校可對傳統教室進行智能化改造，通過智能攝像頭等實時采集師生的課堂教學活動數據，并運用這些實際情境中的多模態數據，實現對學生課堂學習與交互行為的精準挖掘。

（二）關注教師數字勝任力的發展，提升教師的數據素養

面向深度學習的職業教育課堂改革，需要一支高素質、專業化、創新型教師隊伍的支持。為此，未來我國職業教育教師的培養應重點關注以下三個方面。其一，教師應提高自身數字勝任力。這要求教師能靈活管理和運用數字技術進行實踐教學;同時，要求教師作為輔助者，幫助學生使用數字技術進行高效協作和創造性問題解決。此外，職業院校應加快建設智能時代的網絡智能學習體系，加快推動技術與教學的深度融合，為教師提供智能教學環境。其二，教師應培養和發展持續性學習能力。一方面，教師要樹立終身學習的理念，面向市場所需，提升學習主動性;另一方面，職業院校應聯合企業開展教師職業技能培訓，讓教師親自參與企業產品生產過程，與企業專家協同合作，為教師的技能優化創新提供發展平臺。其三，教師應提升自身數據素養。教師的數據素養是教師靈活運用多模態技術驅動深度學習課堂的重要基礎，這要求教師主動對教育教學中產生的數據進行收集、處理、分析與應用，以提升自身的數據素養。

（三）課堂與實訓對接，培養具有實踐創新能力的學生

職業教育的特殊性要求課堂教學的最終導向是職業崗位和市場需求，因而深度學習既應發生在課堂教學中，也應在實習實訓過程中得到延伸和發展，以幫助學生將知識和技能遷移應用到實際問題解決中，加深學生的深度理解，提升學生的實踐和創新能力。其一，職業院校應重視與企業合作制訂面向市場需求的創新型人才培養方案，鼓勵學生發展多種技能，深化落實1+X證書制度。企業師傅、專家可靈活介入到課堂與實訓中，對學生的學習與實踐進行實時指導，引導學生挖掘自身潛能。其二，職業院校應重視利用多模態技術，全程追蹤學生在深度學習和實習實訓中的認知、生理及行為數據，并通過多模態數據分析技術，及時推送滿足學生差異化需求的學習資源。其三，職業院校應加大實訓基地建設的資金投入，搭建虛擬實訓環境和仿真平臺，創建具有沉浸性、交互性、想象性的虛擬環境，提升學生的學習臨場感和體驗性，進而激發學生的創新能力。

（四）重視多模態課堂數據的準確性和安全性，避免數據濫用

職業院校在進行多模態數據采集和分析時應重視以下兩個方面。一是數據采集的準確性。高品質的教育數據系統首先應該具備數據的準確性，而不準確的數據可能會造成教師對學生深度學習發生情況的誤判，從而提供錯誤反饋，不利于學生調節后續學習狀態。為此，在數據采集中，一方面，職業院校要提高對腦電、眼動等具有內隱與客觀特征的生理數據采集的精度;另一方面，在數據采集時應遵循教育倫理，不可過度搜集與使用數據，同時也能避免數據冗余和清洗困難。二是數據存儲與使用的安全性。一方面，數據流通各端口的人員都應該提高數據安全意識，保障教育數據與師生隱私數據及信息的安全;另一方面，職業院校要積極采用高度安全的區塊鏈技術，將多模態教育數據上鏈，以確保這些數據的安全可控和溯源追責。

參考文獻：

[1]新華社.中共中央、國務院印發《中國教育現代化2035》[EB/OL].（2019-02-23）[2020-07-17].http：//www. gov.cn/zhengce/2019-02/23/content_5367987.htm.

[2]卜彩麗，馮曉曉，張寶輝.深度學習的概念、策略、效果及其啟示——美國深度學習項目（SDL）的解讀與分析[J]. 遠程教育雜志，2016，34（5）：75-82.

[3] MARTON ?F， S?lj? ?R. On Qualitative Ddifferences in Learning： Outcome and Process[J]. British Journal of Educational Psychology，1976，46（1）：4-11.

[4] The William and Flora Hewlett Foundation. Deeper Learning Strategic Plan Summary Education Program [EB/OL].[2020-11-27].http：//www.hewlett.org/wp-content/ uploads/2016/09/Education_Deeper_Learning_Strategy.pdf.

[5] NPDL. New Pedagogies for Deep Learning[EB/OL]. [2020-11-27].http：//cus0201clsprod.blob.core.windows.net/uploads/dlh/trdoc/npdl-dll-2017-2g-deep-learning-design/08865c4c-ca2a-e711-80c4-00155d546fea/npdl%20dll%202017%20-%202g%20-%20deep%20learning%20design.pdf.

[6] National Association of State Boards of Education.Deeper Learning： Policies for a 21st Education[EB/OL].[2020-11-27].http：//www.nasbe.org/education-leader/deeper- learning-policies-for-a-21st-education/.

[7]李芒，蔡旻君.課堂評價亟需信息技術的支持[J].中國電化教育，2016（1）：63-70.

[8] NIGAY L， COUTAZ J. A Design Space for Multimodal Systems：Concurrent Processing and Data Fusion[C]//Proceedings of the INTERACT93 and CHI93 Conference on Human Factors in Computing Systems. New York：ACM，1993： 172-178.

[9] AMBADY N， ROSENTHAL R. Half a Minute： Predicting Teacher Evaluations from Thin Slices of Nonverbal Behavior and Physical Attractiveness[J]. Journal of Personality and Social Psychology，1993，64（3）：431.

[10]鄭旭東，馬云飛.腦電圖技術的教育研究圖景與趨勢——基于2000—2019年國際文獻的知識圖譜分析[J].現代遠程教育研究，2020，32（4）：36-47.

[11]劉哲雨，郝曉鑫，曾菲，等.反思影響深度學習的實證研究——兼論人類深度學習對機器深度學習的啟示[J].現代遠程教育研究，2019（1）：87-95.

[12] HATTON N，SMITH D. Reflection in Teacher Education：Towards Definition and Implementation[J]. Teaching & Teacher Education，1995，11（1）：33-49.

[責任編輯 ? 賀文瑾]

The Reform of Classroom Teaching in Vocational Education： A Study of Deep Learning Supported by Multimodal Data

MA Yunfei， YUE Tingyan， Di Xuan

Abstract： With the continuous emergence and wide application of emerging technologies such as artificial intelligence， the classroom teaching of Vocational Education in the future has turned to the cultivation of high-quality innovative applied talents， aiming at cultivating students' high-level thinking and innovative practical ability. It is gradually becoming a new concept and new way to promote the classroom teaching reform of vocational education. Therefore， the teaching design framework for deep learning is constructed from four aspects of teaching objectives， teaching strategies， teaching process and teaching evaluation. Based on the concept of accompanying assessment and multimodal data technology， a data acquisition index for multi-dimensional evaluation of students' deep learning is designed， which can support the realization of multi-modal data-driven deep learning. In the future， we still need to strengthen the construction of intelligent space， improve teachers' digital competence and data literacy， and promote the docking of classroom teaching and practical training， so as to ensure the accuracy and safety of multimodal data.

Key words： vocational education; classroom teaching; multimodal data; deep learning; accompanying assessment