學習科學視角下深度學習的多模態研究*

劉哲雨 郝曉鑫 王 紅 吳立寶

?

學習科學視角下深度學習的多模態研究*

劉哲雨1郝曉鑫1王 紅1吳立寶2[通訊作者]

（1． 天津師范大學 教育科學學院，天津 300387；2． 天津師范大學 教師教育學院，天津 300387）

文章從技術、推廣、評價、整合和拓展五個方面，說明深度學習研究有賴于基本規律研究。作為學習科學的重要研究內容，深度學習基本規律研究應借鑒多模態的研究方法，全面揭示深度學習發生的內在機制。同時，文章歸納了不同學科和不同行為的多模態，著重分析了學習科學與深度學習領域的多模態。在完善深度學習框架的基礎上，文章針對框架的各個組成部分提出了基礎型、專業型多模態指標，構建了基于深度學習框架的多模態指標體系，可為不同目的、條件和層次的深度學習基本規律的多模態研究提供指標依據和機制參考。

深度學習框架；多模態指標；內在機制；學習科學

一深度學習研究需要多模態方法

1 深度學習研究有賴于基本規律研究

深度學習是學習者積極主動地、批判性地整合新知識，并以深度理解為起點、以新情境中的遷移為導向、以解決復雜問題和創新為目標的高層次的學習方式[1]。深度學習的研究歷史和研究成果相對比較集中，從世界范圍來看主要集中在北美地區、英國、澳大利亞、新加坡和中國。當前對于深度學習的研究主要集中在以下五個方面：

①技術——無論是在技術與知識層面[2]、學習共同體層面[3]，還是在學習系統與學習過程層面[4]，研究者紛紛圍繞著技術對深度學習的促進作用進行了深入的理論探索與實證研究。未來，研究者可以在思維層面上關注技術如何支持深度學習。

②推廣——2010年，在美國威廉和弗洛拉·休利特基金會的發起下，經由美國研究院組織，深度學習研究項目（Study of Deeper Learning: Opportunities and Outcomes，SDL）從理論上對深度學習的概念、內涵進行了界定和解讀，并建立了500余所面向深度學習的實驗學校，逐步形成了深度學習共同體網絡[5]。2011年，經濟合作與發展組織（Organization for Economic Co-operation and Development，OECD）發起創新學習環境計劃（Innovative Learning Environment，ILE），針對如何實現深度學習這一問題，構建了新型課堂的結構模型，積累了豐富的樣例。此外，芬蘭、法國等國更新了課程方案，保證基礎教育學校為所有學生提供深度學習的機會。2015年，我國教育部試點“深度學習”教學改進項目，進行面向深度學習的教育供給側改革。

③評價——根據2005～2017年國外引文分析與共詞矩陣的知識圖譜分析，可知深度學習的過程與結果是研究熱點之一，涵蓋深度學習的影響因素及有效性等研究[6][7]。

④整合——雖有化學、數學和英語等學科教學與深度學習的整合，但是深度學習究竟是“策略”還是“模式”尚需辨析，亟需進一步提煉深度學習與學科從整合走向融合的兼容性框架。

⑤拓展——深度學習領域的研究者應主動交叉融合認知神經科學、計算機與人工智能等學科內容，并將交叉學科的研究范式引入深度學習領域，促進深度學習研究走向社會科學與自然科學相融合的、更加寬闊的發展之路。

總之，上述五個方面研究都有賴于深度學習基本規律研究，但目前基本規律研究較為薄弱，難以支持深度學習應用研究的內涵式發展，因此有必要加強對深度學習基本規律的研究。

2 深度學習基本規律研究需要多模態研究方法

深度學習的基本規律包括深度學習的本質、目的、內容和對象，以及適合學習者身心發展特征的方法、策略和規則。深入地、規范化地開展深度學習基本規律的研究，應采用多元化的研究范式，主動借鑒、吸收相關學科領域的研究方法。具體來說，深度學習需要重點關注學習者的“深度”投入指標（如認知指標、心理指標、行為指標），此外還可引入一些更加微觀的、本質的、精準的、全面反映深度學習機制的指標體系——這種多元化的指標體系研究可以借鑒認知神經科學和心理學的多模態研究方法。

二學習科學與深度學習中的多模態

1 不同領域的多模態

生物腦（如人腦）與類腦（如人工智能）都具備獲取不同模態信號（如視聽覺、皮電心率、眼動表情等）的能力。人的感官在與外界交互的過程中形成獲取信息的感覺通道，模態是感覺通道的符號表征系統——如果獲取信息的通道是單一的，那么形成的就是單一模態系統，簡稱“單模態”；兩種以上意義表達或信息交流的綜合符號表征系統就是多模態系統，簡稱“多模態”。近年來，多模態已成為諸多學科（如認知神經科學、計算機科學和多媒體畫面語言學等）的研究熱點，不同學科的多模態信息（如內涵、外延、指標和獲取方式等）如表1所示。此外，多模態在不同行為（如教學行為、交互行為和情感行為）中亦具有不同的內涵、外延、指標、策略、問題等，如表2所示。

表1 不同學科的多模態信息

表2 不同行為的多模態信息

2 學習科學與深度學習領域的多模態

在學習科學中，多模態按照人的多重感知模式測量生物信號并分析數據，實現同步處理學習者不同模態的數據，如同步記錄并分析眼球運動軌跡和關注焦點、腦電和事件相關電位、心電、肌電和皮膚電等生理信號[20]。探索深度學習的多模態內涵，需要在學習科學范疇內深刻理解深度學習的本質[21]。具體地說，就是要認識到在深度學習的過程中，人腦會生成支持深度學習的生理神經信號回路和心理認知加工過程，這兩者是同步發生、同步完成的。

認知神經科學認為，學習是神經元突觸間的相互接觸，即學習動機對大腦產生了特定的需求，引起神經系統一系列的活動與變化[22]，進而引起腦血流、皮電、心律血壓和眼動等發生連鎖反應。通過采集這些生物指標，可以獲取學習是否發生以及學習發生的程度；深度學習作為高層次的學習方式，屬于高階思維，借助認知神經科學研究范式獲取生物指標的變化程度或活躍程度，可以解釋深度學習是否發生以及發生的程度。如被譽為“觀察腦的高級功能的窗口”的ERP，可以捕捉并解釋從辨識到判斷、從記憶到決策等不同程度的學習行為[23]。這些研究成果為多模態方法揭示深度學習的基本規律提供了前期研究的基礎。

本研究將深度學習的多模態的內涵表述為利用多模態生物識別技術，使用生理測試手段（如EEG、fMRI、ERP等），獲取大腦血流、腦電、眼動行為、皮膚電、心率和血壓等生理指標信息，同時利用學習分析與計算機識別技術，獲取學習路徑、互動交流和學習投入等知識生長性指標信息。這些被自動監測、記錄和反饋的指標信息經過耦合處理，一方面可用來判斷深度學習是否發生以及發生的程度，另一方面可用來全面揭示深度學習發生的內在機制。

三基于深度學習框架的多模態指標體系

筆者曾提出了深度學習“3+2”評價模式，將深度學習的評價模式建構為兩大方面、三個維度。其中，兩大方面是指評價深度學習的基礎和程度，三個維度指的是新知理解、內部關聯遷移和外部拓展遷移[24]。基于前期研究成果，本研究完善了深度學習的框架，如圖1所示。

1 深度學習的框架

（1）評價深度學習的基礎——新知理解

深度學習離不開新知理解，新知理解是觸發深度學習的前提，故評價深度學習的基礎是對新知識的深度理解。但需要注意的是，在深度學習的實證研究中，必須對低階思維中的“理解”進行嚴格的因變量評估——如果低階思維評估結果不合格，而高階思維表現良好，那么建議評估為“偽”深度學習，需要重新返回到對新知理解的評估；反之，如果新知理解的表現良好，而深度學習表現不理想，則建議評估為具備深度學習的前提條件，但并未進入高階思維階段，需要使用反思等策略引導其進入深度學習。總而言之，對新知理解的評價結果不同，所采取的深度學習的支持策略就不同，對教學材料、教學環境、教學媒體等的設計與開發也應有所不同。因此，深度學習的常態化發展離不開對新知理解的精準評估。

圖1 深度學習的框架

（2）評價深度學習的程度——內部關聯遷移、外部拓展遷移和創新

內部關聯遷移、外部拓展遷移和創新開啟了對人類深度學習程度的探究，主要體現為：

①知識的生長與變化。內部關聯遷移表現為新知識在認知結構范圍內，基于其原始形態進入新問題解決階段，待解決的新問題應具備一定的特征，即所需的知識不超出當前的學習階段、單元或學科，知識結構與形態不發生大幅度的變化。外部拓展遷移實現了跨單元甚至跨學科的知識變遷，使知識在更大程度上得以擺脫其原始形態并發生更加顯著的生長，主要體現為知識在認知結構中的地位和聯結強度發生了明顯變化；此時，人類能夠解決更多的跨界問題，但依然可以在問題解決的過程中回溯知識的原始形態并清晰地定位其發展方向。創新則是將知識的原始形態以融入元認知知識的方式參與創造，在知識層面上表現為知識的形態發生根本性變化或生長出新知識。創新階段體現的是深度學習作為一種知識生產模式的特殊價值，這是深度學習的最高境界。

②能力與素養的提升。內部關聯遷移體現的是對原有能力與素養的強化或深化。在此基礎上，外部拓展遷移獲得了更高水平的能力和更全面的素養。創新階段則是對能力和素養的全面提升，創新能力具有打破原有知識格局的力量，是促進人類發展的不竭動力。

內部關聯遷移、外部拓展遷移和創新是人類在學習與探索自然的過程中發生的變化，這種變化是連續非跳躍的、動態非靜止的、相對非絕對的，并不存在非此即彼的二元對立關系，因此僅僅通過社會科學領域的理論辨析，很難實現對深度學習程度及其基本規律的精準把握。多模態研究技術針對不同水平的思維活動提供了各種指標，這就為評價深度學習的程度提供了可操作的研究依據。

2 基于深度學習框架的多模態指標體系

針對深度學習框架中的各個組成部分，本研究提出了相應的多模態指標——針對中小學教師、教育資源研發的小微企業等不具備高水平采集條件的對象，提出了基礎型多模態指標；針對科研機構、高校及其它具備生理數據采集條件的對象，提出了專業型多模態指標。實際上，不存在某個特定的專門用來加工深度學習的大腦區域，深度學習的神經機制依賴于人類強大的神經回路重組機能，多模態信息尤其是腦神經信息可以在不同角度反映神經回路的狀態，這就是深度學習的發生機制。通過梳理大量的多模態研究文獻，不斷參照推演與深度學習機制最相關的多模態現有指標（如頓悟等）[25]，本研究構建了基于深度學習框架的多模態指標體系（如表3所示），旨在探索變化中的多模態參數背后的深度學習機制。

表3 基于深度學習框架的多模態指標體系

3 多模態指標體系提供研究依據

基于深度學習框架的多模態指標體系為深度學習的基本規律研究提供了可操作的研究依據和指標選擇參照。為了滿足不同目的和水平的研究需求，本研究將該指標體系細化為基礎型多模態指標和專業型多模態指標，旨在為深度學習的實證研究提供多元化、個性化的指標選擇依據。雖然該指標體系存在一些指標重復出現的情況，但是其解釋機制、組合方式、激活程度和評估標準各不相同，因此該指標體系依然可以發揮評判深度學習是否發生及其發生程度的作用。

四結語

本研究通過梳理相關領域的多模態研究成果，分析文獻和實驗數據背后的深度學習機制，多方面參考已有的與深度學習機制接近的多模態指標，構建了深度學習的多模態指標體系，以期有效推進深度學習的基本規律研究。深度學習的多模態研究方法是對深度學習傳統認知行為研究范式的補充，后續研究要重視各個模態指標之間的潛在聯系，為數據耦合提供科學依據。需要指出的是，本研究也存在著一定的局限性：①與閱讀等領域的基本規律研究相比，深度學習基本規律的多模態研究剛剛起步；②本研究所構建的深度學習框架仍在迭代完善；③指標體系努力去解釋和發現深度學習的機制，并非與深度學習結果之間存在著一一對應的關系。立足于前人的研究成果，本研究力求更快速、更準確地接近深度學習的內在機制，促進深度學習基本規律的研究取得質的突破，從而推動深度學習的常態化發展。

[1]劉哲雨,王志軍.行為投入影響深度學習的實證探究——以虛擬現實(VR)環境下的視頻學習為例[J].遠程教育雜志,2017,(1):72-81.

[2]段金菊,余勝泉.學習科學視域下的e-Learning深度學習研究[J].遠程教育雜志,2013,(4):43-51.

[3]張靜,陳佑清.學習科學視域中面向深度學習的信息化教學方式變革[J].中國電化教育,2013,(4):20-24.

[4]紀宏璠,雷體南,方紅.基于ITtools3.0的深度學習過程設計與實踐研究[J].現代教育技術,2015,(2):40-46.

[5]卜彩麗,馮曉曉,張寶輝.深度學習的概念、策略、效果及其啟示——美國深度學習項目(SDL)的解讀與分析[J].遠程教育雜志,2016,(5):75-82.

[6]張思琦,張文蘭,李寶.國外近十年深度學習的研究現狀與發展趨勢——基于引文分析及共詞矩陣的知識圖譜分析[J].遠程教育雜志,2016,(2):64-72.

[7]Akyol Z, Garrison D R. Understanding cognitive presence in an online and blended community of inquiry: Assessing outcomes and processes for deep approaches to learning[J]. British Journal of Educational Technology, 2011,(2):233-250.

[8]何繼軍,沈輝,胡德文.EEG/fMRI融合分析綜述:腦模型、算法和應用[J].計算機工程與科學,2007,(12):74-81.

[9]位東濤,蒙杰,李亞丹,等.基于個體差異的大樣本腦影像數據在心理學研究中的應用[J].科學通報,2015,(11):976-985.

[10]盧官明,李海波,劉莉.生物特征識別綜述[J].南京郵電大學學報(自然科學版),2007,(1):81-88.

[11]謝蓉蓉.多模態虛擬課程——基于多模態話語分析理論的未來網絡課程新模式[J].中國電化教育,2012,(4):74-79.

[12]劉明,胡加圣.大學外語視聽教材的多模態化設計構想及要求分析[J].外語電化教學,2011,(2):3-8、20.

[13]劉哲雨,侯岸澤,王志軍.多媒體畫面語言表征目標促進深度學習[J].電化教育研究,2017,(3):18-23.

[14][16]張青妹.多模態微課的符號間關系與意義共建[J].現代教育技術,2015,(9):65-69.

[15]Kress G R, Van Leeuwen T. Multimodal discourse: the modes and media of contemporary communication[M]. London: Bloomsbury Academic, 2010:318-320.

[17]王慧君,王海麗.多模態視域下翻轉課堂教學模式研究[J].電化教育研究,2015,(12): 70-76.

[18]馬莉,沈克.增強現實外語教學環境及其多模態話語研究[J].現代教育技術,2012,(7):49-53.

[19]劉哲雨,王志軍,倪曉萌.Avatar虛擬環境支持CALLA模式的教學研究[J].現代教育技術,2016,(7):44-50.

[20][22][23][26]張琪,武法提.學習分析中的生物數據表征——眼動與多模態技術應用前瞻[J].電化教育研究,2016,(9):76-81、109.

[21]尚俊杰,張露.基于認知神經科學的游戲化學習研究綜述[J].電化教育研究,2017,(2):104-111.

[24]劉哲雨,郝曉鑫.深度學習的評價模式研究[J].現代教育技術,2017,(4):12-18.

[25]姜永志.教育神經科學的理論與實踐——從“實驗室”到“教室”的學習科學[J].開放教育研究,2013,(3):71-77.

[27]潘東旎,李雪冰.工作記憶訓練在精神疾病中的應用[J].心理科學進展,2017,(9):1527-1543.

[28]Von Bastian C C, Oberauer K. Effects and mechanisms of working memory training: A review[J]. Psychological Research, 2014,(6):803-820.

[29]羅勁.頓悟的大腦機制[J].心理學報,2004,(2):219-234.

[30]官群,姚茹.認知神經科學:為教育打開大腦“黑匣子”[J].中國特殊教育,2017,(2):59-64.

編輯：小米

The Multi-modal Study of Deep Learning from the Perspective of Learning Science

LIU Zhe-yu1HAO Xiao-xin1WANG Hong1WU Li-bao2[Corresponding Author]

This paper proposed that the study of deep learning depended on the research of the basic laws from the five aspects of technology, promotion, assessment, integration and expansion. As an important part of the learning science, the research of the basic laws of deep learning should draw on the multi-modal research method, in order to fully reveal the internal mechanism of deep learning. Meanwhile, the multi-mode of different disciplines and behaviors were summarized, in which the multi-mode of learning science and deep learning were emphatically analyzed. The basic and professional multi-modal indexes for various components of the framework were also proposed on the basis of perfecting the framework of deep learning. Moreover, the multi-modal index system based on the framework of deep learning was constructed, which can provide index basis and mechanism reference for the multi-modal study of the basic laws of deep learning with different purposes, conditions and levels.

the framework of deep learning; multi-modal index; internal mechanism; learning science

本文為2017年教育部人文社會科學研究項目“深度學習的促進機制研究與評價模式構建——以教育媒體表征深度學習核心要素為路徑”（項目編號：17YJC880074）的階段性研究成果，并得到了北京大學教育學院學習科學實驗室的支持。

劉哲雨，講師，博士，研究方向為深度學習，郵箱為zheyuliu@126.com。

2018年1月22日

10.3969/j.issn.1009-8097.2018.03.002

G40-057

A

1009—8097（2018）03—0012—07