多模態數據賦能教師畫像：從簡筆畫走向全息畫像

彭紅超 魏 非 閆寒冰

(華東師范大學 開放教育學院，上海 200062)

教師教育是教育事業的工作母機，是提升教育質量的動力源泉(中華人民共和國教育部等, 2018)。在AI+教師隊伍建設中，利用新技術收集教師教育的常態數據(如伴隨數據)，刻畫教師數字畫像，成為提高精準診斷、及時干預和個性化服務水平的(中華人民共和國教育部, 2019)重要舉措。

當下，刻畫數字畫像的數據源主要有兩類：一類來自績效評估以及諸如問卷的自我報告，另一類來自系統平臺隱式記錄的學習印記。這種數字畫像支撐的預測模型，預測學習表現的錯誤率在11%～15%之間(Maldonado-Mahauad et al., 2018)。相比僅依靠學習印記數據的預測模型(錯誤率為20%) (Moreno-Marcos et al., 2018)，準確度提高了5%。不過，教師研修活動并非僅發生于平臺上，自我報告等主觀數據表征的構念(construct)或傾向也往往與實際不符(Zimmerman, 2008)，這勢必導致數字畫像的殘缺性與非精準性。這一問題可以通過增加諸如腦電、心電等生理數據解決。研究表明，補增這類數據后，數據模型的預測錯誤率可降低至6% (Giannakos et al., 2019)。

上述三類數據往往來源于不同渠道，具有不同樣態，一般統稱為多模態數據(multimodal data)。隨著神經科學、腦科學、學習科學研究成果的常態化應用以及腦電、多導生理儀等非侵入傳感設備便攜式、可穿戴式的發展，以生理數據為重要組分的多模態數據成為全息化描繪個體畫像的新研究取向(張琪等, 2019)。

國內教育領域對個體畫像的研究主要集中于學習者，卻極少關注教師(胡小勇等, 2019)，多模態數據賦能全息化描繪教師畫像的潛力更沒有得到很好的發掘。本研究從多模態內涵解析入手，構建多模態數據全息臨摹教師畫像的機理及畫像模型，在此基礎上構建基于全息畫像的個性化機制以及機制得以運轉的多模態學習分析方略。

一、研究概述

大數據技術使用戶模型突破了僅依據個人特征數據靜態構建的限制，開始更多地利用過程數據動態描摹。業界采用“畫像”一詞表征這種新型的用戶模型。學習是多模態的，教師研修過程中自然地加工不同感官感知到的多種模態信息(張琪等, 2020)。從這個角度講，難有某種單一模態數據能夠描摹教師研修的完整畫像(Zheng et al., 2018)，最多也只是某一方面的簡筆畫。而多模態數據，能夠通過多種數據流的相互補充做到這一點。

(一)多模態內涵解析

多模態的內涵非常繁雜，難有共識。究其原因，是學術界多從自己的學科領域認識模態(modality)。人類通過感官(如視覺、聽覺)獲得外部環境的信息，因此，學者將感官通道(傳輸的是神經沖動)作為區分不同模態的依據，即信息由單一通道獲取則為單模態，由多個通道獲取則為多模態(王慧君, 2015)(神經生物學感官通道說)。獲取的信息，在頭腦中會由不同神經系統進行加工和處理，形成意義，表現為不同大腦區域功能不同，模態也不同(認知神經科學認知系統說)。在社會互動中，信息在頭腦中形成意義后，面臨表達問題。有學者認為(Kress & Leeuwen, 2001)，表達的形式不同，模態也不同，比如語言、表情、手勢、眼神等均屬于不同的模態(寧雅南, 2017)(社會學意義表達說)。互聯網突破了意義表達的時空限制，借助遠程交流的渠道和媒介，異位散布式的同異步互動成為常態。傳播學從該角度將多模態視作意義的不同信息形態(如聲音、文字等)、存儲(如磁記錄、數字記錄等)或傳播方式(張琪等, 2020)(傳播學傳媒說)。這里的信息形態極易和媒體混淆，持此觀點的學者認為，后者是前者的編碼手段和物質基礎 (張曉霞, 2020)。

人工智能旨在讓機器具備類人的能力。實現這一點，至少需要關注信息形態、信息通道、信息模型三個方面，它們對應三種多模態觀點。與人類相似，人工智能同樣需要感知外界環境的文字、視頻等形態信息。由于每種形態的信息均需對應的智能感知技術，所以不同信息形態即為不同模態(信息形態說)，這包括只有機器可以感知的信息(如紅外線與超聲等)，甚至不同的語言形態。感知到的信息以電脈沖、電磁波、聲波、光波等形式通過不同的通道傳輸，每種通道需不同的通信技術保證接收端高保真地接收，因此，通道類型也被作為界定模態的依據(Cukurova et al., 2019)(信息通道說)。對于接收到的不同信息，需要構建不同的信息模型智能挖掘與分析隱含其中的價值，信息模型不同，模態也不同(Amer et al., 2014)(信息模型說)。

可以發現，雖然學者關注的角度不同，但他們的認識相互聯通且成體系，均認為人類認知及其社會互動是多模態的。在教師研修過程中，這種多模態通過生理、心理、行為的協同反應表達(Takehana & Matsui, 2016)，不同的反應可以描繪教師畫像的不同輪廓。筆者將表征不同生理、心理或行為反應的不同形態數據視為多模態數據，不同模態數據的獲取方式往往不同。

(二)多模態數據的全息性

學習分析技術使教師畫像的刻畫由“快照式(特點是間歇性素描)”轉向“航拍式(特點是持續性描繪)”，特別是平臺數據(學習印記)的增入，極大地補充了畫像的細節，提高了“清晰度”。本質上講，這類數據屬于行為數據，按照構念理論(construct theory，CT)，心理構念(即心理現象或活動的屬性或實質)與外在行為互為因果(Kozak & Miller, 1982)，外在行為可以推測心理構念(楊向東, 2007)，不過前提是行為數據本身具有良好的信效度。除平臺記錄的操作性印記外，教師研修時的眼動數據、面部數據也是重要的行為數據，且有成熟的理論及技術支撐對心理構念的推測(如表情識別)，增補這兩類模態數據(多模態數據具有互補性)可以極大地降低僅依據學習印記洞悉研修情況的片面性、局限性(Mangaroska & Giannakos, 2018)(見圖1)。

人們在執行動作時，也會隨之產生豐富的生理活動。雖然支持學習的技術沒有充分關注這一點，但解析生理活動的確可以得到更有價值的洞見(Pantazos & Vatrapu, 2016)(見圖1) 。大量研究表明，腦電、心電、皮電等生理數據均與人類的心理認知、情緒密切相關(Szafir & Mutlu, 2013) ，對此類模態數據進行分析能夠更精準地估計心理活動(Zheng, et al., 2018)，特別是事件相關電位(event-related potentials，ERP)分析能夠精準識別微秒級心理活動的變化(Goswami, 2004)。生理數據擴寬了刻畫教師畫像的邊界，使畫像從以學習事件為中心的研修表現延展至以學習機制為中心的生理反應(Reimann et al., 2014)，這種機制補足了因果解釋的三要素(第一個為觸發事件的情境，第二個為結果)，作為因果力(causal powers)，它揭示了情境要素如何相互作用從而導致相應結果(Pawson, 2006)，這是提高數據解釋力的重要依據。

與行為不同，腦活動、心跳等生理活動由自主神經系統(也稱植物性神經系統)調節，不受主觀意識支配，所以此類生理數據是真實的、不可偽造的。這樣的生理數據可以印證行為數據以及自我報告推測的心理數據之真偽，提高兩者的信效度(見圖1)。例如，眼動儀可以記錄閱讀時眼睛移動的過程，其記錄結果常被用作認知投入或注意力的重要指標，但眼動行為無法甄別心智游移現象(mind wandering)，俗稱“走神”，閱讀時心智游移高達20% (Schooler et al., 2004)，而它可通過反映信息處理與注意力水平的腦電數據有效解決(主要是α波)(Klimesch, 2012)。

綜上可知，多模態數據能夠賦能更全面、精準、真實地臨摹教師畫像，突破單一視圖無法觀測全貌的局限，從多個視圖多維度立體描繪教師研修情況；利用生理活動顯化教師研修的內在機制，并高分辨率地刻畫教師畫像的細節；通過多維驗證去除“噪聲”數據，只用真實數據勾勒教師畫像的輪廓。此外，多模態數據往往由平臺記錄與生理傳感器超高頻率收集，能夠高保真地還原教師研修動態，這四種特性(全面、精準、真實、動態)造就了多模態數據全息臨摹教師畫像的潛能。

圖1 多模態數據全息臨摹教師畫像的機理

二、多模態數據臨摹教師全息畫像模型

大數據、人工智能與智能感知等高端技術使常態化、伴隨式收集與刻畫教師全息畫像成為可能。按照數據驅動的智慧研修特點，教師全息數字畫像大致涵蓋三個層面：屬性層、學習層、愿景層(見圖2)。屬性層負責刻畫教師的本體特征，學習層負責描繪研修過程中教師的學習行為、生理反應、心理活動以及能力的發展變化，愿景層負責勾勒以校為本的發展期望。

(一)愿景層：發展期望的勾勒

教師研修以校為本、愿景驅動，學校管理者在領導部門的指導下制定校本研修計劃，確定教師的能力提升目標。不過，智慧的校本研修也是個性化的，需要考慮教師個人的發展期望，由此，全息畫像愿景層的發展目標涵蓋兩方面，分別是學校指定的目標和個人期望的目標。前者為前驅，提供動力也提供導向；后者為后驅，主要提供動力(個人目標應與學校目標吻合)。雙驅發展目標數據一般需要學校管理者和教師以列表的形式錄入，這種自我報告數據是非結構化的，用作反饋信息時無需特殊處理，但用于提供數據驅動的個性化研修服務時，需要利用語義分析等智能技術轉化為決策準則。

高成效研修實時精準聚焦教師學習需求(即當前水平與期望水平的差距)，這種需求理應成為畫像愿景層的組成部分。在智能技術特別是計算智能的賦能下，學習需求的動態分析已成為基本服務，其基礎數據來源于學習層的能力水平數據。不過，這種模態數據一般只能用來勾勒“學什么”需求，要達到畫像全息性要求，至少還需補增對“如何學”需求的勾勒，這涉及教師的學習狀態以及風格偏好，它們可通過計算智能技術解析學習層的學習行為與體驗數據以及屬性層的風格偏好數據獲得。向教師提供智慧研修服務時，“學什么”需求是研修資源適性推薦的依據，“如何學”需求是個性化研修活動推送的依據，這兩種服務要動態生成才夠精準(彭紅超等, 2019)。

(二)學習層：研修動態的描繪

學習層是教師全息畫像的核心基礎部件，這里描繪關于研修動態的一切，包括學習行為、學習體驗、能力水平等方面的發展變化。

學習行為包括平臺記錄的學習印記、攝像機等攝錄的言談舉止(含筆跡)以及眼動儀追蹤的眼動數據三個方面。目前，學習印記和話語的監測已成為常態，肢體動作和筆跡的記錄技術也已成熟，微軟發布的3D體感攝像機Kinect，能夠跟蹤人體的25個骨骼節點，并能同時監控六個人的肢體姿勢和手勢(MICROSOFT, 2014)。傳感器(如慣性傳感器)感知的肢體動作更精密，IDEEA分析儀器(Intelligent Device For Energy Expenditure And Physical Activity)可分析行為多達45種以上，并且準確度均高達98%以上。對于筆跡數據，數碼筆借助高速攝像頭和光學點陣技術，可精準捕捉筆尖的運動軌跡、速度與受壓變化，感壓板借助電磁感應技術同樣可以“還原筆跡”，并能感知100多頁厚度紙張的筆跡信息(張曉梅等, 2020)，這兩種方案不會對教師造成干擾，教師在普通紙上按照原有習慣書寫即可(數碼筆的紙張要求印有點陣圖案，不過幾乎不可見)。眼動數據同樣已成為描繪畫像的重要模態數據。眼動儀能夠精準追蹤眼睛的視點軌跡、注視的時間與次數，甚至是瞳孔變化。無論是桌面眼動儀還是眼鏡式眼動儀，均不會對教師的研修造成干擾，特別是Dikablis Glass 3能夠允許教師佩戴眼鏡參與研修。

學習體驗是學習過程中的情感、認知等心理反應與感受，如學業情緒、認知負荷、注意力水平等。除面部表情等少數心理活動數據可以直接獲得外(本質上，表情也是由面部數據推測計算而來)，多數心理體驗需要由腦電(EEG)、心電(ECG)、皮電(GSR)等生理數據表征。對于表情數據的獲取，現有的識別系統可以精準識別30多個面部特征，實時監測高興、悲傷等6-8種表情變化，并開始具備微表情(持續時間僅為1/25-1/5秒的表情)識別(賁晛燁等, 2014)、遮擋修復能力。腦電數據是用電生理指標記錄的大腦活動變化，能夠揭示心理活動的腦機制，特別是對事件敏感的ERP，它還可以揭示認知加工的具體階段(魏景漢等, 2010)。腦電具有α、β、θ、δ等節律波，這些節律波組合使用可以監測更多的心理活動，比如使用(α+θ)/β、α/β、(α+θ)/(α+/β)、θ/β四個指標表征腦疲勞(Jap et al., 2009)。心電數據表征心臟跳動的電活動變化，常用指標有心率(HR)和心率變異性(HRV)，它們能夠表征教師的正負向情緒、抗壓能力(張琪等, 2016)。情緒喚醒與波動會導致汗腺分泌變化，從而致使皮膚導電率變化(Boucsein, 2012)，皮電依此檢測心理反應，特別是監測不可規避行為下的低強度負向情緒(Fowles, 1988)。在教師教育真實場景中，這些模態數據可以由無線、可穿戴、便攜式的生理儀實時監測得到(問卷等自我報告數據不便于持續性監測，此處不考慮)。

能力水平是重要的教育成效指數，短時間、間歇性的測評足夠監控能力發展狀況(Binder & Watkins, 1990)，因此常用的測試、練習成績依然是有效的教師畫像數據。除此之外，也可以通過大數據技術挖掘與分析過程中的表現以及認知或情感反應，得到更精準的能力水平，如問題解決能力(胡藝齡等, 2019)。對于比較穩定且難以用試題測量的能力(如學習力、創造力等)，可以采用低成本方式獲取描繪——通過問卷式表單定期監測。

(三)屬性層：本體特征的刻畫

屬性層包括教師的基本特征與體征、學習風格與偏好、學習效能感等方面。基本特征主要是人口學特征(如性別、年齡等)和社會學特征(如所教學科等)。在多模態學習分析時，前者主要用于標識參訓教師，后者用于初步識別學習共同體。這類數據不常變動且結構簡單，一般以表單的形式自我報告獲取，也常從其他研修或管理系統導入。生命體征包括體溫、脈搏、心率、血壓等，這類多模態數據主要反映教師的健康指數，目前采用腕表監測最便捷。

學習風格與偏好是影響學習過程的重要因素，也是提供個性化學習服務的重要依據。雖然利用腦電(Deenadayalan et al., 2019)、眼動(Cao & Nishihara, 2012)等模態數據表征風格偏好已成為新趨勢，但利用表單式的自我報告獲取學習風格與通過智能計算學習層數據推測學習偏好，依然是最成熟、有效的方式。風格與偏好均是個體獲得與處理信息的某種穩定性傾向，不宜改變，所以通常教師的自我報告以及系統的智能計算均是一次性的，不會對他們造成過多的負擔。

學習效能感會顯著影響學習表現，并對學業成就有直接的正向影響。有研究表明，在50個心理因素中，效能感最具影響力(Richardson et al., 2012)。與風格偏好不同，學習效能感與任務相關，隨任務的改變以及對任務認識的發展而變化，需要實時監測。作為一種積極心理狀態，效能感可通過腦電設備做到這一點(常用的自我報告式問卷只能間歇性測量，且費時費力)。研究表明，采用腦電模態數據評估效能感，準確度高達95.06% (Yu et al., 2020)。

圖2 教師全息畫像模型

三、基于教師全息畫像的個性化機制

在智慧研修中，全息畫像的主要用途是支持精準決策與個性化服務，這需要適切的機制驅動(見圖3)。

(一)智慧研修系統的動力機制

自適應逆控制理論(adaptive inverse control，AIC)指出，系統輸入與輸出的差距會驅動自適應算法激活控制器作出適性反應，直到輸入輸出的差距達到可接受的范圍(Widrow, 1987)。遵照此理論，可以構建智慧研修系統的動力機制：研修的產出是能力，特別是教師知識技能(即“學會”)的提升。智慧研修系統將發展目標與教師的知識技能作為輸入與輸出信號，這樣它們的差值便成為驅動系統作出反應的動力。按照智慧研修的特點，這種動力需要驅動研修系統作出三方面的適性反應：定研修內容、定研修行為、定研修步調。

內容的確定依據研修待解決的問題，這種問題即是與發展目標對應的知識技能短板(見圖3)。短板的探尋，通過遞歸算法思想即可實現(祝智庭等, 2016) 。

研修行為的確定，需要關注四個方面：第一，教師是否真的參與了研修，這是保障研修成效的重要前提，特別是在線研修環節；第二，教師是否有完成任務的信心；第三，教師是否處于適當的學習共同體且具有良好的狀態；第四，研修活動是否符合教師的風格偏好。它們對應學習投入、效能感、特征與體征、風格偏好四個要素(見圖3)。表征中間兩要素以及風格的多模態數據均可以從全息畫像的屬性層中提取，學習偏好也可以利用大數據技術以及計算智能解析教師的學習行為數據得到，但學習投入是圖2全息畫像未有的。較有共識的觀點認為，學習投入包括三個維度：認知投入、情感投入、行為投入(Fredricks et al., 2004)。認知投入是信息加工或理解意義的心智努力程度；情感投入是研修過程中表現出來的積極情緒或態度；行為投入是行為卷入程度，如投入時間、活動強度等。容易理解的是，學習體驗的多模態生理數據可以獨立監測情感投入，除此之外，均需要學習體驗和學習行為兩類數據共同表征，才能保證投入監測的真實性(如剔除眼動行為的心智游移部分)。

適性確定研修主要針對自主研修模式，在此模式下研修推進的標準由時間變為知識技能的精熟掌握。步調的確定依據教師的學習能力，作為能力水平的“會學”方面，是學習者獲得、掌握新知，并利用新知解決問題的本領與品性，包括認知本領和學習品性兩方面。前者涉及聽說理解、閱讀理解、計算能力、模仿能力、質疑發問、工具使用六個監測指標，后者涉及自我調控、學習效率、學習耐力、學習定向、團隊協作、溝通交流六個監測指標。可以看出，學習能力與知識技能不同，它的監測不僅需要學習行為數據，也需要學習體驗中情感、認知等模態數據的補充。現實中，研修的時間不可能沒有限制，因此，步調的確定還需要考慮教師的學習速度。速度的計算，可以借用精準教學中發展變速線斜率的計算公式表征(彭紅超等, 2017)。這里，速度僅用于判定研修時間是否會超過時間容忍度極值，以便教師有更靈活的學習步調。

圖3 智慧研修系統的動力機制

(二)研修的個人路徑生成機制

研修過程中，教師個人的學習需求會動態變化。為確保提供的服務與決策實時適時，教師的個人路徑應動態生成，即每次生成少量環節的路徑(1-3步為宜)，且教師每完成一個環節，修正一次。

當前，個性化生成的路徑多是知識點、活動或資源的編列，這種編列只顧及到學習的單個要素，難以起到有效幫扶作用，所以筆者倡導由學習元/包的編列組成路徑(彭紅超等, 2019)。學習元/包包括學具、活動、資源三個核心要素，邏輯為利用學具開展活動學習資源。其中，“利用學具開展活動”是動力機制確定的行為，“資源”是確定的內容。考慮到學習元/包的復用性，研修步調不作為其要素，而由智慧研修系統的管理模塊負責適配。

動力機制旨在驅使研修結果(即教師的知識技能)與發展目標的偏差趨近于零，這要求導向個人路徑生成要以發展目標為依據(見圖3)。按照生成的路徑研修，教師能力會越來越接近發展目標，二者差距的縮小將導致智慧研修系統作出適性反應的動力逐漸消退，直到達到平衡狀態。這即是動力機制的支架消減效應：隨著教師能力的提升，系統作適性反應的強度會消減，學習主動權逐步還給教師。

四、基于多模態數據的學習分析方略

動力機制驅動研修系統作出精準適性反應的關鍵是從多模態數據中獲得富有價值的洞見(彭紅超等，2018)，這可以通過基于多模態數據的學習分析實現，包括融合分析與精準決策兩個環節。

(一)多模態數據融合分析

從全息畫像的刻畫角度看，多模態數據融合分析有三個層面：去偽存真、多維共描、多面臨摹。多模態數據融合分析連續統顯示了這三個層面的數據融合度及其融合分析法(見圖4)。

圖4 多模態數據融合分析連續統

去偽存真即是用更真實可靠的模態數據校驗易“偽裝”的模態數據，減少畫像的噪聲。此分析的數據融合處于關聯層面，即根據相關性剔除虛假的數據，這種操作在數據分析中屬于數據預處理。需要此處理的模態數據有兩類：自我報告類和學習行為類。前者可以利用眼動數據(如視點軌跡、注視的時間和次數)來檢驗教師自我報告，是否真的仔細閱讀了表單中的題項，利用腦電數據檢驗是否有因表單過長而疲勞，利用心率數據檢驗教師是否有負向情緒。后者可以利用ERP數據或皮電數據檢驗學習行為背后是否伴有必要的認知加工和情緒變化(如是否“皮笑肉不笑”)。一般來講，此處的預處理只需要布爾運算得到數據的真假即可，無需關注各類模態數據表征的構念水平。但很多時候，諸如生理反應等校驗數據要達到一定的強度才可驗證真偽，因此，需謹慎設定此類模態數據的閾值。

多維共描即利用多模態數據的共一性多維度地描繪同一局部畫像。此分析需要將畫像輪廓疊加在一起，以顯現局部畫像的全部輪廓特征，這對認知與情緒等心理活動的全息描繪尤為重要。認知方面，將具有高時間分辨率優勢的EEG和高空間分辨率的fMRI(功能磁共振成像)兩種模態數據疊加，可以得到精準腦區位置的精細認知活動。常見的疊加方法有三種(Vitali et al., 2014)：基于fMRI數據的腦電分析法、基于腦電數據的fMRI分析法、聯合獨立分析法(independent component analysis， ICA)。情緒方面，將心率、心率變異性、呼吸變異性(respiration variability)等模態數據疊加，可以得到學業情緒的生理機制圖譜(Rainville et al., 2006)(見圖5)。多維共描主要涉及標準差、均方根、主成分分析、方差分析等統計方法，必要時還需構建數學模型。

圖5 學業情緒的生理機制圖譜

多面臨摹即利用多模態數據的互補性多側面地描摹教師的研修畫像。此分析需要將局部畫像拼接在一起，形成研修畫像的完整視圖，其過程分三步：第一步，各局部畫像的特征向量匯聚在一起，形成高維特征向量空間；第二步，通過映射或變換(如距離可分性測度變換法)將高維空間降至更能突顯本質特征的低維空間；第三步，通過大數據挖掘與學習分析技術(如決策樹算法、貝葉斯算法)獲悉低維空間中蘊含的教師學習規律或趨勢(即學習模式)。容易發現，多面臨摹需要借助計算機算法完成，如果需要實時修正得到的學習模式，還需借助基于人工神經網絡的機器學習算法(如深度學習算法)。另外，第一步匯聚局部畫像時，需要理論框架的支撐，明確完整視圖涵蓋哪些組成部分，著名的梅拉賓(Mehrabian)情感表達框架(Mehrabian, 1968)即是典型范例：55%面部表情、38聲調變化、7%語言表達。

(二)適應性精準決策

多模態數據融合分析的產出是教師的學習模式，即智能機器的知識，而人的知識是從信息中獲得的見解。在發展目標轉化決策準則指引下，智能機器可判定學習模式存在的問題，作出適性的精準決策。決策原理涉及精準教學、失敗中學、個性化學習三種理念(見圖6)，即以精準教學中的知能流暢度和學習速度為指標(彭紅超等, 2017)，判定當前是否存在問題、預判未來是否存在問題。如果當前存在問題，說明教師的某個研修活動已失敗，啟動失敗中學機制，找到原因及時補救。如果未來存在問題，則啟動個性化學習機制，適性調整研修策略，改變結局。

當智慧研修系統的教師研修數據量較小時，可采用米勒(Mill)因果判定三條件找尋原因：1)原因先于結果發生；2)原因與結果共變；3)原因不出現，結果就不出現。不過，教育是復雜的系統，有時難以判別第三個條件。鑒于腦電等生理模態數據多為時序數據，此時可改用格蘭杰(Granger)因果分析，事前需用迪基—富勒檢驗變量的平穩性(Granger, 1969)。當智慧研修系統的研修數據龐大至大數據級別時，可直接用相關關系取代因果關系找尋原因，相關關系分析成熟且相對簡易。

常用于個性化學習的算法有基于內容的算法(按照過去的成功經驗決策)、基于知識的算法(教師與教師直接對話，根據得到的需求決策)、協同過濾算法(按照他人的成功經驗決策)、混合算法(三者融合)等。這幾種算法各有利弊，需要按照實際需求自動切換，這涉及人工智能的機器學習算法，可用的三類算法是深度學習(對同問題作出同決策)、強化學習(對同問題作出新決策)、遷移學習(對類似問題作出自動決策)。不過，機器學習一般需要冗長的迭代學習過程，且需要大量的數據集作為學習樣本。這可基于矩陣偽逆思想確定人工神經網絡的最優權值，即權值直接確定法 (張雨濃等, 2010)。這種方法不用迭代訓練，便可極大提高學習速度，并且精準度遠高于機器的迭代訓練結果。

圖6 適應性精準決策儀表盤

五、結 語

雖然不同學科對多模態的認識不同，但這些認識相互聯通且成體系，并均認為人的認知和社會互動是多模態的。多模態數據全面、精準、真實、動態的優勢，造就其全息臨摹教師畫像的潛能，這種全息性涵蓋屬性層、學習層、愿景層三個層面，其中愿景層關注發展期望的勾勒，學習層關注研修動態的描繪，屬性層關注本體特征的刻畫。基于此類全息畫像的智慧研修系統需要適切的機制驅動其提供多模態精準決策與個性化服務，具體涉及適性的動力機制和個人路徑生成機制。當然，這需要適切的多模態學習分析方略，包括涵蓋去偽存真、多維共描、多面臨摹三個層面的多模態數據融合分析方略以及涉及精準教學、失敗中學、個性化學習三種學習理念的適應性精準決策方略。

鑒于智能研修系統由原始決策水平進步到適應特定研修情境與模式的高精準水平，需要一定的學習過程與時間(即使采用權值直接確定法，也需要時間制作訓練樣本集)，并且不同研修主題的學習情境也不同，原本高精準的決策可能因此變得低效，甚至無效。所以，基于多模態數據的智慧研修同樣需要人機協同。

多模態數據能夠更清晰地揭示教師的學習機理與狀態，幫助教師了解自己研修過程中無形的心理、認知與元認知過程。此類數據作為反饋信息反饋給教師，或許可增強教師自我調節的能力與意識，提高研修成效。這將是本研究團隊后續的工作重點和方向。