多模態學習的研究熱點、動態前沿與趨勢分析
——基于CiteSpace軟件的可視化分析

劉佳琳，李 喆

（遵義醫科大學珠海校區，廣東 珠海 519041）

模態是物質媒體經過社會長時間塑造而形成的意義潛勢，是一種應用于表征交互協作和交流意義的社會性、文化性資源[1]。以社會符號學為研究角度，模態可以是聲音、文字和圖像等。此外，模態也可以是人類通過自身感覺器官建立的與外部環境之間的交流互動方式，比如視覺、聽覺等。隨著人工智能領域的研究內容不斷增加、更新，模態也被賦予新的定義，即一種機器對外界信息的感知模式或信息通道，包括數據表征模式、數據采集模式和數據特征主體3方面。多模態學習理論最早是在第十四屆多模態交互國際會議上由Scherer等[2]提出的，他們認為多模態學習分析是一個概念的復合體，包含多模態教學、多模態數據和計算機支持的分析3個概念，目的是利用三者間相互作用、彼此聯合的關系來模擬處于相對復雜、特殊學習環境中的學生學習場景[3]。

2012年有學者提出將文本、音頻和視頻等多模態數據運用于各學科交互研究領域，為各學科共同發展提供了新的方向，同時也確定了多模態學習在交互學習分析領域的重要地位。基于模態的新價值，近年來多模態學習成為各學科領域新的研究熱點，特別是教育領域，而醫學教育領域也掀起浪潮。目前，在教育領域應用多模態學習分析方法最多的是語言方面，如利用融入視頻、音頻多模態的教學方法代替原先枯燥、單一的課堂教學方法。而其他領域，如新媒體、臨床醫學、醫學影像學技術、遙感圖像等，也利用多模態學習分析方法指明新的研究方向。因此，本研究基于CiteSpace軟件對中國知網（CNKI）中有關多模態學習的研究熱點和動態趨勢進行可視化分析，了解近年來的研究熱點與研究前沿，加深對該領域的認識，為我國教育領域，特別是醫學教育領域應用多模態學習分析方法及相關學科發展提供參考。

1 資料與方法

1.1 文獻來源和檢索策略

CiteSpace軟件是用于識別并顯示研究動態、預測研究趨勢的一種工具，生成的各類知識圖譜能對學科的發展進程與結構有一定的顯示作用。本研究利用CiteSpace軟件對近5年國內外研究者在多模態學習領域的研究方向、研究熱點和研究成果進行分析。基于CiteSpace軟件繪制的圖譜分析討論，可以發現多模態學習領域幾年來的研究動態和發展趨勢，從而得出一定時期該領域的研究熱點，對該領域未來發展趨勢和發展前景進行預測。

1.2 數據來源

計算機檢索CNKI，分別以多模態學習、交互學習分析、多模態學習分析方法為主題、題名和關鍵詞搜索文獻，時間跨度為2017年1月1日至2021年5月1日。納入符合主題的期刊論文、學位論文，手動剔除會議論文、學術資訊、報紙圖書等[4]，最終得到相關文獻883篇。

1.3 數據處理

CiteSpace軟件由大連理工大學陳超美博士主導研發，旨在通過對文獻計量分析得出某一研究領域的熱點、發展動態和趨勢[5]。利用CiteSpace軟件對關鍵詞在多模態學習領域出現的次數或者頻率進行檢測，并進行可視化分析，即可獲知該領域的研究熱點[6]。利用CiteSpace軟件的數據轉換功能，在中國知網數據庫選擇符合研究要求的文獻數據量，以Refworks格式導出，轉換為data文檔。檢索時間以一年為跨度，利用CiteSpace軟件將其劃分為5個時間分區[7]。

2 結果與分析

2.1 年度發文總量分析

共檢索到1 317篇文獻，其中，2017年119篇，2018年197篇，2019年275篇，2020年324篇，2021年402篇。經過篩選和運用CiteSpace軟件去重，最終得到883篇文獻。可以看出，2017—2021年，多模態學習領域文獻發表數量呈逐年增長趨勢，見圖1。

圖1 2017—2021年多模態學習領域文獻發表情況

2.2 作者合作情況分析

作者合作共現知識圖譜中共有179個節點，272條連線（見圖2）。作者發文量的多少以圖中節點的大小表示，作者間的合作緊密度由連線的多少表示。通過對圖2的觀察和分析可知，目前，多模態學習領域國外研究者發文量較多，其中Anant Madabhushi、Hayit Greenspan 及 Tanveer Syeda Mahmood 3 位作者發文量最多。此外，發文量在3篇及以上的作者18人。從作者及團隊間的合作情況來看，Tanveer Syeda Mahmood、Anant Madabhushi、Hayit Greenspan團隊間合作較緊密，能看到清晰的連線，各團隊作者間也有較緊密的合作關系，而其他研究者間的緊密度不高。

圖2 2017—2021年多模態學習領域文獻作者合作共現知識圖譜

2.3 研究機構分布情況分析

研究機構合作共現知識圖譜共有165個節點，127條連線（見圖3）。研究機構間的合作關系及緊密度以節點間的連線和連線多少來表示。分析圖3可知，云南師范大學外國語學院發文量最多，共4篇。此外，發文量在3篇及以上的研究機構共8個，但彼此間合作較少。

圖3 2017—2021年多模態學習領域研究機構合作共現知識圖譜

2.4 突現詞分析

突現詞指在較短時間出現較多或使用頻率較高的詞，根據突現詞的詞頻變化可以判斷研究前沿和趨勢[8]。利用CiteSpace軟件選出出現頻率靠前的15個突現詞（見表1）。由表1可以看出近5年該領域的研究熱點，以及隨著年份的改變研究內容的變化。

表1 2017—2021年多模態學習領域突現詞分析（前15個）

2.5 關鍵詞分析

關鍵詞是作者在學術論文中對研究內容的凝練，也能反映該領域研究熱點[9]（見圖4）。圖5共有311個節點，638條連線，按年份將關鍵詞進行排列并將時間分區設置為一年，由此得出近5年多模態學習領域關鍵詞時區分布圖（見圖5）。再將“多模態”“學習”“多模態學習”這類基礎詞剔除，整理后得出近5年與多模態學習相關的前10個高頻關鍵詞（見表2）。

圖4 2017—2021年多模態學習領域關鍵詞共現知識圖譜

圖5 2017—2021年多模態學習領域關鍵詞時區分布圖

表2 2017—2021年多模態學習領域高頻關鍵詞

3 討論

3.1 年度發文量

多模態學習的目的是建立能夠處理和關聯來自多種模式信息的模型[10]。近年來，基于大數據分析的學習方法對傳統標準化學習方法進行了拓展，而科學技術的進步也讓多模態學習分析方法逐步進入大眾視野，對人們的工作、學習方式產生了一定影響。多模態學習逐漸成為其他領域（如信息數據提取、數據整合運算、醫學影像學圖像處理、遙感技術）的研究熱點，并應用于生活，如跨媒介搜索、多維度建模、多圖像與多語言綜合處理等[11]。多模態學習理論于2012年被正式提出，隨著信息技術的發展，多模態學習使用的模態數量不斷增加，這使得研究者對該領域的探究進一步深入。此外，隨著人工智能技術向各領域普及，可以推斷今后多模態學習領域的發文量將會進一步增加。本次研究的文獻數據僅來自CNKI，檢索范圍也限定在多模態學習領域，分析結果也在一定程度上存在偏倚。

3.2 發文作者

普賴斯定律表示最高和最低產量作者文獻數量的關系，即最低產量作者發表文獻數量是最高產量作者發表文獻數量平方根的0.749倍[12]。通過普賴斯定律我們可以看出，每一個研究領域都有核心作者或核心作者群，他們是一個領域發展的領導者。2017—2021年，多模態學習領域以第一作者身份發文量最多的作者發文20篇，按照公式可知n為3.3，即該領域核心作者的發文量應≥3篇，根據之前研究結果可知，符合該條件的作者共20人，總發文量為165篇，沒有達到要求的發文量，表示該領域的核心作者群尚未形成。當前，該領域以國外研究者居多，國內研究者較少且分散，說明多模態學習在我國尚未引起學術界關注，今后可加強關于多模態學習的相關研究。

3.3 研究熱點與發展趨勢

關鍵詞是作者學術觀點的凝結，通過對其進行時區分析可發現某領域的研究熱點及發展趨勢[13]。結合2017—2021年該領域高頻關鍵詞可大致將多模態學習領域的研究熱點分為以下兩個方面。

一方面，關于教育學習領域的關鍵詞有深度學習、機器學習、多模態教學、多模態學習分析、多任務學習等。隨著大數據時代的到來，國內外教育領域的教學方式發生漸進性改變，多種新興的電子信息技術逐漸應用到各學科日常教育、學習之中，改變了傳統教育模式，也為我國醫學類院校指明了教學模式改革的方向。另外，人工智能技術的產生和發展為各學科學習方法更新提供了多方面的技術支持，有望實現教育發展研究和多模態學習分析技術的融合應用，實現新形勢下學習分析的漸進式進步[14]。未來可構建多學科融合的基礎理論，進行多模態數據共享，完善基于多模態學習分析的智能服務體系，實現真實教育學習場景和多模態學習理論、技術的結合性應用。多模態學習對當前醫學理論教學方式和傳統的教育教學方法變革起到促進作用，滿足了學生理論學習與實踐學習需要，在轉變學生學習態度，提高學習效率，培養學生臨床思維，提高學生動手能力、辯證思維能力和學習素質等個人能力方面發揮著重要作用[15]。

另一方面，與計算機算法、數學領域相關的關鍵詞有卷積神經網絡、注意力機制、多模態數據、多模態融合等。多模態學習重視真實的教學情境和交流互動方式，把更多視線放在現實理論學習場景，為主流教育觀念過分重視純數字化或純主觀情感輸出的問題提供了解決路徑[16]，為理論教學提供了更多臨床影像資料，為實驗教學提供了精準的動態模擬影像資料。多模態學習是學習分析研究方向的熱點，包含物理空間、數學空間、心理測量、生理體征和環境場景5項數據，學習指標包括行為、認知、情感、協作等。隨著科學技術的進步和人們教育觀念的轉變，其指標也會更加具體[17]。對情感、協作和認知的研究是目前的焦點，也符合我國醫學教育加強人文關懷教育與信息技術融合的發展趨勢。情感分析是指利用計算機自動分析、確定人們所要表達的情感，在人機交互、刑偵、ICU患者心理護理等領域都能發揮重要作用。傳統特征提取算法的演進和深度學習的進步為利用多種模態進行情感分析提供了條件[18]。當前，多元協作學習的教學方法存在諸多問題，而多模態交互分析可以做到對選入的多元動態信息進行提煉匯總，對推動多元協作學習理論發展具有重要價值[19]。短視頻作為一種數字內容的代表形式，其時間短、內容精、編輯性強的特點使它無法用傳統的視頻分類模型進行歸類。有研究者基于短視頻的分類問題提出新的視頻分類方法，即采用多模態特征深度融合的方法對短視頻進行分類[20]。研究發現，多模態特征融合的分類方式精確度更高。

基于以上分析，觀察關鍵詞時區分布發現，近5年多模態學習的研究熱點主要是教育理論學習和各類計算機算法。計算機算法的進步為利用多種模態進行電子信息數據多元化處理提供了條件。結合多種模態進行分析可以彌補單模態分析的缺陷，進而提高準確度。

3.4 研究前沿

利用突現詞可分析該領域不同時期研究熱點的變化趨勢及未來研究方向[21]。不同時間段出現的高頻詞匯反映了當時的研究熱點和學術前沿[22]。多核學習的突現度為2.95，多模態話語分析的突現度為2.21，時間跨度為2017—2018年，表明2017—2018年多核學習和多模態話語分析是研究者關注的熱點，2018年以后關注度略有降低。因此，進入研究中心時間較晚且直至2021年尚未結束的突現詞便代表了該領域的研究前沿和趨勢。生成對抗網絡、圖像處理和描述、流形學習、多模態特征等可能代表今后多模態學習領域的研究方向。隨著社交平臺的發展，人們更傾向于使用文本、圖片、視頻等多模態信息表達觀點、情感。所以，對目前各類社交平臺中的情感內容進行分析，可以為大數據時代內容個性化推送發揮重要作用[23]。社交網絡的多模態情感分析和圖文多模態情感分析中兩類信息的有效融合問題也是目前多模態學習領域的研究熱點。

4 結語

綜上所述，多模態學習的發展趨勢整體向好，但作者及研究機構交流合作還需加強，以形成更具規模化、系統化的研究成果。未來應關注多模態學習在生成對抗網絡、圖像處理、學習策略、卷積神經網絡、多模態話語分析理論等領域的發展，除深度學習外，其他研究熱點都與計算機算法和數學領域相關，故計算機算法信息分析技術有望成為多模態學習最熱門的研究方向。醫學教育領域目前對多模態學習的分析仍停留在簡單的視頻、圖像技術應用上，未來應加強對多模態學習理論的應用[24]，將更多多模態學習方法融入教學，從而推動醫學教育創新發展。