多模態(tài)學(xué)習(xí)的研究熱點(diǎn)、動(dòng)態(tài)前沿與趨勢(shì)分析
——基于CiteSpace軟件的可視化分析

劉佳琳，李 喆

（遵義醫(yī)科大學(xué)珠海校區(qū)，廣東 珠海 519041）

模態(tài)是物質(zhì)媒體經(jīng)過(guò)社會(huì)長(zhǎng)時(shí)間塑造而形成的意義潛勢(shì)，是一種應(yīng)用于表征交互協(xié)作和交流意義的社會(huì)性、文化性資源[1]。以社會(huì)符號(hào)學(xué)為研究角度，模態(tài)可以是聲音、文字和圖像等。此外，模態(tài)也可以是人類通過(guò)自身感覺(jué)器官建立的與外部環(huán)境之間的交流互動(dòng)方式，比如視覺(jué)、聽覺(jué)等。隨著人工智能領(lǐng)域的研究?jī)?nèi)容不斷增加、更新，模態(tài)也被賦予新的定義，即一種機(jī)器對(duì)外界信息的感知模式或信息通道，包括數(shù)據(jù)表征模式、數(shù)據(jù)采集模式和數(shù)據(jù)特征主體3方面。多模態(tài)學(xué)習(xí)理論最早是在第十四屆多模態(tài)交互國(guó)際會(huì)議上由Scherer等[2]提出的，他們認(rèn)為多模態(tài)學(xué)習(xí)分析是一個(gè)概念的復(fù)合體，包含多模態(tài)教學(xué)、多模態(tài)數(shù)據(jù)和計(jì)算機(jī)支持的分析3個(gè)概念，目的是利用三者間相互作用、彼此聯(lián)合的關(guān)系來(lái)模擬處于相對(duì)復(fù)雜、特殊學(xué)習(xí)環(huán)境中的學(xué)生學(xué)習(xí)場(chǎng)景[3]。

2012年有學(xué)者提出將文本、音頻和視頻等多模態(tài)數(shù)據(jù)運(yùn)用于各學(xué)科交互研究領(lǐng)域，為各學(xué)科共同發(fā)展提供了新的方向，同時(shí)也確定了多模態(tài)學(xué)習(xí)在交互學(xué)習(xí)分析領(lǐng)域的重要地位。基于模態(tài)的新價(jià)值，近年來(lái)多模態(tài)學(xué)習(xí)成為各學(xué)科領(lǐng)域新的研究熱點(diǎn)，特別是教育領(lǐng)域，而醫(yī)學(xué)教育領(lǐng)域也掀起浪潮。目前，在教育領(lǐng)域應(yīng)用多模態(tài)學(xué)習(xí)分析方法最多的是語(yǔ)言方面，如利用融入視頻、音頻多模態(tài)的教學(xué)方法代替原先枯燥、單一的課堂教學(xué)方法。而其他領(lǐng)域，如新媒體、臨床醫(yī)學(xué)、醫(yī)學(xué)影像學(xué)技術(shù)、遙感圖像等，也利用多模態(tài)學(xué)習(xí)分析方法指明新的研究方向。因此，本研究基于CiteSpace軟件對(duì)中國(guó)知網(wǎng)（CNKI）中有關(guān)多模態(tài)學(xué)習(xí)的研究熱點(diǎn)和動(dòng)態(tài)趨勢(shì)進(jìn)行可視化分析，了解近年來(lái)的研究熱點(diǎn)與研究前沿，加深對(duì)該領(lǐng)域的認(rèn)識(shí)，為我國(guó)教育領(lǐng)域，特別是醫(yī)學(xué)教育領(lǐng)域應(yīng)用多模態(tài)學(xué)習(xí)分析方法及相關(guān)學(xué)科發(fā)展提供參考。

1 資料與方法

1.1 文獻(xiàn)來(lái)源和檢索策略

CiteSpace軟件是用于識(shí)別并顯示研究動(dòng)態(tài)、預(yù)測(cè)研究趨勢(shì)的一種工具，生成的各類知識(shí)圖譜能對(duì)學(xué)科的發(fā)展進(jìn)程與結(jié)構(gòu)有一定的顯示作用。本研究利用CiteSpace軟件對(duì)近5年國(guó)內(nèi)外研究者在多模態(tài)學(xué)習(xí)領(lǐng)域的研究方向、研究熱點(diǎn)和研究成果進(jìn)行分析。基于CiteSpace軟件繪制的圖譜分析討論，可以發(fā)現(xiàn)多模態(tài)學(xué)習(xí)領(lǐng)域幾年來(lái)的研究動(dòng)態(tài)和發(fā)展趨勢(shì)，從而得出一定時(shí)期該領(lǐng)域的研究熱點(diǎn)，對(duì)該領(lǐng)域未來(lái)發(fā)展趨勢(shì)和發(fā)展前景進(jìn)行預(yù)測(cè)。

1.2 數(shù)據(jù)來(lái)源

計(jì)算機(jī)檢索CNKI，分別以多模態(tài)學(xué)習(xí)、交互學(xué)習(xí)分析、多模態(tài)學(xué)習(xí)分析方法為主題、題名和關(guān)鍵詞搜索文獻(xiàn)，時(shí)間跨度為2017年1月1日至2021年5月1日。納入符合主題的期刊論文、學(xué)位論文，手動(dòng)剔除會(huì)議論文、學(xué)術(shù)資訊、報(bào)紙圖書等[4]，最終得到相關(guān)文獻(xiàn)883篇。

1.3 數(shù)據(jù)處理

CiteSpace軟件由大連理工大學(xué)陳超美博士主導(dǎo)研發(fā)，旨在通過(guò)對(duì)文獻(xiàn)計(jì)量分析得出某一研究領(lǐng)域的熱點(diǎn)、發(fā)展動(dòng)態(tài)和趨勢(shì)[5]。利用CiteSpace軟件對(duì)關(guān)鍵詞在多模態(tài)學(xué)習(xí)領(lǐng)域出現(xiàn)的次數(shù)或者頻率進(jìn)行檢測(cè)，并進(jìn)行可視化分析，即可獲知該領(lǐng)域的研究熱點(diǎn)[6]。利用CiteSpace軟件的數(shù)據(jù)轉(zhuǎn)換功能，在中國(guó)知網(wǎng)數(shù)據(jù)庫(kù)選擇符合研究要求的文獻(xiàn)數(shù)據(jù)量，以Refworks格式導(dǎo)出，轉(zhuǎn)換為data文檔。檢索時(shí)間以一年為跨度，利用CiteSpace軟件將其劃分為5個(gè)時(shí)間分區(qū)[7]。

2 結(jié)果與分析

2.1 年度發(fā)文總量分析

共檢索到1 317篇文獻(xiàn)，其中，2017年119篇，2018年197篇，2019年275篇，2020年324篇，2021年402篇。經(jīng)過(guò)篩選和運(yùn)用CiteSpace軟件去重，最終得到883篇文獻(xiàn)。可以看出，2017—2021年，多模態(tài)學(xué)習(xí)領(lǐng)域文獻(xiàn)發(fā)表數(shù)量呈逐年增長(zhǎng)趨勢(shì)，見圖1。

圖1 2017—2021年多模態(tài)學(xué)習(xí)領(lǐng)域文獻(xiàn)發(fā)表情況

2.2 作者合作情況分析

作者合作共現(xiàn)知識(shí)圖譜中共有179個(gè)節(jié)點(diǎn)，272條連線（見圖2）。作者發(fā)文量的多少以圖中節(jié)點(diǎn)的大小表示，作者間的合作緊密度由連線的多少表示。通過(guò)對(duì)圖2的觀察和分析可知，目前，多模態(tài)學(xué)習(xí)領(lǐng)域國(guó)外研究者發(fā)文量較多，其中Anant Madabhushi、Hayit Greenspan 及 Tanveer Syeda Mahmood 3 位作者發(fā)文量最多。此外，發(fā)文量在3篇及以上的作者18人。從作者及團(tuán)隊(duì)間的合作情況來(lái)看，Tanveer Syeda Mahmood、Anant Madabhushi、Hayit Greenspan團(tuán)隊(duì)間合作較緊密，能看到清晰的連線，各團(tuán)隊(duì)作者間也有較緊密的合作關(guān)系，而其他研究者間的緊密度不高。

圖2 2017—2021年多模態(tài)學(xué)習(xí)領(lǐng)域文獻(xiàn)作者合作共現(xiàn)知識(shí)圖譜

2.3 研究機(jī)構(gòu)分布情況分析

研究機(jī)構(gòu)合作共現(xiàn)知識(shí)圖譜共有165個(gè)節(jié)點(diǎn)，127條連線（見圖3）。研究機(jī)構(gòu)間的合作關(guān)系及緊密度以節(jié)點(diǎn)間的連線和連線多少來(lái)表示。分析圖3可知，云南師范大學(xué)外國(guó)語(yǔ)學(xué)院發(fā)文量最多，共4篇。此外，發(fā)文量在3篇及以上的研究機(jī)構(gòu)共8個(gè)，但彼此間合作較少。

圖3 2017—2021年多模態(tài)學(xué)習(xí)領(lǐng)域研究機(jī)構(gòu)合作共現(xiàn)知識(shí)圖譜

2.4 突現(xiàn)詞分析

突現(xiàn)詞指在較短時(shí)間出現(xiàn)較多或使用頻率較高的詞，根據(jù)突現(xiàn)詞的詞頻變化可以判斷研究前沿和趨勢(shì)[8]。利用CiteSpace軟件選出出現(xiàn)頻率靠前的15個(gè)突現(xiàn)詞（見表1）。由表1可以看出近5年該領(lǐng)域的研究熱點(diǎn)，以及隨著年份的改變研究?jī)?nèi)容的變化。

表1 2017—2021年多模態(tài)學(xué)習(xí)領(lǐng)域突現(xiàn)詞分析（前15個(gè)）

2.5 關(guān)鍵詞分析

關(guān)鍵詞是作者在學(xué)術(shù)論文中對(duì)研究?jī)?nèi)容的凝練，也能反映該領(lǐng)域研究熱點(diǎn)[9]（見圖4）。圖5共有311個(gè)節(jié)點(diǎn)，638條連線，按年份將關(guān)鍵詞進(jìn)行排列并將時(shí)間分區(qū)設(shè)置為一年，由此得出近5年多模態(tài)學(xué)習(xí)領(lǐng)域關(guān)鍵詞時(shí)區(qū)分布圖（見圖5）。再將“多模態(tài)”“學(xué)習(xí)”“多模態(tài)學(xué)習(xí)”這類基礎(chǔ)詞剔除，整理后得出近5年與多模態(tài)學(xué)習(xí)相關(guān)的前10個(gè)高頻關(guān)鍵詞（見表2）。

圖4 2017—2021年多模態(tài)學(xué)習(xí)領(lǐng)域關(guān)鍵詞共現(xiàn)知識(shí)圖譜

圖5 2017—2021年多模態(tài)學(xué)習(xí)領(lǐng)域關(guān)鍵詞時(shí)區(qū)分布圖

表2 2017—2021年多模態(tài)學(xué)習(xí)領(lǐng)域高頻關(guān)鍵詞

3 討論

3.1 年度發(fā)文量

多模態(tài)學(xué)習(xí)的目的是建立能夠處理和關(guān)聯(lián)來(lái)自多種模式信息的模型[10]。近年來(lái)，基于大數(shù)據(jù)分析的學(xué)習(xí)方法對(duì)傳統(tǒng)標(biāo)準(zhǔn)化學(xué)習(xí)方法進(jìn)行了拓展，而科學(xué)技術(shù)的進(jìn)步也讓多模態(tài)學(xué)習(xí)分析方法逐步進(jìn)入大眾視野，對(duì)人們的工作、學(xué)習(xí)方式產(chǎn)生了一定影響。多模態(tài)學(xué)習(xí)逐漸成為其他領(lǐng)域（如信息數(shù)據(jù)提取、數(shù)據(jù)整合運(yùn)算、醫(yī)學(xué)影像學(xué)圖像處理、遙感技術(shù)）的研究熱點(diǎn)，并應(yīng)用于生活，如跨媒介搜索、多維度建模、多圖像與多語(yǔ)言綜合處理等[11]。多模態(tài)學(xué)習(xí)理論于2012年被正式提出，隨著信息技術(shù)的發(fā)展，多模態(tài)學(xué)習(xí)使用的模態(tài)數(shù)量不斷增加，這使得研究者對(duì)該領(lǐng)域的探究進(jìn)一步深入。此外，隨著人工智能技術(shù)向各領(lǐng)域普及，可以推斷今后多模態(tài)學(xué)習(xí)領(lǐng)域的發(fā)文量將會(huì)進(jìn)一步增加。本次研究的文獻(xiàn)數(shù)據(jù)僅來(lái)自CNKI，檢索范圍也限定在多模態(tài)學(xué)習(xí)領(lǐng)域，分析結(jié)果也在一定程度上存在偏倚。

3.2 發(fā)文作者

普賴斯定律表示最高和最低產(chǎn)量作者文獻(xiàn)數(shù)量的關(guān)系，即最低產(chǎn)量作者發(fā)表文獻(xiàn)數(shù)量是最高產(chǎn)量作者發(fā)表文獻(xiàn)數(shù)量平方根的0.749倍[12]。通過(guò)普賴斯定律我們可以看出，每一個(gè)研究領(lǐng)域都有核心作者或核心作者群，他們是一個(gè)領(lǐng)域發(fā)展的領(lǐng)導(dǎo)者。2017—2021年，多模態(tài)學(xué)習(xí)領(lǐng)域以第一作者身份發(fā)文量最多的作者發(fā)文20篇，按照公式可知n為3.3，即該領(lǐng)域核心作者的發(fā)文量應(yīng)≥3篇，根據(jù)之前研究結(jié)果可知，符合該條件的作者共20人，總發(fā)文量為165篇，沒(méi)有達(dá)到要求的發(fā)文量，表示該領(lǐng)域的核心作者群尚未形成。當(dāng)前，該領(lǐng)域以國(guó)外研究者居多，國(guó)內(nèi)研究者較少且分散，說(shuō)明多模態(tài)學(xué)習(xí)在我國(guó)尚未引起學(xué)術(shù)界關(guān)注，今后可加強(qiáng)關(guān)于多模態(tài)學(xué)習(xí)的相關(guān)研究。

3.3 研究熱點(diǎn)與發(fā)展趨勢(shì)

關(guān)鍵詞是作者學(xué)術(shù)觀點(diǎn)的凝結(jié)，通過(guò)對(duì)其進(jìn)行時(shí)區(qū)分析可發(fā)現(xiàn)某領(lǐng)域的研究熱點(diǎn)及發(fā)展趨勢(shì)[13]。結(jié)合2017—2021年該領(lǐng)域高頻關(guān)鍵詞可大致將多模態(tài)學(xué)習(xí)領(lǐng)域的研究熱點(diǎn)分為以下兩個(gè)方面。

一方面，關(guān)于教育學(xué)習(xí)領(lǐng)域的關(guān)鍵詞有深度學(xué)習(xí)、機(jī)器學(xué)習(xí)、多模態(tài)教學(xué)、多模態(tài)學(xué)習(xí)分析、多任務(wù)學(xué)習(xí)等。隨著大數(shù)據(jù)時(shí)代的到來(lái)，國(guó)內(nèi)外教育領(lǐng)域的教學(xué)方式發(fā)生漸進(jìn)性改變，多種新興的電子信息技術(shù)逐漸應(yīng)用到各學(xué)科日常教育、學(xué)習(xí)之中，改變了傳統(tǒng)教育模式，也為我國(guó)醫(yī)學(xué)類院校指明了教學(xué)模式改革的方向。另外，人工智能技術(shù)的產(chǎn)生和發(fā)展為各學(xué)科學(xué)習(xí)方法更新提供了多方面的技術(shù)支持，有望實(shí)現(xiàn)教育發(fā)展研究和多模態(tài)學(xué)習(xí)分析技術(shù)的融合應(yīng)用，實(shí)現(xiàn)新形勢(shì)下學(xué)習(xí)分析的漸進(jìn)式進(jìn)步[14]。未來(lái)可構(gòu)建多學(xué)科融合的基礎(chǔ)理論，進(jìn)行多模態(tài)數(shù)據(jù)共享，完善基于多模態(tài)學(xué)習(xí)分析的智能服務(wù)體系，實(shí)現(xiàn)真實(shí)教育學(xué)習(xí)場(chǎng)景和多模態(tài)學(xué)習(xí)理論、技術(shù)的結(jié)合性應(yīng)用。多模態(tài)學(xué)習(xí)對(duì)當(dāng)前醫(yī)學(xué)理論教學(xué)方式和傳統(tǒng)的教育教學(xué)方法變革起到促進(jìn)作用，滿足了學(xué)生理論學(xué)習(xí)與實(shí)踐學(xué)習(xí)需要，在轉(zhuǎn)變學(xué)生學(xué)習(xí)態(tài)度，提高學(xué)習(xí)效率，培養(yǎng)學(xué)生臨床思維，提高學(xué)生動(dòng)手能力、辯證思維能力和學(xué)習(xí)素質(zhì)等個(gè)人能力方面發(fā)揮著重要作用[15]。

另一方面，與計(jì)算機(jī)算法、數(shù)學(xué)領(lǐng)域相關(guān)的關(guān)鍵詞有卷積神經(jīng)網(wǎng)絡(luò)、注意力機(jī)制、多模態(tài)數(shù)據(jù)、多模態(tài)融合等。多模態(tài)學(xué)習(xí)重視真實(shí)的教學(xué)情境和交流互動(dòng)方式，把更多視線放在現(xiàn)實(shí)理論學(xué)習(xí)場(chǎng)景，為主流教育觀念過(guò)分重視純數(shù)字化或純主觀情感輸出的問(wèn)題提供了解決路徑[16]，為理論教學(xué)提供了更多臨床影像資料，為實(shí)驗(yàn)教學(xué)提供了精準(zhǔn)的動(dòng)態(tài)模擬影像資料。多模態(tài)學(xué)習(xí)是學(xué)習(xí)分析研究方向的熱點(diǎn)，包含物理空間、數(shù)學(xué)空間、心理測(cè)量、生理體征和環(huán)境場(chǎng)景5項(xiàng)數(shù)據(jù)，學(xué)習(xí)指標(biāo)包括行為、認(rèn)知、情感、協(xié)作等。隨著科學(xué)技術(shù)的進(jìn)步和人們教育觀念的轉(zhuǎn)變，其指標(biāo)也會(huì)更加具體[17]。對(duì)情感、協(xié)作和認(rèn)知的研究是目前的焦點(diǎn)，也符合我國(guó)醫(yī)學(xué)教育加強(qiáng)人文關(guān)懷教育與信息技術(shù)融合的發(fā)展趨勢(shì)。情感分析是指利用計(jì)算機(jī)自動(dòng)分析、確定人們所要表達(dá)的情感，在人機(jī)交互、刑偵、ICU患者心理護(hù)理等領(lǐng)域都能發(fā)揮重要作用。傳統(tǒng)特征提取算法的演進(jìn)和深度學(xué)習(xí)的進(jìn)步為利用多種模態(tài)進(jìn)行情感分析提供了條件[18]。當(dāng)前，多元協(xié)作學(xué)習(xí)的教學(xué)方法存在諸多問(wèn)題，而多模態(tài)交互分析可以做到對(duì)選入的多元?jiǎng)討B(tài)信息進(jìn)行提煉匯總，對(duì)推動(dòng)多元協(xié)作學(xué)習(xí)理論發(fā)展具有重要價(jià)值[19]。短視頻作為一種數(shù)字內(nèi)容的代表形式，其時(shí)間短、內(nèi)容精、編輯性強(qiáng)的特點(diǎn)使它無(wú)法用傳統(tǒng)的視頻分類模型進(jìn)行歸類。有研究者基于短視頻的分類問(wèn)題提出新的視頻分類方法，即采用多模態(tài)特征深度融合的方法對(duì)短視頻進(jìn)行分類[20]。研究發(fā)現(xiàn)，多模態(tài)特征融合的分類方式精確度更高。

基于以上分析，觀察關(guān)鍵詞時(shí)區(qū)分布發(fā)現(xiàn)，近5年多模態(tài)學(xué)習(xí)的研究熱點(diǎn)主要是教育理論學(xué)習(xí)和各類計(jì)算機(jī)算法。計(jì)算機(jī)算法的進(jìn)步為利用多種模態(tài)進(jìn)行電子信息數(shù)據(jù)多元化處理提供了條件。結(jié)合多種模態(tài)進(jìn)行分析可以彌補(bǔ)單模態(tài)分析的缺陷，進(jìn)而提高準(zhǔn)確度。

3.4 研究前沿

利用突現(xiàn)詞可分析該領(lǐng)域不同時(shí)期研究熱點(diǎn)的變化趨勢(shì)及未來(lái)研究方向[21]。不同時(shí)間段出現(xiàn)的高頻詞匯反映了當(dāng)時(shí)的研究熱點(diǎn)和學(xué)術(shù)前沿[22]。多核學(xué)習(xí)的突現(xiàn)度為2.95，多模態(tài)話語(yǔ)分析的突現(xiàn)度為2.21，時(shí)間跨度為2017—2018年，表明2017—2018年多核學(xué)習(xí)和多模態(tài)話語(yǔ)分析是研究者關(guān)注的熱點(diǎn)，2018年以后關(guān)注度略有降低。因此，進(jìn)入研究中心時(shí)間較晚且直至2021年尚未結(jié)束的突現(xiàn)詞便代表了該領(lǐng)域的研究前沿和趨勢(shì)。生成對(duì)抗網(wǎng)絡(luò)、圖像處理和描述、流形學(xué)習(xí)、多模態(tài)特征等可能代表今后多模態(tài)學(xué)習(xí)領(lǐng)域的研究方向。隨著社交平臺(tái)的發(fā)展，人們更傾向于使用文本、圖片、視頻等多模態(tài)信息表達(dá)觀點(diǎn)、情感。所以，對(duì)目前各類社交平臺(tái)中的情感內(nèi)容進(jìn)行分析，可以為大數(shù)據(jù)時(shí)代內(nèi)容個(gè)性化推送發(fā)揮重要作用[23]。社交網(wǎng)絡(luò)的多模態(tài)情感分析和圖文多模態(tài)情感分析中兩類信息的有效融合問(wèn)題也是目前多模態(tài)學(xué)習(xí)領(lǐng)域的研究熱點(diǎn)。

4 結(jié)語(yǔ)

綜上所述，多模態(tài)學(xué)習(xí)的發(fā)展趨勢(shì)整體向好，但作者及研究機(jī)構(gòu)交流合作還需加強(qiáng)，以形成更具規(guī)模化、系統(tǒng)化的研究成果。未來(lái)應(yīng)關(guān)注多模態(tài)學(xué)習(xí)在生成對(duì)抗網(wǎng)絡(luò)、圖像處理、學(xué)習(xí)策略、卷積神經(jīng)網(wǎng)絡(luò)、多模態(tài)話語(yǔ)分析理論等領(lǐng)域的發(fā)展，除深度學(xué)習(xí)外，其他研究熱點(diǎn)都與計(jì)算機(jī)算法和數(shù)學(xué)領(lǐng)域相關(guān)，故計(jì)算機(jī)算法信息分析技術(shù)有望成為多模態(tài)學(xué)習(xí)最熱門的研究方向。醫(yī)學(xué)教育領(lǐng)域目前對(duì)多模態(tài)學(xué)習(xí)的分析仍停留在簡(jiǎn)單的視頻、圖像技術(shù)應(yīng)用上，未來(lái)應(yīng)加強(qiáng)對(duì)多模態(tài)學(xué)習(xí)理論的應(yīng)用[24]，將更多多模態(tài)學(xué)習(xí)方法融入教學(xué)，從而推動(dòng)醫(yī)學(xué)教育創(chuàng)新發(fā)展。