基于學(xué)科核心素養(yǎng)的多模態(tài)教學(xué)知識圖譜構(gòu)建研究

茶思月 張秀 李紅

摘? 要：多模態(tài)教學(xué)知識圖譜是促進智慧教育的主要手段之一。文章根據(jù)學(xué)科核心素養(yǎng)發(fā)展理念，通過梳理多模態(tài)知識圖譜的研究現(xiàn)狀，以高中“信息技術(shù)”課程為例，收集了圖片、音頻、視頻等形式的關(guān)于高中信息技術(shù)課程的多模態(tài)教學(xué)資源，設(shè)計基于學(xué)科核心素養(yǎng)的多模態(tài)教學(xué)知識圖譜構(gòu)建框架，使用Neo4j圖數(shù)據(jù)庫構(gòu)建了關(guān)于高中信息技術(shù)課程的多模態(tài)教學(xué)知識圖譜模式。

關(guān)鍵詞：學(xué)科核心素養(yǎng)；多模態(tài)教學(xué)知識圖譜；構(gòu)建

中圖分類號：TP391.1；G42? ? 文獻標識碼：A 文章編號：2096-4706（2023）01-0173-06

Research on the Construction of Multi-Modal Teaching Knowledge Graph

Based on the Discipline Core Literacy

CHA Siyue， ZHANG Xiu， LI Hong

（School of Information Science and Technology， Yunnan Normal University， Kunming? 650500， China）

Abstract： Multi-modal teaching knowledge graph is one of the main method to promote Smart Education. Based on the development concept of subject core literacy， this paper combs the current research status of multi-modal knowledge graph， takes the high school “Information Technology” course as an example， and collects multi-modal teaching resources about high school information technology courses in the form of pictures， audios， videos， and other forms. It designs a multi-modal teaching knowledge graph construction framework based on discipline core literacy， and constructs a multi-modal teaching knowledge graph model for high school information technology courses by using the Neo4j graph database.

Keywords： discipline core literacy; multi-modal teaching knowledge graph; construction

0? 引? 言

文件《中國學(xué)生發(fā)展核心素養(yǎng)》提出了“學(xué)科核心素養(yǎng)”，目的是促進核心素養(yǎng)在各學(xué)科中的落實[1]。2022年3月25日，教育部關(guān)于印發(fā)義務(wù)教育課程方案和課程標準（2022版），“讓核心素養(yǎng)落地”，是本次課程標準修訂的重點工作。這次新課標強調(diào)對課程內(nèi)容要用結(jié)構(gòu)化的方式進行組織，即既要注重學(xué)科知識結(jié)構(gòu)，還要關(guān)注在這樣的結(jié)構(gòu)中學(xué)生活動及其方式的結(jié)構(gòu)化，為課程內(nèi)容的生活化、動態(tài)化、教學(xué)活動的綜合性和實踐性提供基礎(chǔ)。本次課程修訂有利于引導(dǎo)教師主動變革教學(xué)實踐，注重教學(xué)的關(guān)聯(lián)性、整體性。

目前，關(guān)于知識圖譜在教學(xué)中的應(yīng)用研究逐漸增加。楊宏偉嘗試將知識圖譜應(yīng)用于旅游管理學(xué)科的課程教學(xué)中[2]，建立的教學(xué)模式具有應(yīng)用范圍廣、便于規(guī)范、檢查與操作等特點，幫助學(xué)生對系統(tǒng)的專業(yè)知識進行建構(gòu)[3]。戈其平等人提出了一種基于數(shù)學(xué)教學(xué)的知識圖譜構(gòu)建方法，并進行了知識圖譜可視化，能夠?qū)㈦x散與碎片化的數(shù)學(xué)知識進行結(jié)構(gòu)化與完整化。崔京菁、馬寧等人構(gòu)建了以協(xié)同知識建構(gòu)和生成性教學(xué)理念為核心的基于知識圖譜的翻轉(zhuǎn)課堂教學(xué)模式，驗證了知識圖譜良好的學(xué)習(xí)效果[5]。陸星兒、曾嘉靈等人采用共詞分析法和社會網(wǎng)絡(luò)分析法建立基于課程知識點的知識圖譜，使在線學(xué)習(xí)模式發(fā)生了改變[6]。清華大學(xué)研究員利用知識圖譜技術(shù)，構(gòu)造出基礎(chǔ)教育知識圖譜eduKG，并將其應(yīng)用智慧課堂中[7]。

為此，本次研究的目標是基于學(xué)科核心素養(yǎng)構(gòu)建出多模態(tài)教學(xué)知識圖譜，并將其應(yīng)用到信息技術(shù)課堂教學(xué)實踐，提高教學(xué)知識圖譜的趣味性及實用性。

1? 多模態(tài)知識圖譜研究現(xiàn)狀

1.1? 多模態(tài)知識圖譜研究綜述

在中國知網(wǎng)數(shù)據(jù)庫中以主題為“多模態(tài)知識圖譜”進行檢索，結(jié)果顯示共有176篇文獻，如圖1所示。

從圖中可以發(fā)現(xiàn)，關(guān)于多模態(tài)知識圖譜的研究從2014年開始，并呈現(xiàn)逐年遞增的趨勢，其中2022年的發(fā)文量截至目前只有67篇，說明多模態(tài)知識圖譜目前還處于研究的初期，研究工作還比較少。該方向的研究工作主要圍繞在可視化分析、深度學(xué)習(xí)、推薦系統(tǒng)上。

文獻[8]從多關(guān)系鏈接預(yù)測和實體匹配任務(wù)的角度定義多模態(tài)知識圖譜，其中包括全部實體的數(shù)字特征和（鏈接到的）圖像以及多個知識圖譜對之間的實體對齊方式。文獻[9]中通過向維基數(shù)據(jù)中的文本實體分發(fā)足夠多樣的圖像來提供全面的多模態(tài)知識圖譜。還根據(jù)維基百科中的超鏈接和描述在圖像實體之間設(shè)置RDF鏈接。文獻[10]將多模態(tài)知識圖譜定義為：包括音頻、視頻以及圖像、文本等各種數(shù)據(jù)類型的知識圖譜[11]。它將圖像或文本作為實體或?qū)嶓w屬性。該研究提出了多模態(tài)知識圖譜注意網(wǎng)絡(luò)（MKGAT）以通過利用多模態(tài)知識更好地增強推薦系統(tǒng)。根據(jù)現(xiàn)有的研究，對于多模態(tài)知識圖譜的認識一般較為簡單，可以看作它擁有很多包含視覺、聽覺等多模態(tài)數(shù)據(jù)的多模態(tài)實體和屬性的知識圖譜，對語義理解和可解釋推理有促進作用[8，12]。如圖2所示，是一個簡單的關(guān)于電影多模態(tài)知識圖譜實例。

目前，多模態(tài)知識圖譜構(gòu)建的實質(zhì)是將傳統(tǒng)KG中的符號知識（包括實體、概念、關(guān)系等）與相應(yīng)的圖像相關(guān)聯(lián)[13]，其方法主要有基于圖數(shù)據(jù)庫視角和基于知識圖譜視角的構(gòu)建，構(gòu)建過程中使用的技術(shù)主要有三種：模態(tài)信息提取、多模態(tài)表示學(xué)習(xí)和多模態(tài)實體鏈接[11]。

1.2? 多模態(tài)知識圖譜應(yīng)用

多模態(tài)知識圖譜應(yīng)用主要從多模態(tài)知識圖譜的內(nèi)應(yīng)用和外應(yīng)用，如表1所示。其中外應(yīng)用是指不受MMKGs邊界的限制，但是可以得到MMKGs輔助的下游應(yīng)用。

多模態(tài)知識圖譜的應(yīng)用與知識圖譜的應(yīng)用（如圖3所示）主要區(qū)別在于：傳統(tǒng)知識圖譜主要集中研究文本和數(shù)據(jù)庫的實體和關(guān)系，在傳統(tǒng)知識圖譜的基礎(chǔ)上，多模態(tài)知識圖譜構(gòu)建了多模態(tài)（如視覺模態(tài)）下的實體[11]，以及多模態(tài)實體之間的多模態(tài)語義關(guān)系[14]。

2? 多模態(tài)課程知識圖譜相關(guān)工作

2.1? 開源多模態(tài)知識圖譜

2.1.1? DBpedia

DBpedia[15]作為近十年來語義網(wǎng)研究的中心領(lǐng)域，其豐富的語義信息也將成為未來多模態(tài)知識圖譜的鏈接端點，其完整的本體結(jié)構(gòu)為構(gòu)建多模態(tài)知識圖譜提供了極大的便利。DBpedia它是一個旨在從維基百科全書中提取結(jié)構(gòu)化信息并在網(wǎng)絡(luò)上提供的社區(qū)。DBpedia構(gòu)成了Web上鏈接開放數(shù)據(jù)的主要資源，目前大約有2.28億個實體，對于每個實體，DBpedia定義唯一的全局標識符[11]，可以在網(wǎng)絡(luò)引用RDF描述的實體。DBpedia與其他資源形成關(guān)系的語言章節(jié)約有20種。在過去的幾年里，越來越多的數(shù)據(jù)發(fā)布者開始建立數(shù)據(jù)集鏈接到DBpedia資源，使DBpedia成為新數(shù)據(jù)Web互聯(lián)中心。

2.1.2? Wikidata

Wikidata[16]中也存在大量的多模態(tài)資源，收集了越來越多的結(jié)構(gòu)化數(shù)據(jù)，包括數(shù)字，日期，坐標和許多類型的關(guān)系。活動的SPARQL端點、常規(guī)的RDF轉(zhuǎn)儲和鏈接數(shù)據(jù)API是目前Wikidata核心技術(shù)，Wikidata目標是通過創(chuàng)建維基百科全球管理數(shù)據(jù)的新方法來克服數(shù)據(jù)的不一致性。Wikidata主要成就包括：Wikidata提供免費的合作知識庫，每個人都可以共享；越來越多的網(wǎng)站瀏覽頁面通過從Wikidata中獲取內(nèi)容資源，以此提高大數(shù)據(jù)的可見性和實用性。

2.1.3? IMGpedia

IMGpedia[17]是一個大規(guī)模的鏈接數(shù)據(jù)集，它包含了維基共享資源數(shù)據(jù)集中圖像的視覺信息。它匯集了1 500萬張圖像的視覺內(nèi)容描述符以及這些圖像之間的4.5億視覺相似關(guān)系，指向DBPEDIA COMMONS的圖像元數(shù)據(jù)的鏈接，以及與單個圖像相關(guān)的DBPEDIA資源的鏈接。IMGpedia旨在從維基百科發(fā)布的圖片中提取相關(guān)視覺信息，收集所有詞條的圖片和多模態(tài)數(shù)據(jù)并為每個圖像生成相應(yīng)的圖像描述符。IMGpedia是多模態(tài)知識圖譜的一個先例。將語義知識圖譜與多模態(tài)數(shù)據(jù)相結(jié)合，在各種任務(wù)下面臨著挑戰(zhàn)和機遇。IMGpedia使用能夠公開引用和實現(xiàn)的四種圖像描述符進行基準測試。IMGpedia提供了維基數(shù)據(jù)的鏈接，旨在提供更好的語義搜索平臺。IMGpedia在多模態(tài)方向是一個很好的先例，存在的問題有：關(guān)系類型稀疏、關(guān)系數(shù)量少、圖像分類不清晰等[11]。

2.1.4? MMKG

MMKG[8]以傳統(tǒng)的文字知識圖譜Freebase為基礎(chǔ)，使用常用的子集Freebase15k作為構(gòu)建的基礎(chǔ)，構(gòu)建的多模態(tài)知識圖譜是三個知識圖譜的集合，匯集了所有實體的數(shù)字特征和（鏈接到）圖像以及還有三個知識圖譜之間的實體對齊（通過sameAs進行鏈接）[11]，也通過實驗證明了MMKG在相同鏈路預(yù)測任務(wù)中的有效性。MMKG是用于鏈路預(yù)測和實體匹配研究，包含了所有實體的數(shù)字特征和圖像。主要貢獻如下：依據(jù)Freebase15k構(gòu)建了DBpedia15k和YAGO15k，通過sameAs鏈接將Freebase中的實體與DBpedia、YAGO中的實體連接起來，同時三個知識圖譜都含有豐富的數(shù)字文字和圖像信息，以及鏈接這些知識圖譜隊之間的sameAs謂詞、數(shù)字文字和實體的圖像鏈接，證明了知識圖譜的補全問題可以從受益于多模態(tài)數(shù)據(jù)中。

2.2? 多模態(tài)知識圖譜技術(shù)架構(gòu)

數(shù)據(jù)來源的多樣性導(dǎo)致了不同的知識圖譜構(gòu)建過程，知識圖譜的構(gòu)建主體主要是知識獲取、知識融合、知識加工和知識[18]更新這四個方面。知識圖譜的構(gòu)建方法主要有兩種，一種是自底向上的構(gòu)建方法（如圖4所示）；一種是自頂下的構(gòu)建方法[19]。自底向上的構(gòu)造方法從openurl中的數(shù)據(jù)源提取實體、屬性和關(guān)系，并添加到知識圖譜的數(shù)據(jù)層。然后將這些知識元素進行歸納整理，逐步抽象成概念，最后形成模式層。自頂向下與此相反。

3? 基于學(xué)科核心素養(yǎng)的多模態(tài)教學(xué)知識圖譜構(gòu)建

3.1? 基于學(xué)科核心素養(yǎng)的多模態(tài)教學(xué)知識圖譜構(gòu)建框架

首先，基于學(xué)科核心素養(yǎng)，分析了多模態(tài)教學(xué)知識圖譜的教育目標價值取向和應(yīng)用需求分析，明確了其構(gòu)建目標以及具體的應(yīng)用范圍；其次，根據(jù)教學(xué)的基本原則，對多模態(tài)教學(xué)知識圖譜的總體目標定位，并逐級細化其應(yīng)用范圍[20]；最后，根據(jù)教學(xué)原則，定義了實體類型、實體屬性和實體關(guān)系。基于此，本文提出了以學(xué)科核心素質(zhì)為導(dǎo)向的多模態(tài)教學(xué)知識圖譜，構(gòu)建框架如圖5所示。

3.2? 學(xué)科核心素養(yǎng)發(fā)展導(dǎo)向下的多模態(tài)教學(xué)知識圖譜模式構(gòu)建案例

本次研究構(gòu)建了面向高中信息技術(shù)學(xué)科多模態(tài)知識圖譜模式，選取“信息系統(tǒng)與社會”模塊給出了高中信息技術(shù)學(xué)科知識圖譜的構(gòu)建結(jié)果示例。進行高中信息技術(shù)的學(xué)科知識分析，提取知識單元之間的聯(lián)系，并利用圖像、視頻、音頻、文字來表現(xiàn)知識單元之間的網(wǎng)絡(luò)結(jié)構(gòu)和交叉、演化、衍生等關(guān)系[21]。并以文本、圖片、視頻、音頻等多種形式結(jié)合靈活的教學(xué)方法在教學(xué)過程中呈現(xiàn)出來，以此幫助教育者規(guī)劃教學(xué)路徑、使學(xué)習(xí)者提高學(xué)習(xí)效率[22]、建立知識結(jié)構(gòu)關(guān)系。

3.2.1? 高中信息技術(shù)學(xué)科知識圖譜實體屬性定義

從信息技術(shù)課程的學(xué)科核心素養(yǎng)、教學(xué)培養(yǎng)目標和教學(xué)大綱出發(fā)，對高中信息技術(shù)教材的知識點進行整理，獲得教學(xué)知識圖譜的框架結(jié)構(gòu)，構(gòu)建出知識圖譜的知識點體系實體屬性表（如表2所示）。此外，需預(yù)定義好知識點的一些必有屬性，比如：序號、名稱、概念、難易程度等。

綜合以上信息，獲得信息技術(shù)課程知識點和預(yù)定義的相關(guān)屬性。在之后進行屬性值的抽取和多模態(tài)教學(xué)資源收集的過程中，就可以充分利用這些數(shù)據(jù)。

3.2.2? 知識抽取和多模態(tài)教學(xué)資源的收集

本文以“高中信息技術(shù)”這門課為例，其多模態(tài)教學(xué)資源可以包括：（1）純文本知識資源。這種類型的資源主要從課程大綱、教材等書籍資料以及網(wǎng)絡(luò)平臺中獲取。（2）教程類資源。對于這門課來講，在學(xué)習(xí)信息系統(tǒng)的開發(fā)過程、通信網(wǎng)絡(luò)、計算機與移動終端等知識點時需要相應(yīng)的網(wǎng)絡(luò)教程。（3）其他多模態(tài)教學(xué)資源，主要包括圖像、聲音、視頻等相關(guān)資源。這類資源可以在現(xiàn)有的環(huán)境中獲取，以及在網(wǎng)絡(luò)平臺獲取具體的信息資源，并加以整理和分類，提高資源的使用效率。

3.2.3? 實體關(guān)系挖掘

根據(jù)高中信息技術(shù)課程知識內(nèi)容，使用Python爬取實體及實體間的關(guān)系，并把爬取到的內(nèi)容進行整理，形成實體文件、實體間關(guān)系文件，如表3和表4所示。

3.2.4? 利用Neo4j創(chuàng)建知識圖譜

把創(chuàng)建好的實體文件（表3）、實體間關(guān)系文件（表4）導(dǎo)入到Neo4j Desktop中，并運行，得到相應(yīng)的知識圖譜如圖6所示。

使用Neo4j圖數(shù)據(jù)庫，對高中信息技術(shù)課程知識子領(lǐng)域圖譜進行可視化。如圖6所示，共有71個實體和67條關(guān)系。

3.2.5? 多模態(tài)教學(xué)知識圖譜展示

根據(jù)上述步驟，最終得到一個完整的多模態(tài)教學(xué)知識圖譜。圖7是以“高中信息技術(shù)（信息系統(tǒng)與社會）”課程為對象，構(gòu)建的多模態(tài)知識圖譜的一部分展示。

該圖譜主要為了實現(xiàn)知識點的檢索與可視化，并可以基于圖譜獲取知識點相關(guān)的各類多模態(tài)資源，讓教師可以借助多模態(tài)知識圖譜，系統(tǒng)把握信息技術(shù)課程的主題內(nèi)容和知識結(jié)構(gòu)，根據(jù)推薦的最佳課程內(nèi)容開展教學(xué)活動；此外，學(xué)生可以根據(jù)多模態(tài)教學(xué)知識圖譜中的知識內(nèi)容和組織關(guān)系，完成對信息技術(shù)課程知識點的梳理，及時查漏補缺。其次，可以為學(xué)生推薦合適的個性化學(xué)習(xí)資源，規(guī)劃本課程的學(xué)習(xí)路徑，在一定程度上提高學(xué)生的學(xué)習(xí)質(zhì)量和效率。

4? 結(jié)? 論

本文希望能夠基于學(xué)科核心素養(yǎng)構(gòu)建出高中信息技術(shù)課程的多模態(tài)教學(xué)知識圖譜，豐富傳統(tǒng)教學(xué)知識圖譜的內(nèi)容，使得信息技術(shù)課程的教學(xué)知識圖譜具有實用性、趣味性、創(chuàng)新性。本文構(gòu)建的多模態(tài)教學(xué)知識圖譜不是單一的文字形式，而是融合了多模態(tài)的資源，如視頻、音頻、圖像、聲音等，使得教學(xué)知識更加的豐富。在教學(xué)過程中，豐富的教學(xué)內(nèi)容和知識能夠激發(fā)學(xué)生的學(xué)習(xí)興趣。本文嘗試將多模態(tài)知識圖譜應(yīng)用于信息技術(shù)課程教學(xué)中，構(gòu)建多模態(tài)教學(xué)知識圖譜，并應(yīng)用于課堂教學(xué)實踐，提高教學(xué)效率和質(zhì)量。

參考文獻：

[1] 核心素養(yǎng)研究課題組.中國學(xué)生發(fā)展核心素養(yǎng) [J].中國教育學(xué)刊，2016（10）：1-3.

[2] 楊宏偉.“知識圖譜”在旅游管理學(xué)科課程教學(xué)中的系統(tǒng)應(yīng)用 [J].經(jīng)濟師，2013（4）：147-148.

[3] 史宇坤，許姝藝，董少春.基于知識圖譜的增強型混合式學(xué)習(xí)的教學(xué)實踐與思考 [J].高校地質(zhì)學(xué)報，2022，28（3）：387-393.

[4] 戈其平，鐘艷如.基于數(shù)學(xué)教學(xué)的知識圖譜構(gòu)建 [J].計算機技術(shù)與發(fā)展，2019，29（3）：187-189.

[5] 崔京菁，馬寧，余勝泉.基于知識圖譜的翻轉(zhuǎn)課堂教學(xué)模式及其應(yīng)用——以小學(xué)語文古詩詞教學(xué)為例 [J].現(xiàn)代教育技術(shù)，2018，28（7）：44-50.

[6] 陸星兒，曾嘉靈，章夢瑤，等.知識圖譜視角下的MOOC教學(xué)優(yōu)化研究 [J].中國遠程教育，2016（7）：5-9+79.

[7] LIU Y，LI H，GARCIA-DURAN A，et al. MMKG：Multi-Modal Knowledge Graphs [C]//European Semantic Web Conference.Cham：Springer，2019：459-474.

[8] LIU Y，LI H，GARCIA-DURAN A，et al. MMKG：multi-modal knowledge graphs [C]//European Semantic Web Conference.Cham：Springer，2019：459-474.

[9] WANG M，QI G，WANG H F，et al. Richpedia：a comprehensive multi-modal knowledge graph [C]//Joint International Semantic Technology Conference. Cham：Springer，2019：130-145.

[10] SUN R，CAO X，ZHAO Y，et al. Multi-modal knowledge graphs for recommender systems [C]//Proceedings of the 29th ACM international conference on information & knowledge management.New York：ACM 2020：1405-1414.

[11] 董曉曉，周東岱，黃雪嬌，等.學(xué)科核心素養(yǎng)發(fā)展導(dǎo)向下教育領(lǐng)域知識圖譜模式構(gòu)建方法研究 [J].電化教育研究，2022，43（5）：76-83.

[12] O?ORO-RUBIO D，NIEPERT M，GARC?A-DUR?N A，et al. Answering visual-relational queries in web-extracted knowledge graphs [J/OL].arXiv：1709.02314 [cs.LG].（2017-09-07）.https：//arxiv.org/abs/1709.02314v6.

[13] ZHU X，LI Z，WANG X，et al. Multi-Modal Knowledge Graph Construction and Application：A Survey [J/OL].IEEE Transactions on Knowledge and Data Engineering（Early Access），2022：1-20（2022-11-23）.https：//ieeexplore.ieee.org/document/9961954.

[14] 朱佳，黃昌勤，韓中美，等.多模態(tài)知識圖譜的實體對齊方法、裝置及存儲介質(zhì)與流程：202110686557 [P].2021-09-07.

[15] AUER S，BIZER C，KOBILAROV G，et al. Dbpedia：A nucleus for a web of open data [M]//The semantic web.Berlin：Springer，2007：722-735.

[16] VRANDECIC D，KROTZSCH M. Wikidata：a free collaborative knowledgebase [J].Communications of the ACM，2014，57（10）：78-85

[17] FERRADA S，BUSTOS B，HOGAN A. IMGpedia：a linked dataset with content-based analysis of Wikimedia images [C]//International Semantic Web Conference. Cham：Springer，2017：84-93.

[18] 朱明超.證券知識圖譜構(gòu)建系統(tǒng)的設(shè)計與實現(xiàn) [D].上海：東華大學(xué)，2021.

[19] 劉嶠，李楊，段宏，等.知識圖譜構(gòu)建技術(shù)綜述 [J].計算機研究與發(fā)展，2016，53（3）：582-600.

[20] 陳燁，周剛，盧記倉.多模態(tài)知識圖譜構(gòu)建與應(yīng)用研究綜述 [J].計算機應(yīng)用研究，2021，38（12）：3535-3543.

[21] 邱禎君，李晨光，李雯欣，等.基于科學(xué)知識圖譜的創(chuàng)新網(wǎng)絡(luò)研究熱點與前沿分析 [J].現(xiàn)代管理，2021，11（8）：894-904.

[22] 杜丙新.基于知識地圖的網(wǎng)絡(luò)課程資源導(dǎo)航設(shè)計研究 [J].創(chuàng)新教育研究，2020，8：388.

作者簡介：茶思月（1997—），女，彝族，云南大理人，碩士在讀，研究方向：教育技術(shù)應(yīng)用研究；張秀（1998—），女，漢族，云南昆明人，碩士在讀，研究方向：教育技術(shù)應(yīng)用研究;通訊作者：李紅（1970—），女，回族，云南昆明人，就業(yè)處處長，博士，研究方向：教育技術(shù)學(xué)應(yīng)用。

收稿日期：2022-09-20