融合多模態資源的教育知識圖譜的內涵、技術與應用研究

摘要：傳統的教育知識圖譜研究多數面向文本資源，忽略了多模態資源對教育知識的解讀作用及其自身豐富的特征表示。為了更好地推進后續研究工作，以多模態資源為切入點，對教育知識圖譜進行綜述。首先，介紹了知識圖譜的概念和分類；其次，綜述了教育知識圖譜的內涵，對教育知識圖譜的定義、分類及其構建框架進行梳理；結合以神經網絡為代表的深度學習方式，對教育知識圖譜的構建技術進行重點介紹；最后，總結了教育知識圖譜的相關應用，并指出當前研究中存在的問題與未來的研究方向。

關鍵詞：教育知識圖譜；多模態資源；深度學習；知識圖譜構建技術

中圖分類號：TP18文獻標志碼：A

文章編號：1001-3695（2022）08-003-2257-11

doi：10.19734/j.issn.1001-3695.2021.12.0686

Research on connotation，technology and application of educational knowledge graph based on multi-modal resources

Gao Mao，Zhang Liping

（College of Computer Science amp; Technology，Inner Mongolia Normal University，Hohhot 010022，China）

Abstract：The traditional research on educational knowledge graph is mostly text-oriented and ignores the interpretation function of multimodal resources to educational knowledge and its rich characteristic representation.In order to promote the follow-up research work better，this paper reviewed the educational knowledge graph from the perspective of multi-modal resources.Firstly，it introduced the concept and classification of knowledge graph.Secondly，it introduced the connotation of the educational knowledge graph，summarized the definition，classification and construction framework of educational knowledge graph.Thirdly，combined with deep learning represented by neural network，it introduced the construction technology of educational knowledge graph.Finally，it summarized the specific application of the educational knowledge graph，pointed out the problems existing in current research and future research directions.

Key words：educational knowledge graph；multimodal resources；deep learning；knowledge graph construction technology

0引言

近年來，隨著互聯網+教育模式的普及，教育領域逐漸積累了海量具有應用價值的教育數據。但不同來源的教育數據之間結構不同，沒有建立起相應的聯系，難以直觀地服務于教學參與者，迫切需要人工智能、大數據等新興技術采集并處理相關的教育數據，為教師、學生和家長群體提供智能服務，持續促進教育應用的智能化[1]。知識圖譜作為人工智能技術在知識工程方面的代表，能夠有效地處理和分析數據，重構知識之間的聯系，為數據決策或者分析提供支持[2]。在2019年的“全國教育信息工作會議”上，知識圖譜和深度學習、大數據一起被列為智能教育時代下的重點研究內容，針對教育知識圖譜的研究也成為了教育技術的研究熱點。教育知識圖譜能夠基于教學過程中產生的教學數據和資源，對不同學科的多層次知識結構進行準確地表征，為教育教學對知識的建模提供可能性[3]。但目前教育知識圖譜的數據來源通常是文本數據和結構化數據，關于多模態資源的研究較少。多模態資源區別于傳統的單一媒體資源形式，泛指教學過程中產生的大量文本、視頻、音頻以及圖片信息。結合多模態資源，能夠在知識挖掘的過程中豐富知識的特征表示，提升教育信息挖掘的準確程度。同時，通過教育知識圖譜對大量無序的多模態資源進行處理，能夠有效地破解多模態資源匯聚融合的難題，對于生成個性化學習路徑、教育資源推薦等智能教育應用具有極大的意義。

據調研，祝智庭、余勝泉等學者多次提出結合人工智能技術，在實現教育智慧化的過程中進行教育知識圖譜研究的必要性[4，5]。李振等人[6]在人工智能的視角下對教育知識圖譜的內涵、構建技術以及具體的應用進行綜述。李艷燕等人[7]則從智慧教育的角度討論學科知識圖譜的相關定義、構建技術和應用。本文以多模態資源為切入點，對教育知識圖譜進行綜述。首先，介紹知識圖譜的基本概述；其次，總結教育知識圖譜的內涵，對教育知識圖譜的定義、分類情況和構建框架進行梳理；接下來，從教育本體構建、教育知識抽取、教育知識表示和教育知識融合四個方面對教育知識圖譜構建技術進行重點介紹；最后，總結教育知識圖譜的相關應用，分析當前面臨的主要問題和研究趨勢，在分析當前領域的同時，也為將來該領域的發展提供一些借鑒和參考。

1知識圖譜的基本概述

2012年5月，知識圖譜這一術語正式被谷歌提出[8]，它使用實體、實體屬性和實體關系的表述方式描述客觀世界的各個概念實體及其之間的聯系[9]，被廣泛應用在知識的組織和語義化建模研究中。依據應用領域的不同，可以將知識圖譜分為通用知識圖譜（universal knowledge graph，UKG）和領域知識圖譜（domain-specific knowledge graph，DSKG）。通用知識圖譜重點表示不同領域知識之間的融合，涉及的知識范圍較為廣泛，對于知識的精確度要求不高。而領域知識圖譜將關注點放在一個特定的領域，依據領域知識特點構建嚴格的數據模式，以保證數據的深度和精度。

面向通用領域的知識圖譜有很多，如國內的zhishi.me、搜狗的“知立方”，國外的YAGO、Freebase等，目前被廣泛應用于搜索、推薦、問答等互聯網應用中。其中，有一部分是融合多模態資源的通用知識圖譜，例如Dbpedia[10]、Wikidata[11]、IMGpedia[12]、MMKG[13]和Richpedia[14]等，其特點以及優劣勢如表1所示。

領域知識圖譜的研究重點聚焦于特定領域任務的解決方面，不少學者在農業、醫療、企業服務等領域構建知識圖譜[15～17]。在融合多模態資源的領域知識圖譜研究工作方面，Zhang等人[18]將知識圖譜技術應用于多模態數據關聯，構建了企業雷達產品開發的知識圖譜。面向電力計量領域，Gao等人[19]提出一種基于知識圖譜的電力大數據混合索引結構和索引方法，為多模態數據的高效檢索提供了技術參考。Wang等人[20]提出一種基于知識圖譜的方法來建立醫療領域中多模態臨床數據之間的聯系。Zhang等人[21]設計了一種將圖像視覺信息與Wikimedia公共空間中的文本信息相結合的方法，構造了金屬材料領域的知識圖譜。

使用知識圖譜對教育活動過程中產生的數據進行建模也成為了當前的熱點研究問題[22]。目前，已經存在多個面向不同學科資源構建的教育知識圖譜。Chen等人[23]提出了一個自動構建教育知識圖譜的KnowEdu系統來支持教學。清華大學許斌副教授所在的項目組基于基礎教育權威的教材教輔資源，結合互聯網中的文本資源完成了我國第一個全學科基礎教育知識圖譜，為智能教育的實現提供了數據支撐。還有研究者在解決慕課（massive open online course，MOOC）知識資源管理的問題上，構建了包括課程資源、知識概念、學生行為等教學因素的教育知識圖譜[24～26]。除此之外，一些公司基于教育知識圖譜進行應用，例如百度公司的K-12教育知識圖譜、美國Knewton自適應學習平臺的教育知識圖譜[27]等。

2教育知識圖譜的內涵

2.1教育知識圖譜基本定義

目前，對于教育知識圖譜還沒有形成統一的定義。通過總結相關學者對教育知識圖譜的研究，認為教育知識圖譜應該從以下兩個角度定義：a）學科資源的角度，教育知識圖譜可以準確地表征各類知識點及其關聯的教學資源之間的聯系，起到對學科資源進行建模與管理的作用[28，29]；b）學習認知的角度，教育知識圖譜可以建構學習者的學情信息，準確表征學習者的認知狀態[30]。在兩者的基礎之上，結合學習資源與學習者的學情信息，教育知識圖譜可以為學習者生成多種智能教育應用，促進教育領域智能化的發展[31]。

2.2教育知識圖譜的分類

教育知識圖譜不僅針對傳統意義上的學科知識，而且對教學場景中產生的多種教學資源進行管理。包括以下兩類：a）靜態知識圖譜，以學科資源為主，建立學科知識點之間、學科知識點與學科資源之間的聯系；b）動態知識圖譜，側重于學科知識點與教學過程中的活動以及教學事件之間的聯系等。

2.3教育知識圖譜構建框架

知識圖譜的構建主要分為自頂向下和自底向上兩種構建方式[32]。自頂向下的方式側重于知識模式，也可以理解為領域知識的框架體系，通過構建好的知識模式填充知識實例。自底向上的方式偏重于知識實例，即先對知識實例進行抽取，通過獲得的知識實例進一步提煉知識模式。當前，自底向上的方式多數被用在知識圖譜構建之初對知識的整體框架不明確或者單純為了收集多方面知識的通用知識圖譜構建研究中，而對于內容較為明確、且要求體現相關領域知識深度的領域知識圖譜，一般采用自頂向下的構建方式。考慮到教育領域對知識質量與知識深度的嚴格要求，教育知識圖譜主要采用自頂向下的構建方式。

隨著大數據技術的日益成熟，教育數據不僅存在于大量的書本教材中，還存在于教學過程中產生的非結構化的多媒體數據、半結構化的學科資源學習網站以及部分教育數據庫的結構化數據中，需要通過知識圖譜構建模型訓練得到包含不同學科關系的三元組形式，來構建教育知識圖譜。其具體構建流程分為教育本體構建、教育知識抽取、教育知識表示和教育知識融合。其中，教育本體構建是依據教育知識體系，結合教學專家的經驗，通過人工或者自動化的方式挖掘教學資源之間的聯系，制定知識框架；教育知識抽取是依據教育本體，從海量的教育資源中抽取相應的實體及其之間的對應關系；教育知識表示是在獲得實體對的基礎上采用計算機可以理解的形式表示教育知識實體及其之間的語義關系，為之后的知識融合提供幫助；教育知識融合是對獲取到的三元組知識進行整合、語義消歧以及關聯教學資源等操作，形成以學科知識體系為核心，融合多種教學資源的教育知識圖譜，構建過程如圖1所示。

3教育知識圖譜構建技術

教育知識圖譜的構建研究多數面向文本數據，以自然語言處理任務為主，多模態數據能夠提供輔助特征，對實體信息進行準確地表征。同時，將多模態數據鏈接到教育知識圖譜，作為文本實體的擴充，可以極大程度地豐富教育知識圖譜的知識表示形式，滿足智能教育應用的多元化需求。本章結合多模態資源的處理，對教育知識圖譜的構建技術進行闡述。

3.1教育本體構建

教育本體是教育知識圖譜的知識框架，詳細描述了概念實體類型以及實體之間的關系類型，為后續教育數據的抽取過程設定了知識規范。本體構建主要分為如下三種方式：

a）人工構建方式是結合領域專家的指導，人為定義概念實體類型、概念實體的關系類型等相關約束。圖2是人工構建的教育知識圖譜頂層本體。其中，學科知識本體是知識點對應的一些屬性，如概念、定義等；課程標準本體包括教學目標、教學活動等在內的一些教學單元；學習資源本體涵蓋教材、微課等教學資源。

b）自動構建方式是使用機器學習等相關技術處理數據得到知識本體，分為基于文本、基于詞典和基于本體學習等方式[33]，雖然上述方式能夠有效地減輕人工構建本體的負擔，但通常被應用于簡單的領域知識本體構建研究中，考慮到教育領域知識的復雜性，自動方式并不適用于教育本體的構建。

c）半自動構建方式采用計算機為主，結合人工干預的方式，能夠在保證準確率的前提下有效地減輕人工構建本體的負擔，被廣泛應用于教育本體的構建研究中。童名文等人[34]前期通過基于關聯規則的方式自動化地抽取課程本體，在此基礎上，通過人工調優進一步保證本體構建的正確率。Wang等人[35]通過分析電子書日志、挖掘維基百科信息的方式提取知識點之間可能存在的關系，以支持教師半自動地構建以課程為中心的本體。

目前教育本體的構建研究僅局限于某一門課程或針對于某一學科的具體任務，研究涉及的范圍較小，且構建好的教育本體不具備遷移性，難以適用于其他學科的本體構建任務中。祝智庭等人[4]提出建立教育知識圖譜的標準化本體，但為了促成這一目標，需要教育領域的相關專家以及從事教育數據文本分析的技術人員共同努力，從理論和技術層面挖掘出不同學科知識體系中的共性內容，制定通用的教育知識本體，為教育知識圖譜的構建提供便利。

3.2教育知識抽取

知識抽取是面向開放的教育資源，利用人工或自動化方式抽取出知識單元及其之間的關系，形成“實體—關系—實體”的三元組表示形式。早期的教育知識抽取方式是以即時制定規則的形式處理知識，這樣的方式在面對規模較大的教育數據時就變得耗時耗力，且制定好的規則難以進行遷移。隨后，支持向量機模型（support vector machine，SVM）[36]、概率圖模型（probabilistic graphical model，PGM）[37]和隱馬爾可夫模型（hidden Markov model，HMM）[38]出現，研究者們開始利用教育數據的特征進行模型訓練和信息抽取，有效地減輕了人工規則制定的負擔，使得統計機器學習的方式得到了廣泛應用。

以卷積神經網絡（convolutional neural network，CNN）[39]和循環神經網絡（recurrent neural network，RNN）[40]為代表的深度學習技術，在統計機器學習使用人工標注數據特征的基礎上進一步優化，逐漸可以實現機器自動抽取特征信息。在其之上，注意力機制（attention mechanism，AM）[41]，以及后續出現的以Transformer[42]為架構的BERT預訓練模型（bidirectional encoder representations from Transformers）[43]進一步優化了信息抽取的深度學習方法，為教育知識抽取奠定了強有力的基礎。

經過對文獻[44，45]的參考與總結，得出教育知識抽取的流程，即通過實體識別獲得文本資源的多個知識實體，在獲得知識實體的基礎上進行關系抽取，形成結構化的知識體系，具體流程如圖3所示。

3.2.1實體識別

實體是教育知識的基本元素，其識別的準確率對于教育知識圖譜的質量至關重要，所以實體識別是教育知識圖譜構建的重點研究內容。大量的深度神經網絡技術被應用于實體識別任務，其中應用最廣泛的就是RNN和長短期記憶網絡（long-short term memory RNN，LSTM）[46]。RNN能夠很好地學習序列樣本的時序信息和相互關系，LSTM的改進形式是在RNN中添加了門結構以模擬人腦的記憶過程。在LSTM的基礎上，其雙向形式BiLSTM[47]、基于注意力機制的BiLSTM[48]陸續被提出。教育領域經典的命名實體識別方法是BiLSTM-CRF[49]，即利用BiLSTM提取深度特征，用條件隨機場（conditional random field，CRF）模型進行文本序列標注。隨著預訓練模型的提出，研究者將BERT、XLNet等預訓練模型與BiLSTM-CRF結合，進一步提升命名實體識別的準確率[50]。Wei等人[51]使用BERT+BiLSTM-CRF模型對教育領域突發事件語料庫進行實體識別，準確率達到了91.62%，為政府對教育突發事件的決策提供了幫助。BERT+BiLSTM-CRF模型結構如圖4所示，首先，通過BERT編碼層獲取文本對應的向量表示；然后使用BiLSTM進行特征提取；最后使用CRF對序列進行解碼和注釋，以準確預測實體及其對應的類型。

有研究者考慮到文本數據所提供的特征信息很有限，且準確率較低，因此提出了利用所需識別實體的上下文信息，即圖像信息輔助預測實體信息。相關工作方面，文獻[52]利用圖像信息為文本提供互補的上下文信息，以提高實體識別的質量。考慮到圖像中包含的細粒度實體特征與文本信息進行匹配的問題，文獻[53]提出了一種基于門控雙線性注意力機制的對抗神經網絡（adversarial gated bilinear attention neural network，AGBAN），該模型從圖像和文本中聯合提取實體特征，并利用對抗訓練的方式將兩個不同的知識表示映射到共享表示中，有效地提取了與實體相關的細粒度特征信息。此外，除了文本和圖像對齊的情況，如果出現圖像與文本不匹配或者只包含一種模態信息的情況下，文獻[54]提出了一個不確定性感知的多模態實體識別框架，處理圖像不存在或者圖像與實體不對應的問題。

在教育領域，傳統的實體識別任務只針對文本數據，忽略了多模態數據對于準確預測實體的重要性。后續研究者可以從多模態數據為文本數據提供互補的特征或者挖掘多模態資源蘊涵的某些特質信息出發，對實體識別任務進行優化。例如，可以將課本中的圖片或者學習網站中的插圖信息作為輔助特征，為前沿的基于預訓練模型的課程知識實體識別方法提供視覺上下文信息，進而提升準確率。也可以發掘多模態資源中的特質信息，為實體識別任務提供先驗知識，例如使用課程語音資源的語氣停頓信息對文本進行準確分詞等[55]。

3.2.2關系抽取

關系抽取是在獲得學科實體的基礎上對其進行語義鏈接，即從教育文本資源中挖掘出知識點之間的語義關系以及學習的先后順序[56]。研究者早期通過人工的方式建立課程資源之間的依賴關系，即學習的先后順序[57，58]。隨著知識資源規模的擴大，為了減輕人工抽取概念關系的負擔，研究者將機器學習的方式應用于學科知識點的關系抽取研究中。Chaplot等人[59]使用無監督的方式對MOOC視頻的日志信息進行分析，以抽取知識點之間的依賴關系。Yu等人[24]通過分析學習者的行為數據，采用基于關聯規則的機器學習方式，獲得知識點的學習順序。文獻[60，61]從MOOC課程資源出發，使用機器學習的方式，結合知識點的概念特征、圖特征以及結構特征等進行知識點的關系抽取，取得了良好的效果。

相比于傳統基于規則和機器學習的關系抽取技術，深度學習技術能夠有效地減少人力標注數據的需求，深受研究者的追捧。當前基于深度學習技術進行關系抽取的研究熱點集中在有監督學習和遠程監督學習的方面。有監督學習方面，主要以CNN、RNN、LSTM及其相應的改進形式為主，如表2所示。

Liu等人[62]首先使用由輸入層、卷積層、池化層和softmax層構成的簡單CNN模型，通過輸入文本的詞向量和位置向量抽取實體關系。Zeng等人[63]利用卷積深度神經網絡（CDNN）進行關系抽取，通過提取文本資源中詞匯級別和句子級別的特征，將其映射成高層次的語義特征以實現關系分類，避免了使用預處理操作提取到的錯誤特征問題。此后，Xu等人[64]在Zeng等人工作的基礎上提出基于最短依存路徑的CNN方法，結合負采樣策略解決實體位置較遠時依存分析樹帶來的噪聲問題。Santos等人[65]替換Zeng等人模型中的softmax層，使用排名進行分類輸出，并提出一種新的排名損失函數，能夠給予正確類別排名信息更高的分數，對關系類別實現有效地區分。

除了使用CNN進行關系抽取，RNN首次被提出用來處理自然語言文本中句子結構的問題[66]，其通過不停地迭代獲得句子的向量表示，在關系抽取任務中有效地融入了句子結構表示信息。此后研究者不斷對RNN作出優化，例如增加特征、引入平均信息等方式[67]。作為RNN的改進形式，LSTM模型[68]的提出主要是為了解決RNN在關系抽取中出現的梯度消失等問題，其具備從語料中學習長期依賴的優勢。鄂海紅等人[56]采用LSTM的變體形式GRU，結合CNN、RNN對基于LSTM的關系抽取方式作出改進，進一步提升了關系抽取的準確率。

有監督的關系抽取方式不能很好地處理語料庫中包含大量無標簽數據的情況，而遠程監督學習能夠通過已有的知識庫進行知識對齊，以解決訓練數據的標注問題。文獻[69]使用遠程監督的方法進行關系抽取，解決了語料標注稀少的問題。基于遠程監督學習的方式容易產生錯誤標簽，影響關系抽取的質量。基于此，CNN的改進模型PCNN+MIL[70]、PCNN+ATT[71]被提出且有效地降低了錯誤標簽對關系抽取的影響。文獻[72]基于遠程監督的思想，結合Transformer架構提出BTRE+GCLSTM模型，對初中數學課程的知識點關系進行抽取，取得了較好的效果。基于遠程監督進行關系抽取是目前教育知識圖譜中主流的關系抽取方式，但該種方式由于引入了外部知識，導致了大量數據噪聲的產生，造成了相關研究者的困擾。使用強化學習和對抗學習能夠進行噪聲檢測、提升神經網絡模型對于噪聲樣本的魯棒性，相關研究者可以基于強化學習和對抗學習的方式，對遠程監督數據集進行降噪。

3.3教育知識表示

教育知識表示是針對教育知識圖譜的數據實例層面，指采用計算機可以理解的方式描述通過知識抽取過程得到的三元組知識。傳統的教育知識表示方法是采用網絡本體語言（Web ontology language，OWL）或者資源描述框架（resource description framework，RDF）等本體語言進行描述[73]，但上述方式存在計算效率不高與數據稀疏的問題。隨著深度學習技術的發展和應用，教育知識表示逐漸轉變為當前的向量表示形式，即從結構化的三元組中學習知識表示，將其嵌入到向量空間中[74]，準確表征知識實體之間的語義關系。根據處理數據類型的不同，將知識表示模型分為傳統的知識表示模型和多模態知識表示模型，如表3所示[75～81]。結合深度學習方法，本文對各類模型作出分析。

作為知識圖譜中傳統知識表現形式的代表，TransE將實體和關系向量表示在同一個向量空間[75]，并將關系向量看做是頭實體到尾實體向量之間的平移操作，如式（1）所示。文獻[82]使用TransE和Distmult[83]的知識表示學習方式建構課程知識圖譜中知識實體及其之間的關系，從學生的先驗知識和課程內容的角度，為學生成績預測應用中協同過濾算法的冷啟動問題提供了較好的解決方案。

lhead+lrelation=ltail（1）

其中：lhead與ltail分別代表頭實體向量與尾實體向量；lrelation表示關系向量。

Wang等人[78]在TransE的基礎上作出改進，提出第一個多模態知識表示模型TransAE，使用實體的文本描述和圖像作為外源信息對知識表示進行補充，在鏈接預測和三元組分類的任務中取得了不錯的效果。Xie等人[79]提出了IKRL知識表示模型，通過神經網絡圖像編碼器對圖像信息編碼，結合圖譜的結構知識進行知識表示，能夠較為準確地預測實體信息。文獻[80]使用BERT模型對文本概念的語義表示進行編碼，利用CNN編碼器提取圖像特征，在此基礎上，將文本概念表示、圖像特征表示與翻譯模型TransR結合共同學習知識表示，在知識圖譜補全（knowledge graph completion，KGC）任務中取得了不錯的效果。文獻[81]使用深度卷積神經網絡（VGGNet）表示圖像信息，結合TransE和TransD，將文本信息和圖像信息嵌入到統一的低維空間中，有效地支撐了多模態實體對齊任務。

目前針對教育知識圖譜的多模態知識表示研究較少，但隨著教育數據資源范圍的不斷擴大，教育知識表示正朝著更全面的模態層次以及更豐富的語言關聯方向發展，未來可以從建模邏輯規則、結構化和非結構知識以及多模態知識表示等多個角度優化教育知識表示方法，為教育知識的融合、增量更新以及多種下游應用任務提供支持。

3.4教育知識融合

由于教育數據庫中的知識來源復雜，知識質量參差不齊，且不同來源的學科知識實體間存在關系模糊的問題，所以必須在統一的規范下對多源異構、語義多元的教育數據進行整合、消岐、合并等操作，該過程也稱為教育知識融合過程[84]。教育知識融合的關鍵技術是實體鏈接和實體對齊。

3.4.1實體鏈接

實體鏈接是通過同義詞消岐等方式將文本資源中的實體對象正確鏈接到知識圖譜實體的任務。具體過程如下：通過實體識別技術，識別出文本中的實體（也稱指代實體），然后遍歷知識圖譜中的實體，形成候選的實體集合，依據不同的方式對兩者進行匹配。實體鏈接的方式主要分為基于實體屬性信息的方法[85]和基于上下文信息的方法[86]。

基于實體屬性信息的方法主要對實體名稱字符串進行匹配，祁曉慧[87]使用語音識別技術將《數據結構》課程中的音頻資源處理成文本資源，并利用正則語言的方式匹配課程知識圖譜中的實體，以鏈接知識實體對應的語音資源，具體過程如圖5所示。

此外，還有研究者依據cosine距離和Jaccard相關系數的方法計算實體名稱的相似度，如式（2）（3）所示，取得了較好的效果。

simcosine（e1，e2）=|A（e1）∩A（e2）||A（e1）‖A（e2）|（2）

simJaccard（e1，e2）=|A（e1）∩A（e2）||A（e1）∪A（e2）|（3）

其中：實體e1、e2表示需要比較的實體對；A（e）表示實體相對應的字符串；simcosine（e1，e2）表示使用余弦距離計算向量相似度的方式，即利用向量空間中兩個向量之間的夾角衡量實體e1，e2的相似性；simJaccard（e1，e2）表示通過計算A（e1）、A（e2）兩段文本中交集元素個數與并集元素個數的比值來計算實體e1、e2的相似度。

基于上下文信息的實體鏈接方法根據實體所處的上下文環境以判斷實體對的相似度。文獻[88]針對計算機科學等學科的專業教材資源以及維基百科中的資源進行實體鏈接工作，通過所要識別實體的上下文信息與領域詞典進行對比，確定實體所屬的領域，然后結合領域特征進行實體鏈接，取得了較好的效果。為了建立教育知識圖譜中知識點與多模態教學資源之間的聯系，研究者們一般利用多模態資源的元數據，例如教學網站中圖片的超鏈接等文本描述形式，或者通過視頻字幕處理、語音識別等技術將多模態數據轉換成文本數據，進而使用實體鏈接技術為教育知識圖譜添加多模態資源實體。但上述方式較為片面，并不能準確捕捉多模態資源本身的特征，且多模態資源轉換成文本資源的過程中存在很大的噪聲問題。以圖像實體鏈接任務為例，后續的研究方向可以考慮引入圖像特征提取模型以及注意力機制等方法獲取圖片的準確特征，解決上述方式存在的問題。

3.4.2實體對齊

實體對齊是判斷不同來源的實體是否對應同一個現實對象的任務，通常被用于多個知識圖譜的合并過程中。當前的主流研究趨勢是利用知識表示的方法將實體嵌入連續低維向量空間，通過計算向量之間的相似度集成多個知識實體，以豐富教育知識圖譜中現實對象的多種描述信息。周炫余等人[89]在初中數學知識圖譜構建的研究中，考慮到從百度百科和互動百科網站爬取的半結構化數據和教材中的非結構化數據之間沒有建立聯系，導致實體的數據來源零散和權威性不夠等問題，提出如圖6所示的基于層次過濾思想的知識融合模型，極大程度地豐富了課程實體的多種描述信息。其中，對百度資源和教材資源均經過預處理層、字符串匹配層等五個環節進行實體對齊。在該過程中，除了使用傳統的字符串匹配操作，還在詞形匹配層中，將實體對應的摘要關鍵詞信息轉換為向量，并利用余弦相似度的方法補充判斷實體間的相似度。在判斷實體對齊的基礎上，進一步使用HowNet語義相似度和谷歌距離語義相似度方法將課程知識實體的多種描述信息鏈接到知識圖譜中。

在教育領域大數據研究的驅動下，研究者提出將多模態數據作為實體對齊數據，擴充實體對應的多模態知識表示形式[90]。但該種方式存在多模態知識表征困難、難以將多源異構的多模態數據嵌入到統一的低維向量空間中進行知識表示的問題。Chen等人[91]提出一種實體對齊的方法，使得知識融合模塊能夠集成不同模態的知識表示。同時，為了減少不同模態資源之間的結構性差異，Guo等人[92]提出一種實體對齊方法，對KG中的圖像信息、三元組信息和屬性信息進行知識表示，并最小化公共空間中跨多模態知識的兩個不同KG的對齊實體之間的距離，為多模態知識集成提供了很好的解決辦法。文獻[93]提出一種對抗訓練的方式來學習模態不變的嵌入空間，以縮小不同模態資源之間的差距，促進了多模態知識融合的效率。

實體對齊技術的優化依賴于教育知識表示的基礎研究，所以未來的一段時間內，多模態資源在知識表示空間中存在的語義鴻溝和結構鴻溝仍然是實體對齊技術的關鍵性難題，后續可以從特征表示的相似性出發，對相似度模型進行探究，同時也可以考慮對抗生成網絡等其他方案。

4教育知識圖譜相關應用

融合多模態資源的教育知識圖譜可以幫助學習者選擇更具針對性的學習資源和更好的學習方式[7]，同時也為實現多模態課程知識圖譜、個性化學習資源的推薦、知識問答、知識檢索與可視化、學情信息建模等智能教育應用提供了較好的發展空間。

4.1多模態課程知識圖譜

在教學場景中，會產生很多種模態的課程資源，幫助學生理解相關的知識點，但當前的課程資源往往是單獨存在的，沒有與知識點建立很好的聯系，不能發揮多模態資源對知識點的解讀作用。同時，課程知識的整體框架多是以書中的章節目錄關系呈現的，而章節中所包含的細小知識點和知識點之間的關系并不是十分明確，從學生的角度來講，難以對前后所學的知識建立聯系，接受知識仍然很困難。通過對權威的教材和互聯網學習平臺中大量的課程資源進行知識挖掘，多模態課程知識圖譜能夠有效地解決上述問題，為課程知識建模提供幫助[94，95]。

MOOC平臺蘊涵著豐富的課程資源，王亮[96]使用BiLSTM-CRF模型對學科資源進行實體識別，獲取課程知識實體，然后將MOOC課程資源目錄中的層級關系和知識實體的來源（學習視頻標題、練習題題目、討論問題的標題）作為實體之間的初始關系，構建了包含微視頻、練習題和討論區問題等教學資源的《C語言程序設計》課程知識圖譜。祁曉慧[87]運用CNN+BiLSTM-CRF模型結合學科詞典對《數據結構》課程教材和簡書網站的文本資源進行實體識別，然后使用Attention+BiLSTM模型抽取知識點之間的關系，在此基礎上，通過語音識別軟件將課堂語音識別成文字，進一步鏈接實體對應的語音資源，構建了包含語音和文本資源的多模態課程知識圖譜。文獻[97]依據圖7所示的研究框架，針對MOOC平臺中大學電路課程的理論和實驗課程內容構建了多模態課程知識圖譜，在此基礎上，討論了知識點檢索、個性化學習路徑推薦、智能教育分析等應用。

從學科知識融合的角度來說，在內容上有關聯的課程知識是可以被連接在一起的，但不同課程的內容不同，體系結構也不同，難以實現多學科知識的關聯。因此，面對這樣的問題，亟需制定一個應用在教育領域的普適的多模態課程知識圖譜的構建規范，既可以加快單一模態到多模態課程知識圖譜的研究步伐，也可以促進相互關聯的多模態課程資源進行有效融合，更好地為智能化教育應用提供服務。

4.2個性化學習資源推薦

依據學習者之間不同的學習進度，為他們提供適合自己的教學資源，促使其個性化發展是智能教育場景的基本要求。因此，如果能為學習者提供類似于個性化推薦學習視頻這樣的多元化應用形式，在一定程度上能夠激發學習者的熱情，提高學習效率。教育知識圖譜能夠為學習者集成多模態的學習內容，并依據學習者的學習進度為其推薦相關的學習資源。同時，利用教育知識圖譜中實體之間豐富的語義關系表示，有助于改善傳統推薦算法中存在的數據稀疏、冷啟動等問題，進一步提升推薦系統的質量。所以近年來，將教育知識圖譜應用于知識資源推薦的研究逐漸開始涌現。

文獻[98]構建了計算機網絡課程知識圖譜，結合知識點與習題生成信息向量，通過分析學習者的日志數據，利用錯誤答案練習題與知識點之間的相似度為學習者推薦期末習題。吳昊等人[99]提出一種融合知識圖譜的多任務特征推薦算法（multi-layer knowledge graph recommendation，MLKR），有效地解決了在線課程資源缺失導致推薦效果不理想的問題。文獻[100]提出一個端到端的多模態興趣相關項目相似性模型來提供基于多模態數據源的推薦，證明了融合多模態數據表示的方法能夠有效地提升推薦系統的性能。Sun等人[101]將多模態資源應用于基于知識圖譜的推薦系統中，并使用圖注意力機制描述圖片信息，使得推薦結果更準確。文獻[102]采用協同過濾結合知識圖譜特征的方法（collaborative knowledge base embedding，CKE）進行資源推薦，著重利用知識圖譜的文本信息、結構化信息和視覺信息進行嵌入，補充資源信息的特征表示，并通過聯合學習用戶信息與資源的知識表示，解決了傳統基于知識圖譜的推薦技術中用戶與推薦資源交互稀疏的問題，提升了推薦系統的質量，其推薦流程如圖8所示。

目前，基于教育知識圖譜的資源推薦研究還處于初步階段，多模態資源能夠為學習者提供適合自己的多元化學習方式，但如何利用語義多樣和結構多元的多模態資源解決傳統的學習資源推薦方法中存在的數據稀疏等問題，是研究者當前應重點關注的問題。

4.3知識問答

目前，在問答系統中引入圖像等多模態信息的研究受到教育界的廣泛關注，無論是在問題理解還是答案呈現方面，自然語言能夠表達的信息都很有限，結合多模態信息可以為知識問答系統帶來多元的知識表示形式，從多個角度精準刻畫學習者的需求。教育知識圖譜能夠為體量巨大且結構關系錯綜復雜的學科知識處理提供支撐，然后根據學習者的個性化知識需求從圖譜中查詢或者經過復雜關系推理，得到能夠滿足學習者需求的教育知識解釋。

Zhao等人[103]設計了一個多模態領域知識圖譜驅動的智能問答系統，結合智能問答和圖像識別技術，實現了高效的信息查詢方案。文獻[104]結合圖像和文本信息構建了上下文形式的圖譜，解決了從長文本課程中提取知識特征并將其與視覺特征融合的問題，在教科書問答方面提供了很好的解決辦法。

與學習者的需求相適應，學習者不再局限于一些簡單的知識問答。例如，在大學計算機《數據結構》課程里的“邏輯結構是什么？”“線性表是什么？”這樣簡單的問題，現實場景中學生更多關注于“邏輯結構中和線性表類型相同的數據結構有哪些？”等一系列涉及知識圖譜中多個節點的復雜問題。解決這類問題，需要依據多跳推理的方式，從一條三元組找到另一條三元組，直至找到問題的解答。目前國內外基于多跳推理的知識圖譜問答研究有很多，但融合多模態信息進行知識圖譜的多跳推理研究卻鮮有提及，如何利用豐富的多模態內容表示為復雜問題的多跳推理研究提供幫助，是教育知識圖譜的一個重要研究內容。

4.4知識檢索與可視化

為了增強學習者對知識體系的認知，提供全面、多層次的知識點檢索與可視化展示功能，學者們將多模態知識融合到教育知識圖譜中，其主要是以構建好的教育知識圖譜為對象，將知識網絡以圖的形式展示給學習者，也要在學習者檢索某個特定知識點時，將與該知識點相關的其他知識點等資源展示出來。

文獻[87]基于構建好的《數據結構》課程知識圖譜搭建知識檢索系統，實現了課程底層的知識點檢索路徑，使得學生學習的效率得以大幅提升。Rafailidis等人[105]提出一個多模態內容檢索框架，通過構造多模態空間捕捉多模態內容之間的語義關聯，支持學習者對文獻中不同模態的資源（圖像、音頻、3D、視頻和文本）進行統一檢索。Alberts等人[106]構建了VisualSem知識圖譜，其包括多個圖像以及視覺相關關系的節點，并在知識圖譜的基礎上，發布了一個多模態檢索模型，可以使用圖像或句子作為輸入，檢索知識圖譜中的實體。Kannan等人[107]利用知識圖譜集成多模態信息，并支持學習者對文獻中的文本、圖像和源代碼進行查詢。

基于教育知識圖譜的知識檢索與可視化功能不僅要展示一個知識點相對應的不同模態的教學內容，更重要的是，如何能通過自身已有的知識關系，推理出新的多樣化關系，滿足學習者對知識的深度需求，多模態資源在該過程中扮演著重要的角色，未來相關研究者應在此方向中投入更多的精力。

4.5學情信息建模

智能教育和傳統的教育方式很大的一個區別就是能夠依據學習者自身的學習狀態和知識掌握情況進行調整教學。這其中具有挑戰性的工作就是對學習者的學情進行建模分析。該過程需要充分發揮教育知識圖譜在數據處理、分析等層面的技術優勢，利用信息抽取、情感分析以及數據可視化等技術，以標簽化的信息描述學習者的多維特征，為不同階段的學習作出引導和預測[108]。

單一模態數據能夠表征的學情信息很有限，鐘薇等人[109]通過課堂音視頻錄像和討論區發帖信息追蹤學習者的學習軌跡，獲取了學習者的認知水平信息。Nandi等人[110]綜述了在e-learning中挖掘多模態數據進行學習者情感識別的研究。Camacho等人[111]利用物聯網和可穿戴設備采集學習者的行為模式，并使用機器學習技術和多模態學習分析（multimodal learning analytics，MMLA）方法構建了能夠解釋學生參與學習情況的模型。Buitelaar等人[112]提出了一個可以從文本、音頻和視頻中有效挖掘用戶情感信息的開源工具，并使用知識圖譜進行可視化，為學習者學情信息的全方位表征提供了可能性。

當前，針對學習者學情信息建模的方法只停留在淺顯的層次，并不能深層捕捉學習者的情感和認知特征。未來可以使用眼動追蹤、腦電感應等多模態生物識別技術，結合課堂音視頻錄像信息，深度挖掘學習者的行為、心理和生理層數據，為學習者成績預測、個性化學習路徑生成等任務提供支持。

5問題與挑戰

面向智能教育應用的多模態數據處理方法日益成熟，將多模態資源融入教育知識圖譜的研究已經成為了必然的趨勢。然而，隨著教育知識圖譜處理的知識資源涵蓋范圍的不斷擴大，很多問題隨之產生。接下來，將從內涵、技術和應用研究的角度，對融合多模態資源的教育知識圖譜研究中存在的問題與挑戰進行總結。

a）對于教育知識圖譜的認知有待進一步研究。目前，學術界對于教育知識圖譜還沒有形成統一的定義，相關研究者多是從知識管理、學習者認知以及教育信息服務等有限的研究視角對教育知識圖譜的概念進行闡述，對其認知較為局限。后續應提供更全面的研究維度，拓寬學術界對于教育知識圖譜的認知，例如深度挖掘、融合和分析多模態教育數據特征，為智能教育應用提供服務的多模態學習分析研究視角等[113，114]，對教育知識圖譜進行深層解讀。

b）缺乏高質量的教育資源數據集。現階段，深度學習技術被廣泛應用于教育知識圖譜的構建過程中，而深度學習模型的訓練需要大量的數據集作為支撐。

目前，教育領域的高質量數據集較少，多數研究者依靠自己構建數據集來完成教育知識圖譜構建的任務，該種方式耗時耗力，且不能完全體現相關模型的說服力。因此，加速對MOOC等傳統開源學習網站和真實教學場景中多模態教學資源地采集與處理，豐富和完善教學資源數據集，是教育知識圖譜的重點研究內容之一。

c）對于以詞為單位的文本分析任務，BERT模型不能直接獲取高質量的領域詞向量。教育知識圖譜的構建離不開自然語言技術的處理，而當前自然語言處理研究中炙手可熱的研究方向當屬以BERT為代表的預訓練模型。目前，BERT多數是使用字向量表示文本，無法直接獲取符合領域需求的高質量的詞級向量，對實體識別等以詞為處理單位的文本分析任務造成了一定的困擾。下一階段，研究者可以考慮利用少量的領域標注數據，例如課程詞典或者結構化的教育知識庫，對BERT模型進行微調以生成高質量的領域詞向量[115，116]，支撐面向教育數據的以詞為單位的文本分析任務。

d）教育知識圖譜的知識評估方法較為匱乏。教育領域對于知識的正確性要求極為嚴苛，保證教育知識圖譜的數據質量是極為重要的。目前，教育知識圖譜的知識評估多數依靠專家知識或者教師的經驗去判別相關數據是否正確以及多樣化關系是否適用，不僅消耗大量的人力，而且不同專家與教師之間的主觀評估容易導致評估結果的差異性。因此，制定統一的評估方法或者評估標準，在保證教育知識圖譜數據準確性的基礎上體現知識的多樣化特性，對于教育知識圖譜來說是至關重要的。

e）教育資源鏈接手段單一，難以準確地捕捉多模態數據自身的特征。分析當前的研究進展可知，教育知識圖譜對多模態資源的鏈接手段較為單一，多數是將多模態數據轉換成文本數據，然后使用實體鏈接技術添加多模態資源。下一階段，利用多模態數據的元數據融入教育知識圖譜的方式仍然會是一個優先選擇項，但這種處理方式存在片面性的問題，不能準確地挖掘多模態資源自身的特征。因此，在教育知識圖譜的構建過程中找到能夠準確挖掘多模態數據特征的方法，是未來研究者應持續努力的方向。

f）現有的結構化教育知識庫難以滿足智能教育機器人的發展需求。目前，市場上出現的Siri、小度機器人等智能機器人以其良好的交互體驗獲得了較高的評價。以人機交互為主要知識獲取形式的智能教育機器人引起了相關研究者的注意。然而，智能教育機器人需要大量的結構化數據作為支撐，現有的結構化教育知識庫難以滿足其發展需求。使用文本、圖像、動畫等多種方式呈現教學內容的教育知識圖譜在知識處理與交互方面可以發揮較好的作用。因此，下一步的研究方向應更多地關注教育知識圖譜與智能教育機器人的結合與應用。

g）基于教育知識圖譜的教育信息服務局限于多模態課程知識圖譜研究中，并沒有同相關的教學活動建立廣泛的聯系。在教育信息服務領域，融合多模態資源的教育知識圖譜應用已經開始向多方面拓展，但目前仍局限在多模態課程知識圖譜研究中，并沒有同相關的教學活動建立廣泛的聯系。隨著相關技術的成熟，未來的研究可以深入到教學場景中，突破課程知識圖譜的限制，將學科知識體系、教學資源和受教育者學習軌跡等教學活動進行關聯，實現教與學過程的可視化，朝著智能教育應用的方向邁進，最大限度地促進教育信息服務。

6結束語

教育知識圖譜通過處理大量無序、結構復雜的多模態教育數據，使其形成結構化、能夠被直接利用的知識體系，是人工智能時代對教育知識建模的有效手段。同時，通過教育知識圖譜結構化的多模態知識，能夠為基于深度學習的數據挖掘技術提供先驗知識，提升挖掘的準確度與效率。本文從多模態資源的角度，對教育知識圖譜進行綜述并得出以下結論：多模態資源對教育知識圖譜構建技術性能的提升具有關鍵性的作用，是未來一段時間教育圖譜構建技術改進的重要研究方向，融合多模態資源的教育知識圖譜在多模態課程知識圖譜、個性化學習資源推薦、知識問答、知識檢索與可視化、學情信息建模等方面都有了積極的嘗試，但都還處于探索階段。未來應從教育知識圖譜的認知、教育資源數據集、預訓練模型以及教育知識圖譜的知識評估方法等方面繼續研究，為教育知識圖譜在智能教育領域的應用提供有效支撐。

參考文獻：

［1］黃榮懷.智慧教育的三重境界：從環境、模式到體制[J].現代遠程教育研究，2014（6）：3-11.（Huang Ronghuai.Three realms of smart education：smart learning environment，ICT teaching model and mo-dern educational system[J].Modern Distance Education Research，2014（6）：3-11.）

[2]王鑫，鄒磊，王朝坤，等.知識圖譜數據管理研究綜述[J].軟件學報，2019，30（7）：2139-2174.（Wang Xin，Zou Lei，Wang Chaokun，et al.Research on knowledge graph data management：a survey[J].Journal of Software，2019，30（7）：2139-2174.）

[3]祝智庭，俞建慧，韓中美，等.以指數思維引領智慧教育創新發展[J].電化教育研究，2019，40（1）：5-16，32.（Zhu Zhiting，Yu Jianhui，Han Zhongmei，et al.Innovative development of smarter education led by exponential thinking[J].e-Education Research，2019，40（1）：5-16，32.）

[4]祝智庭，許秋璇，吳永和.教育信息化新基建標準需求與行動建議[J].中國遠程教育，2021（10）：1-11，76.（Zhu Zhiting，Xu Qiu-xuan，Wu Yonghe.Building new infrastructure for educational informatization：standards and implementation[J].Distance Education in China，2021（10）：1-11，76.）

[5]余勝泉，彭燕，盧宇.基于人工智能的育人助理系統[J].開放教育研究，2019，25（1）：25-36 .（Yu Shengquan，Peng Yan，Lu Yu.An artificial intelligence assistant system for educating people：the structure and function of“AI Educator”[J].Open Education Research，2019，25（1）：25-36.）

[6]李振，周東岱，王勇.“人工智能+”視域下的教育知識圖譜：內涵、技術框架與應用研究[J].遠程教育雜志，2019，37（4）：42-53.（Li Zhen，Zhou Dongdai，Wang Yong.Research of educational knowledge graph from the perspective of “artificial intelligence+”：connotation，technical framework and application[J].Journal of Distance Education.2019，37（4）：42-53.）

[7]李艷燕，張香玲，李新，等.面向智慧教育的學科知識圖譜構建與創新應用[J].電化教育研究，2019，40（8）：60-69.（Li Yanyan，Zhang Xiangling，Li Xin，et al.Construction and innovative application of discipline knowledge graph oriented to smart education[J].e-Education Research，2019，40（8）：60-69.）

[8]Pujara J.Probabilistic models for scalable knowledge graph construction[D].Maryland：University of Maryland，2016.

[9]Wang Chengyu，Gao Ming，He Xiaofei，et al.Challenges in Chinese knowledge graph construction[C]//Proc of the 31st IEEE International Conference on Data Engineering Workshops.Piscataway，NJ：IEEE Press，2015：59-61.

[10]Auer S，Bizer C，Kobilarov G，et al.Dbpedia：a nucleus for a Web of open data[M]//

Kal A，Key-Sun C，Natasha N，et al.The Semantic Web.Berlin：Springer，2007：722-735.

[11]Vrandecic D，Krtoetzsch M.Wikidata：a free collaborative knowledgebase[J].Communications of the ACM，2014，57（10）：78-85.

[12]Ferrada S，Bustos B，Hogan A.IMGpedia：a linked dataset with content-based analysis of Wikimedia images[C]//Proc of International Semantic Web Conference.Cham：Springer，2017：84-93.

[13]Liu Ye，Li Hui，Garcia-Duran A，et al.MMKG：multi-modal knowledge graphs[C]//Proc of European Semantic Web Conference.Cham：Springer，2019：459-474.

[14]Wang Meng，Wang Haofen，Qi Guilin，et al.Richpedia：a large-scale，comprehensive multi-modal knowledge graph[J].Big Data Research，2020，22（10）：100159.

[15]黨占海，趙蓉英，陳瑞，等.油料作物研究的知識圖譜分析[J].中國農業大學學報，2011，16（3）：178-186.（Dang Zhanhai，Zhao Rongying，Chen Rui，et al.Knowledge mapping analysis on the research of oil crops[J].Journal of China Agricultural University，2011，16（3）：178-186.）

[16]侯夢薇，衛榮，陸亮，等.知識圖譜研究綜述及其在醫療領域的應用[J].計算機研究與發展，2018，55（12）：2587-2599.（Hou Mengwei，Wei Rong，Lu Liang，et al.Research review of knowledge graph and its application in medical domain[J].Journal of Computer Research and Development，2018，55（12）：2587-2599.）

[17]陳曉軍，向陽.企業風險知識圖譜的構建及應用[J].計算機科學，2020，47（11）：237-243.（Chen Xiaojun，Xiang Yang.Construction and application of enterprise risk knowledge graph[J].Computer Science，2020，47（11）：237-243.）

[18]Zhang Xu.Research on enterprise knowledge unified retrieval based on industrial big data[C]//Proc of the 6th International Conference on Advanced Cloud and Big Data.Piscataway，NJ：IEEE Press，2018：130-134.

[19]Gao Lingchao，Yao Limeng，Yang Zhiwei，et al.Research on hybrid index method of double-layer B+ tree for power big data considering knowledge graph[J].Journal of Physics：Conference Series，2021，1771（1）：012004.

[20]Wang Xiaoli，Wang Yuan，Gao Chuchu，et al.Automatic diagnosis with efficient medical case searching based on evolving graphs[J].IEEE Access，2018，6：53307-53318.

[21]Zhang Xiaoming，Sun Xiaoling，Xie Chunjie，et al.From vision to content：construction of domain-specific multi-modal knowledge graph[J].IEEE Access，2019，7：108278-108294.

[22]王娟，陳世超，王林麗，等.基于CiteSpace的教育大數據研究熱點與趨勢分析[J].現代教育技術，2016，26（2）：5-13.（Wang Juan，Chen Shichao，Wang Linli，et al.The analysis of research hot spot and trend on big data in education based on cite space[J].Modern Educational Technology，2016，26（2）：5-13.）

[23]Chen Penghe，Lu Yu，Zheng V W，et al.KnowEdu：a system to construct knowledge graph for education[J].IEEE Access，2018，6：31553-31563.

[24]Yu Jifan，Luo Gan，Xiao Tong，et al.MOOCCube：a large-scale data repository for NLP applications in MOOCs[C]//Proc of the 58th Annual Meeting of Association for Computational Linguistics.Stroudsburg，PA：ACL，2020：3135-3142.

[25]Zheng Yang，Liu Ruifang，Hou Junmeng.The construction of high educational knowledge graph based on MOOC[C]//Proc of the 2nd IEEE Information Technology，Networking，Electronic and Automation Control Conference.Piscataway，NJ：IEEE Press，2017：260-263.

[26]陸星兒，曾嘉靈，章夢瑤，等.知識圖譜視角下的MOOC教學優化研究[J].中國遠程教育，2016（7）：5-9，79.（Lu Xinger，Zeng Jia-ling，Zhang Mengyao，et al.Using knowledge graphs to optimize MOOC instruction[J].Distance Education in China，2016（7）：5-9，79.）

[27]萬海鵬，汪丹.基于大數據的牛頓平臺自適應學習機制分析——“教育大數據研究與實踐專欄”之關鍵技術篇[J].現代教育技術，2016，26（5）：5-11.（Wan Haipeng，Wang Dan.Investigation on adaptive learning mechanism of big data based on knewton platform——the key technology of“research and practice column about big data in education”[J].Modern Educational Technology，2016，26（5）：5-11.）

[28]楊開城.論課程的易理解性與知識建模技術[J].電化教育研究，2011（6）：10-14.（Yang Kaicheng.On the comprehension of curriculum and knowledge modeling technology[J].Research of Audio-visual Education，2011（6）：10-14.）

[29]張波，金玉鵬，張倩，等.試論一種新型在線教育資源大數據組織框架[J].中國電化教育，2018（3）：41-46.（Zhang Bo，Jin Yupeng，Zhang Qian，et al.A novel organizing framework for the online education resource big data[J].China Educational Technology，2018（3）：41-46.）

[30]余勝泉，李曉慶.區域性教育大數據總體架構與應用模型[J].中國電化教育，2019（1）：18-27.（Yu Shengquan，Li Xiaoqing.The study on architecture and application model about regional education big data[J].China Educational Technology，2019（1）：18-27.）

[31]鐘紹春，唐燁偉.人工智能時代教育創新發展的方向與路徑研究[J].電化教育研究，2018，39（10）：15-20，40.（Zhong Shaochun，Tang Yewei.Research on the orientation and route of educational innovative development in the age of artificial intelligence[J].e-Education Research，2018，39（10）：15-20，40.）

[32]劉嶠，李楊，段宏，等.知識圖譜構建技術綜述[J].計算機研究與發展，2016，53（3）：582-600.（Liu Qiao，Li Yang，Duan Hong，et al.Knowledge graph construction techniques[J].Journal of Computer Research and Development，2016，53（3）：582-600.）

[33]金鑫.面向Web信息資源的領域本體模型自動構建機制的研究[J].計算機科學，2012，39（6）：213-216.（Jin Xing.Research on mechanism of automatic construction of ontologies for Web information resources[J].Computer Science，2012，39（6）：213-216.）

[34]童名文，牛琳，楊琳，等.課程本體自動構建技術研究[J].計算機科學，2016，43（S2）：108-112.（Tong Mingwen，Niu Lin，Yang Lin，et al.Research on technique of course ontology automatically constructing[J].Computer Science，2016，43（S2）：108-112.）

[35]Wang Jingyun，Flanagan B，Ogata H.Semi-automatic construction of ontology based on data mining technique[C]//Proc of the 6th IIAI International Congress on Advanced Applied Informatics.Piscataway，NJ：IEEE Press，2017：511-515.

[36]Cortes C，Vapnik V.Support-vector networks[J].Machine Lear-ning，1995，20（3）：273-297.

[37]Pearl J.Probabilistic reasoning in intelligent systems：networks of plausible inference[M].San Francisco：Morgan Kaufmann Publi-shers，1988.

[38]Jelinek F.Statistical methods for speech recognition[M].Cambridge，MA：MIT Press，1997.

[39]LeCun Y，Bottou L，Bengio Y，et al.Gradient-based learning applied to document recognition[J].Proceedings of the IEEE，1998，86（11）：2278-2324.

[40]Mikolov T，Karafiát M，Burget L，et al.Recurrent neural network based language model[C]//Proc of InterSpeech.2010：1045-1048.

[41]Bahdanau D，Cho K，Bengio Y.Neural machine translation by jointly learning to align and translate[EB/OL].（2014）.https：//arxiv.org/abs/1409.0473.

[42]Vaswani A，Shazeer N，Parmar N，et al.Attention is all you need[C]//Advances in Neural Information Processing Systems.Cambridge，MA：MIT Press，2017：5998-6008.

[43]Devlin J，Chang M W，Lee K，et al.BERT：pre-training of deep bidirectional transformers for language understanding[EB/OL].（2018）.https：//arxiv.org/abs/1810.04805.

[44]李冬梅，張揚，李東遠，等.實體關系抽取方法研究綜述[J].計算機研究與發展，2020，57（7）：1424-1448.（Li Dongmei，Zhang Yang，Li Dongyuan，et al.Review of entity relation extraction methods[J].Journal of Computer Research and Development，2020，57（7）：1424-1448.）

[45]楊波，楊美芳.知識圖譜研究綜述及其在風險管理領域應用[J].小型微型計算機系統，2021，42（8）：1610-1618.（Yang Bo，Yang Meifang.Research review of knowledge graph and its application in risk management[J].Journal of Chinese Computer Systems，2012，42（8）：1610-1618.）

[46]Graves A，Schmidhuber J.Framewise phoneme classification with bidirectional LSTM and other neural network architectures[J].Neural Networks，2005，18（5-6）：602-610.

[47]Wllmer M，Eyben F，Graves A，et al.Bidirectional LSTM networks for context-sensitive keyword detection in a cognitive virtual agent framework[J].Cognitive Computation，2010，2（3）：180-190.

[48]Zhou Peng，Shi Wei，Tian Jun，et al.Attention-based bidirectional long short-term memory networks for relation classification[C]//Proc of the 54th Annual Meeting of Association for Computational Linguistics.Stroudsburg，PA：ACL，2016：207-212.

[49]Huang Zhiheng，Xu Wei，Yu Kai.Bidirectional LSTM-CRF models for sequence tagging[EB/OL].（2015）.https：//arxiv.org/abs/1508.01991.

[50]Yan Rongen，Jiang Xue，Dang Depeng.Named entity recognition by using XLNet-BiLSTM-CRF[J].Neural Processing Letters，2021，53（5）：3339-3356.

[51]Wei Kangwei，Wen Bin.Named entity recognition method for educational emergency field based on BERT[C]//Proc of the 12th IEEE International Conference on Software Engineering and Service Science.Piscataway，NJ：IEEE Press，2021：145-149.

[52]Moon S，Neves L，Carvalho V.Multimodal named entity recognition for short social media posts[EB/OL].（2018）.https：//arxiv.org/abs/1802.07862.

[53]Zheng Changmeng，Wu Zhiwei，Wang Tao，et al.Object-aware multimodal named entity recognition in social media posts with adversarial learning[J].IEEE Trans on Multimedia，2020，23：2520-2532.

[54]Liu Luping，Wang Meiling，Zhang Mozhi，et al.UAMNer：uncertainty-aware multimodal named entity recognition in social media posts[J].Applied Intelligence，2021，52（4）：4109-4125.

[55]Sui Dianbo，Tian Zhengkun，Chen Yubo，et al.A large-scale Chinese multimodal NER dataset with speech clues[C]//Proc of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing.Stroudsburg，PA：ACL，2021：2807-2818.

[56]鄂海紅，張文靜，肖思琪，等.深度學習實體關系抽取研究綜述[J].軟件學報，2019，30（6）：1793-1818.（E Haihong，Zhang Wenjing，Xiao Siqi，et al.Survey of entity relationship extraction based on deep learning[J].Journal of Software，2019，30（6）：1793-1818.）

[57]Al-Muhaideb S，Menai M E B.Evolutionary computation approaches to the curriculum sequencing problem[J].Natural Computing，2011，10（2）：891-920.

[58]Limongelli C，Sciarrone F，Temperini M，et al.Adaptive learning with the LS-plan system：a field evaluation[J].IEEE Trans on Learning Technologies，2009，2（3）：203-215.

[59]Chaplot D S，Yang Y，Carbonell J，et al.Data-driven automated induction of prerequisite structure graphs[C]//Proc of the 9th International Conference on Educational Data Mining Society.2016.

[60]Pan Liangming，Li Chengjiang，Li Juanzi，et al.Prerequisite relation learning for concepts in MOOCs[C]//Proc of the 55th Annual Mee-ting of the Association for Computational Linguistics.Stroudsburg，PA：ACL，2017：1447-1456.

[61]Manrique R，Pereira B，Marino O，et al.Towards the identification of concept prerequisites via knowledge graphs[C]//Proc of the 19th IEEE International Conference on Advanced Learning Technologies.Piscataway，NJ：IEEE Press，2019：332-336.

[62]Liu Chunyang，Sun Wenbo，Chao Wenhan，et al.Convolution neural network for relation extraction[C]//Proc of International Conference on Advanced Data Mining and Applications.Berlin：Springer，2013：231-242.

[63]Zeng Daojian，Liu Kang，Lai Siwei，et al.Relation classification via convolutional deep neural network[C]//Proc of the 25th International Conference on Computational Linguistics：Technical Papers.New York：ACM Press，2014：2335-2344.

[64]Xu Kun，Feng Yansong，Huang Songfang，et al.Semantic relation classification via convolutional neural networks with simple negative sampling[EB/OL].（2015）.https：//arxiv.org/abs/1506.07650.

[65]Santos C N，Xiang Bing，Zhou Bowen.Classifying relations by ranking with convolutional neural networks[EB/OL].（2015-04-24）.https：//arxiv.org/abs/1504.06580.

[66]Socher R，Huval B，Manning C D，et al.Semantic compositionality through recursive matrix-vector spaces[C]//Proc of Joint Conference on empirical methods in natural language processing and computational natural language learning.Stroudsburg，PA：ACL，2012：1201-1211.

[67]Hashimoto K，Miwa M，Tsuruoka Y，et al.Simple customization of recursive neural networks for semantic relation classification[C]//Proc of Conference on Empirical Methods in Natural Language Processing.Stroudsburg，PA：ACL，2013：1372-1376.

[68]Xu Yan，Mou Lili，Li Ge，et al.Classifying relations via long short term memory networks along shortest dependency paths[C]//Proc of Conference on Empirical Methods in Natural Language Processing.Stroudsburg，PA：ACL，2015：1785-1794.

[69]Mintz M，Bills S，Snow R，et al.Distant supervision for relation extraction without labeled data[C]//Proc of Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP.Stroudsburg，PA：ACL，2009：1003-1011.

[70]Zeng Daojian，Liu Kang，Chen Yubo，et al.Distant supervision for relation extraction via piecewise convolutional neural networks[C]//Proc of Conference on Empirical Methods in Natural Language Processing.Stroudsburg，PA：ACL，2015：1753-1762.

[71]Lin Yankai，Shen Shiqi，Liu Zhiyuan，et al.Neural relation extraction with selective attention over instances[C]//Proc of the 54th Annual Meeting of the Association for Computational Linguistics.Stroudsburg，PA：ACL，2016：2124-2133.

[72]楊東明，楊大為，顧航，等.面向初等數學的知識點關系提取研究[J].華東師范大學學報：自然科學版，2019（5）：53-65.（Yang Dongming，Yang Dawei，Gu Hang，et al.Research on knowledge point relationship extraction for elementary mathematics[J].Journal of East China Normal University：Natural Science，2019（5）：53-65.）

[73]Vas R.Educational ontology and knowledge testing[J].Electronic Journal of Knowledge Management，2007，5（1）：123-130.

[74]張正航，錢育蓉，行艷妮，等.知識表示學習方法研究綜述[J].計算機應用研究，2021，38（4）：961-967.（Zhang Zhenghang，Qian Yurong，Xing Yanni，et al.Survey of knowledge representation learning methods[J].Application Research of Computers，2021，38（4）：961-967.）

[75]Bordes A，Usunier N，Garcia-Duran A，et al.Translating embeddings for modeling multi-relational data[C]//Proc of the 26th International Conference on Neural Processing System.2013：2787-2795.

[76]Lei Zhenfeng，Sun Yuan，Nanehkaran Y A，et al.A novel data-driven robust framework based on machine learning and knowledge graph for disease classification[J].Future Generation Computer Systems，2020，102：534-548.

[77]Ji Guoliang，He Shizhu，Xu Liheng，et al.Knowledge graph embedding via dynamic mapping matrix[C]//Proc of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing.Stroudsburg，PA：ACL，2015：687-696.

[78]Wang Zikang，Li Linjing，Li Qiudan，et al.Multimodal data enhanced representation learning for knowledge graphs[C]//Proc of International Joint Conference on Neural Networks.Piscataway，NJ：IEEE Press，2019：1-8.

[79]Xie Ruobing，Liu Zhiyuan，Luan Huanbao，et al.Image-embodied knowledge representation learning[EB/OL].（2016）.https：//arxiv.org/abs/1609.07028.

[80]繳霖境，閆威.融合實體概念描述與圖像特征的知識圖譜表示學習研究[J].計算機應用研究，2021，38（6）：1759-1764.（Jiao Linjing，Yan Wei.Research on knowledge graph representation lear-ning combining entity concept description and image features[J].Application Research of Computers，201，38（6）：1759-1764.）

[81]王會勇，論兵，張曉明，等.基于聯合知識表示學習的多模態實體對齊[J].控制與決策，2020，35（12）：2855-2864.（Wang Huiyong，Lun Bing，Zhang Xiaoming，et al.Multi-modal entity alignment based on joint knowledge representation learning[J].Control and Decision，2020，35（12）：2855-2864.

[82]陳曦，梅廣，張金金，等.融合知識圖譜和協同過濾的學生成績預測方法[J].計算機應用，2020，40（2）：595-601.（Chen Xi，Mei Guang，Zhang Jinjin，et al.Student grade prediction method based on knowledge graph and collaborative filtering[J].Journal of Computer Applications，2020，40（2）：595-601.）

[83]Yang Bishan，Yih W，He Xiaodong，et al.Embedding entities and relations for learning and inference in knowledge bases[EB/OL].（2014）.https：//arxiv.org/abs/1412.6575.

[84]趙曉娟，賈焰，李愛平，等.多源知識融合技術研究綜述[J].云南大學學報：自然科學版，2020，42（3）：459-473.（Zhao Xiaojuan，Jia Yan，Li Aiping，et al.A survey of the research on multi-source knowledge fusion technology[J].Journal of Yunnan University：Natural Sciences Edition，2020，42（3）：459-473.）

[85]Chen R C，Bau C T，Yeh C J.Merging domain ontologies based on the WordNet system and fuzzy formal concept analysis techniques[J].Applied Soft Computing，2011，11（2）：1908-1923.

[86]Bhattacharya I，Getoor L.Collective entity resolution in relational data[J].ACM Trans on Knowledge Discovery from Data，2007，1（1）：5-es.

[87]祁曉慧.多模態課程知識圖譜構建與應用研究[D].長春：吉林大學，2020.（Qi Xiaohui.Research on construction and application of multimodal curriculum knowledge graph[D].Changchun：Jilin University，2020.）

[88]李鈍，薛昊原，李倫，等.面向教學資源的實體鏈接算法[J].南京大學學報：自然科學版，2015，51（4）：901-908.（Li Dun，Xue Haoyuan，Li Lun，et al.Entity linking for educational resources[J].Journal of Nanjing University：Natural Science，2015，51（4）：901-908.）

[89]周炫余，唐禎，唐麗蓉，等.基于多源異構數據融合的初中數學知識圖譜構建[J].武漢大學學報：理學版，2021，67（2）：118-126.（Zhou Xuanyu，Tang Zhen，Tang Lirong，et al.Construction of junior high school mathematics knowledge graph based on multi-source hete-rogeneous data fusion[J].Journal of Wuhan University：Natural Science Edition，2021，67（2）：118-126.）

[90]Chang M D，Forbus K D.Towards interpretation strategies for multimodal instructional analogies[C]//Proc of the 28th International Workshop on Qualitative Reasoning.2015.

[91]Chen Liyi，Li Zhi，Wang Yijun，et al.MMEA：entity alignment for multi-modal knowledge graph[C]//Proc of International Conference on Knowledge Science，Engineering and Management.Cham：Sprin-ger，2020：134-147.

[92]Guo Hao，Tang Jiuyang，Zeng Weixin，et al.Multi-modal entity alignment in hyperbolic space[EB/OL].（2021）.https：//arxiv.org/abs/2106.03619.

[93]Mai Sijie，Hu Haifeng，Xing Songlong.Modality to modality translation：an adversarial representation learning and graph fusion network for multimodal fusion[C]//Proc of AAAI Conference on Artificial Intelligence.Menlo Park，CA：AAAI Press，2020：164-172.

[94]Haquin D M.Representation and communication of knowledge in se-condary school：multimodal discourse analysis of school teaching mate-rials of history and biology[J].On-omázein，2013，27（1）：35-52.

[95]Dang Furong，Tang Jintao，Li Shasha.MOOC-KG：a MOOC knowledge graph for cross-platform online learning resources[C]//Proc of the9th IEEE International Conference on Electronics Information and Emergency Communication.Piscataway，NJ：IEEE Press，2019：1-8.

[96]王亮.深度學習視角下基于多模態知識圖譜的MOOC課程重構[J].現代教育技術，2018，28（10）：100-106.（Wang Liang.Reconstruction of MOOC courses based on multimodal knowledge map from the perspective of deep learning[J].Modern Educational Technology，2018，28（10）：100-106.）

[97]Xu Xing，Ji Dou，Wang Xiangjun，et al.Knowledge graph based tea-ching analysis on circuit course[C]//Proc of International Conference on Modern Education and Information Management.Piscataway，NJ：IEEE Press，2020：767-771.

[98]Zhu Lei，Liu Yaolin，Hei Xinhong，et al.A study on exercise recommendation method using knowledge graph for computer network course[C]//Proc of International Conference on Networking and Network Applications.Piscataway，NJ：IEEE Press，2020：436-442.

[99]吳昊，徐行健，孟繁軍.課程資源的融合知識圖譜多任務特征推薦算法[J].計算機工程與應用，2021，57（21）：132-139.（Wu Hao，Xu Xingjian，Meng Fanjun.Knowledge graph-assisted multi-task feature-based course recommendation algorithm[J].Computer Engineering and Applications，2021，57（21）：132-139.）

[100]Lyu Junmei，Song Bin，Guo Jie，et al.Interest-related item similarity model based on multimodal data for top-N recommendation[J].IEEE Access，2019，7：12809-12821.

[101]Sun Rui，Cao Xuezhi，Zhao Yan，et al.Multi-modal knowledge graphs for recommender systems[C]//Proc of the 29th ACM International Conference on Information amp; Knowledge Management.New York：ACM Press，2020：1405-1414.

[102]Zhang Fuzheng，Yuan N J，Lian Defu，et al.Collaborative knowledge base embedding for recommender systems[C]//Proc of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.New York：ACM Press，2016：353-362.

[103]Zhao Zhengwei，Wang Xiaodong，Xu Xiaowei，et al.Multi-modal question answering system driven by domain knowledge graph[C]//Proc of the 5th International Conference on Big Data Computing and Communications.Piscataway，NJ：IEEE Press，2019：43-47.

[104]Kim D，Kim S，Kwak N.Textbook question answering with multi-modal context graph understanding and self-supervised open-set comprehension[EB/OL].（2018）.https：//arxiv.org/abs/1811.00232.

[105]Rafailidis D，Manolopoulou S，Daras P.A unified framework for multimodal retrieval[J].Pattern Recognition，2013，46（12）：3358-3370.

[106]Alberts H，Huang T，Deshpande Y，et al.VisualSem：a high-quality knowledge graph for vision and language[EB/OL].（2020）.https：//arxiv.org/abs/2008.09150.

[107]Kannan A V，Fradkin D，Akrotirianakis I，et al.Multimodal knowledge graph for deep learning papers and code[C]//Proc of the 29th ACM International Conference on Information amp; Knowledge Management.New York：ACM Press，2020：3417-3420.

[108]黃濤，王一巖，張浩，等.智能教育場域中的學習者建模研究趨向[J].遠程教育雜志，2020，38（1）：50-60.（Huang Tao，Wang Yiyan，Zhang Hao，et al.Learner modeling research trends in intelligent education field[J].Journal of Distance Education，2020，38（1）：50-60.）

[109]鐘薇，李若晨，馬曉玲，等.學習分析技術發展趨向——多模態數據環境下的研究與探索[J].中國遠程教育，2018（11）：41-49.（Zhong Wei，Li Ruochen，Ma Xiaoling，et al.Learning analytics development trends in a multimodal data environment[J].Distance Education in China，2018（11）：41-49.）

[110]Nandi A，Xhafa F，Subirats L，et al.A survey on multimodal data stream mining for e-learner’s emotion recognition[C]//Proc of International Conference on Omni-layer Intelligent Systems.Piscataway，NJ：IEEE Press，2020：1-6.

[111]Camacho V L，De La Guía E，Olivares T，et al.Data capture and multimodal learning analytics focused on engagement with a new wearable IoT approach[J].IEEE Trans on Learning Technologies，2020，13（4）：704-717.

[112]Buitelaar P，Wood I D，Negi S，et al.Mixedemotions：an open-source toolbox for multimodal emotion analysis[J].IEEE Trans on Multimedia，2018，20（9）：2454-2465.

[113]王一巖，王楊春曉，鄭永和.多模態學習分析：“多模態”驅動的智能教育研究新趨向[J].中國電化教育，2021（3）：88-96.（Wang Yiyan，Wang Yangchunxiao，Zheng Yonghe.Multimodal learning analytics：a new research trend in intelligence education driven by multimodality[J].China Educational Technology，2021（3）：88-96.）

[114]張琪，李福華，孫基男.多模態學習分析：走向計算教育時代的學習分析學[J].中國電化教育，2020（9）：7-14，39.（Zhang Qi，Li Fuhua，Sun Jinan.Multi-modal learning analytics：learning analy-tics towards the age of computational education[J].China Educational Technology，2020（9）：7-14，39.）

[115]郭振東，林民，李成城，等.基于BERT-CRF的領域詞向量生成研究[J/OL].計算機工程與應用.（2022-01-26）.http：//kns.cnki.net/kcms/detail/11.2127.TP.20210706.1547.023.html.（Guo Zhendong，Lin Min，Li Chengcheng，et al.Research on Domain-specific word vector generation based on BERT-CRF[J/OL].Computer Engineering and Applications.（2022-01-26）.http：//kns.cnki.net/kcms/detail/11.2127.TP.20210706.1547.023.html.）

[116]胡婕，胡燕，劉夢赤，等.基于知識庫實體增強 BERT 模型的中文命名實體識別[J/OL].計算機應用.（2021）.https：//doi.org/10.11772/j.issn.1001-9081.2021071209.（Hu Jie，Hu Yan，Liu Mengchi，et al.Chinese named entity recognition based on knowledge base and entity enhanced BERT model[J/OL].Journal of Compu-ter Applications.（2021）.https：//doi.org/10.11772/j.issn.1001-9081.2021071209.）

收稿日期：2021-12-10；修回日期：2022-02-18基金項目：國家自然科學基金資助項目（61462071）；內蒙古自然科學基金資助項目（2018MS06009，2021LHMS06012）；內蒙古哲學社會科學研究專項項目（ZSZX21097，ZSZX21102）；內蒙古師范大學自主科研項目（29K19ZZYF017）；內蒙古自治區高等學校科學研究項目（NJZY21560）；內蒙古自治區研究生科研創新基金資助項目（SZ2020121，S20210278Z）；內蒙古師范大學研究生科研創新基金資助項目（CXJJS20126，CXJJS21157）

作者簡介：高茂（1997-），男，內蒙古呼和浩特人，碩士研究生，主要研究方向為計算機教育應用；張麗萍（1974-），女（通信作者），內蒙古呼和浩特人，教授，碩導，碩士，主要研究方向為軟件工程、智能教育（cieczlp@imnu.edu.cn）．