基于大模型知識追蹤的多模態教育知識圖譜構建與應用

關鍵詞：大模型；知識追蹤；多模態；教育；知識圖譜

0 引言

知識圖譜是自然語言處理領域用來存儲和表示知識的一種可視化新技術，具有強大的知識查詢和語義推理能力。它可以為數字化互聯網平臺提供豐富的信息處理方式，成為目前互聯網計算平臺上知識模型和知識圖形可視化的重要理論模型。教育知識圖譜是智慧教育的重要表現形式，可以提供教育信息檢索、個性化學習推薦、學生畫像、智能問答、教學預警、精準教學決策分析等智能服務。教育知識圖譜通過將分散碎片式的教育資源與相關實體搭建成一個聯通的語義化網絡，根據語義網絡表示實現教育相關的知識點和資源的關聯，具體包括知識點之間關聯、知識點與學習資源之間關聯、知識點與學生行為之間關聯等[1]。教育知識圖譜是實現多模態教學、自適應學習等智能化教育信息服務的基礎，最終為教學決策提供優化建議。

大語言模型提供了強大的數據處理能力和新數據挖掘潛力。基于大模型構建的知識圖譜具備了更豐富的專業知識背景和可解釋性，可以為應用領域提供一個強大可靠的決策輔助工具。本文基于百度智能云千帆大模型平臺，結合知識追蹤機制，構建了基于大模型知識追蹤的多模態教育知識圖譜，并進行了教育知識下游應用。

1 研究現狀

教育知識圖譜和多模態知識圖譜在國內外得到了廣泛關注。陳囿任等人[2]在多模態知識圖譜中融合了視覺文本等多種源信息，對多模態知識圖譜價值及類別進行了分析討論，從多源異構數據文本生成、表示學習、實體對齊、實體鏈接等方面進行對比分析，同時對跨模態知識圖譜融合技術進行了詳細介紹。最后，他們對多模態知識圖譜的發展前景進行了分析，提出了目前多模態知識圖譜的技術局限性，并給出了自己的見解。葉新東等人[3]針對教育環境的實際問題設計了基于多模態大模型的精準教學支持平臺和面向個性化教育的云邊協同平臺架構，兩者之間互補，協同工作。王文廣等人[4]總結了多模態知識圖譜以及知識圖譜在各垂直領域的最新應用，綜述了GPT大模型在知識圖譜構建過程中的應用現狀，并分析了大模型、多模態與知識圖譜之間的關系。羅江華等人[5]分析了多模態、大模型與領域知識圖譜三者之間的關聯，探索了多模態學科知識圖譜關鍵技術與構建流程，設計了多模態領域知識圖譜的教育應用案例。車萬翔等人[6]調研分析了大模型對自然語言處理的影響，分析了大模型對自然語言處理領域下游任務帶來的機遇和挑戰，最后討論了大模型和NLP的前沿技術。余勝泉等人[7]通過增強大模型構建通用人工智能教師架構，介紹了“大模型+精調”技術路線，分析了通用大模型時代教師所面臨的機遇與挑戰以及應對措施。

多模態知識圖譜的構建是一個復雜煩瑣的任務，涉及人工智能領域的關鍵技術，需要數據處理、自然語言處理、計算機視覺、知識圖譜等方面的專業知識和技術支持。本文在以上學者的研究基礎上，提出了基于大模型知識追蹤的多模態教育知識圖譜流程，旨在更精準地進行學情分析，對學習者進行學習路徑規劃，推薦學習資源。

2 大模型

大模型是一種包含大量訓練參數和復雜網絡結構的深度學習模型，它可以處理海量數據、輔助完成復雜任務，包括圖像識別、計算機視覺、語音識別、自然語言處理等。大模型通過海量語料進行長時間訓練，從而生成億級參數的大模型。其本質是通過自監督學習，有效利用了大量沒有標簽的數據進行預訓練。訓練過程可以有效地從海量標記和未標記的數據中獲取知識并對特定任務進行參數精調，擴展了模型的泛化能力。大模型是未來人工智能各個領域發展的重要方向和關鍵技術。伴隨著深度學習技術的不斷發展和應用場景的不斷拓展，大模型將會在更多領域展現其巨大的前景，更好地推動人工智能發展。

3 多模態特征融合

多模態特征融合可以將多個模態表示進行融合，每一種不同來源的特征信息都可以被看作一種新模態[8]。不同來源的模態信息可以交叉互補，模態之間可能還存在多樣化的信息交互方式，多模態融合能夠產生更為豐富的特征信息。目前，大部分研究學者主要是把圖像、文本和語音這三種模態進行融合[1]。本研究的特征融合方式采用交互式融合，通過引入交互項來構建不同模態之間的關系。例如，在知識點關系抽取任務中，可以使用交互式神經網絡來學習學生發帖/教師回帖和視頻觀看記錄之間的交互信息，從而提高模型性能。

4 基于大模型知識追蹤構建多模態教育知識圖譜

知識追蹤機制根據學生做題歷史行為序列數據，以及學生與題目的交互結果，來推算學生對于新知識狀態可能會出現的表現行為，從而可以對學生在新題目上的結果進行預測。知識圖譜以其構建語義關聯、智能聚合的自動化能力，為機器學習模型理解復雜的學習資源和構建知識語義網絡提供了新的方法。知識圖譜構建的目標是從大量的結構化和非結構化數據中進行實體識別、關系抽取、事件抽取的過程，通過實體對齊、指代消歧等解決多種類型的數據不一致問題，并完成知識融合，將知識表示存儲到知識庫中，最后進行下游知識圖譜推理和應用。知識追蹤機制是進行教育資源組織，實現教育資源整合的關鍵技術。

多模態知識圖譜與傳統知識圖譜的區別在于：前者主要研究文本和數據庫的實體和關系，而后者則在傳統知識圖譜的基礎上構建多種模態下的實體，以及多種模態實體間的多模態范式。多模態數據為人們認知世界提供了多樣化的信息化支撐。多模態知識圖譜的構建是在知識圖譜的基礎上，融合多種模態知識，如視頻、文本、圖像等，構建一個功能強大的領域知識圖譜。多模態教學利用多種渠道以及不同教學手段，借助于教師、學生肢體語言、語言交流等多種符號資源進行互補，旨在更好地促進學習者自適應能力。

基于大模型知識追蹤構建多模態教育知識圖譜的步驟如圖1所示：

Step 1：數據采集

利用云班課平臺導出多種模態的數據，如文本（教案、課件）、圖像（教學過程截圖）、視頻（教學視頻）等，并對數據進行整理存儲。

Step 2：數據預處理

通過云班課導出的數據存在缺失異常數值，需要對數據的缺失值進行檢測并用刪除法或插值法等方法進行填充。對于異常值，需要對其進行替換或者刪除處理。對于重復值，需要進行刪除。通過數據預處理環節，可以使得數據變得更加干凈，同時還需要利用數值化、標準化、歸一化、離散化等操作將數據轉化為建模的輸入。

Step 3：多模態融合

多模態融合技術的關鍵是將來自不同模態的數據進行統一。利用云班課導出多模態數據，包括學生簽到、資源瀏覽、頭腦風暴、視頻觀看、教學互動、作業提交等學生行為數據，通過CNN以及LSTM進行特征提取，為學生行為數據分配權重，將加權求和后的特征向量作為最終的融合結果。

Step 4：多模態命名實體與關系抽取

該步驟可以從文本數據中提取實體之間的關系，并建立實體鏈接。在命名實體識別和抽取之前，采用后端平均值方法將不同模態數據進行融合作為分類器的輸入。在命名實體識別過程中，可以利用文本、圖像、音頻等多種模態的特征進行融合，再利用文本和圖像之間的關聯性進行學習[9]。首先對教學資源（教材、課件、試題庫）進行分類、標注和整理，利用BiLSTM+CRF深度學習方法從教材、課程大綱等文本資料中提取教學過程中的基礎概念、知識重難點。關系抽取首先需要判斷一個實體對之間是否有關系，然后判斷抽取的關系屬于哪個種類。在這個環節仍然采用BiLSTM神經網絡進行關系抽取，再通過多模態關系抽取出知識之間的關聯和依賴關系[10]。

教育知識圖譜知識點OWL描述語言：

<EquivalentClasses>

<Class abbreviatedIRI="：數據框切片"/>

<ObjectUnionOf>

<Class IRI="#連續"/>

<Class IRI="#不連續"/>

</ObjectUnionOf>

</EquivalentClasses>

Step 5：大模型下多模態知識圖譜構建

該步驟根據知識點實體和關系構建教育知識圖譜，把教育類實體看作圖中的節點，關系作為節點之間的邊，再將節點連接起來。根據融合后的多模態語義信息以及知識追蹤結果，構建多模態教育知識圖譜，最后利用圖數據庫進行知識存儲和查詢。大模型可以提供更準確、更穩定的預測性能，從而在各種應用場景中發揮重要作用。國內大語言模型中文訓練語料數據量豐富，本文使用百度智能云千帆大模型平臺對模型進行精調，部署域內知識檢索功能，通過輸入關鍵詞或問題，從包含大量專業領域知識的數據源中檢索相關答案，并生成準確的回答和信息。

Step 6：知識推理與應用

基于構建好的多模態教育知識圖譜，進行知識推理和下游應用。多模態教育知識圖譜的構建是一個系統工程，涉及跨領域的專業技術。使用圖數據庫查詢語言進行復雜的圖查詢操作，從圖譜中獲取相關的知識。依據學生的學習行為記錄，通過教育知識圖譜規劃個性化學習路徑和推薦學習資源。基于教育知識圖譜產生的學生學習過程和學情分析，也可以為教師提供有效的教學支持和輔助決策。

5 結束語

本文基于大模型知識追蹤構建了多模態教育知識圖譜，介紹了多模態實體識別、關系抽取，以及多模態融合核心技術。利用融合后的多模態數據和語義信息構建多模態教育知識圖譜，采用圖數據庫來存儲和查詢多模態知識圖譜。基于構建好的多模態知識圖譜，可以進行教育知識推理和下游任務，如知識點檢索、教學決策和教學預警，最終實現個性化教學資源推薦與精準教學決策。