基于多模態知識圖譜的河姆渡文化資源庫系統設計與實現

摘" 要： 以河姆渡遺址群考古報告為數據源，通過信息提取、實體鏈接等方法構建多模態知識圖譜，并設計信息系統，實現了河姆渡文化遺產資源的數據管理和檢索。參考學術論文及考古研究，設計一種河姆渡文化知識圖譜的本體知識體系，并提出一種從考古報告中提取圖像與知識圖譜實體進行對齊的算法，實現了多模態文化資源與實體節點的精準匹配。在此基礎上，開發了一個河姆渡文化資源庫管理系統。該系統具有多模態檢索、圖譜化展示等功能，并為用戶提供了交互式、可視化的數據瀏覽和分析工具，有助于用戶更深入地理解和利用河姆渡文化遺產資源；也可為研究人員、文化機構和公眾提供便捷的工具，以更好地探索和理解河姆渡文化，為文化遺產的管理、研究和教育提供了一種新的手段。

關鍵詞： 多模態知識圖譜； 河姆渡文化； 資源管理； 本體知識； 實體鏈接； 數據融合

中圖分類號： TN911?34" " " " " " " " " " " " " " "文獻標識碼： A" " " " " " " " " nbsp; " 文章編號： 1004?373X（2025）02?0143?05

Design of Hemudu cultural resource library system based on multimodal knowledge graph and its implementation

SONG Zhenying1， LU Huanda2， LI Tianjie3， WANG Huajian2， YANG Huanyong2， YU Xin2

（1. School of Information Engineering， Dalian Ocean University， Dalian 116023， China;

2. School of Computer and Data Engineering， Ningbo Tech University， Ningbo 315100， China;

3. School of Computer Science and Technology， Zhejiang Sci?Tech University， Hangzhou 310018， China）

Abstract： By taking the archaeological report of the Hemudu site group as the data source， a multimodal knowledge graph is constructed by means of methods such as information extraction and entity linking， and an information system is designed to realize data management and retrieval of Hemudu cultural heritage resources. Based on academic papers and archaeological research， an ontology knowledge system for the Hemudu culture knowledge graph is designed， and an algorithm for aligning images and knowledge graph entities extracted from archaeological reports is proposed， achieving accurate matching of multimodal cultural resources and entity nodes. On this basis， Hemudu cultural resource library management system is developed， which has functions such as multimodal retrieval and graphical display. This system can provide users with interactive and visual data browsing and analysis tools to help users to better understand and utilize Hemudu cultural heritage resources， can provide convenient tools for researchers， cultural institutions and the public to better explore and understand the Hemudu culture， and can provide a new means for the management， research， and education of cultural heritage.

Keywords： multimodal knowledge graph; Hemudu culture; resource management; ontological knowledge; physical link; data fusion

文化遺產作為人類文明的珍貴財富，承載著豐富的歷史、藝術和文化信息。河姆渡文化[1]作為文化遺產之一，是中國考古學中的一顆明珠，其主要分布在中國浙江省寧波市余姚市。該遺址起源于約7 000年前，被認為是世界上最早的聚落社會之一。河姆渡文化包括大量的遺址群，其中包括井頭山遺址、田螺山遺址等。該遺址群發現了大量的遺跡遺物，這些文化遺產如何組織管理是一個亟待解決的問題[2]。

現有的文化遺產大多數是以考古報告作為主要記載手段，但是，考古報告內容嚴謹而詳盡，對專業的讀者很友好，但對于想要了解文化相關知識的普通大眾就存在很多的弊端，如：

1） 多源數據無法建立關聯，無法為讀者建立全局性的視圖；

2） 文本、圖像等多模態無法語義鏈接，知識與圖像等資源實體沒有建立聯系。

知識圖譜[3]是解決這些問題的一個有效工具，通過將物質文化遺產數據的關系和屬性進行鏈接，形成一個文本、圖像等多源數據融合的全景知識視圖。知識圖譜作為知識組織與表示工具，已被廣泛應用于文化遺產的相關研究，例如：文獻[4]為意大利文化遺產構建了ArCo知識圖譜，其是一個由本體和Linked Open Data數據集組成的意大利知識圖譜，由數百萬個三元組組成，為文化遺產數據管理領域的轉變做出了貢獻。文獻[5]通過構建文物知識圖譜，參照CIDOC CRM概念并參考模型標準規范化管理文物數據，應用BERT?BiLSTM?CRF模型實現文物實體抽取和知識圖譜構建，最終在文物數字化系統中成功應用知識圖譜，解決了企業在文物資源管理中的多源異構和復雜性問題，為實現語義搜索和智能推薦提供了有效手段。

然而當前在文化領域中，知識圖譜的應用并沒有很好地解決多模態數據關聯的問題。因此本文以河姆渡文化資源為研究對象，通過實體鏈接算法將考古報告中的文本與圖像進行語義對齊，進而構建一個基于多模態知識圖譜的河姆渡文化資源庫管理系統。這一工作為更全面理解和保護河姆渡文化遺產提供了有力的工具。

1" 相關工作

知識圖譜構建技術備受人工智能領域關注，旨在從龐大數據中提取并組織知識，構建結構化知識網絡，助力機器理解和推理復雜信息。當前研究涵蓋信息抽取、實體鏈接、關系抽取和知識表示等關鍵步驟。其中：信息抽取利用自然語言處理技術從非結構化文本（如考古報告、文獻等）中提取實體和關系信息；實體鏈接目的是將這些實體鏈接到已知實體庫，確保知識一致性；關系抽取目的是在文本中識別和分類實體關系，構建知識圖譜連接，通常依賴深度學習等技術。

在知識表示方面，研究者提出多種模型，如圖神經網絡（GNN），更好地捕捉實體和關系復雜語義信息，提升圖譜質量，支持智能問答和推薦系統等應用。知識圖譜在文物領域引起極大興趣，尤其關注文化遺產的記錄、保護和傳承。然而，由于文化遺產數據分散在不同數據庫和網站，資源碎片化，限制了數據鏈接和深入理解。

為解決這個問題，許多學者致力于文物知識圖譜的研究。基于此，研究者整合文物領域多源信息（文本、圖像、視頻等），構建更豐富的知識圖譜，為文物數字資源的組織和利用提供支持。例如，文獻[6]采用基于本體的文物知識圖譜構建方法，成功搭建文物本體和知識圖譜，同時開發面向創意設計的語義檢索框架和文物知識圖譜集成平臺，助力設計師文物知識輔助平臺。文獻[7]通過半監督學習和Tri?training模型實現自動文物關系抽取，構建以黃賓虹為中心的文物領域知識圖譜，并且設計支持專題文物知識圖譜構建與展示的系統，為高效組織和利用文物數字資源提供自動化方法。

2" 構建河姆渡文化多模態知識圖譜的方法

2.1" 多模態知識圖譜的定義

本文選用多模態知識圖譜[8]作為數據存儲的核心，多模態知識圖譜定義有向圖[G=ε，R，A，V，TR，TA]，其中[ε]、[R]、[A]、[V]、[TR]、[TA]分別是實體、關系、屬性、屬性值、關系三元組和屬性三元組的集合。當一個特定的知識符號與能夠表達知識的文本之外的模態，比如圖像、聲音或視頻相關聯時，可以說這個符號是多模態的。這種定義強調了知識符號的多模態性，即通過關聯不同感知模態的數據項，實現對知識的更全面和豐富的表示。

2.2" 本體構建

本文搜集河姆渡文化相關資料30余篇，并對其進行分析，參考文物保護領域的本體框架CIDOC CRM[9]，抽取現有河姆渡文化領域的本體及相關的概念，并對這些概念進行層次劃分。概念類關聯關系圖如圖1所示。根據已經明確的概念確定其屬性和關系，具體描述如表1、表2所示。

2.3" 面向考古報告的實體鏈接算法

考古報告是一類結構性很強的文本，通過觀察考古報告發現，圖像與對應文本描述一對一對齊是一個亟待解決的問題。對于這個問題的方法下面將詳細進行介紹。總體框架圖如圖2所示。

2.3.1" 圖文匹配

面向考古報告的一對一圖文匹配示意圖如圖3所示。對考古報告以及知識圖譜節點進行預處理，首先進行版面分析，利用ppstructure對考古報告進行處理，將圖和文字分別輸出，并將圖像對應的文本描述進行關鍵詞提取處理。知識圖譜預處理包括對知識圖譜節點、關系、屬性等信息經過詞嵌入技術轉化為向量，實體鏈接是將提取出來的文本描述關鍵詞與知識庫中的實體應用相似度匹配算法進行匹配和鏈接，以實現實體之間的關聯。一對一實體鏈接流程如圖4所示。

2.3.2" 實體鏈接

1） 描述文本預處理。通過編寫一段腳本去除特殊字符和括號，從而規范化文本，消除可能干擾相似度計算的非字母數字字符，突顯出更重要的詞匯信息。最后，將圖3中的文本描述利用預處理方法分成了三部分：圖一四、陶釜以及T508?：12。

2） 圖譜節點預處理。使用詞嵌入模型Word2Vec[10]將實體節點和關系進行向量化處理。

3） 為節點映射考古報告中的圖做匹配。利用描述文本關鍵詞與遍歷知識圖譜節點兩個向量分別做相似度計算，得分高者為最佳匹配。

4） 相似度計算。利用余弦相似度的度量方法[11]來計算知識圖譜節點向量與文字描述向量之間的相似度。這反映了節點和文字描述在語義上的相似程度。

[cosθ=i=1nAi·Bii=1nA2i·i=1nB2i]

式中：A代表描述文字關鍵詞；B代表知識圖譜實體；i表示向量A和B的元素數目；n表示向量的維度或長度。夾角越小，說明兩個向量的相似度越高。

通過以上步驟，能夠實現知識圖譜節點和對應文字描述的一對一對齊，并可以基于相似度計算建立實體鏈接關系。這種對齊方法有助于將文本數據與知識圖譜中的實體進行關聯，提高實體鏈接的準確性。

3" 圖數據庫和關系數據庫的融合設計

為了充分利用圖數據庫Neo4j[12]和關系數據庫MySQL各自的優勢，本文采用了一種融合設計[13]，以實現對河姆渡文化資源的高效管理和查詢。圖數據庫主要用于存儲和查詢文化資源之間的關聯關系，而關系數據庫則用于存儲和查詢結構化的屬性信息。

3.1" 數據融合策略

在系統中，將文化資源的基本信息和元數據存儲在關系數據庫中，例如文物名稱、年代、材質等；而文化資源之間的關聯關系存儲在圖數據庫中，如發現于同一遺址的文物、同一時期的文物等。這種分層存儲的策略旨在充分利用圖數據庫的圖結構特點，同時確保關系數據庫用于存儲大量結構化數據的優勢得到充分發揮。

3.2" 數據融合實現

在實際的數據融合過程中，首先鏈接圖數據庫Neo4j，確保系統能夠與其進行有效的交互；同時鏈接關系數據庫MySQL，以便獲取文化資源的基本信息。隨后執行一個關系數據庫查詢，選擇了屬于河姆渡文化的文物，并獲得這些文物的基本信息，如名稱、描述和所屬時代。

通過遍歷關系數據庫查詢的結果集，將每個文物的基本信息插入到圖數據庫中。具體而言，使用Cypher查詢語言在圖數據庫中創建一個節點，該節點包含文物的名稱、描述和所屬時代等屬性。這樣就實現了從關系數據庫中提取基本信息，并將其融合到圖數據庫中的過程。

3.3" 用戶界面設計及多模態知識圖譜可視化

用戶界面模塊是系統的入口，提供用戶友好的交互界面，以便用戶能夠方便地瀏覽、查詢和管理河姆渡文化資源。用戶界面展示如圖5所示。知識圖譜可視化模塊是系統的關鍵組成部分，旨在以直觀的方式呈現多模態知識圖譜的結構和關聯關系。知識圖譜展示如圖6所示。

4" 結" 語

多模態知識圖譜的構建和河姆渡文化資源庫管理系統的實現不僅僅是技術上的突破，更是對文化遺產的珍視和傳承的表達。通過知識圖譜節點和考古報告的圖像鏈接技術，實現了多模態知識圖譜的構建。河姆渡文化代表了中國古代的聚落社會，是極其重要的歷史文化遺產，構建這一系統的目的就是能夠更好地保護和傳承這一寶貴的文化。同時，本文也鼓勵將這一技術推廣到其他文化遺產的管理和研究中，以實現跨文化、跨地域的知識共享，促進人類文明的交流和進步。

注：本文通訊作者為于欣。

參考文獻

[1] 李嬌儼，陳醉.河姆渡河姆渡，滄海桑田猶可見[N].浙江日報，2023?01?04（001）.

[2] 陳沛佳，湯明霞，厲飛芹.鄉村振興背景下文化遺址的保護與開發研究：以河姆渡遺址為例[J].農村經濟與科技，2022，33（4）：173?175.

[3] 黃恒琪，于娟，廖曉，等.知識圖譜研究綜述[J].計算機系統應用，2019，28（6）：1?12.

[4] CARRIERO V A， GANGEMI A， MANCINELLI M L， et al. Pattern?based design applied to cultural heritage knowledge graphs [J]. IOS press， 2021（2）： 313?357.

[5] 李琳.基于知識圖譜的文物數字化系統構建研究[D].北京：北京交通大學，2022.

[6] 林煬平.文物知識圖譜構建與檢索關鍵技術研究與實現[D].杭州：浙江大學，2017.

[7] 張娜.文物知識圖譜構建關鍵技術研究與應用[D].杭州：浙江大學，2019.

[8] 陳燁，周剛，盧記倉.多模態知識圖譜構建與應用研究綜述[J].計算機應用研究，2021，38（12）：3535?3543.

[9]" CROFTS N， DOERR M， GILL T， et al. Definition of the CIDOC conceptual reference model [EB/OL]. [2023?01?24]. https：//www.mendeley.com/catalogue/871864a9?b5f3?3c39?b734?8b38d4081bb5/.

[10] 席寧麗，朱麗佳，王錄通，等.一種Word2vec構建詞向量模型的實現方法[J].電腦與信息技術，2023，31（1）：43?46.

[11] 嚴李強，田博，梁煒恒，等.藏文文本相似度計算方法研究[J].高原科學研究，2021，5（3）：70?77.

[12] 楊振，萬為清.圖數據庫的研究和應用[J].電腦編程技巧與維護，2020（12）：91?93.

[13] 鄂海紅，韓鵬昊，宋美娜.關系型數據庫向圖數據庫的轉換方法[J].計算機科學，2021，48（10）：140?144.

[14] 胡志強，潘鑫瑜，文思捷，等.結合多模態知識圖譜與大語言模型的風機裝配工藝問答系統[J].機械設計，2023，40（z2）：20?26.