基于Neo4j的寧夏“六特”農產品知識搜索系統設計與實現

摘" 要：枸杞、灘羊、肉牛、葡萄酒、牛奶和冷涼蔬菜作為寧夏回族自治區的“六特”農產品，為管理和精確查詢這些農產品，該系統將知識圖譜技術引入寧夏“六特”農產品領域。以農業學科知識為基礎，建立寧夏“六特”農產品領域知識圖譜，并使用圖數據庫Neo4j改進知識圖譜的存儲模式。同時，提出準確、快捷的智能查詢方法，為寧夏的“六特”農產品領域知識圖譜的構建和智能化應用做出有益的探索。

關鍵詞：寧夏“六特”農產品；農業學科知識；知識圖譜；圖數據庫；Neo4j數據庫

中圖分類號：S37" " " 文獻標志碼：A" " " " " 文章編號：2096-9902（2023）16-0020-04

Abstract： Lycium barbarum（aka. Chinese wolfberry）， Tan sheep， beef cattle， wine， milk and cold vegetables are \"six-specialties\"of produce in Ningxia Hui Autonomous Region. In order to manage and accurately query these agricultural products， this paper introduces knowledge graph technology into the field of Ningxia \"six-specialties\" of produce. Based on the knowledge of agricultural disciplines， a knowledge graph of Ningxia \"six-specialties\" of produce was established， and the storage mode of the knowledge graph was improved using the graph database Neo4j. At the same time， an accurate and fast intelligent query method is proposed， which makes a useful exploration for the construction and intelligent application of the knowledge graph in the field of \"six-specialties\" of produce in Ningxia.

Keywords： Ningxia \"six-specialties\" of produce; agricultural subject knowledge; knowledge graph; graph database; Neo4j database

在數字化時代，現代農業正在向智能農業轉型，而農業大數據是在此基礎上融合大數據技術而產生的。未來我國農業發展的關鍵是積累海量的知識信息，這些信息將以不同的形式表示，包括結構化、半結構化或非結構化數據。然而在寧夏“六特”農產品領域，這些資源信息雜亂無章、分布渙散，難以有效地整合和利用，嚴重阻礙了該領域向智能化發展建設的效率和進度。因此，需要采取有效的措施來整理這些信息，以便更好地利用，為寧夏“六特”農業農產品智能化發展提供支持。

1" 寧夏“六特”農產品數據獲取與處理

1.1" 寧夏“六特”農產品數據獲取

為了提高寧夏“六特”農產品知識圖譜的構建效率，需要了解寧夏農產品數據的來源。采用了多種方法獲取和處理寧夏“六特”農產品數據，包括整理現有的數據和使用基于Python的Scrapy分布式爬蟲框架從百度百科、寧夏農業信息網等網站爬取農產品相關數據。這些數據根據不同的結構可以分為結構化、半結構化和非結構化數據。通過這些數據源和數據分類，可以收集并分析大量的有關寧夏“六特”農產品的信息。

1.2" 寧夏“六特”農產品數據的預處理

1.2.1" 結構化數據的預處理

在構建寧夏“六特”農產品知識圖譜的過程中，結構化數據是至關重要的。然而，這些數據可能存在缺失、重復、噪聲和異常等問題，因此需要進行預處理以提高質量。具體來說，可以使用Pandas和Numpy等工具和函數對數據進行清洗、去重和填充等技術處理，以消除缺失、重復、噪聲和無用數據等干擾因素，保留有用數據并提高數據的準確性和可用性。在處理過程中，還可以使用浮點值NaN來進行標記，以便在后續的處理過程中能夠方便地進行檢測和處理。通過預處理，可以得到一份高質量的寧夏農產品數據結果，為后續的知識圖譜構建和數據分析提供了可靠的基礎。

1.2.2" 半結構化和非結構化數據的預處理

在處理半結構化和非結構化數據的實體關系抽取時，Jieba分詞是最為普遍使用的文本預處理工具之一，其非常適合于中文文本的分詞。為此，采用了Jieba工具進行分詞處理，該工具采用詞典匹配和統計機器學習相結合的算法。該算法具有語義消歧能力，并且可以通過添加自定義詞典等外部資源，確保原始知識之間的語義相關性。接下來，需要進行進一步的處理，這些處理步驟將使用Jieba自然語言處理工具標注[1]。

2" 寧夏“六特”農產品知識圖譜構建與存儲

在本系統中，融合了自頂向下和自底向上的混合方法，深入研究了寧夏“六特”農產品領域的知識圖譜構建技術和方法。通過知識抽取和知識表示技術，快速構建了適用于該領域的知識圖譜。該方法主要包括3個階段：數據采集與處理、模式層構建和數據層構建。最終，成功地實現了寧夏“六特”農產品知識圖譜的構建[1]。

2.1" 模式層構建

在構建寧夏“六特”農產品知識圖譜的過程中，模式層構建是至關重要的一環，也被稱為本體構建。采用自頂向下的方法，結合生產過程自上而下的結構體系，進行本體構建的工作。具體而言，制定了一系列的本體設計規范，并采用概念歸納和實體抽象的方式，將相關的概念和實體進行分類和歸納，以構建出符合該領域特點的本體模型。

2.1.1" 定義類

通過對寧夏“六特”農產品領域的相關信息進行分析和研究，可以確定知識庫的范圍、類別。為了獲得高相關度和精確完善的知識，需要對重要的概念和術語進行明確，并進行歸納整理。同時，需要過濾和清除相關度差和重復的知識，并對歧義和混淆的概念進行修正，從而形成一個高相關度、精確完善的核心概念集，主要歸類為6個類別：枸杞及相關類、灘羊及相關類、肉牛及相關類、葡萄酒及相關類、牛奶及相關類和冷涼蔬菜及相關類。這些類別是按照生物學的分類法，包括域、界、綱、門、科、屬和種等不同級別的分類。同時，這些類別也涵蓋了相關的農產品。

2.1.2" 定義對象屬性和數據屬性

為完整描述寧夏的“六特”農產品領域知識，需要確定概念類別并定義相關的實體類型和屬性，以構建領域知識圖譜。實體的屬性包括名稱、別名、詳細內容、可擴展性和類型等。為了方便知識圖譜系統的可視化展示，需要將實體和關系以力導向圖的形式進行呈現，并設置節點半徑和類別顏色兩個屬性，以讓用戶更直觀地了解各實體的類別、數量以及其相關信息[2]。

2.1.3" 定義關系

在寧夏“六特”農產品領域知識圖譜中，建立實體與實體之間的關系是必不可少的。這不僅可以豐富知識庫，提高查詢性能和可視化效果，而且可以更好地理解該領域知識之間的關系。因此，寧夏“六特”農產品領域知識圖譜中定義了6種關系類型，包括繼承、互斥、組成、種屬、并列和交叉。在寧夏“六特”農產品知識庫中，繼承關系類型可以幫助用戶快速檢索不同農產品實體的子類、父類及分類等級。此外，為了更好地滿足寧夏“六特”農產品領域知識的需求，將進一步完善寧夏“六特”農產品知識圖譜模型中的知識庫知識關系。

2.2" 數據層構建

構建知識圖譜需要基礎數據層的支持，其中包括實體抽取、關系抽取和屬性抽取等多個方面。在構建寧夏“六特”農產品知識庫的過程中，命名實體識別和抽取是最為關鍵的步驟。相較于英文，中文實體識別方法的最大區別在于詞語邊界的模糊性。因此，在進行詞性標注之前，需要對原始語料文本進行切割處理，將每個字詞之間切割成無標注文本 （詳細過程已在第一章中介紹）。

基于KNN算法實現寧夏“六特”農產品領域知識抽取，具體實現步驟如圖1所示[3]。

KNN算法是一種經典的機器學習算法，在實體識別任務中具有一定的優勢。一種基于KNN算法的實體識別方法是將傳統的NER模型和KNN模型進行集成，通過將常規模型的預測分布與由KNN檢索獲得的分布進行融合，以提高識別的準確性。相比于其他集成算法，基于KNN的實體識別方法實現簡便，并且能夠準確進行檢索，提高識別效果。這種方法可以被視為一種檢索式的數據增強方法[4]。

為預測頁面的相似度可使用KNN算法，將頁面與訓練集中所有頁面進行比較。此時預測復雜度為O（n），n為訓練集規模。在比較過程中，可以計算各種相似度的IDF值、平均值、方差和標準偏差，然后對4個相似度進行標準化操作：（x-平均值）/方差。

具體操作如下：首先定義2個頁面的相似度sim（p1，p2），利用FastText計算title中詞向量的余弦相似度，以避免出現詞匯缺失問題；2組OpenTypeList之間的詞向量的余弦相似度的平均值；對于具有相同baseInfoKey的頁面，將其IDF值相加以計算相似度；對具有相同baseInfoKey的頁面，統計其具有相同baseInfoValue的數量。

最終，為計算2個頁面的相似度，將上述4個相似度進行加權求和。向量weight控制權值，通過折疊交叉驗證與網格搜索來優化權值。

2.3" 基于Neo4j的寧夏“六特”農產品領域知識圖譜存儲

為了高效地存儲和查詢復雜的低結構化和高連接關系的知識數據，需要根據應用場景和數據特性來確定合適的數據表示方法和存儲方式。針對寧夏“六特”農產品知識搜索系統，選擇圖數據庫 Neo4j 作為知識圖譜存儲和查詢的基礎至關重要，因為其具有高效的數據存儲和查詢方式，可以簡化開發和維護，并提高系統的性能。寧夏“六特”農產品知識圖譜數據模型如圖2所示。

Cypher 是一種專為與 Neo4j 圖數據庫配合使用而設計的聲明式查詢語言。其簡單易學，功能強大，可以通過模式匹配圖數據庫中的節點和關系實現數據的“增刪改查”操作。Cypher在寧夏“六特”農產品知識搜索系統中被廣泛應用于數據存儲、查詢。本節將詳細介紹Cypher語言在寧夏“六特”農產品知識搜索系統中的應用，包括數據存儲、查詢的操作內容和實現方法[5]。

2.3.1" 創建寧夏“六特”農產品實體節點

節點構建模型是指Neo4j中節點的創建方式。其模型結構為（ID：lable1：lable2{key1：value1， key2：value2}）。其中，ID為節點變量名，用于給創建的節點定義一個別名；lable為節點的標簽，相當于關系型數據庫中表的名稱，用于標識節點類型；key/value則為節點的屬性，相當于關系型數據庫中表的列，用于描述節點的特征信息。

創建寧夏枸杞實體的Cypher語句如下： CREATE（n：Chinese wolfberry and related：Chinese wolfberry）{Name：'寧夏枸杞'，Alias：'枸杞果、白疙針、旁米布如'，Type：'寧夏“六特”農產品'，Details：'枸杞...'，Extend：'可擴展性'，Radius：'23'，Color：'#40cc40'}RETURN n。

2.3.2" 查詢寧夏“六特”農產品實體節點

Cypher查詢語言是Neo4j圖數據庫的查詢語言，其主要用于查詢和分析圖數據庫中的數據。Cypher 語言是一種基于圖模式匹配的查詢語言，使用 MATCH 關鍵字來匹配圖模式，從而查詢數據庫中已存在的實體節點和其之間的關系。WHERE關鍵字可以用于篩選查詢結果，通過為MATCH添加謂詞可以對集合進行過濾和約束。查詢命名為寧夏肉牛實體的Cypher語句如下：MATCH （n） WHERE n.Name = '寧夏肉牛'。

3" 寧夏“六特”農產品知識搜索系統設計與實現

本論文第一章詳細介紹了寧夏“六特”農產品數據的獲取和處理，第二章在其基礎上研究了使用Neo4j構建寧夏“六特”農產品領域知識圖譜的技術與過程。本章將前2章的研究綜合起來，介紹如何搭建寧夏“六特”農產品知識搜索系統。

3.1" 需求分析

本文介紹的寧夏“六特”農產品知識搜索系統旨在為構建寧夏“六特”農產品知識體系提供支持。該系統主要包含了實體識別、知識查詢、農業知識概覽功能。在系統設計過程中，充分考慮了以下需求分析。

1）系統應具備實體識別功能，能夠精準地識別寧夏“六特”農產品實體。

2）系統應支持多種查詢方式，包括實體查詢、關系查詢等，以提供更加靈活、全面的信息檢索。

3）系統應具備農業知識概覽功能，能夠直觀地呈現農業知識，協助用戶了解和掌握寧夏“六特”農產品領域的相關知識。

4）開發交互頁面，采用前端技術Html、CSS和JQuery等，將查詢結果以知識圖譜的形式直觀地呈現給用戶，提高用戶查詢效率和便捷性。

3.2" 系統架構

本節所述為寧夏“六特”農產品知識搜索系統的架構。該系統由3個模塊組成，分別是數據層、業務層和用戶交互層。數據層是整個系統的基礎，也是關鍵之一，負責管理寧夏“六特”農產品知識圖譜數據的持久化，同時提供對數據進行操作的接口，為后續服務提供所需數據。業務層則是整個平臺的核心[6]，負責實現知識查詢、知識問答、知識可視化等一系列功能。用戶交互層則負責用戶與系統之間的交互，包括用戶輸入、界面展示等。該層為用戶提供了方便的操作界面，使用戶可以方便地了解和掌握寧夏“六特”農產品的知識。寧夏“六特”農產品知識搜索系統框架如圖3所示。

3.3" 功能模塊

這一部分的主要內容是介紹寧夏“六特”農產品知識搜索系統的功能設計和實現。該系統建立在寧夏“六特”農產品知識圖譜的基礎上，具備實體識別、知識查詢等多個功能，能夠幫助用戶快速準確地獲取相關知識[7]。

3.3.1" 實體識別

該部分描述了寧夏“六特”農產品知識搜索系統的實體識別功能。系統可以根據用戶輸入的文本進行實體及屬性的抽取，并在啟動時加載與指稱識別有關的模型文件。當用戶發送POST請求給后臺時，后臺會使用指稱識別模型對相關內容進行識別，獲取實體信息，并將結果通過瀏覽器返回給用戶。

在寧夏“六特”農產品知識搜索系統中，用戶可以在文本框中輸入待識別的文本，前端將其以POST請求的方式發送給后端。后端使用實體識別模型文本進行識別，并通過Django框架將識別結果返回給前端。對于識別到的實體，系統會進行字體加粗等方式的特殊標注，以便于用戶辨認和理解文本內容。

3.3.2" 知識查詢

知識查詢提供了2種查詢方式：實體查詢和關系查詢。用戶需要在文本框中輸入想要查詢的內容，之后系統會通過發送HTTP請求將輸入內容傳輸到Django后端。Django框架將請求封裝為Request對象，根據urls.py中的匹配規則找到對應的View視圖。View視圖利用Models操作圖數據庫獲取查詢結果，并將其封裝為JSON格式，最后通過Context傳遞給Template模板進行Html頁面生成。最終將響應結果返回給用戶瀏覽器，以供查看。

4" 結束語

本系統的研究工作主要實現了寧夏“六特”農產品數據獲取與處理、構建領域知識圖譜并基于Neo4j進行存儲，以及開發寧夏“六特”農產品知識搜索系統。然而，在實際應用中，仍然存在一些問題需要進一步探究和解決，還有許多工作需要完成。目前構建的知識圖譜仍需進一步完善，其中數據量也需要擴充。實體識別的類型比較有限，需要進一步擴展。因此，需要進一步研究和開發，以提高應用效果和用戶體驗。

參考文獻：

[1] 王丹丹.寧夏水稻知識圖譜構建方法研究與應用[D].銀川：北方民族大學，2020.

[2] 葉帥.基于Neo4j的煤礦領域知識圖譜構建及查詢方法研究[D].徐州：中國礦業大學，2019.

[3] JI G， HE S， XU L， et al. Knowledge graph embedding via dynamic mapping matrix[C].2015.

[4] WANG S， LI X， MENG Y， et al. kNN-NER： Named entity recognition with nearest neighbor search[J].arXiv e-prints， 2022（1）：2-5.

[5] 李城名.基于信息抽取的中草藥知識圖譜構建研究[D].杭州：浙江科技學院，2022.

[6] 劉學東，高鳳，許小虎，等.基于知識圖譜技術的住建領域AI知識平臺構建[J].中國建設信息化，2022（3）：36-39.

[7] 劉晉澤，王伊，馬靖侖，等.基于知識圖譜的MOOC平臺資源檢索引擎[J].現代職業教育，2021（24）：60-63.