基于知識圖譜的科技成果智能查詢系統(tǒng)

徐 欣，杜軍平，薛 哲

北京郵電大學 智能通信軟件與多媒體北京市重點實驗室 計算機學院，北京 100876

隨著科學技術(shù)的高速發(fā)展，科研成果數(shù)量呈現(xiàn)爆炸式的增長。據(jù)相關(guān)統(tǒng)計，國內(nèi)外論文總數(shù)已超過3億篇，每天還有近萬篇新的學術(shù)論文被公開發(fā)表。各學術(shù)機構(gòu)和相關(guān)數(shù)據(jù)服務公司向科研人員開放了海量的科技成果數(shù)據(jù)，給科技創(chuàng)新活動提供了豐富的數(shù)據(jù)資源，然而這些數(shù)據(jù)具有非結(jié)構(gòu)化和半結(jié)構(gòu)化特性，存儲方式不統(tǒng)一，數(shù)據(jù)結(jié)構(gòu)各異，造成了科研成果語義信息抽取困難、關(guān)聯(lián)關(guān)系難以挖掘、相關(guān)信息無法擴充等困難，為科技成果的智能分析和查詢帶來了全新的挑戰(zhàn)。如何對海量、多源異構(gòu)、多領域的科技成果數(shù)據(jù)構(gòu)建精確的科技成果知識圖譜，并向科研人員提供科技成果的智能查詢服務具有非常重要的研究意義。

從復雜的科技大數(shù)據(jù)中綜合利用科技成果的多種屬性，對科技成果的主體進行高度抽象和概括，構(gòu)建科技成果知識圖譜，可以使科技成果的數(shù)據(jù)管理和查詢檢索變得更加便捷和直觀，方便科研人員對于科技成果的主題、內(nèi)容等核心內(nèi)容進行高效、快捷的信息獲取，并通過精準的科技成果信息關(guān)聯(lián)發(fā)現(xiàn)，提高系統(tǒng)性獲取科研信息的效率。

本文從各大學術(shù)網(wǎng)站爬取科技文獻數(shù)據(jù)、專利數(shù)據(jù)、科技項目數(shù)據(jù)、科研學者數(shù)據(jù)等科技數(shù)據(jù)，基于語義分析、信息檢索、知識抽取等技術(shù)，實現(xiàn)了基于知識圖譜的科技成果查詢系統(tǒng)。系統(tǒng)包括數(shù)據(jù)獲取和預處理層、數(shù)據(jù)存儲層、應用層。數(shù)據(jù)獲取和預處理層能夠?qū)Ａ靠萍汲晒麛?shù)據(jù)進行自動采集和特征預處理。數(shù)據(jù)存儲層可以有效提取科技實體和關(guān)系，并將其存儲到圖數(shù)據(jù)庫中。應用層能夠提供科技成果查詢和應用領域查詢等服務。相關(guān)實驗結(jié)果表明，系統(tǒng)能夠幫助科研人員高效準確地獲取所需要的科技成果信息。本文的主要貢獻包括：

（1）從互聯(lián)網(wǎng)中獲取科技成果數(shù)據(jù)，包括科技論文120萬篇，專利60萬篇，科研學者信息30萬條，識別并抽取了科研學者、科技文獻、專利、科技報告等科技實體，通過抽取文獻引用、論文合作、技術(shù)引用等關(guān)聯(lián)關(guān)系，構(gòu)建了科技成果知識圖譜。

（2）構(gòu)建了科技應用領域查詢樹，通過對輸入關(guān)鍵詞的語義分析，結(jié)合科技成果的主題內(nèi)容，實現(xiàn)了對科技成果應用領域的多層次精準查詢。

（3）實現(xiàn)了科技成果智能查詢服務，通過對用戶的查詢詞進行語義分析和意圖理解，結(jié)合科技知識圖譜，從科技成果實體庫中進行科技成果的高效精準檢索和相關(guān)科技成果的關(guān)聯(lián)發(fā)現(xiàn)。

1 知識圖譜與信息檢索

1.1 知識圖譜

1.1.1 知識圖譜定義

知識圖譜這一概念自2012年由Google公司提出以來[1]，在各類搜索引擎、知識問答平臺上得到了廣泛的應用。知識圖譜的本質(zhì)是以圖結(jié)構(gòu)為基礎的數(shù)據(jù)結(jié)構(gòu)，圖上的點表示現(xiàn)實世界中存在的實體或概念，圖上的邊表示實體與實體之間的關(guān)聯(lián)關(guān)系[2]。由于現(xiàn)實世界的各種實體與實體之間的關(guān)系已經(jīng)抽象成“圖”這種數(shù)據(jù)結(jié)構(gòu)，在搜索過程中，基于用戶輸入的關(guān)鍵詞的解析，可以得到使用結(jié)構(gòu)化的主題關(guān)聯(lián)信息和“遠距離”的知識發(fā)現(xiàn)[3]，從而實現(xiàn)知識的可計算性和搜索結(jié)果的智能性。

1.1.2 科技實體識別

科技實體識別是科技成果知識圖譜構(gòu)建的第一步，需要從多源異構(gòu)的科技數(shù)據(jù)中抽象和識別出科技實體，確定實體類別、實體基本屬性、屬性值類型，從而得到結(jié)構(gòu)化、規(guī)范化的科技實體數(shù)據(jù)。命名實體識別（named entity recognition）技術(shù)[4]是一項從文本數(shù)據(jù)中識別關(guān)鍵、有用信息的技術(shù)，滿足了需要從文本數(shù)據(jù)中提取關(guān)鍵的科技實體的需求。基于語義的、無需人工參與訓練的命名特征學習和識別能更好地發(fā)掘科技文獻、專利、報告等科技成果中的科技實體的構(gòu)成規(guī)律，實現(xiàn)更加精準的科技實體識別。

1.1.3 科技實體關(guān)系抽取

構(gòu)建科技知識圖譜的另一關(guān)鍵要素是抽取科技實體之間的關(guān)聯(lián)關(guān)系，將兩個實體及其關(guān)系表示成＜實體1，關(guān)系，實體2＞這樣的三元組形式[5]，通常在科技實體識別之后完成。關(guān)系抽取技術(shù)是實現(xiàn)科技實體關(guān)聯(lián)關(guān)系發(fā)現(xiàn)的主要技術(shù)，在結(jié)構(gòu)化和半結(jié)構(gòu)化的科技成果數(shù)據(jù)中，通常使用基于規(guī)則匹配的方法自動生產(chǎn)，例如在抽取作者實體和論文實體的過程中，自動化地得到一條“撰寫”關(guān)系；在結(jié)構(gòu)化的科技成果數(shù)據(jù)中，由于缺少固定的數(shù)據(jù)結(jié)構(gòu)，通常需要使用關(guān)系預測和分類技術(shù)得到實體之間的關(guān)聯(lián)關(guān)系。科技實體之間的關(guān)系存在著多種結(jié)構(gòu)，包括樹形結(jié)構(gòu)、網(wǎng)絡結(jié)構(gòu)，關(guān)系的類型包括同一性關(guān)聯(lián)、隸屬性關(guān)聯(lián)、相關(guān)性關(guān)聯(lián)等，這為科技實體關(guān)系抽取帶來了一定的挑戰(zhàn)。

1.2 科技信息檢索

科技信息檢索技術(shù)基于用戶對信息的需求，通過相應的技術(shù)和方法，整理、組織和篩選出有關(guān)的數(shù)據(jù)和信息，并呈現(xiàn)給用戶[6]。根據(jù)用戶輸入的關(guān)鍵詞，搜索引擎通過字符匹配的方法來檢索內(nèi)容，但由于用戶搜索意圖不明確，以及語言中廣泛存在的同義性、多義性和歧義性，傳統(tǒng)的檢索技術(shù)可能會返回不匹配搜索內(nèi)容的情況。因此，現(xiàn)代搜索引擎通常會輔助使用深度語義搜索技術(shù)[7]，返回給用戶更準確的檢索結(jié)果。深度語義搜索模型能夠自動地提取數(shù)據(jù)中的特征，使用抽象的、層次化的特征來進行數(shù)據(jù)分類，實現(xiàn)對科技實體的智能化語義搜索。根據(jù)各類科技實體自身的特征和相應的主題標注，檢索結(jié)果還可以根據(jù)文獻發(fā)表時間、期刊影響因子、文獻被引次數(shù)等因素，進行智能化排序[8]。

2 基于知識圖譜的科技成果智能查詢

2.1 系統(tǒng)結(jié)構(gòu)

科技成果智能查詢系統(tǒng)的整體結(jié)構(gòu)由數(shù)據(jù)獲取和預處理層、數(shù)據(jù)存儲層、應用層構(gòu)成，如圖1所示。系統(tǒng)各層的具體功能包括：數(shù)據(jù)獲取和預處理層首先利用網(wǎng)絡爬蟲技術(shù)，從各大學術(shù)服務網(wǎng)站、科技數(shù)據(jù)類網(wǎng)站、百科類網(wǎng)站中爬取科研學者數(shù)據(jù)、科技文獻數(shù)據(jù)、專利數(shù)據(jù)、基金項目數(shù)據(jù)，將獲取到的所有數(shù)據(jù)清洗、處理、規(guī)范化，進行科技實體識別、關(guān)聯(lián)關(guān)系抽取，為構(gòu)建知識圖譜做好數(shù)據(jù)準備。數(shù)據(jù)存儲層使用固定的格式將獲取到的所有數(shù)據(jù)進行固化存儲，將獲取到的科技實體和關(guān)系導入圖數(shù)據(jù)庫中，完成科技成果知識圖譜的存儲和可視化。應用層基于ElasticSearch索引優(yōu)化技術(shù)，通過構(gòu)建科技成果領域樹，向用戶提供科技成果應用領域查詢、科技成果智能查詢和關(guān)聯(lián)發(fā)現(xiàn)服務。

2.2 主要功能

2.2.1 數(shù)據(jù)獲取和處理

（1）科技成果數(shù)據(jù)的獲取

為了高效地獲取科技成果數(shù)據(jù)，本文采用網(wǎng)絡爬蟲技術(shù)從互聯(lián)網(wǎng)中進行數(shù)據(jù)抓取，過濾其中無關(guān)信息，將數(shù)據(jù)進行初步的預處理后，以恰當?shù)男问酱鎯Φ綌?shù)據(jù)庫中。科技成果數(shù)據(jù)獲取流程如圖2所示。

科技成果數(shù)據(jù)獲取方法由科技數(shù)據(jù)獲取和科技數(shù)據(jù)預處理兩部分組成。科技數(shù)據(jù)獲取使用scrapy框架進行數(shù)據(jù)抓取，配置代理池，分多線程抓取頁面，使用布隆過濾器判斷頁面是否進行訪問，用正則匹配出抓取的下一個站點。獲取科技資源原始數(shù)據(jù)后，通過構(gòu)建信任網(wǎng)絡對科技資源大數(shù)據(jù)進行評估，去除無關(guān)和虛假的內(nèi)容，將有效的內(nèi)容進行進一步的處理。對于提取到的文本數(shù)據(jù)，去除內(nèi)容過短的數(shù)據(jù)。對有效數(shù)據(jù)進行去停用詞和標點等操作。這部分數(shù)據(jù)進行分詞，對單詞進行ID化，構(gòu)造字典，得到一系列由ID符號構(gòu)成的文檔。

（2）科技成果數(shù)據(jù)語義相似度計算

余弦距離利用向量空間中兩個向量夾角余弦值的大小來衡量兩個向量之間的相似性，其計算如式（1）所示：

其中，X和Y表示對象的兩個向量，即X=(x1,x2,…,xn)，Y=(y1,y2,…,yn)。

選用向量余弦距離作為計算文本語義相似度的方法。科技成果特征包括研究主題、關(guān)鍵詞、所屬領域、成果類型等特征信息。本文中關(guān)鍵詞特征向量與科技成果特征向量語義相似度計算公式如式（2）所示：

其中，K表示查詢關(guān)鍵詞特征向量，E表示科技成果特征向量，sim(K,E)表示關(guān)鍵詞向量特征與科技成果的整體相似度，sim(K,I)表示關(guān)鍵詞向量特征與科技成果研究主題向量特征的相似度，sim(K,Pr)表示關(guān)鍵詞向量特征與科技成果關(guān)鍵詞向量特征的相似度，sim(K,P)表示關(guān)鍵詞向量特征與科技成果所屬領域向量特征的相似度，sim(K,Pa)表示關(guān)鍵詞向量特征與成果類型向量特征的相似度，α、β、γ、δ分別表示這些相似度所占權(quán)重，通過帶有標簽的科技成果數(shù)據(jù)使用基于卷積神經(jīng)網(wǎng)絡的學習模型得到具體值。

2.2.2 數(shù)據(jù)存儲

數(shù)據(jù)存儲模塊基于Neo4j構(gòu)建，節(jié)點之間通過有方向的關(guān)系進行連接，節(jié)點可以有一個或多個屬性、標簽，通過對屬性和標簽的快速索引，實現(xiàn)節(jié)點的快速查找。通過對節(jié)點關(guān)聯(lián)關(guān)系的查找，實現(xiàn)節(jié)點的遠距離關(guān)系發(fā)現(xiàn)，提升了科技成果的關(guān)聯(lián)關(guān)系發(fā)現(xiàn)的效率。圖3是本文實現(xiàn)的科技成果知識圖譜，對科技實體和科技實體間關(guān)系進行了存儲。

2.2.3 應用模塊

（1）智能查詢模塊

給定一個查詢和一組候選文檔，檢索排序算法的目標是找到一個排名函數(shù)，基于該函數(shù)的得分，通過查找知識圖譜中的語義關(guān)聯(lián)關(guān)系，返回相關(guān)性更好的候選文檔。本文利用基于Lucene實現(xiàn)的高效搜索引擎技術(shù)，進行快速分詞，建立高效的文檔索引，實現(xiàn)粗粒度的檢索，通過基于倒排索引的全文檢索，形成科技成果檢索結(jié)果的初步候選集。根據(jù)知識圖譜中存儲的科技成果的各種屬性值和標簽信息，結(jié)合學者用戶的查詢意圖，對檢索結(jié)果進行進一步過濾和排序。科技成果智能檢索算法準確率通過標準化折扣累積增益（normalized discounted cumulative gain，NDCG）[9]、查詢準確率（precision）以及平均精度值（mean average precision，MAP）[10]進行評價。檢索返回的結(jié)果是排序的，序列中所處位置代表了重要的信息。平均精度值MAP由相關(guān)結(jié)果的排名位置所決定，反映了檢索算法在系統(tǒng)中的性能。在兩個不同的科技論文數(shù)據(jù)集上，實驗了多種文本檢索算法。表1列出了兩個科技論文數(shù)據(jù)集的統(tǒng)計信息。

表1 科技論文統(tǒng)計Table 1 Statistics of scientific papers

實驗采用的文本檢索算法包括K-NRM[11]、CONVKNRM[12]、ARC-I[13]、ARC-II[13]、MV-LSTM[14]、Match-Pyramid[15]。表2、表3分別列出了不同的文本檢索算法在兩個科技論文數(shù)據(jù)集上的性能。從表2和表3中可以看到，CONV-KNRM方法在兩個不同的數(shù)據(jù)集上都取得了較好的性能，因此，智能查詢模塊基于CONVKNRM模型實現(xiàn)科技成果的智能排序。圖4所示為科技文本檢索排序的模型。

表2 不同算法在論文數(shù)據(jù)集1上的性能比較Table 2 Comparison of performance of different algorithms on dataset 1

表3 不同算法在論文數(shù)據(jù)集2上的性能比較Table 3 Comparison of performance of different algorithms on dataset 2

（2）關(guān)聯(lián)發(fā)現(xiàn)模塊

針對科研學者和科技成果兩種數(shù)據(jù)提取學者特征、科技成果特征，以科技成果知識圖譜為基礎，進行科技信息的關(guān)聯(lián)發(fā)現(xiàn)，實現(xiàn)科研學者與科研成果的自動匹配。圖5所示為科技成果關(guān)聯(lián)發(fā)現(xiàn)流程。學者特征分為基于已有的結(jié)構(gòu)化數(shù)據(jù)包含的特征，以及通過系統(tǒng)用戶交互行為積累的擴展興趣特征。學者基礎特征可從任職單位、個人簡介、工作經(jīng)歷、發(fā)表論文等科研成果等信息中獲取，學者的擴展特征通過用戶在系統(tǒng)中的瀏覽內(nèi)容、相關(guān)內(nèi)容瀏覽點擊量、瀏覽時長等行為信息中獲取。通過積累系統(tǒng)中用戶交互行為信息，得到更為精準的學者擴展特征，結(jié)合學者研究興趣得到全面精準的學者特征。科研成果特征分為結(jié)構(gòu)化的所屬領域、時間、地點、資金等基本特征，通過文本主題挖掘獲取科研成果的重點隱含特征。特征提取完成之后，針對特征輸入的深度匹配模型進行相似度計算，根據(jù)相關(guān)度打分情況完成對科研成果的關(guān)聯(lián)發(fā)現(xiàn)。

3 系統(tǒng)實現(xiàn)

3.1 數(shù)據(jù)源

本系統(tǒng)使用Neo4j作為圖數(shù)據(jù)庫，實驗數(shù)據(jù)是對科技數(shù)據(jù)進行爬取得到的，數(shù)據(jù)集如表4所示。

表4 實驗數(shù)據(jù)Table 4 Experiment data

3.2 系統(tǒng)構(gòu)建

從中國知網(wǎng)、各科研院校網(wǎng)站、國家自然科學基金委員會等網(wǎng)站爬取科技成果數(shù)據(jù)、科研學者數(shù)據(jù)、科技項目數(shù)據(jù)，抽取和識別科技實體和關(guān)聯(lián)關(guān)系，構(gòu)建三元組，導入數(shù)據(jù)庫建立科技成果知識圖譜，從而完成知識圖譜的構(gòu)建。使用SpringBoot作為開發(fā)框架，多線程同步完成開發(fā)。

基于科技成果數(shù)據(jù)，構(gòu)建科技成果知識圖譜，以科技成果知識圖譜為核心搜索引擎，快速響應用戶的查詢需求，實現(xiàn)對科技文獻、專利、基金等科技實體的智能查詢。基于科技知識圖譜和語義相似度計算，實現(xiàn)用戶輸入關(guān)鍵詞與科技實體的精確匹配以及對多領域科技成果的智能關(guān)聯(lián)發(fā)現(xiàn)，為科技學者、科研院校、科技企業(yè)等關(guān)注科技領域發(fā)展的用戶提供智能的科技成果檢索服務。

3.2.1 科技成果應用領域查詢

科技成果應用領域查詢?yōu)榭珙I域科研人員提供研究問題的背景材料，讓科研人員了解現(xiàn)有的理論/方法/技術(shù)可以應用到哪些領域，以及該領域的研究成果和發(fā)展趨勢，打通理論研究與應用之間的壁壘，解決理論研究與應用斷鏈的問題。圖6所示為科技成果應用領域查詢界面，圖7所示為科技成果應用領域示例。

3.2.2 科技成果智能搜索

科技成果智能搜索利用分布式架構(gòu)提供服務，實現(xiàn)高并發(fā)、高可用、低延時的科技成果檢索服務，并設計RESTFUL形式的接口對外提供統(tǒng)一的外部訪問接口，實現(xiàn)對論文和專利數(shù)據(jù)的跨學科高效精準搜索，通過對查詢詞進行跨學科語義關(guān)聯(lián)分析，進一步提升搜索的全面性和準確性。基于相關(guān)度、下載量、被引量等信息綜合排序，返回與關(guān)鍵詞相關(guān)度最高的成果。圖8所示為科技成果智能搜索界面。

3.2.3 科技信息關(guān)聯(lián)發(fā)現(xiàn)

由于用戶的信息量不同，需要采用不同的方式進行關(guān)聯(lián)發(fā)現(xiàn)，將該系統(tǒng)用戶分為兩種用戶群體進行智能關(guān)聯(lián)發(fā)現(xiàn)。圖9展示了科技成果的關(guān)聯(lián)發(fā)現(xiàn)。該學者個人簡介中的研究領域如“機器人技術(shù)”“大型工業(yè)自動化系統(tǒng)”等，根據(jù)這些與學者研究興趣與研究方向相關(guān)的關(guān)鍵短語，可以關(guān)聯(lián)發(fā)現(xiàn)與該研究領域相關(guān)性較高的各行業(yè)領域中的科技信息。

4 結(jié)論

針對科技成果、科研作者、科技論文、專利、科技項目等數(shù)據(jù)，構(gòu)建了科技成果知識圖譜，并以科技成果知識圖譜為核心，實現(xiàn)了科技成果的智能查詢，可以快速、高效地幫助用戶實現(xiàn)科技成果的個性化、精準語義搜索，為用戶呈現(xiàn)對海量科技成果數(shù)據(jù)的主題發(fā)現(xiàn)和相似內(nèi)容發(fā)現(xiàn)。構(gòu)建的系統(tǒng)有助于科研學者從多角度、多領域跟蹤和發(fā)現(xiàn)各領域的發(fā)展動向，發(fā)現(xiàn)有價值的科技成果和研究內(nèi)容，從而更好地促進科研人員的科技創(chuàng)新。隨著科技成果數(shù)據(jù)的不斷豐富，通過在線、增量的科技實體識別和科技實體關(guān)系抽取算法，可以有效地擴展已構(gòu)建的科技成果知識圖譜，豐富系統(tǒng)功能，從而為科技實體關(guān)系演化分析、學科領域發(fā)展提供有效的數(shù)據(jù)支撐。