面向機器學(xué)習(xí)的知識圖譜與問答系統(tǒng)設(shè)計

摘 要：作為一種結(jié)構(gòu)化的語義知識庫，知識圖譜近年來被多個領(lǐng)域所應(yīng)用，然而在機器學(xué)習(xí)這一專有領(lǐng)域仍存在空缺。文章描述了如何構(gòu)建一個面向機器學(xué)習(xí)領(lǐng)域的知識圖譜，并基于該圖譜設(shè)計了一個問答系統(tǒng)。在圖譜的構(gòu)建過程中，主要使用了爬蟲技術(shù)以及部分 NL.P 方法對數(shù)據(jù)進(jìn)行采集和處理，最終得到1個包含2442 個實體的知識圖譜，并將其存儲在 Neo4i 圖數(shù)據(jù)庫中。針對間答系統(tǒng)設(shè)計部分結(jié)合基于規(guī)則正則匹配以及基于詞向量相似度匹配的方法，構(gòu)建了問答模塊。該領(lǐng)域圖譜的構(gòu)建和問答系統(tǒng)的設(shè)計，將使研究人員和愛好者更輕松地獲取高質(zhì)量的機器學(xué)習(xí)領(lǐng)域的知識。

關(guān)鍵詞：知識圖譜：問答系統(tǒng);機器學(xué)習(xí)

中圖法分類號：TP18文獻(xiàn)標(biāo)識碼：A

１ 引言

知識圖譜的起源可追溯到２０ 世紀(jì)３０ 年代，但其正式概念是由Ｇｏｏｇｌｅ 于２０１２ 年提出的。它被描述為一個提供智能搜索服務(wù)的大型知識庫，可以將獨立的知識以三元組的形式形成語義知識的一種形式化描述框架，形式化地描述真實世界中各類事物及其關(guān)聯(lián)關(guān)系［１］ 。領(lǐng)域知識圖譜是特定領(lǐng)域應(yīng)用的知識圖譜，在金融、軍事、醫(yī)療等多個領(lǐng)域都得到了應(yīng)用，如ＩＢＭＷａｔｓｏｎ Ｈｅａｌｔｈ 醫(yī)療知識圖譜［２］ 。由于知識圖譜的結(jié)構(gòu)化程度高且知識質(zhì)量高，基于知識圖譜的問答系統(tǒng)越來越受到人們的青睞，它彌補了傳統(tǒng)問答系統(tǒng)檢索效率低和檢索知識質(zhì)量不高的缺點。

如今，機器學(xué)習(xí)的熱度不斷上升，然而當(dāng)前機器學(xué)習(xí)領(lǐng)域圖譜的開發(fā)仍處于空白階段。為了使機器學(xué)習(xí)專有領(lǐng)域的知識能夠形成一個結(jié)構(gòu)化的語義網(wǎng)絡(luò)，以及為機器學(xué)習(xí)領(lǐng)域的相關(guān)研究提供便利，本文將介紹機器學(xué)習(xí)領(lǐng)域圖譜的構(gòu)建過程，并基于圖譜設(shè)計一個問答系統(tǒng)。

２ 基本技術(shù)概述

２．１ 知識圖譜構(gòu)建理論

知識圖譜的構(gòu)建通常包含知識抽取、知識融合、知識加工和知識更新等步驟［３］ 。獲取相關(guān)語料后，需要對語料進(jìn)行預(yù)處理，然后進(jìn)入知識抽取環(huán)節(jié)。知識抽取主要包括實體識別、關(guān)系抽取以及屬性抽取３ 類任務(wù)。實體識別用于識別文本中的特殊實體，關(guān)系抽取用于從文本中識別實體之間的關(guān)系，屬性抽取用于從文本中提取實體的屬性。

這些任務(wù)的完成早期依賴于專家手工定義規(guī)則，而基于機器學(xué)習(xí)方法的技術(shù)現(xiàn)在更為實用。本文主要使用基于機器學(xué)習(xí)的方法進(jìn)行知識抽取，同時使用了ＯＣＲ 技術(shù)以及爬蟲技術(shù)。在知識融合階段，主要工作有實體對齊、實體消歧，本文通過基于機器學(xué)習(xí)的方法來完成這些任務(wù)。完成上述工作后，需要將知識圖譜數(shù)據(jù)存儲到數(shù)據(jù)庫中。根據(jù)存儲方式的不同，知識圖譜通常可以存儲在ＲＤＦ 數(shù)據(jù)庫、關(guān)系型數(shù)據(jù)庫或者圖數(shù)據(jù)庫中。本文使用Ｎｅｏ４ｊ 圖數(shù)據(jù)庫對知識圖譜進(jìn)行存儲［４］ 。

２．２ 基于知識圖譜的問答系統(tǒng)設(shè)計理論

構(gòu)建基于知識圖譜的問答系統(tǒng)通常有３ 種方法：基于模板匹配；基于語義解析；基于向量建模［５］ 。本文將結(jié)合基于規(guī)則正則匹配的方法和基于Ｗｏｒｄ２Ｖｅｃ向量建模的方法，提升智能問答的應(yīng)答率、準(zhǔn)確率。

３ 機器學(xué)習(xí)領(lǐng)域圖譜構(gòu)建

本文采用自底向上的框架構(gòu)建機器學(xué)習(xí)領(lǐng)域的知識圖譜，基本流程如圖１ 所示。

３．１ 數(shù)據(jù)采集

構(gòu)建知識圖譜首先需要收集相關(guān)語料。為了保證實體詞的專業(yè)性，本文參考了機器之心團(tuán)隊編寫的專有術(shù)語庫，其中收納了２ ４４２ 個機器學(xué)習(xí)專有領(lǐng)域的術(shù)語，這些術(shù)語來源于領(lǐng)域?qū)＜乙约皺?quán)威教科書等，并經(jīng)過了校對等工作，具有較強的專業(yè)性與公信力。本文以這些術(shù)語為基礎(chǔ)，建立關(guān)鍵詞表，并將其作為圖譜的實體詞庫。

以實體詞庫中的專業(yè)詞匯為關(guān)鍵詞，利用網(wǎng)絡(luò)爬蟲技術(shù)從萬方、維普數(shù)據(jù)庫中獲取了２３ ５７９ 篇包含這些關(guān)鍵詞的期刊文獻(xiàn)，并使用ｒｅｑｕｅｓｔ 庫、ＢＳ４ 庫等工具對每個實體詞的百度百科詞條以及維基百科詞條進(jìn)行爬取，在后續(xù)知識抽取的步驟中會對這些數(shù)據(jù)進(jìn)行進(jìn)一步處理。

３．２ 知識抽取

知識抽取工作共分為３ 個部分：實體識別、關(guān)系抽取和屬性抽取。實體識別部分首先采用ＯＣＲ 技術(shù)，對采集的２３ ５７９ 篇領(lǐng)域期刊文獻(xiàn)進(jìn)行文本的提取，文本使用Ｓｔａｎｆｏｒｄ ＣｏｒｅＮＬＰ［６］ 進(jìn)行實體識別，借助構(gòu)建好的實體詞庫進(jìn)行篩選，并進(jìn)行數(shù)據(jù)清洗、語句分詞、去停用詞等工作，過濾出與實體詞相關(guān)的語料。針對關(guān)系抽取部分，本文采用上下位關(guān)系來表示實體之間的關(guān)系。上下位關(guān)系即包含與被包含的層級關(guān)系，即一個概念或?qū)嶓w（上位詞或父類）包含另一個概念或?qū)嶓w（下位詞或子類）的關(guān)系。例如，“機器學(xué)習(xí)”為一級實體節(jié)點，“神經(jīng)網(wǎng)絡(luò)”作為二級實體節(jié)點是“機器學(xué)習(xí)”這一實體的分支，可以作為其下位詞。本文使用Ｓｔａｎｆｏｒｄ ＣｏｒｅＮＬＰ 對實體識別中過濾好的語料進(jìn)行依存句法分析，提取出實體詞之間的上下位關(guān)系。

針對屬性抽取部分，首先抽取所有實體詞的基礎(chǔ)屬性。基礎(chǔ)屬性從先前爬取的百度百科即維基百科語料中進(jìn)行抽取， 其主要包含名稱（ ｎａｍｅ）、定義（ｄｅｆｉｎｉｔｉｏｎ）、應(yīng)用（ａｐｐｌｉｃａｔｉｏｎ）。對于實體詞中的具體算法或算法分支，它們通常為４ 級節(jié)點或更低層級的節(jié)點，除基礎(chǔ)屬性外還添加了“期刊屬性”，將以該節(jié)點為關(guān)鍵詞的專業(yè)期刊數(shù)據(jù)收錄到屬性中，其主要包含標(biāo)題（ｔｉｔｌｅ）、發(fā)表時間（ｄａｔｅ）、作者（ａｕｔｈｏｒ）、摘要（ａｂｓｔｒａｃｔ）。

３．３ 知識融合

在知識融合階段，實體消歧任務(wù)是本文的主要工作。知識圖譜中，實體詞有可能出現(xiàn)實體二義性，即一個實體可能在不同語境下代表的意思不同。例如，ｂｉａｓ（偏差）在統(tǒng)計學(xué)和機器學(xué)習(xí)中通常指預(yù)測值與實際值之間的差距，但在其他上下文中也可能指偏見或傾向。

為解決歧義問題，本文采用基于知識庫鏈接的實體消歧方法，這種方法通過將自然語言文本中的實體鏈接到實體詞庫中對應(yīng)的實體來消除歧義。ＣＮ?ＤＢｐｅｉｄａ 提供了Ｍｅｎｔｉｏｎ２Ｅｎｔｉｔｙ 數(shù)據(jù)集，其含有大量歧義詞的字典，可以用來解決歧義問題［７］ 。

３．４ 圖譜入庫

對于知識圖譜的存儲，本文使用圖數(shù)據(jù)庫Ｎｅｏ４ｊ進(jìn)行存儲入庫。Ｎｅｏ４ｊ 將圖作為數(shù)據(jù)結(jié)構(gòu)，充分利用了圖數(shù)據(jù)結(jié)構(gòu)的特性，使用圖節(jié)點、邊、節(jié)點屬性與邊屬性來表示數(shù)據(jù)，并將Ｃｙｐｈｅｒ 作為數(shù)據(jù)庫查詢語言。經(jīng)過３．１～３．３ 節(jié)的處理后，可以得到關(guān)于實體詞庫中２ ４４２ 個節(jié)點“實體?邊?實體”的三元組數(shù)據(jù)，其已經(jīng)儲存了節(jié)點屬性的數(shù)據(jù)文件，通過ｐｙ２ｎｅｏ 庫將這些數(shù)據(jù)批量導(dǎo)入Ｎｅｏ４ｊ 數(shù)據(jù)庫，即完成了知識圖譜的存儲。存儲完畢后，隨機抽取２００ 組實體關(guān)鍵詞并對其進(jìn)行查詢，均成功返回結(jié)果，平均返回時長為２６９ 毫秒，響應(yīng)速度快。部分知識圖譜示例如圖２ 所示。

４ 問答系統(tǒng)設(shè)計

基于構(gòu)建好的機器學(xué)習(xí)領(lǐng)域圖譜，設(shè)計一個問答系統(tǒng)，旨在幫助研究人員和機器學(xué)習(xí)愛好者更輕松地獲取高質(zhì)量的機器學(xué)習(xí)領(lǐng)域知識。問答系統(tǒng)設(shè)計邏輯如圖３ 所示。

４．１ 問句預(yù)處理

用戶輸入自然語言問句后，需要提取問句的語義信息，以及進(jìn)行命名實體識別工作。在本問答系統(tǒng)中，將ｊｉｅｂａ 庫作為解決方案。ｊｉｅｂａ 庫是一個中文分詞工具庫，使用Ｐｙｔｈｏｎ 實現(xiàn)，支持自定義詞典，可以根據(jù)實際需求添加或刪除一些自定義詞匯，以便更好地滿足特定領(lǐng)域的分詞需求。通過ｊｉｅｂａ 庫對用戶輸入的自然語言問句進(jìn)行分詞，并提取其中的命名實體，可以獲取更準(zhǔn)確的語義信息。

４．２ 意圖識別與答案推理

對于問句的意圖識別，本系統(tǒng)結(jié)合了基于規(guī)則集的方法以及向量相似度匹配。問句預(yù)處理得到分詞與詞性標(biāo)注結(jié)果后，進(jìn)行實體的關(guān)鍵詞抽取，首先采用基于規(guī)則集的方法，對問句進(jìn)行正則匹配，若成功匹配，則說明問句在預(yù)設(shè)規(guī)則庫中，可以直接根據(jù)規(guī)則模板將原本的自然語言問句轉(zhuǎn)換為Ｃｙｐｈｅｒ 查詢語句，進(jìn)而鏈接到Ｎｅｏ４ｊ 數(shù)據(jù)庫中并推理得到問題答案。部分規(guī)則集示例如表１ 所列。

然而，僅使用規(guī)則模板庫來理解用戶輸入問句的成功率非常低。如果未匹配到規(guī)則集，系統(tǒng)將采用向量相似度匹配。本系統(tǒng)使用Ｗｏｒｄ２Ｖｅｃ 模塊來實現(xiàn)這一點。Ｗｏｒｄ２Ｖｅｃ 是一種雙層神經(jīng)網(wǎng)絡(luò)詞向量模型，可以將詞映射為一個向量來表示詞間聯(lián)系，映射的向量為神經(jīng)網(wǎng)絡(luò)中的隱藏層［８］ 。若輸入問句不能匹配規(guī)則集，則使用預(yù)訓(xùn)練的詞向量模型計算問句與知識庫中問題的相似度，本文調(diào)試時使用余弦相似度計算，匹配得到與問句最相似的問題，并鏈接Ｎｅｏ４ｊ 數(shù)據(jù)庫，最終得到答案。

４．３ 結(jié)果分析

對每類問題，設(shè)置了１００ 道測試問句，對問答系統(tǒng)進(jìn)行測試，測試結(jié)果如表２ 所列。

對于實體信息類、屬性信息類以及應(yīng)用信息類問題，可以發(fā)現(xiàn)應(yīng)答率和準(zhǔn)確率較高；而對于比較信息類問題，應(yīng)答率和準(zhǔn)確率顯著下降。

５ 結(jié)束語

本文通過網(wǎng)絡(luò)爬蟲、ＮＬＰ 等技術(shù)構(gòu)建了一個機器學(xué)習(xí)專有領(lǐng)域的知識圖譜，并基于該圖譜設(shè)計了一個問答系統(tǒng)，為機器學(xué)習(xí)的研究者和愛好者提供了一個快速、準(zhǔn)確查詢領(lǐng)域知識的平臺。然而構(gòu)建的圖譜在時效上具有局限性，由于缺乏知識更新的手段，無法獲取最新的專業(yè)術(shù)語以及期刊信息，需要每隔一段時間進(jìn)行人工更新工作。另外，設(shè)計的問答系統(tǒng)對于處理邏輯較強的問題效果欠佳，可以考慮引入更強大的語義理解模型，以提高系統(tǒng)的應(yīng)答率與準(zhǔn)確率。

參考文獻(xiàn)：

［１］ 田玲，張謹(jǐn)川，張晉豪，等．知識圖譜綜述———表示、構(gòu)建、推理與知識超圖理論［Ｊ］．計算機應(yīng)用，２０２１，４１（８）：２１６１?２１８６．

［２］ ＩＢＭ． Ｗａｔｓｏｎ Ｈｅａｌｔｈ 醫(yī)療保健數(shù)據(jù)分析的重要性［ＥＢ／ＯＬ］． ｈｔｔｐｓ： ∥ ｗｗｗ． ｉｂｍ． ｃｏｍ／ ｃｎ?ｚｈ／ ｗａｔｓｏｎ?ｈｅａｌｔｈ／ ｌｅａｒｎ／ｈｅａｌｔｈｃａｒｅ?ｄａｔａ?ａｎａｌｙｔｉｃｓ．

［３］ ＳＩＮＧＨＡＬ Ａ． Ｉｎｔｒｏｄｕｃｉｎｇ ｔｈｅ ｋｎｏｗｌｅｄｇｅ ｇｒａｐｈ： ｔｈｉｎｇｓ， ｎｏｔｓｔｒｉｎｇｓ ［ＥＢ／ ＯＬ］．ｈｔｔｐｓ：∥ｗｗｗ．ｂｌｏｇ．ｇｏｏｇｌｅ／ ｐｒｏｄｕｃｔｓ／ ｓｅａｒｃｈ／ｉｎｔｒｏｄｕｃｉｎｇ?ｋｎｏｗｌｅｄｇｅ?ｇｒａｐｈ?ｔｈｉｎｇｓ?ｎｏｔ／ ．

［４］ Ｎｅｏ４ｊ．Ｎｅｏ４ｊ［ＤＢ／ ＯＬ］．ｈｔｔｐｓ：∥ｎｅｏ４ｊ．ｃｏｍ／ ．

［５］ 袁博，施運梅，張樂．基于知識圖譜的問答系統(tǒng)研究與應(yīng)用［Ｊ］．計算機技術(shù)與發(fā)展，２０２１，３１（１０）：１３４?１４０．

［６］ ＭＡＮＮＩＮＧ Ｃ Ｄ，ＳＵＲＤＥＡＮＵ Ｍ，ＢＡＵＥＲ Ｊ，ｅｔ ａｌ．Ｔｈｅ ＳｔａｎｆｏｒｄＣｏｒｅＮＬＰ ｎａｔｕｒａｌ ｌａｎｇｕａｇｅ ｐｒｏｃｅｓｓｉｎｇ ｔｏｏｌｋｉｔ ［ Ｃ ］ ∥Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ５２ｎｄ ａｎｎｕａｌ ｍｅｅｔｉｎｇ ｏｆ ｔｈｅ ａｓｓｏｃｉａｔｉｏｎ ｆｏｒｃｏｍｐｕｔａｔｉｏｎａｌ ｌｉｎｇｕｉｓｔｉｃｓ：ｓｙｓｔｅｍ ｄｅｍｏｎｓｔｒａｔｉｏｎｓ．２０１４：５５?６０．

［７］ ＸＵ Ｂ，ＸＵ Ｙ，ＬＩＡＮＧ Ｊ，ｅｔ ａｌ．ＣＮ?ＤＢｐｅｄｉａ：Ａ ｎｅｖｅｒ?ｅｎｄｉｎｇＣｈｉｎｅｓｅ ｋｎｏｗｌｅｄｇｅ ｅｘｔｒａｃｔｉｏｎ ｓｙｓｔｅｍ ［ Ｃ］ ∥ Ａｄｖａｎｃｅｓ ｉｎＡｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ： Ｆｒｏｍ Ｔｈｅｏｒｙ ｔｏ Ｐｒａｃｔｉｃｅ： ３０ｔｈＩｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｄｕｓｔｒｉａｌ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ ＯｔｈｅｒＡｐｐｌｉｃａｔｉｏｎｓ ｏｆ Ａｐｐｌｉｅｄ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ，ＩＥＡ／ ＡＩＥ ２０１７，Ａｒｒａｓ，Ｆｒａｎｃｅ，Ｊｕｎｅ ２７?３０，２０１７，Ｐｒｏｃｅｅｄｉｎｇｓ，Ｐａｒｔ ＩＩ．Ｃｈａｍ：Ｓｐｒｉｎｇｅｒ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｐｕｂｌｉｓｈｉｎｇ，２０１７：４２８?４３８．

［ ８ ］ ＲＯＮＧ Ｘ． ＷＯＲＤ２ＶＥＣ ＰＡＲＡＭＥＴＥＲ ＬＥＡＲＮＩＮＧＥＸＰＬＡＩＮＥＤ ［ ＥＢ／ ＯＬ］． ＨＴＴＰＳ： ∥ ＺＨＵＡＮＬＡＮ． ＺＨＩＨＵ．ＣＯＭ／ Ｐ／１８３１６１３１１．

作者簡介：

黃宇皓（２００１—），本科，研究方向：大數(shù)據(jù)分析。