基于多標簽策略的中文知識圖譜問答系統研究

朱宗奎，張鵬舉，賈永輝，陳文亮，張 民

（蘇州大學計算機科學與技術學院，江蘇蘇州 215006）

0 概述

隨著人機交互技術的快速發展，傳統的搜索引擎已無法滿足用戶對信息獲取的多樣化需求，于是問答系統應運而生，并逐漸成為人工智能（AI）、自然語言處理（NLP）和信息檢索（IR）領域中的一個研究熱點，具有廣闊的應用前景［1］。與傳統的搜索引擎不同，問答系統可以更快速、更準確地向用戶直接反饋所需的信息或答案，而非返回大量與用戶查詢相關的網頁列表［2］。

根據答案來源的不同，問答系統可以分為基于結構化數據的問答系統（比如知識圖譜問答）、基于文本的問答系統（比如機器閱讀理解）以及基于問答對的問答系統（比如常見問題（FAQ）問答系統）［3］。基于中文知識圖譜的問答（CKBQA）系統輸入一個中文自然語言問題，問答系統從給定知識庫中選擇若干實體或屬性值作為該問題的答案，問題均為客觀事實型，不包含任何主觀因素。目前，已有很多大規模的高質量知識圖譜被提出，英文的包括Freebase［4］、YAGO［5］和DBpedia［6］等，中文的有百度知心、知立方、Zhishi.me［7］和XLore［8］等，這些知識大多來源于維基百科、百度百科等網站。現有知識圖譜的標準數據存儲形式一般是由資源描述框架（RDF）三元組組成，即＜主語，謂語，賓語＞或＜頭實體，關系，尾實體＞，主要包括實體的基本屬性、類型、提及信息以及實體與實體之間的語義關系等。知識圖譜具有結構化的特點，已逐漸成為開放領域問答系統的重要資源，引起了研究人員的廣泛關注。

基于知識圖譜的問答系統包含了多個NLP任務，其在理解和回答問題的過程中需要進行實體識別、關系抽取和語義解析等不同的子任務，再通過SQL、SPARQL等查詢語言對知識庫進行搜索和推理以得到最終的答案［9］。例如，問題q1：“《湖上草》是誰的詩？”是一個簡單問題，首先需要從問句中識別出主題實體的提及“湖上草”，再根據提及進行實體鏈接，確定主題實體為“＜湖上草＞”，然后從實體的所有候選關系中選出與問句表述最為相近的關系“＜主要作品＞”，最后利用SPARQL語言“select ？x where｛？x＜主要作品＞＜湖上草＞.｝”，查詢答案為“＜柳如是_（明末“秦淮八艷”之一）＞”，只需要一個三元組知識即可完成；問題q2：“《根鳥》的作者是哪個民族的人”是一個復雜問題，解決方法類似于問題q1，但是需要2個三元組，先得到主題實體“＜根鳥＞”的“＜作者＞”，再查到其“＜作者＞”的“＜民族＞”為“＜漢族＞”，SPARQL語言為“select？x where｛＜根鳥＞＜作者＞？y.？y＜民族＞？x.｝”。

目前，中文知識圖譜問答系統大多側重于回答簡單問題，但在實際應用中，很多用戶提出的問題單靠一個三元組查詢是無法解決的，許多復雜問題涉及多個實體與語義關系。因此，需要針對中文不同類型的問句設計不同的解決方案。雖然近年來有很多新模型和系統被提出以用于知識圖譜問答，但大多基于英文語料，針對中文問題時仍存在局限性。中文知識圖譜問答系統起步較晚，前期工作以簡單問題為主，缺乏大規模公開的標注語料，且中文語言表達形式多樣，相比英文更復雜，難以準確理解語義，同時中文分詞技術存在領域特殊性和中英文混雜等情況［10］。

近年來，深度學習技術在NLP領域得到廣泛應用，基于語言建模的神經網絡模型也逐漸成為研究熱點，比如ELMo［11］、BERT［12］等。本文將語言模型和中文知識圖譜問答系統相結合，構建一種基于多標簽策略的中文知識圖譜問答系統。利用機器學習方法和預訓練語言模型構建針對實體提及識別、實體鏈接和關系抽取3個任務的模型框架，通過設置不同的分類標簽將中文問句劃分成簡單問題、鏈式問題和多實體問題3類，并提出處理鏈式問題和多實體問題的解決方法。

1 相關工作

在NLP領域，基于知識圖譜的問答系統已經得到廣泛研究。早在20世紀60年代，就有學者針對特定領域內小規模的知識庫進行研究，以解決一些具體的專業問題。此后，研究方向逐漸從特定領域轉向開放領域，從簡單問題轉向復雜問題。目前，英文語料主流的研究方法可以分為語義分析和信息檢索2種。

早期多數知識圖譜問答采用傳統基于語義分析的方法［13-15］，通過構建一個語義解析器，將自然語言問句映射成一種語義表示、邏輯表達式或查詢圖［16］，然后基于知識庫查詢得到最終答案。雖然上述方法可以對問句進行深入解釋，但由于推理的復雜性較高，需要特定領域語法、細粒度的標注數據以及手工設計規則和特征，使得這些方法難以進行大規模的訓練，而且可移植性較差。

基于信息檢索的方法［17-18］主要通過構建不同的排序模型檢索出一組候選答案，通過分析進行排序從而完成知識圖譜問答任務。BORDES等人［19］使用基于向量嵌入的方法編碼問句和答案，計算兩者之間的語義相似度并進行排序，隨后又提出子圖向量［20］、記憶網絡［21］等方法。近年來，有很多先進的神經網絡模型被提出以用于編碼句子［22-24］，包括卷積網絡和循環網絡等，這些網絡只需簡單地查詢知識庫而無需額外的語法知識和詞典，并且能夠隱式地完成候選答案的搜索和排序功能。

相較于英文，中文知識圖譜問答系統的研究起步較晚，主要以中國計算機學會（CCF）國際自然語言處理與中文計算會議（NLPCC）、全國知識圖譜與語義計算大會（CCKS）2個公開的評測任務為主。NLPCC 2015年—2018年的評測數據基本都是簡單問題［25-27］，而CCKS 2018年—2019年包含了簡單問題和復雜問題2種［28-29］，它們均使用基于信息檢索的方法，針對問題和答案的語義相似度計算建立了不同的度量模型。

2 中文知識圖譜問答系統

給定一個中文自然語言問句Q，CKBQA系統的目標是從一個中文知識圖譜知識庫KB中抽取答案A。本文提出的中文知識圖譜問答系統流程如圖1所示，其包括問句處理和答案搜索2個主要模塊，其中，問句處理模塊涉及分類模型、實體提及識別和實體鏈接模型，答案搜索模塊涉及統一單跳問題搜索、鏈式問題搜索和多實體問題搜索3個部分。圖1中的虛線部分表示3個搜索過程在知識圖譜中完成。

圖1 中文知識圖譜問答系統流程Fig.1 Procedure of Chinese knowledge base question answering system

2.1 BERT模型

BERT（Bidirectional Encoder Representations from Transformers）模型結構如圖2所示，其為一個多層雙向的語言模型，模型輸入由詞向量、位置向量和分段向量共同組成。另外，句子的頭部和尾部分別有2個特殊的標記符號［CLS］和［SEP］，用以區分不同的句子。模型輸出是每個字經過M層編碼器后對應的融合上下文信息的語義表示。假定一個中文自然語言問句的輸入序列為Χ=(x1，x2，…，xn)，經過文本分詞器處理后為S=([CLS]，x1，x2，…，xn，[SEP])，再經過M層編碼器后的輸出序列為H=(h0，h1，…，hn，hn+1)。預訓練后的BERT模型提供了一個強大的上下文相關的句子特征表示，再通過微調后可以用于各種目標任務，包括單句分類、句子對分類和序列標注等。

圖2 BERT模型結構Fig.2 Structure of BERT model

2.2 實體提及識別

實體提及識別指給定一個問句，從中識別出主題實體的提及。本文將實體提及識別當作一個序列標注任務，采用神經網絡模型進行識別。首先，根據訓練語料的SPARQL語句查找主題實體的提及；然后，構建序列標注所用的數據，訓練一個提及識別模型。例如，一個問句“電影《怦然心動》的主要演員？”，從其SPQRQL語句“select？x where｛＜怦然心動_（美國2010年羅伯·萊納執導電影）＞＜主演＞？x.｝”中可知主題實體為“＜怦然心動_（美國2010年羅伯·萊納執導電影）＞”，然后查詢實體提及三元組知識，得到該實體的可能提及有“怦然心動”“FLIPPED”“冒失”等。根據最大長度優先匹配規則，標記出該問句的提及為“怦然心動”，設置標簽為B I I I，非提及部分標簽設為O。如果匹配失敗，則舍棄該問句，不進行標注。

本文將BERT語言模型和雙向長短期記憶（BiLSTM）網絡［30］相結合，輸入到條件隨機場（CRF）［31］模型中，構建一種BERT-BiLSTM-CRF模型，以預測每個字符的標簽。首先，通過BERT語言模型得到問句中每個字符的深度上下文表示；然后，使用BiLSTM網絡獲取每個字符左側和右側的前后語義關系；最后，借助CRF模型確保預測的結果是合法的標簽。上述過程的具體計算如式（1）、式（2）所示：

其中，T∈?(n+2)×2D表示編碼后的句子經過BiLSTM模型后的輸出，Z∈?1×(n+2)表示CRF模型預測的標簽，D表示BERT模型輸出的隱藏層維度。

BERT-BiLSTM-CRF模型結構如圖3所示。

圖3 BERT-BiLSTM-CRF模型結構Fig.3 Structure of BERT-BiLSTM-CRF model

2.3 分類模型

在實際應用場景中，用戶提出的問題往往不局限于簡單問題，很多包含了復雜的多跳問題。因此，本文將問題劃分成單跳問題和多跳問題2類，其中，單跳問題再分為主、謂、賓3個位置的答案查詢，多跳問題可以分成鏈式問題和多實體問題2種。

2.3.1 單多跳分類

單跳問題（簡單問題）指問句對應單個三元組查詢，而多跳問題（復雜問題）指問句對應多個三元組查詢。表1所示為2種類型的問句示例。由于訓練數據提供了每個問句的SPARQL查詢語句，根據大括號中字段的數量，將訓練數據切分成單跳數據（數量=3）和多跳數據（數量＞3），單跳標簽設為0，多跳標簽設為1，然后基于BERT模型訓練一個二分類模型。對于單句子分類任務，文獻［12］給出了BERT的基本分類框架，即將模型最后一層的第一個標記［CLS］的輸出直接作為整個句子的融合表示，然后經過一個多層感知器進行分類，其模型結構如圖4所示，最后一步的計算如式（3）所示：

其中，softmax表示激活函數，其計算每個類別的概率分布，W∈?K×D是隱藏層的權重，b∈?1×K是偏置，K表示類別個數。

表1 單多跳分類示例Table 1 Examples of single-multi hop classification

圖4 BERT分類模型結構Fig.4 Structure of BERT classification model

2.3.2 主謂賓分類

主謂賓分類指單跳問句的答案對應于三元組中的主語、謂語或賓語中的一個。當已知一個問句的主題實體時，無法知道該實體對應于知識庫三元組中的主語位置還是賓語位置，因此，本文將單跳問題劃分成主謂賓3類來查找答案。根據單跳問題的SPARQL語句三元組中問號的所在位置，將單跳問題的數據劃分成3類，標簽分別設為0、1、2，數據樣例如表2所示，然后訓練一個三分類模型，模型結構如圖4所示。

表2 主謂賓分類示例Table 2 Examples of subject-predicate-object classification

2.3.3 鏈式分類

鏈式問題指問句涉及多個三元組查詢，并且三元組之間呈遞進關系，這類復雜問題的問句中均包含多個關系屬性。根據SPARQL語句中三元組是否呈遞進關系，可以將所有數據切分成鏈式問題和非鏈式問題，因為單跳問題也可能存在問句中有多個實體的情況，所以沒有直接將多跳問題劃分成鏈式問題和多實體問題。在此基礎上，訓練一個二分類模型，模型結構如圖4所示。表3所示為2種類型問句的鏈式分類示例。

表3 鏈式分類示例Table 3 Examples of chain classification

2.3.4 關系抽取

關系抽取指已知給定問句的主題實體，查找實體的所有候選關系中與問句表達最相近的關系。在很多情況下，中文問句中的關系表述偏口語化，缺乏規范，與知識庫中的表達不一致，無法直接通過字符對齊來實現關系抽取。本文基于BERT模型，設計一個問句和關系的語義相似度計算方法。例如，一個問句“里奧·梅西的生日是什么時候？”，從SPARQL語句得知主題實體為“＜里奧·梅西_（阿根廷足球運動員）＞”，但該實體有很多候選關系，包括“中文名”“外文名”“妻子”“出生日期”“所屬運動隊”等。本文構建一個相似度計算模型的訓練數據，令正例的標簽為1，5個負例的標簽為0，使用訓練好的模型計算問句和每個候選關系的相似度（分類為標簽1的概率值），然后進行排序，選擇相似度最高的關系來搜索最終答案。模型結構如圖4所示，但不同的是輸入序列為問句Q=(x1，x2，…，xn)和關系P=(k1，k2，…，km)，然后經過BERT的中文文本分詞器處理后的序列為S=([CLS]，x1，x2，…，xn，[SEP]，k1，k2，…，km，[SEP])。

2.4 實體鏈接

實體鏈接指將問句中識別出的主題實體提及鏈接到知識庫中唯一的實體。因為識別出的提及不能直接鏈接到具體實體，很多存在一個提及對應多個實體的情況，而且受到模型性能的影響，識別出的提及會有邊界錯誤，所以本文設計3類共10個特征來完成候選實體的排序任務。

2.4.1 提及特征

提及特征共包括以下3種特征：

1）S1，實體提及的初始分。提及識別模型抽取出的提及初始分S1=1，但其只能作為候選，因為很多情況下識別存在邊界錯誤，此時需要對候選的左右字符進行擴展或刪減，增加或減少1個字符扣0.1分，最多擴展5個字符，刪減最少剩1個字符。

2）S2，實體提及的長度，表示實體對應的提及的字符個數。

3）S3，實體提及的長度占問句的長度比，即提及的字符個數占問句的字符個數的比例。

2.4.2 實體特征

實體特征共包括以下5種特征：

1）S4，實體對應的排名。知識圖譜的實體提及三元組中包含了提及所對應的每個實體的具體排名，即優先級0，1，2，…。

2）S5，實體對應的排名的倒數，如果排名為0則設為1，否則為

3）S6，問句和實體的語義相似度，此處相似度度量通過關系相似度抽取模型實現。

4）S7，問句和實體后綴的語義相似度。實體后綴指實體知識三元組中實體名字括號中的部分，通過該信息可以完成實體消歧任務。

5）S8，問句和實體后綴的杰卡德系數，此處杰卡德系數指2個字符串的字符交集個數與并集個數的比值，其值越大，表明字符重疊度越高。

2.4.3 關系特征

關系特征共包括以下2種特征：

1）S9，問句和實體候選關系的最大語義相似度，該相似度指實體的所有候選關系中與問句語義最相似的關系的相似度值。

2）S10，問句和實體候選關系的最大杰卡德系數，該系數指實體的所有候選關系中與問句字符最相似的關系的杰卡德系數值。

在訓練數據的過程中，令正確實體的標簽為1，其余候選實體標簽為0，采用XGBoost模型［32］對上述特征進行擬合，完成二分類任務，然后在驗證集和測試集上，使用訓練好的模型對每個候選實體進行打分（分數即分類為標簽1的概率值），選擇排名第1的實體作為最終答案。

2.5 答案搜索

答案的搜索流程如圖1所示，具體步驟如下：

1）先對問句進行分類，判斷是否為單多跳、主謂賓或者鏈式，然后實現實體提及識別。

2）根據識別到的提及進行左右擴展或刪減，搜索所有可能的候選實體，再根據一組特征，通過實體鏈接模型對候選實體進行打分排序，選擇得分最高的實體。

3）根據問句的主謂賓標簽搜索實體對應的所有關系，通過關系抽取模型計算它們與當前問句的語義相似度，取得分最高的關系，搜索知識庫得到統一單跳問題的答案。

4）若問句是鏈式且為多跳問題，將第3步得到的答案作為主題實體再執行一遍第3步，得到多跳鏈式問題的答案。

5）若問句是非鏈式且識別到多個實體，對每個實體搜索數據庫，查詢對應的所有候選三元組，然后兩兩求交集得到多實體問題的答案。

圖5所示為多實體問題搜索的2個例子，分別為“由黃渤和徐崢共同主演的電影有哪些？”和“清華大學出了哪些物理學家？”，兩者都具有2個尾實體，前者是相同謂語，后者是不同謂語，通過計算2個實體三元組之間的交集可以得到問題的答案。

圖5 多實體問題的搜索示例Fig.5 Search examples for multi entity problems

3 實驗結果與分析

3.1 實驗數據

本文實驗使用的數據來自CCKS2019-CKBQA公開評測數據，包括3份問答數據集和1份開放知識圖譜。評測數據均由人工構建和標注，其中，北京大學計算機技術研究所提供了3/4的開放領域問答數據，恒生電子股份有限公司提供了1/4的金融領域問答數據。問答數據集包含2 298條訓練集，766條驗證集（初賽）和766條測試集（復賽）。開放知識圖譜使用一個大型的中文知識圖譜PKUBASE，該圖譜包含41 009 141條實體知識三元組、13 930 117條實體提及三元組和25 182 627條實體類型三元組。另外，由于關系抽取模型的訓練數據過少，本文實驗額外增加了NLPCC2016-KBQA［33］公開評測數據。NLPCC2016-KBQA數據主要包含簡單問題，而CCKS2019-CKBQA數據還包含很多的復雜問題，因此，本文選取CCKS2019-CKBQA數據作為實驗數據。

3.2 實驗設置

本文使用的BERT預訓練模型為BERT-Base Chinese［12］，其基于Tensorflow框架實現，有12層編碼器，每一層隱狀態的輸出維度為768，中文問句的最大長度為60。模型的優化方式采用Adam算法對參數進行更新和微調，初始學習率均為2e-5。訓練時采用批量訓練的方法，批量大小為32。Dropout比率默認設置為0.1，最大迭代次數為100，訓練時每50步保存一次模型并驗證一次開發集。

實驗結果的評價指標包括宏觀準確率（PMacro）、宏觀召回率（RMacro）和平均F1值（F1Average），評測結果最終排名以平均F1值為基準。設Q為所有問題集合，Ai為第i個問題給出的答案集合，Gi為第i個問題的標準答案集合，相關指標的計算如式（4）～式（6）所示：

3.3 實驗結果

由于評測組織者只對驗證集（初賽）公開了標準答案，因此本文相關實驗只在驗證集上進行測試并呈現基于本文方法的模型應用于測試集（復賽）上的結果，表4所示為評測前4名系統和本文方法的結果對比，其中，“評測第2名”是本文系統與其他系統融合的結果。從表4可以看出，本文方法略優于第4名系統。值得注意的是，評測前4名系統都采用模型融合的策略，本文提出單模型方法，在結構盡量簡單的情況下也取得了較好的實驗結果，從而驗證了該系統的有效性。

表4 不同系統的性能比較Table 4 Performance comparison of different systems %

3.4 實驗分析

表5所示為本文系統各個子模型的性能對比結果，從表5可以看出，實體提及識別模型的性能并不高，為了提高識別的召回率，本文對模型識別到的候選提及進行左右字符的擴展和刪減，以增加候選實體的數量。單多跳分類模型的準確率只有89.13%，其余模型的準確率均在93%以上。表6所示為分類錯誤的具體樣例，從表6可以看出，多跳問題實際上可以用單跳方法來解決，即別名提及可以通過實體鏈接得到其主題實體，而無需多余的三元組。

表5 不同子模型的性能比較Table 5 Performance comparison of different sub-models %

表6 多跳分類錯誤的示例Table 6 Examples of multi-hop classification error

本文問答系統考慮到子模型的性能，并未將中文問題單獨劃分成單跳和多跳來處理，而是對所有問題統一進行了一遍單跳搜索，從而提高系統性能。由于單跳問題也有可能含有多個實體，因此該系統以是否鏈式來判斷問句是鏈式問題還是多實體問題。此外，部分問句被分類為鏈式問題但不是多跳問題，因此，本文對鏈式問題增加一層約束判斷，以降低因為模型分類錯誤而帶來的影響。

在表4評測第1名系統［29］中，實體提及部分并未采用序列標注模型來識別，而是通過構建詞典進行字符串匹配和外加命名實體識別器的方法，提高實體識別的精度。在實體鏈接部分，本文所提方法只保留候選得分最高的唯一實體，而沒有增加候選實體的數量，導致召回率降低。另外，評測第1名系統沒有對中文問題進行分類，而是統一地使用基于路徑相似度匹配的策略，相比于只用實體關系和問題進行匹配的策略，該策略在語義上更準確，也減少了錯誤傳播。因此，本文在模型融合時加入實體路徑和問題匹配方法。在未來的研究中，可以借鑒評測第1名系統的優點來改進本文模型的系統性能。

為驗證不同答案搜索模塊對本文系統的影響，分別對某個模塊進行屏蔽后進行實驗，結果如表7所示。從表7可以看出，不同搜索模塊對系統整體性能都有較大影響。如果將所有問題都當成簡單問題來解決，系統的F1值只有52.02%。相較于簡單問題，本文所提系統針對復雜問題中的鏈式和多實體問題的F1值提高了14.74個百分點（66.76%-52.02%），驗證了該系統將中文問題設置不同的標簽進行答案搜索的策略具有有效性。

表7 不同模塊設置下的系統性能對比Table 7 Comparison of system performance under different module settings %

4 結束語

本文提出一種基于多標簽策略進行答案搜索的中文知識圖譜問答系統。對問句設置不同的標簽，以利用不同的模塊來搜索問句答案并解決復雜問題中的鏈式和多實體問題。在實體提及識別部分，提出將預訓練語言模型BERT和BiLSTM網絡相結合的方法。在關系抽取部分，摒棄復雜的模型結構而直接基于BERT模型實現問句和候選關系的相似度計算。在實體鏈接部分，借助XGBoost模型設計不同的特征以提高系統性能。實驗結果表明，該系統可以有效解決中文知識圖譜問答中不同類型的簡單、鏈式和多實體問題。

雖然本文利用多標簽的方法取得了較好的效果，但也存在一個弊端，即通過不同的分類模型對問句設置多個標簽，將存在一個錯誤傳遞的過程，系統整體性能會受到多個子模塊性能的影響。因此，今后將研究并實現一種端到端的方法來完成中文知識圖譜問答。此外，NL2SQL技術可以將用戶的自然語句直接轉為可執行的SQL語句，如何有效地將NL2SQL技術引入到中文知識圖譜問答任務中也是下一步的研究方向。