基于問(wèn)句感知圖卷積的教育知識(shí)庫(kù)問(wèn)答方法

藺奇卡，張玲玲+，劉 均，趙天哲

1.西安交通大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，西安 710049

2.陜西省天地網(wǎng)技術(shù)重點(diǎn)實(shí)驗(yàn)室，西安 710049

近年來(lái)，隨著互聯(lián)網(wǎng)技術(shù)的蓬勃發(fā)展，各種在線教育平臺(tái)層出不窮，造成了海量教育資源以及教學(xué)數(shù)據(jù)的不斷積累[1]。知識(shí)庫(kù)（或知識(shí)圖譜）以RDF 三元組的形式存儲(chǔ)大量實(shí)體及它們之間豐富的語(yǔ)義關(guān)系，這為教育領(lǐng)域的海量信息提供了良好的組織方式，因而受到越來(lái)越多的關(guān)注。具體而言，教育知識(shí)庫(kù)可將分散、無(wú)序的教育數(shù)據(jù)聚合為結(jié)構(gòu)化的，易于檢索、修改和保存的知識(shí)形式，進(jìn)而降低用戶的使用成本并快速實(shí)現(xiàn)認(rèn)知升級(jí)[2]。例如清華大學(xué)Yu等人[3]提出了大規(guī)模在線課程（massive open online course，MOOC）知識(shí)庫(kù)MOOCCube，其包含概念、課程、教師和學(xué)生行為等實(shí)體及其交互信息，用以支持多種不同場(chǎng)景的教學(xué)研究需求。Xu 和Guo[4]提出適用于K12教育的知識(shí)點(diǎn)知識(shí)庫(kù)，其中節(jié)點(diǎn)主要包含知識(shí)點(diǎn)、學(xué)校和教師等，實(shí)驗(yàn)表明使用該知識(shí)庫(kù)能有效提升教育資源推薦的準(zhǔn)確性。Lin 等人[5]使用大學(xué)教師在科研和教學(xué)活動(dòng)中產(chǎn)生的交互數(shù)據(jù)構(gòu)建了大學(xué)教師知識(shí)庫(kù)，包含教師、研究方向、科研成果和社會(huì)兼職等，進(jìn)而為教師評(píng)估提供定性和定量的數(shù)據(jù)支持。

同時(shí)，教育知識(shí)庫(kù)的出現(xiàn)為教育領(lǐng)域的智能問(wèn)答提供了基礎(chǔ)，它能為學(xué)習(xí)者提供良好的交互體驗(yàn)和精準(zhǔn)智能的答疑輔導(dǎo)服務(wù)，是在線教育領(lǐng)域亟待解決的關(guān)鍵問(wèn)題之一[2]。目前，對(duì)于教育知識(shí)庫(kù)問(wèn)答的研究還相對(duì)薄弱，不能滿足當(dāng)前教育平臺(tái)發(fā)展的需求[6]。相比于開(kāi)放領(lǐng)域的知識(shí)庫(kù)問(wèn)答，教育領(lǐng)域知識(shí)庫(kù)中包含的關(guān)系較少。例如基于MOOCCube 的MOOC Q&A[3]中僅包含10 種關(guān)系類型，而基于開(kāi)放知識(shí)庫(kù)Freebase[7]的WebQuestionsSP[8]數(shù)據(jù)集包含513 種關(guān)系。這種差異導(dǎo)致教育領(lǐng)域的問(wèn)答模型需要有效獲取實(shí)體針對(duì)于問(wèn)句獨(dú)特而有價(jià)值的表示方式，然而開(kāi)放域的經(jīng)典問(wèn)答方法（例如GRAFT-Net[9]、PullNet[10]、MHGRN[11]和EmbedKGQA[12]）在進(jìn)行實(shí)體表示時(shí)，很少考慮問(wèn)句的影響。基于此，本文提出基于問(wèn)句感知圖卷積網(wǎng)絡(luò)（graph convolutional network，GCN）的教育知識(shí)庫(kù)問(wèn)答方法。針對(duì)特定問(wèn)句，該方法首先將其分解為問(wèn)句描述信息和查詢實(shí)體集，并分別進(jìn)行表示；之后，通過(guò)查詢實(shí)體集構(gòu)建答案候選子圖，并通過(guò)雙注意力圖卷積網(wǎng)絡(luò)進(jìn)行處理，注意力的計(jì)算分別來(lái)自問(wèn)句描述信息和查詢實(shí)體集；最后，基于這些表示，進(jìn)行候選實(shí)體打分并預(yù)測(cè)答案。

本文的主要貢獻(xiàn)包括：（1）提出一種基于聯(lián)合嵌入的教育知識(shí)庫(kù)問(wèn)答框架，該框架獨(dú)立地建模問(wèn)句中的描述信息和查詢實(shí)體以及候選實(shí)體子圖，之后融合這些信息并通過(guò)前饋神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)得分；（2）針對(duì)當(dāng)前問(wèn)答方法在候選實(shí)體建模時(shí)單一、難以捕獲特定于問(wèn)句信息的缺陷，提出問(wèn)句感知的雙注意力圖卷積神經(jīng)網(wǎng)絡(luò)；（3）在現(xiàn)實(shí)的教育知識(shí)庫(kù)問(wèn)答數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，本文模型的性能優(yōu)于基準(zhǔn)模型。

1 相關(guān)工作

目前知識(shí)庫(kù)問(wèn)答方法主要分為兩類：語(yǔ)義解析方法和聯(lián)合嵌入方法。語(yǔ)義解析方法首先解析自然語(yǔ)言問(wèn)句，將其轉(zhuǎn)換成邏輯表達(dá)式，并通過(guò)匹配知識(shí)庫(kù)生成查詢語(yǔ)句，最終執(zhí)行查詢得到答案。例如Reddy 等人[13]提出基于語(yǔ)義圖的語(yǔ)義解析方法，該方法分析問(wèn)句，構(gòu)建由節(jié)點(diǎn)（實(shí)體、變量或者類型）、邊（關(guān)系）和操作符構(gòu)成的語(yǔ)義圖，將其視為知識(shí)庫(kù)的子圖以實(shí)現(xiàn)問(wèn)句映射，然后通過(guò)特定的圖匹配方法獲取答案。類似地，Yih 等人[14]通過(guò)引入查詢圖提出了基于知識(shí)庫(kù)的問(wèn)答語(yǔ)義解析框架，其中語(yǔ)義解析被簡(jiǎn)化為查詢圖的分階段搜索生成過(guò)程，最終通過(guò)查詢圖的實(shí)體鏈接和卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)答案。整體來(lái)說(shuō)，該類方法雖然取得了一定的效果，且易于理解，但它們通常包含多個(gè)模塊及多個(gè)步驟，在訓(xùn)練時(shí)容易造成誤差積累，導(dǎo)致性能較差。

基于以上缺陷，一些基于聯(lián)合嵌入的問(wèn)答方法被提出，這類方法使用表示學(xué)習(xí)的思想將問(wèn)題和候選答案嵌入到統(tǒng)一的向量空間中，之后在該空間中進(jìn)行距離計(jì)算以得到答案。例如Dong 等人[15]提出的MCCNNs（multi-column convolutional neural networks）使用多列圖卷積網(wǎng)絡(luò)處理問(wèn)句得到其表示向量，同時(shí)將候選答案的相關(guān)特征（類別、上下文和路徑）映射到對(duì)應(yīng)的問(wèn)句空間中，最后通過(guò)向量?jī)?nèi)積計(jì)算距離以預(yù)測(cè)答案。Sun 等人[10]使用聯(lián)合嵌入的思想將外部文本融入知識(shí)庫(kù)中以實(shí)現(xiàn)更全面的問(wèn)答。通過(guò)迭代地?cái)U(kuò)充問(wèn)題子圖（節(jié)點(diǎn)為實(shí)體、實(shí)體對(duì)及文檔），并使用卷積網(wǎng)絡(luò)進(jìn)行聯(lián)合嵌入，模型能夠有效解決多跳知識(shí)庫(kù)問(wèn)答問(wèn)題。Saxena 等人[12]利用知識(shí)庫(kù)嵌入的思想進(jìn)行實(shí)體、關(guān)系及問(wèn)句的嵌入，其中問(wèn)句可以理解為知識(shí)庫(kù)上的單跳或者多跳關(guān)系，進(jìn)而將它們都嵌入在同一向量空間中，最后使同經(jīng)典的知識(shí)庫(kù)嵌入方法（如ComplEx[16]）進(jìn)行得分計(jì)算。

基于聯(lián)合嵌入的方法能夠有效挖掘問(wèn)句和知識(shí)庫(kù)的深度特征，進(jìn)而取得良好的預(yù)測(cè)性能。但是目前的相關(guān)方法在進(jìn)行實(shí)體表示時(shí)僅僅利用知識(shí)庫(kù)中的結(jié)構(gòu)信息，并未考慮問(wèn)句信息的影響，導(dǎo)致建模不充分。基于此，本文提出問(wèn)句感知的圖卷積網(wǎng)絡(luò)進(jìn)行實(shí)體建模，在圖卷積的信息傳遞時(shí)，模型會(huì)綜合考慮問(wèn)句描述和相關(guān)查詢實(shí)體的影響。

2 基于問(wèn)句感知圖卷積的問(wèn)答模型

為了讓圖卷積網(wǎng)絡(luò)能夠?qū)W習(xí)到針對(duì)問(wèn)句的特定實(shí)體表示，本文引入問(wèn)句感知的注意力來(lái)分別建模問(wèn)句描述信息和相應(yīng)查詢實(shí)體，整體模型架構(gòu)如圖1所示。形式化地，針對(duì)待回答的問(wèn)題q，其蘊(yùn)含待查詢實(shí)體集合EH，例如圖1 問(wèn)句所對(duì)應(yīng)的查詢實(shí)體集合包含[李華]和[張濤]。使用該集合為種子列表，從知識(shí)庫(kù)中獲取h階鄰近子圖Gq，其節(jié)點(diǎn)集合為Eq，h的取值需保證問(wèn)題q對(duì)應(yīng)的答案集合ET是Eq的子集。為了解決該類教育知識(shí)庫(kù)問(wèn)答問(wèn)題，本文采用問(wèn)題建模、子圖建模和答案預(yù)測(cè)三階段的計(jì)算方式。本章將從以下三方面進(jìn)行詳細(xì)介紹：基于Transformer和知識(shí)庫(kù)嵌入的問(wèn)句建模、基于問(wèn)句感知圖卷積的子圖建模和答案預(yù)測(cè)與損失函數(shù)。

Fig.1 Overall architecture of proposed model圖1 模型框架示意圖

2.1 基于Transformer 和知識(shí)庫(kù)嵌入的問(wèn)句建模

本文采用將問(wèn)句描述與其待查詢實(shí)體分離的處理方式進(jìn)行問(wèn)句建模。具體地，問(wèn)句描述能夠捕獲與實(shí)體無(wú)關(guān)的、更本質(zhì)的意圖，而待查詢實(shí)體能夠根據(jù)原知識(shí)庫(kù)的結(jié)構(gòu)信息進(jìn)行建模，兩者在預(yù)測(cè)答案時(shí)采用信息融合中“l(fā)ate-fusion”的策略，實(shí)現(xiàn)完備的語(yǔ)義補(bǔ)充。針對(duì)問(wèn)句，本文首先將其中的實(shí)體轉(zhuǎn)換為特殊符號(hào)“ENT”，之后使用中文分詞工具“結(jié)巴”進(jìn)行分詞處理，得到問(wèn)句的序列化表示形式q=[w1,w2,…,wn-1,wn]，其中n表示句子長(zhǎng)度，wi表示第i個(gè)詞。之后使用帶有多頭注意力的Transformer[17]進(jìn)行建模，計(jì)算得到問(wèn)句表示eq：

為了有效獲取待查詢實(shí)體在原知識(shí)庫(kù)中的結(jié)構(gòu)信息，模型使用知識(shí)庫(kù)嵌入技術(shù)進(jìn)行初始化向量表示，得到實(shí)體表示矩陣E（其中Ei表示實(shí)體i的嵌入向量）。本文默認(rèn)采用DistMult[18]方法進(jìn)行嵌入，嵌入方法對(duì)模型結(jié)果的影響見(jiàn)3.4.3 小節(jié)。基于此，查詢實(shí)體集合EH的表示eH可以通過(guò)實(shí)體嵌入向量均值的方式析出：

2.2 基于問(wèn)句感知圖卷積的子圖建模

圖卷積神經(jīng)網(wǎng)絡(luò)[19]由于其強(qiáng)大的圖結(jié)構(gòu)建模能力而逐漸引起廣泛關(guān)注，它一般遵循迭代消息傳遞的模式來(lái)捕獲節(jié)點(diǎn)鄰域的結(jié)構(gòu)化信息，其第k+1 層的表示通常基于第k層的表示進(jìn)行圖卷積操作（消息傳遞機(jī)制）得到：

FF 表示前饋神經(jīng)網(wǎng)絡(luò)層，符號(hào)“;”表示向量之間的拼接操作。通過(guò)式（6）和（7）的計(jì)算，圖卷積在信息傳遞時(shí)會(huì)綜合考慮問(wèn)句描述信息和相應(yīng)的查詢實(shí)體，因此與問(wèn)句相關(guān)的信息會(huì)被增強(qiáng)而無(wú)關(guān)的信息會(huì)被削弱，進(jìn)而模型能夠更好地建模實(shí)體表示并預(yù)測(cè)答案。在圖卷積網(wǎng)絡(luò)的最后一層，記錄子圖Gq中的節(jié)點(diǎn)表示用于最終答案預(yù)測(cè)。

2.3 答案預(yù)測(cè)與損失函數(shù)

基于前文中對(duì)問(wèn)句和查詢子圖的建模，本文將問(wèn)句表示、查詢實(shí)體表示和候選節(jié)點(diǎn)的表示進(jìn)行拼接，并使用前饋神經(jīng)網(wǎng)絡(luò)與sigmoid 函數(shù)計(jì)算得分：

在答案預(yù)測(cè)時(shí)，根據(jù)以上計(jì)算選擇子圖中得分最高的實(shí)體作為答案。模型最后通過(guò)二分類交叉熵定義模型的整體損失函數(shù)：

3 實(shí)驗(yàn)結(jié)果和分析

3.1 實(shí)驗(yàn)數(shù)據(jù)集

實(shí)驗(yàn)數(shù)據(jù)集使用清華大學(xué)構(gòu)建的大規(guī)模在線教育知識(shí)庫(kù)MOOCCube[3]，并使用其中的MOOC Q&A數(shù)據(jù)集進(jìn)行教育知識(shí)庫(kù)的問(wèn)答實(shí)驗(yàn)。該知識(shí)庫(kù)包含706 門(mén)真實(shí)在線課程、700 個(gè)概念和4 723 個(gè)用戶等7類實(shí)體，以及概念-領(lǐng)域、課程-視頻和概念先后修順序等10 類關(guān)系，總共構(gòu)成52 195 個(gè)三元組。知識(shí)庫(kù)詳細(xì)統(tǒng)計(jì)信息如表1 所示。MOOC Q&A 中包含兩類問(wèn)題：?jiǎn)翁╫ne-hop）和多跳（multi-hop）。單跳問(wèn)題只涉及知識(shí)庫(kù)中的一個(gè)頭實(shí)體和一個(gè)關(guān)系，而多跳問(wèn)題可能包含多個(gè)實(shí)體，且要回答這類問(wèn)題需要對(duì)知識(shí)庫(kù)中的多個(gè)事實(shí)進(jìn)行推理。單跳和多跳問(wèn)題的數(shù)量分別為5 504、13 637，在進(jìn)行實(shí)驗(yàn)時(shí)，它們都按照80%、10%和10%的比例進(jìn)行訓(xùn)練集、驗(yàn)證集和測(cè)試集的劃分。

Table 1 Statistics of entities and relations in knowledge base of MOOC Q&A表1 MOOC Q&A 知識(shí)庫(kù)中實(shí)體和關(guān)系的統(tǒng)計(jì)

3.2 實(shí)驗(yàn)參數(shù)設(shè)置

在進(jìn)行實(shí)驗(yàn)時(shí)，本文使用“結(jié)巴”分詞工具進(jìn)行問(wèn)句的分詞處理，并使用DistMult方法進(jìn)行知識(shí)庫(kù)中實(shí)體的嵌入，默認(rèn)嵌入維度為200。針對(duì)單跳和多跳問(wèn)題，鄰近子圖Gq抽取時(shí)階數(shù)h分別設(shè)置為1 和2，類似地，圖卷積網(wǎng)絡(luò)的層數(shù)也相應(yīng)設(shè)置為1 和2。詞語(yǔ)嵌入維度、Transformer 隱藏層維度和圖卷積網(wǎng)絡(luò)的維度都被默認(rèn)設(shè)置為200，且每個(gè)前饋網(wǎng)絡(luò)層都采用ReLU 函數(shù)激活，并增加丟棄率為0.1 的Dropout 層以增強(qiáng)模型的泛化性能。在進(jìn)行訓(xùn)練時(shí)，本文使用學(xué)習(xí)率為0.002 的Adam 算法[20]進(jìn)行優(yōu)化，并將最大迭代次數(shù)設(shè)置為30。

3.3 對(duì)比模型與評(píng)價(jià)指標(biāo)

為了驗(yàn)證本文模型的有效性，實(shí)驗(yàn)對(duì)比了當(dāng)前最優(yōu)模型EmbedKGQA[12]。該模型將問(wèn)句視為知識(shí)庫(kù)中關(guān)系的單跳或多跳推理過(guò)程，進(jìn)而將知識(shí)庫(kù)問(wèn)答問(wèn)題類比為鏈接預(yù)測(cè)任務(wù)，并通過(guò)鏈接預(yù)測(cè)的得分函數(shù)計(jì)算候選實(shí)體的得分。實(shí)驗(yàn)中分別使用TransE[21]、DistMult[18]、ComplEx[16]和RotatE[22]作為得分函數(shù)進(jìn)行答案預(yù)測(cè)。

本文選取預(yù)測(cè)準(zhǔn)確率（accuracy，ACC）和平均倒數(shù)排名（mean reciprocal rank，MRR）作為性能評(píng)價(jià)指標(biāo)。準(zhǔn)確率ACC 衡量預(yù)測(cè)得分最高的實(shí)體是否出現(xiàn)在實(shí)際答案列表中，MRR 表示答案集中的實(shí)體在預(yù)測(cè)列表中平均倒數(shù)排名，它們的計(jì)算方式如下：

其中，M表示問(wèn)句數(shù)量；ET為問(wèn)題q的實(shí)際答案集合；p為模型預(yù)測(cè)得分最高的實(shí)體；函數(shù)I表示元素是否在集合中，其值域?yàn)閧0,1}；ri表示實(shí)體i在預(yù)測(cè)答案列表中的排名。

3.4 實(shí)驗(yàn)結(jié)果與分析

3.4.1 實(shí)驗(yàn)結(jié)果對(duì)比

本文模型與EmbedKGQA 方法在MOOC Q&A數(shù)據(jù)集上的性能對(duì)比如表2 所示。整體上，可以看出提出的模型在單跳和多跳問(wèn)答的指標(biāo)上都取得了優(yōu)秀的性能。除了多跳的MRR 略小于（0.009）得分函數(shù)為ComplEx 的EmbedKGQA，其他指標(biāo)都優(yōu)于對(duì)比模型，其中相比使用TransE 的提升最大，4 個(gè)指標(biāo)分別提升了0.129、0.120、0.241 和0.210。類似地，對(duì)比使用ComplEx 的最優(yōu)EmbedKGQA，單跳的ACC、MRR 和多跳的ACC 也分別取得了0.011、0.008 和0.004 的提升。這顯示出本文模型的有效性。

Table 2 Comparison of experimental performance表2 實(shí)驗(yàn)性能對(duì)比

3.4.2 消融實(shí)驗(yàn)

為了驗(yàn)證本文提出的問(wèn)句感知的雙注意力機(jī)制對(duì)于答案預(yù)測(cè)的真實(shí)作用，本文開(kāi)展了注意力消融實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如表3 所示，表中“注意力1”和“注意力2”分別指式（6）、（7）計(jì)算的關(guān)于問(wèn)句描述信息和相應(yīng)查詢實(shí)體的注意力。由表3 可知，消融某個(gè)或全部注意力得分都會(huì)降低實(shí)驗(yàn)性能，說(shuō)明每個(gè)注意力對(duì)于實(shí)驗(yàn)性能的提升都具有積極作用。同時(shí)注意力2 的影響略高于注意力1，這從側(cè)面說(shuō)明在進(jìn)行圖卷積的候選答案建模時(shí)，模型會(huì)更注重考慮其與查詢實(shí)體之間的關(guān)聯(lián)。

Table 3 Results of ablation experiments表3 消融實(shí)驗(yàn)結(jié)果

3.4.3 特征初始化的影響

為了探究知識(shí)庫(kù)中實(shí)體的初始嵌入矩陣對(duì)于問(wèn)答性能的影響，本文使用不同的初始化嵌入方法進(jìn)行實(shí)驗(yàn)。圖2 展示了使用TransE、DistMult、ComplEx和RotatE 時(shí)模型的性能對(duì)比。由此可知，初始化嵌入方法對(duì)模型整體的影響較小，模型在每種嵌入方法上都能取得良好的性能。

Fig.2 Impact of initialization embedding method on Q&A performance圖2 初始化嵌入方法對(duì)問(wèn)答性能的影響

3.4.4 特征維度的影響

為了探究嵌入維度對(duì)實(shí)驗(yàn)性能的影響，本文在區(qū)間[100,500]上以100 為步長(zhǎng)進(jìn)行了分組實(shí)驗(yàn)。在實(shí)驗(yàn)時(shí)，詞語(yǔ)嵌入維度、Transformer 隱藏層維度和圖卷積網(wǎng)絡(luò)的維度都被統(tǒng)一設(shè)置，實(shí)驗(yàn)結(jié)果如圖3 所示。可以看出，當(dāng)嵌入維度小于200 時(shí)，嵌入維度的增加會(huì)略微提升模型性能；當(dāng)維度大于200 時(shí)，其對(duì)于模型的影響較小，模型的性能趨于穩(wěn)定。

Fig.3 Impact of embedding dimension on performance圖3 嵌入維度對(duì)性能的影響

4 結(jié)束語(yǔ)

由于開(kāi)放領(lǐng)域的知識(shí)庫(kù)與教育領(lǐng)域存在差異，且相關(guān)方法都相對(duì)獨(dú)立地進(jìn)行候選實(shí)體建模，缺乏與問(wèn)句的交互，基于此本文提出了基于問(wèn)句感知圖卷積網(wǎng)絡(luò)，分別使用問(wèn)句中的相關(guān)描述信息和查詢實(shí)體集計(jì)算圖卷積信息傳遞時(shí)的注意力得分，進(jìn)而能夠?qū)W習(xí)到特定于問(wèn)句的實(shí)體表示。實(shí)驗(yàn)結(jié)果表明了該方法的有效性，且消融實(shí)驗(yàn)證明了提出的兩個(gè)注意力對(duì)于預(yù)測(cè)性能都具有積極作用。

本文在進(jìn)行問(wèn)句建模時(shí)，使用了簡(jiǎn)單的Transformer 進(jìn)行處理，且并未考慮候選答案實(shí)體對(duì)其表示的影響。在以后的工作中，將考慮使用大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型進(jìn)行更高效的問(wèn)句建模，并考慮多種信息（如查詢實(shí)體和候選答案實(shí)體）之間的有效融合方式。