基于圖注意力網絡的時序知識圖譜人機交互模型

摘 要：組織和檢索信息是人機交互重點關注的話題之一。基于知識圖譜（Ｋｎｏｗｌｅｄｇｅ Ｇｒａｐｈ，ＫＧ） 的智能問答系統(tǒng)通過語義解析用戶問題，檢索知識并回答問題，已成為一種信息檢索的有效途徑，是人機交互的典型應用。時序知識圖譜（Ｔｅｍｐｏｒａｌ Ｋｎｏｗｌｅｄｇｅ Ｇｒａｐｈ，ＴＫＧ） 問答系統(tǒng)通過語言模型獲取問題中的實體和時間戳，并在大型ＴＫＧ 中檢索答案。ＴＫＧ問答系統(tǒng)包含２ 個挑戰(zhàn)：① 給定問題，需檢索整個ＴＫＧ，效率低且易受干擾項的影響；② 難以捕獲問題中隱含的時間詞和時間順序信息。提出一種基于圖注意力網絡的時間對比學習（Ｔｉｍｅ Ｃｏｎｔｒａｓｔ Ｌｅａｒｎｉｎｇ，ＴＣＬ）模型，將源問題與替換時間詞后的對比問題同時訓練， 使用圖注意力網絡更新實體鄰接子圖的節(jié)點特征， 縮小潛在答案的檢索空間。在ＣＲＯＮＱＵＥＳＴＩＯＮＳ 數(shù)據(jù)集上進行大量實驗，結果表明ＴＣＬ 比其他基準方法具有更好的性能，相較于最先進的基準方法在Ｈｉｔ＠ １ 和Ｈｉｔｓ＠ １０ 指標上平均提升３． ４４％ 和２． ０２％ 。

關鍵詞：智能問答；時序知識圖譜；圖注意力網絡；時間對比學習；語言模型

中圖分類號：ＴＰ３９１． ９ 文獻標志碼：Ａ 開放科學（資源服務）標識碼（ＯＳＩＤ）：

文章編號：１００３－３１０６（２０２４）０７－１６７６－１１

０ 引言

信息社會中人們利用計算機、手機等通信設備進行交流，得益于人機交互領域的快速發(fā)展。人機交互是計算機科學領域的重要研究方向，其目的是提高計算機系統(tǒng)與人類之間的交互效率和用戶體驗，為人們生活和工作提供更加便捷、高效的技術支持。

組織和檢索信息是人機交互的關注點之一。在計算機的早期發(fā)展階段，專家系統(tǒng)、檢索系統(tǒng)作為信息的有效組織方式，可以滿足人們的信息需求。但隨著計算機技術的不斷發(fā)展，以往的信息組織方式已經無法滿足人們的需求。智能問答系統(tǒng)是一種基于人工智能技術的人機交互應用，可以根據(jù)用戶的提問，快速、準確地給出相應的答案或解決方案。這種系統(tǒng)可以幫助人們更加高效地獲取所需的信息，提高信息檢索的效率和準確性。早期的智能問答系統(tǒng)Ｂａｓｅｂａｌｌ［１］利用基于規(guī)則的方法構建，通常只能處理特定領域中的限定形式問題。人工智能技術促進了基于知識圖譜（Ｋｎｏｗｌｅｄｇｅ Ｇｒａｐｈ，ＫＧ）的智能問答系統(tǒng)的發(fā)展。利用神經網絡訓練模型，將ＫＧ 作為知識庫輔助模型推理，相較于基于規(guī)則的問答模型，基于ＫＧ 的智能問答系統(tǒng)在回答問題時更加準確，不再局限于特定領域和限定形式的問題。

基于ＫＧ 的智能問答系統(tǒng)的核心技術是ＫＧ，ＫＧ 是一種基于語義的知識表示方式，通常以圖結構描述實體、屬性與關系，以便更好地理解和利用知識。ＫＧ 解決了傳統(tǒng)搜索引擎存在的缺陷，即無法理解搜索內容的語義信息，只能根據(jù)關鍵詞匹配查詢結果，而ＫＧ 可以通過語義理解進行知識的查詢和推理。

傳統(tǒng)ＫＧ 中的事實大多是靜態(tài)的，其內部的知識在任何時間段都成立，忽略時間維度的重要性。然而，在現(xiàn)實中，事實通常只在一定時間內成立。在傳統(tǒng)ＫＧ 的基礎上，融入時間維度，構成了時序知識圖譜（Ｔｅｍｐｏｒａｌ Ｋｎｏｗｌｅｄｇｅ Ｇｒａｐｈ，ＴＫＧ）。ＴＫＧ 除時間信息外，還隱含事件之間的發(fā)展規(guī)律，具有廣泛研究價值。

ＴＫＧ 以四元組的形式記錄實體之間的關系和關系存在時的時間戳或時間段。例如，帶時間戳的四元組（北京，舉辦，２００８ 年奧運會，２００８）和帶時間段的四元組（Ｄｒａｎｃｙ，ｈｅａｄ ｏｆ ｇｏｖｅｒｎｍｅｎｔ，ＭａｕｒｉｃｅＮｉｌèｓ，［１９５９，１９９７］）。ＴＫＧ 可以更好地回答與時間相關的問題，包括推測某些事件發(fā)生的時間以及推測多個實體在時間上的相關性。

不同于關注關系推理的非時序問答，時序問答的核心挑戰(zhàn)是正確識別問題中顯式或隱式提出的時間信息，并通過對關系和時間戳的聯(lián)合推理來定位相關知識獲取正確答案。現(xiàn)有方法將ＴＫＧ 應用到了問答模型中，使其具有處理時序問題的能力。然而，模型不具有捕獲給定問題中隱含的時間詞和時間順序的能力。而且，模型需要從整個ＴＫＧ 檢索候選答案，效率低下且性能較差。

為了解決上述問題，本文提出了時間對比學習（Ｔｉｍｅ Ｃｏｎｔｒａｓｔ Ｌｅａｒｎｉｎｇ，ＴＣＬ）模型，主要貢獻包括：

① 提出一種基于圖注意力網絡的ＴＣＬ 模型，使用鄰接圖抽取模塊從ＴＫＧ 中獲取問題中實體的鄰接子圖，縮小候選答案的搜索空間，并使用圖注意力網絡更新鄰接圖中的節(jié)點表示，引導模型更加關注與問題相關的實體和時間戳，減少與問題不相關的實體的干擾，提高了檢索效率。

② 提出ＴＣＬ 模塊，利用時間詞對比詞典將源問題轉化為對比問題，同時訓練源問題與對比問題，引導模型學習源問題與對比問題中的時間詞差異，提高了模型對時間順序信息的敏感程度。

③ 在ＣＲＯＮＱＵＥＴＩＯＮＳ 數(shù)據(jù)集上進行大量實驗，相較于最先進的基準算法Ｔｉｍｅ-ａｗａｒｅ ＭｕｌｔｉｗａｙＡｄａｐｔｉｖｅ（ＴＭＡ），在一次命中率Ｈｉｔｓ＠ １ 上和前１０ 次命中率Ｈｉｔｓ＠ １０ 兩個指標上平均提升了３． ４４％ 和２． ０１％ 。實驗結果表明本文提出的ＴＣＬ 模型具有較好的性能。

１ 相關工作

１． １ ＴＫＧ 嵌入

由于ＫＧ 內部的知識的完備性和正確性不能得到保證，導致其應用場景受限。研究者們先后提出Ｔｒａｎｓｌａｔｉｎｇ Ｅｍｂｅｄｄｉｎｇ（ＴｒａｎｓＥ）［２］、Ｃｏｍｐｌｅｘ Ｅｍｂｅｄｄｉｎｇ（ＣｏｍｐｌＥｘ）［３］、Ｒｏｔａｔｉｏｎ Ｅｍｂｅｄｄｉｎｇ（ＲｏｔａｔＥ）［４］等ＫＧ嵌入模型，通過將ＫＧ 中的實體和關系投影到連續(xù)的低維向量空間，從而在方便計算的同時保留ＫＧ中的結構信息。

Ｊｉａｎｇ 等［５］使用時間維度的一致性作為約束，將時間信息與得分函數(shù)相結合，將ＴｒａｎｓＥ 模型應用于ＴＫＧ，但這種方法學習的嵌入沒有明確的時間感知能力，僅能矯正一些順序邏輯關系，例如ｗａｓＢｏｒＩｎ→ｗｏｎＰｒｉｚｅ→ ｄｉｅｄＩｎ。為了解決這一問題，Ｄａｓｇｕｐｔａ等［６］提出一種基于超平面的時間感知ＫＧ 嵌入方法（Ｈｙｐｅｒｐｌａｎｅｂａｓｅｄ Ｔｅｍｐｏｒａｌｌｙ ａｗａｒｅ Ｅｍｂｅｄｄｉｎｇ，ＨｙＴＥ）。ＨｙＴＥ 將ＫＧ 按照時間戳分割為多個子圖，然后將子圖中的實體和關系投影到其對應的時間戳超平面中，直接將時間信息編碼到嵌入模型中，使得模型可以預測不包含時間范圍的事實的時序信息。Ｇａｒｃíａ-Ｄｕｒáｎ 等［７］提出一種學習某時間節(jié)點的潛在實體和關系類型表示法，使用詞元序列表示時間謂語，使用數(shù)字表示時間點并訓練遞歸神經網絡（Ｒｅｃｕｒｓｉｖｅ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＲＮＮ）模型，得到的表示結果可以應用到通用的ＫＧ 嵌入模型的得分函數(shù)中。Ｌａｃｒｏｉｘ 等［８］引入正則化方案來分解４ 階張量，提出ＣｏｍｐｌＥｘ 在時間維度上的擴展（Ｔｅｍｐｏｒａｌ ＣｏｍｐｌｅｘＥｍｂｅｄｄｉｎｇ，ＴＣｏｍｐｌＥｘ），該方法很好地適應不同數(shù)據(jù)集的時間表達形式，如時間點、開始時間與結束時間的時間間隔。Ｇｏｅｌ 等［９］受歷時詞嵌入的啟發(fā)，提出一種歷時實體嵌入（Ｄｉａｃｈｒｏｎｉｃ Ｅｍｂｅｄｄｉｎｇ，ＤＥ）函數(shù)，將實體嵌入定義為函數(shù)，為任意給定的時間戳提供實體特征。任何靜態(tài)ＫＧ 嵌入都可以借助ＤＥ 函數(shù)拓展為ＴＫＧ 嵌入，具有較好的優(yōu)越性。

１． ２ ＴＫＧ 問答

時序問答系統(tǒng)主要在閱讀理解的語境下進行研究。Ｊｉｎ 等［１０］提出一種新的自動事件預測方法———ＦｏｒｅｃａｓｔＱＡ，幫助人們規(guī)劃未來。該方法將事件預測問題轉化為多項選擇答題任務，數(shù)據(jù)集中的文章和問題均帶有時間戳。Ｎｉｎｇ 等［１１］提出一種閱讀理解的數(shù)據(jù)集ＴＯＲＱＵＥ，探尋文本中描述的事件之間的時間順序關系。

另一個重要研究方向是利用知識庫作為輔助信息，從其中檢索時序信息，來回答時序問題。傳統(tǒng)ＫＧ問答系統(tǒng)大多采用的是大規(guī)模的靜態(tài)ＫＧ 和語言模型相結合，例如，文獻［１２］提出了一種語言模型驅動的ＫＧ 問答推理模型ＱＡＫＧＮｅｔ，具有優(yōu)越的結構化推理能力。但這些大規(guī)模的靜態(tài)ＫＧ 沒有考慮時間因素對問答模型預測答案時的影響，使現(xiàn)有方法無法有效、準確地處理帶有時間約束的問題［１３］。

為了能更準確地回答用戶的問題，學者們開始研究時序問題。Ｊｉａ 等［１４］提出了一個時序問答基準數(shù)據(jù)集ＴｅｍｐＱｕｅｓｔｉｏｎｓ，包含１ ２７１ 個時序問題及其答案，旨在評估問答系統(tǒng)處理具有時間信息的復雜問題的能力，其研究結果表明，對復雜問題需要展開深入研究。基于該數(shù)據(jù)集，Ｊｉａ 等［１５］提出時序知識問答方法ＴＥＱＵＩＬＡ 來解決ＴＫＧ 問答中包含時間信息的復雜問題。ＴＥＱＵＩＬＡ 利用規(guī)則將帶有時間信息的復雜問題分解為簡單的子問題，并使用子問題的答案集與時間約束進行聯(lián)合推理來獲取答案，可以與ＫＧ 問答系統(tǒng)結合使用。但ＴＥＱＵＩＬＡ 使用的規(guī)則模板是專家預先給定的，限定了處理復雜問題的能力。在此之后，Ｊｉａ 等［１６］希望提高問答系統(tǒng)回答時序問題的性能，提出了端到端問答系統(tǒng)Ｅｘａｑｔ，該系統(tǒng)首先微調語言模型（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｆｒｏｍ Ｔｒａｎｓｆｏｒｍｅｒｓ，ＢＥＲＴ），同時加入時間信息，構建與問題相關的實體鄰接子圖。此外，使用擴展的關系圖卷積網絡（Ｒｅｌａｔｉｏｎａｌ Ｇｒａｐｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋ，Ｒ-ＧＣＮ）來預測答案，實驗表明該方法在解決具有時間意圖的問題時具有較好的表現(xiàn)。然而ＴＥＱＵＩＬＡ 與Ｅｘａｑｔ 所使用的數(shù)據(jù)集包含時間信息的問題數(shù)量有限，且使用的ＫＧ 大都為非ＴＫＧ，如表１ 所示。

ＴＥＱＵＩＬＡ 與Ｅｘａｑｔ 方法實驗結果表明，增強時序信息可顯著提升答案預測性能。Ｓａｘｅｎａ 等［１７］提出一個新的大規(guī)模ＴＫＧ 問答數(shù)據(jù)集ＣＲＯＮＱＵＥＳ-ＴＩＯＮＳ，該數(shù)據(jù)集含有４１ 萬個問題－答案對，且所有的時間問題和ＴＫＧ 都具有時間注釋。同時，基于該數(shù)據(jù)集，提出ＣＲＯＮＫＧＱＡ 來解決時序問題，其性能優(yōu)于所有基線方法。該方法改進了ＥｍｂｅｄＫＧＱＡ［１８］，使其可以適用ＴＫＧ 嵌入。ＣＲＯＮＫＧＱＡ 首先使用ＢＥＲＴ生成實體問題嵌入和時間問題嵌入，然后使用ＴＣｏｍｐｌＥｘ 得分函數(shù)計算整個ＴＫＧ 中的實體和時間得分數(shù)，將實體和時間得分拼接后，使用ｓｏｆｔｍａｘ 函數(shù)計算答案概率。ＣＲＯＮＫＧＱＡ 在處理簡單問題時具有較好的準確性，但處理復雜問題的性能不夠理想。近期，Ｌｉｕ 等［１９］提出了一種時間感知多路自適應融合網絡ＴＭＡ。ＴＭＡ 使用多路自適應模塊生成問題的特定時間表示，與預訓練的ＴＫＧ 嵌入結合，生成最終的預測答案。

２ 問題描述

基于ＫＧ 的智能問答系統(tǒng)將ＫＧ 作為問答系統(tǒng)的知識庫，通過語言模型理解用戶問句中的語義信息，通過在知識庫中檢索相關信息，通過知識推理獲取正確答案。而傳統(tǒng)的ＫＧ 問答系統(tǒng)較難處理時序問題。本文采用ＴＫＧ 代替?zhèn)鹘y(tǒng)ＫＧ，通過ＴＫＧ 嵌入模型將其轉為低維向量，輔助問答系統(tǒng)利用ＫＧ 中隱含的時間信息，處理時序問題。

定義１（ＴＫＧ）ＴＫＧ Ｇ ＝ （ε，Ｒ， T，γ），其中，ε 表示Ｇ 中實體的集合，Ｒ 表示Ｇ 中關系的集合， T表示Ｇ 中時間戳的集合，γ 表示由前三者組合而成的事實集合。事實ｖ 四元組的形式為（ｓ，ｒ，ｏ，ｔ），其中＜ｓ，ｏ＞∈ε，ｒ∈Ｒ，ｔ∈T 。

例１． 已知時序事實四元組ｖ ＝ （北京，舉辦，奧運會，［２００８，２００８］）。

定義２（ＴＫＧ 嵌入）ＴＫＧ 嵌入是指對于Ｇ 中的每個＜ｓ，ｏ＞∈ε，ｒ∈Ｒ，ｔ∈T ，將其學習為低維嵌入向量＜ｕｓ，ｕｒ，ｕｏ，ｕｔ ＞∈Ｒｄ，其中ｄ 表示低維嵌入向量的維度。通過語義相似度來構建一個得分函數(shù)Φ（·）來學習這些嵌入。對于一個有效的事實ｖ ＝（ｓ，ｒ，ｏ，ｔ）∈γ 的Φ（·）得分，要比一個無效事實ｖ’＝ （ｓ’，ｒ’，ｏ’，ｔ’）∈γ 的Φ（·）得分高。得分函數(shù)Φ（·）需要滿足：

Φ（ｓ，ｒ，ｏ，ｔ） ＞ Φ（ｓ’，ｒ’，ｏ’，ｔ’）。（１）

ＴＣｏｍｐｌＥｘ 是針對時態(tài)ＫＧ 的語義匹配算法，是ＣｏｍｐｌＥｘ 在時間維度上的擴展。它將實體、關系和時間戳嵌入到復數(shù)空間中，其對應的得分函數(shù)如式（２）所示：

式中：Ｒｅ 表示取復數(shù)的實部，＜· ＞表示多次線性的點積運算，ｕｏ 表示ｕｏ 的共軛復數(shù)，＜ｕｓ，ｕｒ，ｕｏ，ｕｔ ＞∈Ｃｄ，是復數(shù)嵌入，ｄ 表示復數(shù)嵌入向量的維度。

關系ｒ 可能含有時間信息，也可能不含時間信息。基于此，提出另一種得分函數(shù)（Ｔｅｍｐｏｒａｌ ａｎｄＮｏｔＴｅｍｐｏｒａｌ Ｃｏｍｐｌｅｘ Ｅｍｂｅｄｄｉｎｇ，ＴＮＴＣｏｍｐｌＥｘ）［８］，該得分函數(shù)計算時間敏感部分和非時間敏感部分的得分之和，其計算公式如下：

式中：ｕＴｒ表示具有時間信息的關系嵌入向量，Ｔ 表示轉置操作，ｕｒ 表示不包含時間信息的嵌入向量。

定義３（ＴＫＧ 問答系統(tǒng)）ＴＫＧ 問答任務是指用戶給定一個自然語言問題ｑ，問答系統(tǒng)通過理解ｑ 中的語義信息，獲取問題實體信息，從Ｇ 中獲取與問題實體相關的四元組信息，通過時間推理，找到合適的時間段內的四元組信息，并給予用戶準確的答案。

例２． 已知問題ｑ ＝ “Ｗｈｏ ｗａｓ ｔｈｅ ｐｒｅｓｉｄｅｎｔ ｏｆ ｔｈｅＲｏｙａｌ Ｓｏｃｉｅｔｙ ｉｎ Ｌｏｎｄｏｎ ２０１２？”，針對這個問題，ＴＫＧ問答系統(tǒng)從問句中提取實體ｔｈｅ ｐｒｅｓｉｄｅｎｔ ｏｆ ｔｈｅ ＲｏｙａｌＳｏｃｉｅｔｙ 和時間戳２０１２，找到實體對應的事實ｖ＝ （ＰａｕｌＮｕｒｓｅ，ｐｏｓｉｔｉｏｎ ｈｅｌｄ，ｔｈｅ ｐｒｅｓｉｄｅｎｔ ｏｆ ｔｈｅ Ｒｏｙａｌ Ｓｏｃｉｅｔｙ，［２０１０，２０１５］），利用ｖ 中的信息回答問題。

ＴＫＧ 問答系統(tǒng)所處理的時序問題，按照推理的復雜程度可分為簡單問題和復雜問題。

定義４（簡單問題）ｑ 只需要Ｇ 中的單個事實ｖ便可以回答，回答的答案可能是一個實體或一個時間戳，具體如例２ 所示。按照答案類型可進一步將問題劃分為簡單實體問題和簡單時間問題。

定義５（復雜問題）ｑ 需要Ｇ 中的多個事實ｖ 進行回答，回答的答案可能是單個實體或時間戳，也可能是實體集合或時間戳集合，通常需要進行一定的時間推理來獲得最終的答案。

例３． 已知問題“Ｗｈｉｃｈ ｗａｓ ｔｈｅ ｌａｓｔ ａｗａｒｄ ＴｈｏｍａｓＹｏｕｎｇ ｇｏｔ？”，針對這個問題需要與Ｔｈｏｍａｓ Ｙｏｕｎｇ 相關的多個ｖ，并進行一定的時間推理來獲取目標答案。復雜問題可進一步分為Ｂｅｆｏｒｅ ／ Ａｆｔｅｒ、Ｆｉｒｓｔ ／Ｌａｓｔ、Ｔｉｍｅ Ｊｏｉｎ 三大類，具體舉例如表２ 所示。

ＴＫＧ 問答系統(tǒng)應對ｑ 中隱含的時間詞和時間順序信息更為敏感。例如“Ｗｈｉｃｈ ｗａｓ ｔｈｅ ｌａｓｔ ａｗａｒｄＴｈｏｍａｓ Ｙｏｕｎｇ ｇｏｔ？”和“Ｗｈｉｃｈ ｗａｓ ｔｈｅ ｆｉｒｓｔ ａｗａｒｄＴｈｏｍａｓ Ｙｏｕｎｇ ｇｏｔ？”，雖然這２ 個問題只有一個時間詞不同，但這２ 個問題的答案并不相同。現(xiàn)有的ＴＫＧ 問答工作通常使用預訓練的語言模型理解問題中的語義信息，但這些模型對自然語言問題中的時間表達差異并不敏感，例如ｌａｓｔ 和ｆｉｒｓｔ，ｂｅｆｏｒｅ 和ａｆｔｅｒ 等，使得模型容易預測出錯誤的答案。

為解決上述問題，本文采用對比學習的方法，增強ＴＫＧ 問答系統(tǒng)對ｑ 中隱含的時間表達的敏感程度。通過生成源問題的對比問題，構建ＴＣＬ 模型，同時訓練源問題與對比問題，使模型學習這組對比問題的潛在時間特征的差異，從而使模型可以更好地捕獲ｑ 中隱含的時間表達，提高模型對復雜問題的處理能力，具有更好預測性能。

定義６（時間詞對比詞典）為了生成給定ｑ 的對比問題ｑｃ，本文從ＣＲＯＮＱＵＥＳＴＩＯＮＳ 數(shù)據(jù)集中提取問題中的時間詞，然后查找反義詞，構建時間詞對比詞典，部分舉例如表３ 所示。

３ ＴＣＬ 模型

ＴＣＬ 模型工作原理如圖１ 所示。模型可以分為兩部分，一部分對問題ｑ 進行推理，另一部分則是利用時間詞對比詞典將ｑ 轉換為對比問題ｑｃ，然后將ｑｃ作為輸入進行推理。這兩部分的模型結構是一致的，只是輸入部分不同。針對于問題ｑ，模型使用語言模型對ｑ 進行編碼，獲得ｕｅｎｔ 和ｕｔｉｍｅ；同時，使用鄰接圖抽取模塊獲取ｑ 中實體的鄰接圖，然后利用圖注意力網絡更新鄰接圖中的節(jié)點表示，使用ＴＣｏｍｐｌＥｘ 得分函數(shù)計算鄰接圖中實體節(jié)點和時間節(jié)點的得分。通常ｑ 和ｑｃ 的答案實體是不相同的，為了捕獲這種差異，本文基于實體不交叉原則，提出對比損失Ｌｃ。

３． １ 鄰接圖抽取模塊

假設從問題ｑ 中可以抽取出ｎ 個實體，即｛Ｅ１ ，Ｅ２ ，…，Ｅｎ｝，首先從Ｇ 中提取每個實體Ｅｉ 的多跳鄰接子圖Ｇｉ；然后，組合這ｎ 個實體的鄰接子圖，得到問題ｑ 的潛在答案的搜索子圖Ｇｑ，其中，Ｇｑ 滿足Ｇｑ ＝∪ｎｉ＝ １ Ｇｉ。將Ｇｑ 中的節(jié)點按節(jié)點類型分為實體節(jié)點和時間節(jié)點，所有的實體節(jié)點組成實體集合εｑ，所有的時間節(jié)點組成時間戳集合Tｑ。εｑ 和Tｑ 組成了ＴＣＬ模型中答案預測部分的實體評分和時間評分的搜索空間，使得模型不需要對整個Ｇ 中的實體和時間戳進行評分來預測最終答案。在實際應用中，搜索子圖Ｇｑ的大小通常比整個ＴＫＧ Ｇ 小得多。例如，在ＣｒｏｎＫＧＱＡ 中，｜Ｇｑ ｜ ／ ｜Ｇ｜的平均值大約為３％ 。

鄰接圖抽取模塊是為了縮小候選答案實體和時間戳的搜索空間，不僅提高了訓練過程的有效性，縮短了訓練時間，還提高了預測答案的性能。這是因為更多的候選答案通常會使模型學習預測答案的過程更加困難，訓練難度將大幅度提高。

３． ２ 圖注意力網絡模塊

為了引導模型更加關注與問題相關的實體與時間戳，排除不相關實體的干擾，為尋找答案實體提供了錨點，本文引入圖注意力機制（Ｇｒａｐｈ ＡｔｔｅｎｔｉｏｎＮｅｔｗｏｒｋｓ ｖｅｒｓｉｏｎ ２，ＧＡＴｖ２）［２０］。使用ＧＡＴｖ２ 對Ｇｑ中鄰接節(jié)點與問題的重要性進行描述，過濾掉不重要的鄰居，進而獲取更小的搜索子圖Ｇ′ｑ 。具體操作步驟如算法１ 所示。

為了使圖注意力網絡的學習過程更加準確，受到文獻［２１－２２］的工作啟發(fā)，在式（６）的基礎上為圖注意力網絡提供了不同角度（多頭）的考慮，提出了多頭圖注意力網絡，將式（６）優(yōu)化為式（７），如下所示：

式中：Ｋ 表示不同角度的數(shù)量（頭的數(shù)量），上標ｋ 表示第ｋ 個角度，每個角度的學習過程獨立執(zhí)行，將學到的向量進行拼接。

３． ３ 答案預測模塊

本文使用預訓練的語言模型ＢＥＲＴ 獲取問題嵌入ｕｑ，然后將其投影為實體嵌入ｕｅｎｔ 和時間嵌入ｕｔｉｍｅ，分別表示實體預測問題嵌入和時間預測問題嵌入。

經過圖注意力網絡模塊對搜索子圖Ｇｑ 進行剪枝得到Ｇ′ｑ ，使用式（２）的得分函數(shù)Φ 計算Ｇ′ｑ 中的每個實體節(jié)點和時間戳節(jié)點的得分，將所有實體和時間戳的得分拼接起來，得到答案得分集合Ｓａ。然后，使用ｓｏｆｔｍａｘ 函數(shù)來計算每個答案為正確答案的概率：

式中：當?shù)冢?個候選答案是正確答案時，ｙｉ ＝ １；否則，ｙｉ ＝ ０。

３． ４ ＴＣＬ 模塊

為提高ＴＫＧ 問答模型捕獲ｑ 中隱含的時間表達式的能力，本文采用對比學習的方法，通過構建ＴＣＬ 模型，同時訓練源問題與對比問題，提高模型對時間序列信息的敏感程度。

基于定義６，將問題ｑ 中的時間詞替換為時間詞對比字典中的反義詞，生成對比問題ｑｃ，將問題ｑ 和對比問題ｑｃ 放入模型訓練，得到相應的答案得分集合Ｓａ和Ｓ′ａ ，將這２ 個答案得分集合組合起來，得到Ｓｑ ＝［Ｓａ，Ｓ′ａ ］∈Ｒ２Ｃ。然后，使用ｓｏｆｔｍａｘ 函數(shù)對Ｓｑ 進行計算，得到答案概率分布Ｐｑ∈Ｒ２Ｃ，具體計算公式如下：

Ｐｑ ＝ ｓｏｆｔｍａｘ（Ｓｑ ）， （１０）

式中：Ｐｑ ∈Ｒ２Ｃ ，且滿足ΣＣｉ ＝ ０ Ｐｑ ［：，ｉ］＝ １，其中Ｐｑ ［：，ｉ］表示第ｉ 列的答案概率分布。

由于ｑ 的答案肯定不是ｑｃ 的答案，可構建答案引導學習標簽［ｙ１ ，ｙ２ ，…，ｙＣ ］，當且僅當?shù)冢?個候選對象是正確答案時，ｙｉ ＝ １；否則，ｙｉ ＝ ０。由此得到ＴＣＬ 的損失函數(shù)，如下所示：

Ｌｃ ＝ － １/ＣΣＣｉ ＝ ０ｙｉ ｌｎ（Ｐｑ ［０，ｉ］）。（１１）

最后，組合答案預測的損失函數(shù)和ＴＣＬ 的損失函數(shù)作為最終的損失函數(shù)，進行模型訓練。

Ｌ ＝ Ｌａ ＋ λｃ Ｌｃ ， （１２）

式中：λｃ 表示衡量時間對比損失的權重因子。

４ 實驗與分析

４． １ 數(shù)據(jù)集

本文在ＣＲＯＮＱＵＥＳＴＩＯＮＳ 數(shù)據(jù)集進行實驗，驗證ＴＣＬ 模型在ＴＫＧ 問答任務中的有效性。ＣＲＯＮＱＵＥＳＴＩＯＮＳ 數(shù)據(jù)集包含帶有時間注釋的ＫＧ 和需要時間推理的自然語言問題集。ＴＫＧ 具有１２． ５ 萬個實體和２０３ 種關系，并由此組合成了３２． ８ 萬個事實（四元組）。這些事實四元組中含有以年為單位的時間信息。數(shù)據(jù)集中有４１ 萬個問題，按定義３ 和定義４ 將問題劃分為不同類型，不同類型的問題數(shù)量如表４ 所示。

４． ２ 實驗設置

本文使用ＰｙＴｏｒｃｈ 框架實現(xiàn)所提模型，并按照ＣＲＯＮＱＵＥＴＩＯＮＳ 數(shù)據(jù)集劃分為訓練集、驗證集和測試集對模型進行訓練，訓練時的超參數(shù)設置如下：初始學習率為０． ０００ ２，迭代次數(shù)ｅｐｏｃｈ 為２００，批大小為２５０，每５ 個ｅｐｏｃｈ 驗證一次模型的效果，驗證時批大小為５０，對比損失權重λｃ 為０． ５。

實驗環(huán)境為英特爾至強Ｗ-２２４５ ３． ９０ ＧＨｚ ＣＰＵ，６４ ＧＢ 內存，５１２ ＧＢ ＳＳＤ 硬盤，Ｕｂｕｎｔｕ ２０． ０４ 操作系統(tǒng)以及ＧＰＵ（ＧｅＦｏｒｃｅ ＲＴＸ ３０９０）。對于基準模型，本文使用了其文中對應的參數(shù)設置進行實驗。

對于所有模型，采用Ｈｉｔｓ＠ １ 和Ｈｉｔｓ＠ １０ 兩個指標對其進行評估，具體計算公式如下：

式中：ＩＩ（·）為指示函數(shù)，若后面的等式條件成立則輸出為１，否則輸出為０；Ｍ 表示數(shù)據(jù)集中問題的總數(shù)，Ｓ ＝ ［Ｓｑ ，１ ，Ｓｑ ，２ ，…，Ｓｑ ，Ｍ ］表示所有問題的預測答案集合的集合，Ｓｉ［０ ：ｎ］表示第ｉ 個問題的預測答案中概率最高的前ｎ 個答案。一般情況下ｎ 取１、３、１０，本文采用Ｈｉｔｓ ＠ １ 和Ｈｉｔｓ ＠ １０ 兩種，Ａ ＝ ［Ａ１ ，Ａ２ ，…，ＡＭ ］表示所有問題正確答案的集合。

４． ３ 基準方法

本節(jié)對實驗過程中使用的基準對比算法進行介紹：① ＥｍｂｅｄＫＧＱＡ 是一種將ＫＧ 嵌入用于多跳ＫＧ 問答任務的方法，使用ＣｏｍｐｌＥｘ 嵌入，只能處理非時態(tài)的ＫＧ 和簡單問題。② Ｔ-ＥａＥ-ａｄｄ／ ｒｅｐｌａｃｅ 是用ＫＧ 增強語言模型Ｅｎｔｉｔｉｅｓ ａｓ Ｅｘｐｅｒｔｓ（ＥａＥ）［２３］的２ 種修改，將ＫＧ 中的實體信息集成到基于Ｔｒａｎｓｆｏｒｍｅｒ 的語言模型中。Ｔ-ＥａＥ-ａｄｄ 在問題中標明了所有真實的實體和時間跨度信息；Ｔ-ＥａＥ-ｒｅｐｌａｃｅ 則使用實體／ 時間嵌入替換了ＢＥＲＴ 嵌入，而不是用詞嵌入的形式添加實體和時間跨度信息。③ ＣｒｏｎＫＧＱＡ 將ＥｍｂｅｄＫＧＱＡ 擴展到時序問答問題，并利用ＴＫＧ 嵌入來回答時序問題。④ＴＭＡ 通過選擇、匹配、融合和預測的范式顯示地融合相關知識（Ｓｕｂｊｅｃｔ Ｐｒｅｄｉｃａｔｅ Ｏｂｊｅｃｔ，ＳＰＯ）到問題表示中，使問題嵌入具有時間特異性。

４． ４ 實驗結果

表５ 給出了本文提出的ＴＣＬ 和５ 種基準方法在ＣＲＯＮＱＵＥＳＴＩＯＮＳ 數(shù)據(jù)集上的Ｈｉｔｓ＠ １ 和Ｈｉｔｓ＠１０ 兩種評價指標的對比結果。可以發(fā)現(xiàn)，本文提出的ＴＣＬ 方法在所有類型問題上的２ 種評價指標性能均優(yōu)于基準方法。而ＥｍｂｅｄＫＧＱＡ、Ｔ-ＥａＥ-ａｄｄ ／ｒｅｐｌａｃｅ 方法的效果非常差，由于它們均使用非時序的ＫＧ 嵌入，在處理時序問題時性能較差。

相較于最先進的基準方法ＴＭＡ，ＴＣＬ 方法在Ｈｉｔ＠ １ 和Ｈｉｔｓ ＠ １０ 指標上平均提升３． ４４％ 和２． ０１％ ，在復雜問題上平均提升了８． ３９％ 和４． ２０％ 。這是由于復雜問題中涉及的實體較多，ＴＭＡ 在回答問題時使用整個ＴＫＧ，導致許多與問題不相關的實體對最終結果造成干擾，產生偏差。而ＴＣＬ 方法使用鄰接圖抽取模塊和圖注意力機制對搜索空間進行剪枝，在回答問題時使用的是搜索子圖Ｇ′ｑ ，排除了不相關實體的干擾，可以更加準確地回答問題。

同時，ＣＲＯＮＫＧＱＡ、ＴＭＡ 和ＴＣＬ 方法在簡單問題的Ｈｉｔｓ＠ １ 指標上均達到了０． ９８７，而其他方法則要低很多。這３ 種方法均采用ＴＣｏｍｐｌＥｘ 作為評分函數(shù)，該函數(shù)與實體和時間戳嵌入使用的評分函數(shù)是一致的，使得模型在組合問題中的嵌入信息時具有歸納偏置性，可以提高樣本的利用率，從而更易于回答簡單問題。

對比各模型訓練所需時間，可以發(fā)現(xiàn)，Ｅｍｂｅｄ-ＫＧＱＡ 所消耗的訓練時間最短，但其預測命中率較差，而ＴＣＬ 方法所消耗時間僅居其后，相比ＣＲＯＮＫＧＱＡ 縮短了３０． ２１％ 的訓練時間。這是由于，ＣＲＯＮＫＧＱＡ 使用整個ＴＫＧ 回答問題，而ＴＣＬ 使用鄰接圖抽取模塊縮小搜索空間，提高了訓練效率。但由于ＴＣＬ 的網絡結構比ＥｍｂｅｄＫＧＱＡ 更為復雜，所以在具有更高性能的同時，訓練時間也更長。而Ｔ-ＥａＥ-ａｄｄ ／ ｒｅｐｌａｃｅ 采用６ 層的Ｔｒａｎｓｆｏｒｍｅｒ 進行訓練，需要訓練大量的參數(shù)，訓練時間更長。

本文比較了ＴＣＬ 方法與５ 種基準模型對于不同類別問題的Ｈｉｔｓ＠ １，結果如圖２ 所示。相比所有基準方法，本文所提出ＴＣＬ 模型的性能更好，特別是在復雜問題的回答上。相較于最先進的基準方法ＴＭＡ，ＴＣＬ 在“Ｂｅｆｏｒｅ ／ Ａｆｔｅｒ”“Ｆｉｒｓｔ ／ Ｌａｓｔ”“Ｔｉｍｅ Ｊｏｉｎ”方面的表現(xiàn)分別提高了４． ４８％ 、５． ７４％ 和２． ３７％ 。實驗結果證明了本文提出的圖注意力網絡模塊和ＴＣＬ 模塊的性能優(yōu)勢，有利于增強模型對時間詞和時間順序的敏感程度。

如圖２（ａ）所示，在復雜問題類型中，ＣｒｏｎＫＧＱＡ、ＴＭＡ 和ＴＣＬ 三種方法在Ｔｉｍｅ Ｊｏｉｎ 類問題上的表現(xiàn)最好。這是由于Ｔｉｍｅ Ｊｏｉｎ 類問題通常具有多個答案，例如“Ｗｈｏ ｗａｓ Ｊｕａｎ Ｃａｒｌｏｓ Ｌｏｒｅｎｚｏ-ｓ ｔｅａｍ ｍｅｍｂｅｒｉｎ Ｕｎｉｏｎｅ Ｃａｌｃｉｏ Ｓａｍｐｄｏｒｉａ？”這個例子的答案是ＪｕａｎＣａｒｌｏｓ Ｌｏｒｅｎｚｏ 為Ｕｎｉｏｎｅ Ｃａｌｃｉｏ Ｓａｍｐｄｏｒｉａ 效力時的所有球員。這使得模型更容易做出正確的預測，而其他２ 類問題，答案通常是單個實體或者時間戳。

“Ｂｅｆｏｒｅ ／ Ａｆｔｅｒ”“Ｆｉｒｓｔ ／ Ｌａｓｔ”兩類問題更具挑戰(zhàn)性，因為需要更好地理解問題中的時間詞或時間表達式。ＴＣＬ 方法通過ＴＣＬ 模塊，使模型可以更好地捕獲不同時態(tài)詞之間的差異，從而取得較大的性能提升。此外，對于簡單問題，如圖２（ｂ）所示，ＴＣＬ 方法仍然保持競爭力。

４． ５ 消融實驗

為了驗證ＴＣＬ 方法中每個模塊的貢獻均是有效的，本文通過在ＣｒｏｎＫＧＱＡ 的基礎上添加各模塊構成ＴＣＬ 方法，進行消融實驗。其中，‘＋’表示添加該模塊，ＧＡＴ 表示圖注意力網絡模塊，ＮｅｉｇｈｂｏｒＧｒａｐｈ（ＮＧ）表示鄰接圖抽取模塊。每組實驗均重復執(zhí)行５ 次，最后取平均結果，如表６ 所示。

從表６ 可以看出，本文所提模塊均有利于提高Ｈｉｔｓ＠ １ 指標的整體性能，特別是針對具有較高復雜性的問題。添加鄰接子圖抽取模塊之后，模型在復雜問題的Ｈｉｔｓ＠ １ 指標上提高了２６． ８％ ，這是由于顯著縮小了候選答案的搜索空間，有利于模型更加容易和準確地找到正確答案。圖注意力網絡模塊也帶來了顯著的提升，這是由于圖注意力網絡模塊對搜索子圖中的每個節(jié)點進行加權處理，去除了一些與問題無關的節(jié)點，進一步縮小了搜索空間，引導模型更加關注與問題相關的實體與時間戳，為尋找答案實體提供了很好的錨點。此外，ＴＣＬ 模塊進一步提高了模型對復雜問題的處理性能。ＴＣＬ 模塊通過學習問題ｑ 與對比問題ｑｃ 中時間詞的差異，向模型中添加了明確的時間約束，增強了模型的時間順序學習能力，使得模型可以更好地捕獲問題中隱含的時間詞和時間順序信息。

圖３ 展示了不同的多頭個數(shù)ｋ 對模型Ｈｉｔｓ＠ １ 的性能影響，即｛２，４，６，８，１０，１２｝。結果表明，當ｋ ＝ ８時，模型的Ｈｉｔｓ＠ １ 的性能最好。當ｋ 過少時，圖注意力網絡無法從多個角度充分理解搜索子圖Ｇ′ｑ 各節(jié)點的特征，導致去除的不相關實體不夠充分，進而導致模型的Ｈｉｔｓ＠ １ 性能降低。當ｋ 過多時，圖注意力網絡過分關注某些重要特征，從而產生偏差。

圖４ 給出了時間對比損失的權重λｃ 對模型Ｈｉｔｓ＠ １ 的性能影響，其中，λｃ 的取值為｛０． ０５，０． １０，０． ５０，１． ００，２． ０｝。可以觀察到，隨著λｃ 取值不斷變大，模型Ｈｉｔｓ＠ １ 的性能在不斷提升，在λｃ 取值為０． ５ 時達到最大，隨后遞減。因為當λｃ 取值較小時，模型無法充分捕獲在問題中隱含的時間順序信息，而當λｃ 取值較大后，模型過分關注對比問題的答案，從而產生偏差。

４． ６ 模型推理可視化

本小節(jié)將介紹ＴＣＬ 模型獲取問題ｑ 的正確答案集合Ｓａ 的推理過程，其過程可視化如圖５ 所示。其中，Ｑ９６７８５９ 和Ｑ１４５７ 分別表示ｑ 中的實體ＪｕａｎＣａｒｌｏｓ Ｌｏｒｅｎｚｏ-ｓ 和Ｕｎｉｏｎｅ Ｃａｌｃｉｏ Ｓａｍｐｄｏｒｉａ，Ｐ５４ 表示ｍｅｍｂｅｒ ｏｆ ｓｐｏｒｔｓ ｔｅａｍ 這種關系，Ｑ１７０７０３ 和Ｑ１２８５７９５ 等實體表示與實體Ｑ９６７８５９ 和Ｑ１４５７ 相關的實體。

首先，使用ＢＥＲＴ 獲取ｑ 的問題嵌入ｕｅｎｔ 和ｕｔｉｍｅ；其次，利用鄰接圖抽取模塊獲取問題中的實體Ｑ９６７８５９ 和Ｑ１４５７ 的多跳鄰接圖，構成搜索子圖Ｇｑ；然后，Ｇｑ 通過圖注意力網絡模塊后，去掉了與ｑ 不相關的實體Ｑ１７０７０３、Ｑ５１２９４２４ 等，得到剪枝后的搜索子圖Ｇ′ｑ ；最后，通過答案預測模塊對Ｇ′ｑ 中的各節(jié)點進行評分，得到答案集合Ｓａ。其中，Ｑ３６１１０８０ 和Ｑ３８０４４３３ 實體的得分非常高，而Ｑ１２８５７９５ 實體的得分比較低。這是因為Ｑ３６１１０８０ 和Ｑ３８０４４３３ 與Ｑ１４５７ 的Ｐ５４ 關系成立的時間均在Ｑ９６７８５９ 與Ｑ１４５７ 的關系成立時間之內，符合ｑ 中隱含的時間順序。而Ｑ１２８５７９５ 與Ｑ１４５７ 的關系成立時間不在［１９４７，１９５２］，因此評分較低。

５ 結束語。

本文提出一種基于圖注意力網絡的ＴＣＬ 模型，其獲取給定問題ｑ 的實體和時間戳，能夠從ＴＫＧ 中抽取實體對應的鄰接子圖，并通過多頭圖注意力網絡進行消息傳遞，更新鄰接子圖中的節(jié)點表示，壓縮答題的搜索空間。利用ＴＣＬ 方法，同時訓練問題ｑ與對比問題ｑｃ，捕獲每組對比問題中隱含時間詞的差異，提高了模型對時間詞和時間順序信息的敏感程度。在ＣＲＯＮＱＵＥＳＴＩＯＮＳ 數(shù)據(jù)集上進行大量實驗，結果表明，ＴＣＬ 模型相較于主流基準模型在時序問答任務上的性能提升。未來的工作將關注于時間評估方法以進一步提高模型的時間推理能力，以及如何使問題嵌入具有更好的時間特異性。

參考文獻

［１］ 姚元杰，龔毅光，劉佳，等． 基于深度學習的智能問答系統(tǒng)綜述［Ｊ］． 計算機系統(tǒng)應用，２０２３，３２（４）：１－１５．

［２］ ＢＯＲＤＥＳ Ａ，ＵＳＵＮＩＥＲ Ｎ，ＧＡＲＣＩＡＤＵＲＡＮ Ａ，ｅｔ ａｌ．Ｔｒａｎｓｌａｔｉｎｇ Ｅｍｂｅｄｄｉｎｇｓ ｆｏｒ Ｍｏｄｅｌｉｎｇ ＭｕｌｔｉｒｅｌａｔｉｏｎａｌＤａｔａ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２７ｔｈ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎＮｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ． Ｌａｋｅ Ｔａｈｏｅ：Ｃｕｒｒａｎ Ａｓｓｏｃｉａｔｅｓ Ｉｎｃ． ，２０１３：２７８７－２７９５．

［３］ ＴＲＯＵＩＬＬＯＮ Ｔ，ＷＥＬＢＬ Ｊ，ＲＩＥＤＥＬ Ｓ，ｅｔ ａｌ． ＣｏｍｐｌｅｘＥｍｂｅｄｄｉｎｇｓ ｆｏｒ Ｓｉｍｐｌｅ Ｌｉｎｋ Ｐｒｅｄｉｃｔｉｏｎ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓｏｆ ｔｈｅ ３３ｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ＭａｃｈｉｎｅＬｅａｒｎｉｎｇ． Ｎｅｗ Ｙｏｒｋ：ＪＭＬＲ，２０１６：２０７１－２０８０．

［４］ ＳＵＮ Ｚ Ｑ，ＤＥＮＧ Ｚ Ｈ，ＮＩＥ Ｊ Ｙ，ｅｔ ａｌ． ＲｏｔａｔＥ：ＫｎｏｗｌｅｄｇｅＧｒａｐｈ Ｅｍｂｅｄｄｉｎｇ ｂｙ Ｒｅｌａｔｉｏｎａｌ Ｒｏｔａｔｉｏｎ ｉｎ ＣｏｍｐｌｅｘＳｐａｃｅ ［Ｃ ］ ∥ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ７ｔｈ ＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅ ｏｎ Ｌｅａｒｎｉｎｇ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ． Ｎｅｗ Ｏｒｌｅａｎｓ：［ｓ． ｎ． ］，２０１９：１９８１－１９９９．

［５］ ＪＩＡＮＧ Ｔ Ｓ，ＬＩＵ Ｔ Ｙ，ＧＥ Ｔ，ｅｔ ａｌ． Ｔｏｗａｒｄｓ ＴｉｍｅａｗａｒｅＫｎｏｗｌｅｄｇｅ Ｇｒａｐｈ Ｃｏｍｐｌｅｔｉｏｎ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＣＯＬＩＮＧ ２０１６，ｔｈｅ ２６ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ：Ｔｅｃｈｎｉｃａｌ Ｐａｐｅｒｓ． Ｏｓａｋａ：Ｔｈｅ ＣＯＬＩＮＧ２０１６ Ｏｒｇａｎｉｚｉｎｇ Ｃｏｍｍｉｔｔｅｅ，２０１６：１７１５－１７２４．

［６］ ＤＡＳＧＵＰＴＡ Ｓ Ｓ，ＲＡＹ Ｓ Ｎ，ＴＡＬＵＫＤＡＲ Ｐ． ＨｙＴＥ：Ｈｙｐｅｒｐｌａｎｅｂａｓｅｄ Ｔｅｍｐｏｒａｌｌｙ Ａｗａｒｅ Ｋｎｏｗｌｅｄｇｅ Ｇｒａｐｈ Ｅｍｂｅｄｄｉｎｇ ［Ｃ］∥ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１８ Ｃｏｎｆｅｒｅｎｃｅ ｏｎＥｍｐｉｒｉｃａｌ Ｍｅｔｈｏｄｓ ｉｎ Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ． Ｂｒｕｓｓｅｌｓ：ＡＣＬ，２０１８：２００１－２０１１．

［７］ ＧＡＲＣ？ＡＤＵＲ？Ｎ Ａ， ＤＵＭＡＮＣ ˇ ＩＣ＇ Ｓ， ＮＩＥＰＥＲＴ Ｍ．Ｌｅａｒｎｉｎｇ Ｓｅｑｕｅｎｃｅ Ｅｎｃｏｄｅｒｓ ｆｏｒ Ｔｅｍｐｏｒａｌ ＫｎｏｗｌｅｄｇｅＧｒａｐｈ Ｃｏｍｐｌｅｔｉｏｎ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０１８ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｅｍｐｉｒｉｃａｌ Ｍｅｔｈｏｄｓ ｉｎ Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ． Ｂｒｕｓｓｅｌｓ：ＡＣＬ，２０１８：４８１６－４８２１．

［８］ ＬＡＣＲＯＩＸ Ｔ，ＯＢＯＺＩＮＳＫＩ Ｇ，ＵＳＵＮＩＥＲ Ｎ． Ｔｅｎｓｏｒ Ｄｅｃｏｍｐｏｓｉｔｉｏｎｓ ｆｏｒ Ｔｅｍｐｏｒａｌ Ｋｎｏｗｌｅｄｇｅ Ｂａｓｅ Ｃｏｍｐｌｅｔｉｏｎ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ８ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ＬｅａｒｎｉｎｇＲｅｐｒｅｓｅｎｔａｔｉｏｎｓ． Ａｄｄｉｓ：［ｓ． ｎ． ］，２０２０：３０５７－３０６９．

［９］ ＧＯＥＬ Ｒ，ＫＡＺＥＭＩ Ｓ Ｍ，ＢＲＵＢＡＫＥＲ Ｍ，ｅｔ ａｌ． ＤｉａｃｈｒｏｎｉｃＥｍｂｅｄｄｉｎｇ ｆｏｒ Ｔｅｍｐｏｒａｌ Ｋｎｏｗｌｅｄｇｅ Ｇｒａｐｈ Ｃｏｍｐｌｅｔｉｏｎ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＡＡＡＩ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ． Ｎｅｗ Ｙｏｒｋ：ＡＡＡＩ，２０２０：３９８８－３９９５．

［１０］ ＪＩＮ Ｗ，ＫＨＡＮＮＡ Ｒ，ＫＩＭ Ｓ，ｅｔ ａｌ． ＦｏｒｅｃａｓｔＱＡ：ＡＱｕｅｓｔｉｏｎ Ａｎｓｗｅｒｉｎｇ Ｃｈａｌｌｅｎｇｅ ｆｏｒ Ｅｖｅｎｔ Ｆｏｒｅｃａｓｔｉｎｇ ｗｉｔｈＴｅｍｐｏｒａｌ Ｔｅｘｔ Ｄａｔａ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ５９ｔｈ ＡｎｎｕａｌＭｅｅｔｉｎｇ ｏｆ ｔｈｅ Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓａｎｄ ｔｈｅ １１ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｉｎｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ＮａｔｕｒａｌＬａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ． Ｏｎｌｉｎｅ：ＡＣＬ，２０２１：４６３６－４６５０．

［１１］ ＮＩＮＧ Ｑ，ＷＵ Ｈ，ＨＡＮ Ｒ Ｊ，ｅｔ ａｌ． ＴＯＲＱＵＥ：Ａ ＲｅａｄｉｎｇＣｏｍｐｒｅｈｅｎｓｉｏｎ Ｄａｔａｓｅｔ ｏｆ Ｔｅｍｐｏｒａｌ Ｏｒｄｅｒｉｎｇ Ｑｕｅｓｔｉｏｎｓ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２０２０ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ＥｍｐｉｒｉｃａｌＭｅｔｈｏｄｓ ｉｎ Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ． Ｏｎｌｉｎｅ：ＡＣＬ，２０２０：１１５８－１１７２．

［１２］ 喬少杰，楊國平，于泳，等． ＱＡ-ＫＧＮｅｔ：一種語言模型驅動的知識圖譜問答模型［Ｊ］． 軟件學報，２０２３，３４（１０）：４５８４－４６００．

［１３］ 薩日娜，李艷玲，林民． 知識圖譜推理問答研究綜述［Ｊ］． 計算機科學與探索，２０２２，１６（８）：１７２７－１７４１．

［１４］ ＪＩＡ Ｚ，ＡＢＵＪＡＢＡＬ Ａ，ＲＯＹ Ｒ Ｓ，ｅｔ ａｌ． ＴｅｍｐＱｕｅｓｔｉｏｎｓ：ＡＢｅｎｃｈｍａｒｋ ｆｏｒ Ｔｅｍｐｏｒａｌ Ｑｕｅｓｔｉｏｎ Ａｎｓｗｅｒｉｎｇ［Ｃ］∥ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｃｏｍｐａｎｉｏｎ ｏｆ ｔｈｅ Ｗｅｂ Ｃｏｎｆｅｒｅｎｃｅ ２０１８．Ｌｙｏｎ：ＡＣＭ，２０１８：１０５７－１０６２．

［１５］ ＪＩＡ Ｚ，ＡＢＵＪＡＢＡＬ Ａ，ＲＯＹＳ Ｒ，ｅｔ ａｌ． ＴＥＱＵＩＬＡ：ＴｅｍｐｏｒａｌＱｕｅｓｔｉｏｎ Ａｎｓｗｅｒｉｎｇ ｏｖｅｒ Ｋｎｏｗｌｅｄｇｅ Ｂａｓｅｓ ［Ｃ ］∥ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２７ｔｈ ＡＣＭ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｋｎｏｗｌｅｄｇｅ Ｍａｎａｇｅｍｅｎｔ． Ｔｏｒｉｎｏ：ＡＣＭ，２０１８：１８０７－１８１０．

［１６］ ＪＩＡ Ｚ，ＰＲＡＭＡＮＩＫ Ｓ，ＲＯＹ Ｒ Ｓ，ｅｔ ａｌ． Ｃｏｍｐｌｅｘ ＴｅｍｐｏｒａｌＱｕｅｓｔｉｏｎ Ａｎｓｗｅｒｉｎｇ ｏｎ Ｋｎｏｗｌｅｄｇｅ Ｇｒａｐｈｓ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ３０ｔｈ ＡＣＭ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｋｎｏｗｌｅｄｇｅ Ｍａｎａｇｅｍｅｎｔ． Ｑｕｅｅｎｓｌａｎｄ：ＡＣＭ，２０２１：７９２－８０２．

［１７］ ＳＡＸＥＮＡ Ａ，ＣＨＡＫＲＡＢＡＲＴＩ Ｓ，ＴＡＬＵＫＤＡＲ Ｐ． ＱｕｅｓｔｉｏｎＡｎｓｗｅｒｉｎｇ ｏｖｅｒ Ｔｅｍｐｏｒａｌ Ｋｎｏｗｌｅｄｇｅ Ｇｒａｐｈｓ［Ｃ］∥ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ５９ｔｈ Ａｎｎｕａｌ Ｍｅｅｔｉｎｇ ｏｆ ｔｈｅ Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒＣｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ ａｎｄ ｔｈｅ １１ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ ＪｏｉｎｔＣｏｎｆｅｒｅｎｃｅ ｏｎ Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ． Ｏｎｌｉｎｅ：ＡＣＬ，２０２１：６６６３－６６７６．

［１８］ ＳＡＸＥＮＡ Ａ，ＴＲＩＰＡＴＨＩ Ａ，ＴＡＬＵＫＤＡＲ Ｐ． ＩｍｐｒｏｖｉｎｇＭｕｌｔｉｈｏｐ Ｑｕｅｓｔｉｏｎ Ａｎｓｗｅｒｉｎｇ ｏｖｅｒ Ｋｎｏｗｌｅｄｇｅ ＧｒａｐｈｓＵｓｉｎｇ Ｋｎｏｗｌｅｄｇｅ Ｂａｓｅ Ｅｍｂｅｄｄｉｎｇｓ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆｔｈｅ ５８ｔｈ Ａｎｎｕａｌ Ｍｅｅｔｉｎｇ ｏｆ ｔｈｅ Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ． Ｏｎｌｉｎｅ：ＡＣＬ，２０２０：４４９８－４５０７．

［１９］ ＬＩＵ Ｙ Ｈ，ＬＩＡＮＧ Ｄ，ＦＡＮＧ Ｆ，ｅｔ ａｌ． Ｔｉｍｅａｗａｒｅ ＭｕｌｔｉｗａｙＡｄａｐｔｉｖｅ Ｆｕｓｉｏｎ Ｎｅｔｗｏｒｋ ｆｏｒ Ｔｅｍｐｏｒａｌ Ｋｎｏｗｌｅｄｇｅ ＧｒａｐｈＱｕｅｓｔｉｏｎ Ａｎｓｗｅｒｉｎｇ［ＥＢ ／ ＯＬ］． （２０２３ － ０２ － ２４）［２０２３ －０４－１７］． ｈｔｔｐｓ：∥ａｒｘｉｖ． ｏｒｇ ／ ａｂｓ ／ ２３０２． １２５２９．

［２０］ ＢＲＯＤＹ Ｓ，ＡＬＯＮ Ｕ，ＹＡＨＡＶ Ｅ． Ｈｏｗ Ａｔｔｅｎｔｉｖｅ ａｒｅ ＧｒａｐｈＡｔｔｅｎｔｉｏｎ Ｎｅｔｗｏｒｋｓ？［ＥＢ ／ ＯＬ］． （２０２１ －０５ －３０）［２０２３ －０５－１０］． ｈｔｔｐｓ：∥ａｒｘｉｖ． ｏｒｇ ／ ａｂｓ ／ ２１０５． １４４９１．

［２１］ 俞海亮，彭冬亮，谷雨． 結合雙層多頭自注意力和ＢｉＬ-ＳＴＭ-ＣＲＦ 的軍事武器實體識別［Ｊ］． 無線電工程，２０２２，５２（５）：７７５－７８２．

［２２］ 梁禮明，何安軍，陽淵，等． 融合Ｔｒａｎｓｆｏｍｅｒ 和多尺度并行注意的結直腸息肉分割算法［Ｊ］． 無線電工程，２０２３，５３（１）：２０９－２１９．

［２３］ Ｆ？ＶＲＹ Ｔ，ＳＯＡＲＥＳ Ｌ Ｂ，ＦＩＴＺＧＥＲＡＬＤ Ｎ，ｅｔ ａｌ． Ｅｎｔｉｔｉｅｓａｓ Ｅｘｐｅｒｔｓ：Ｓｐａｒｓｅ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ ｗｉｔｈ Ｅｎｔｉｔｙ Ｓｕｐｅｒｖｉｓｉｏｎ［ＥＢ ／ ＯＬ］． （２０２０ － ０４ － １５）［２０２３ － ０５ － １０］． ｈｔｔｐｓ：∥ａｒｘｉｖ． ｏｒｇ ／ ａｂｓ ／ ２００４． ０７２０２．

作者簡介

于 泳 男，（１９９８—），碩士研究生。主要研究方向：知識圖譜、移動數(shù)據(jù)挖掘。

（*通信作者）喬少杰 男，（１９８１—），博士后，教授。主要研究方向：時空數(shù)據(jù)庫、人工智能數(shù)據(jù)庫。

陳金勇 男，（１９７０—），碩士，研究員，碩士生導師。

高 林 男，（１９８４—），碩士，高級工程師。

黃江濤 男，（１９７９—），博士，副研究員。主要研究方向：人工智能。

劉晨旭 男，（１９９９—），碩士研究生。主要研究方向：人工智能數(shù)據(jù)庫。

韓 楠 女，（１９８４—），博士，副教授。主要研究方向：時空大數(shù)據(jù)、軌跡預測。

張 桃 男，（１９９０—），碩士。主要研究方向：數(shù)據(jù)挖掘、人工智能。

蔡宏果 男，（１９７８—），博士，副教授。主要研究方向：機器學習、數(shù)據(jù)挖掘。

基金項目：國家自然科學基金（６２２７２０６６）；四川省科技計劃（２０２１ＪＤＪＱ００２１，２０２２ＹＦＧ０１８６，２０２２ＮＳＦＳＣ０５１１，２０２３ＹＦＧ００２７）；教育部人文社會科學研究規(guī)劃基金（２２ＹＪＡＺＨ０８８）；宜賓市引進高層次人才項目（２０２２ＹＧ０２）；成都市“揭榜掛帥”科技項目（２０２２ －ＪＢ００ －００００２ －ＧＸ，２０２１ －ＪＢ００－０００２５－ＧＸ）；成都市技術創(chuàng)新研發(fā)項目（重點項目）（２０２４－ＹＦ０８－０００２９－ＧＸ）；成都市區(qū)域科技創(chuàng)新合作項目（２０２３－ＹＦ１１－０００２０－ＨＺ）；中國電子科技集團公司第五十四研究所高校合作課題（ＳＫＸ２１２０１００５７）；成都海關科研項目資助（２０２２ＣＫ００８）