融合多維學術特征的引文推薦：一種基于異質圖卷積網絡的方法

摘 要： ［目的／ 意義］ 現有的引文推薦方法大多采用基于元路徑的網絡表示學習方法， 但該類方法通常存在忽略節點間復雜交互、 過度依賴領域知識等問題。 ［方法／ 過程］ 本研究提出了一種基于異質圖卷積網絡的方法， 旨在有效融合多維學術特征來提高推薦的準確性。 首先利用預訓練的 ＢＥＲＴ 模型提取論文語義特征。 然后設計一個注意力感知的圖卷積神經網絡以自動學習異質學術信息網絡中節點的鄰域信息。 最后融合網絡結構和語義信息以生成論文表示。 ［結果／ 結論］ 在 ３ 個數據集上進行了大量實驗， 結果表明所提出方法在各項指標上均優于基線模型。 案例分析進一步證實了該方法在引文推薦任務中的有效性和適用性。

關鍵詞： 引文推薦； 圖卷積網絡； 異質信息網絡； 注意力機制； 自然語言處理

ＤＯＩ：１０．３９６９ ／ ｊ．ｉｓｓｎ．１００８－０８２１．２０２５．０７．００３

〔中圖分類號〕 ＴＰ３９１.１； ＴＰ１８３ 〔文獻標識碼〕 Ａ 〔文章編號〕 １００８－０８２１ （２０２５） ０７－００２６－１０

引文是學術論文的重要內容之一。 通過對現有文獻的梳理， 研究人員能夠完善理論框架、 優化研究方法， 同時有助于讀者理解領域知識體系發展的脈絡。 然而， 隨著技術的進步， 學術論文的數量呈指數級的增長， 這給研究人員帶來了前所未有的挑戰。 研究人員需要投入更多的時間和精力用于引文檢索， 同時還要面臨著錯失關鍵文獻以及出現引用偏差的風險。 面對海量的科學論文， 如何準確而高效地篩選引文成為了一個亟需解決的難題。

引文推薦系統作為解決學術信息過載的有效工具， 受到學界和工業界廣泛關注。 這類系統利用機器學習和自然語言處理技術， 為研究人員提供個性化的引文推薦， 顯著提高了引文檢索和篩選的效率。現有的引文推薦系統依據方法上的差異主要可分為基于內容的推薦、 基于協同過濾的推薦和基于圖的推薦。 基于內容的推薦通過分析論文的題目、 摘要和全文內容， 識別出與查詢論文在文本語義上相匹配的文獻［１］。 然而， 過度依賴文本內容可能導致推薦系統在同一主題下產生過于相似的結果， 從而削弱了個性化推薦的效果。 相比之下， 基于協同過濾的推薦通過分析論文間的引用模式來生成推薦結果［２］。 雖然基于協同過濾的方法在捕捉隱含的引用模式方面表現出色， 但該方法常遭受數據稀疏和冷啟動問題。

近年來， 基于圖的方法因其強大的信息融合能力和對復雜關系的建模優勢而常被用于引文推薦任務中［３－６］。 這類方法的核心思想是構建異構信息網絡（Ｈｅｔｅｒｏｇｅｎｅｏｕｓ Ｉｎｆｏｒｍａｔｉｏｎ Ｎｅｔｗｏｒｋ， ＨＩＮ）， 將論文的多維度元信息（如作者、 發表期刊、 年份等）以及它們之間的復雜關系整合到一個統一的圖結構中。 通過這種方式， 模型能夠有效地捕捉和利用學術生態系統中的豐富語義信息和結構特征， 從而顯著提升推薦性能。 在這些基于圖的方法中， 基于元路徑的方法已成為引文推薦研究的主流方向之一［３，７－８］。Ｙｕ Ｘ 等［３］借助判別性術語分桶和基于元路徑的特征空間來預測可能的引用鏈接。 Ｃｈｅｎ Ｊ 等［７］ 提出了一種多元路徑融合的引文推薦框架。 該框架利用 ３ 種預先定義的元路徑來捕獲學術網絡中的多維語義關系。 孫金柱等［９］利用注意力學習不同關聯關系以生成引文的深層次語義向量表示。 盡管基于元路徑的方法在引文推薦中取得了顯著成效， 然而該類方法往往將不同類型的學術信息孤立處理， 忽視了信息之間的相互影響。 例如， 一篇論文的引用行為可能同時受到其主題內容、 作者、 發表期刊（會議） 等多個因素的綜合作用， 這種多維度信息的動態交互難以通過預定義的靜態元路徑準確捕捉。 此外， 元路徑的設計和選擇通常依賴領域專家知識， 這可能導致一些潛在有價值的信息被忽略。

針對以上問題， 本研究提出一種基于異質圖卷積網絡的方法（Ｈｅｔｅｒｏｇｅｎｅｏｕｓ Ｇｒａｐｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔ?ｗｏｒｋｓ， ＨＧＣＮ）用于融合多維學術特征以提高推薦的準確性。 ＨＧＣＮ 通過引入注意力機制， 能夠動態評估和調整不同關系類型及鄰居節點的重要程度，從而消除了人工設計元路徑的需求。 具體地， 首先使用預訓練的 ＢＥＲＴ 模型從論文內容中提取豐富的語義特征， 然后基于論文的元數據和多種關系構建異質學術信息網絡， 并設計一個注意感知的圖卷積網絡， 自動識別不同類型關系的重要性， 實現動態聚合鄰域信息， 從而生成融合網絡拓撲和語義信息的論文表示。 這種自適應的關系學習策略不僅提高了模型的靈活性和泛化能力， 還能更有效地捕捉學術網絡中的復雜交互模式， 為引文推薦任務提供了更加精準和全面的信息基礎。

１ 國內外研究進展

１.１ 引文推薦模型

引文推薦是基于給定查詢論文的內容和特征，預測并推薦該論文可能引用的其他相關論文。 引文推薦根據推薦范圍可分為局部推薦和全局推薦。 局部引文推薦是一種針對性的引文推薦任務， 其目標是基于學術論文中的特定文本片段（通常是 １ 個段落或幾個句子）為研究人員推薦相關的引用文獻。 這種任務的核心在于評估候選引文與給定查詢文本之間的語義相似度和主題相關性。 然而， 只考慮局部上下文， 推薦系統可能會忽視論文的整體主題和結構，導致推薦結果與論文的整體論述不一致［１０］。 全局引文推薦是基于整個查詢論文（如， 已有引用、 標題或摘要）進行推薦， 可以提供更廣闊的視角［１１］， 也是本研究關注的問題。

現有的引文推薦系統研究可分為三類： 基于內容的推薦、 基于協同過濾的推薦和基于圖的推薦［１２］。基于內容的引文推薦主要利用論文的文本信息， 計算論文間的語義相似度， 提供引用推薦［１，１３］。 這種方法常采用主題模型來提取論文的語義特征， 并基于主題分布的相似性來推薦潛在的引用文獻［１３］。 但同一個研究主題往往包含大量的論文， 需要更準確地捕捉引用偏好。 協同過濾方法在引文推薦中將引用關系類比為用戶—項目交互。 它把引用論文視為“用戶”， 把被引論文視為 “項目”。 這種方法假設具有相似引用行為的論文可能在主題或方法上存在相關性。 通過分析論文的引用模式， 識別相似論文并推薦潛在的參考文獻［１４］。 但該方法往往存在冷啟動和數據稀疏問題。

為了克服上述局限， 整合論文內容信息和網絡拓撲結構的圖推薦方法被廣泛應用于引文推薦任務，尤其是異構信息網絡顯示出巨大潛力［９］。 ＷｅｉｇｈｔｅｄＨｅｔｅｒｏｇｅｎｅｏｕｓ Ｉｎｆｏｒｍａｔｉｏｎ Ｎｅｔｗｏｒｋ Ｃｏｎｔａｉｎｉｎｇ Ｓｅｍａｎ?ｔｉｃ Ｌｉｎｋｉｎｇ（ＷＨＩＮ－ＣＳＬ）模型［７］ 構建包含語義鏈接的加權異構信息網絡， 通過網絡表示學習和多模態相似度的線性組合提高推薦準確性。 但該研究直接應用了同構網絡的 Ｎｏｄｅ２ｖｅｃ 算法而沒有考慮節點和邊的異質性。 為此， 許多學者改進了基于元路徑的異構網絡表示方法。 ＣＲＭ－ＨＩＮ 模型［８］ 通過構建包含文獻內容和多種關系的異構網絡， 結合元路徑和隨機游走進行表示學習， 有效地融合了語義和結構信息。 Ｈｅｔｅｒｏｇｅｎｅｏｕｓ Ｇｒａｐｈ Ａｔｔｅｎｔｉｏｎ Ｎｅｔｗｏｒｋ ｆｏｒ Ｃｉ?ｔａｔｉｏｎ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ（ＨＡＮ－ＣＲ）模型［９］ 通過構建包含語義鏈接的異構網絡， 基于預定義的元路徑并結合雙層注意力機制進行網絡表示學習， 實現了更準確的論文表示。 以上這些模型均采用基于元路徑的方法從異構學術網絡中提取結構化信息， 在一定程度上提高了引文推薦的性能。 然而， 現有方法存在兩個主要局限性。 首先， 這些方法往往忽視了不同類型信息之間的相互影響和復雜關聯。 學術網絡中的實體（如作者、 論文、 發表期刊等）通過多種方式相互關聯， 這些關聯可能對推薦結果產生重要影響。其次， 基于元路徑的方法通常依賴于人工定義的元路徑， 這不僅需要大量領域專家知識， 而且可能導致有價值的隱含路徑被忽略［１５］。 這種人為定義的方式難以全面捕捉網絡中的復雜關系， 可能導致推薦結果的偏差或不完整。

１.２ 基于異質信息網絡的表示學習

網絡表示學習旨在將網絡的結構信息編碼并映射至低維稠密的向量空間以此獲取節點的表示， 同時保留結構特征［１６－１７］。 在推薦系統中， 大多數建模方法是基于 “用戶—物品” 二部圖， 如經典的協同過濾方法。 然而， 這種建模方式依賴于用戶與物品的交互信息， 易遭受數據稀疏和冷啟動問題。 為了緩解以上問題， 研究人員提出基于異質信息網絡的建模方法［１８］。 通過構建異質信息網絡， 推薦系統可以融合用戶—物品的交互信息和輔助信息， 并以此建模用戶和物品的特征表示。 基于元路徑的方法是異質信息網絡表示學習中一種常用的方法［１９－２１］， 其中元路徑是由在不同對象類型之間定義的關系序列（即元級別的結構路徑） 組成的路徑。 例如， Ｐａｔｈ?Ｓｉｍ［１９］提出了一種基于元路徑的相似性度量方法，用于捕捉異構網絡中同類對象之間的語義關系。 通過預定義的元路徑， 這種方法能夠將復雜的異構網絡投影為多個語義明確的同構子網絡。 ＮｅｕＡＣＦ［２０］基于元路徑相似提取項目的多方面相似性矩陣， 通過深度神經網絡學習不同方面的嵌入。 為了解決基于相似度的方法難以充分挖掘元路徑中的結構信息問題， ＨＥＲｅｃ［２２］利用元路徑的隨機游走構建節點序列， 并結合個性化的非線性融合函數學習異構中的節點嵌入。 考慮到已有的方法受限于將異質信息網絡作為輔助信息源， ＭＴＲｅｃ［２３］ 設計了一個多任務學習框架。 采用自注意力機制來學習異質信息網絡中元路徑的語義， 并聯合優化推薦和鏈接預測的任務。 盡管基于元路徑的方法已經取得了優異的推薦表現， 然而該方法依賴于學者的領域知識手工設置元路徑， 容易遺漏重要信息。 ＥＣＨＣＤＲ［２４］ 提出使用基于圖注意網絡的方法來學習節點嵌入。 ＥＣＦＫＧ［２５］使用基于 Ｔｒａｎｓｆｏｒｍｅｒ 的模型來生成節點嵌入。 Ｉｎ?ｔｅｎｔＧＣ［２６］將復雜的異構圖轉換為基于二階關系的僅由用戶和項目組成的二部圖， 并進行向量卷積以避免不必要的特征交互。

２ 基于異質圖卷積網絡的推薦模型

本研究聚焦于引文推薦任務， 旨在根據輸入的查詢文檔從候選論文集中識別并推薦最可能被引用的論文。 為了充分利用論文的多維度元信息并提升推薦準確性， 本研究提出了一種基于異構圖卷積網絡的方法。 以下將系統地闡述本研究的核心內容，包括問題的形式化定義、 模型的整體架構以及各個關鍵步驟的詳細描述。

２.１ 任務描述

給定一篇查詢論文， 其包含一些元信息， 包括但不限于論文的作者、 題目、 摘要或關鍵詞和目標期刊（會議）等。 系統中存在一個候選引文集合， 每一篇候選論文包含題目、 摘要、 關鍵詞、 發表期刊（會議）、 作者和引文集合等。 本研究的任務是訓練一個推薦模型， 該模型能夠深入分析查詢論文的特征， 并在候選論文集合中識別出最相關、 最有價值的引文， 從而為查詢論文提供一個高質量的推薦引文列表。