圖神經網絡推薦系統綜述

吳靜，謝輝，姜火文

江西科技師范大學 數學與計算機科學學院，南昌330038

隨著大數據時代的到來，數據結構更加復雜，圖神經網絡推薦系統是用來處理非歐式數據并以此來提升推薦系統準確度的方法。現實生活中形成的社交網絡、知識圖譜等都存在大量的非歐式數據，圖神經網絡（graph neural network，GNN）推薦系統（recommendation system，RS）能達到傳統推薦系統所無法達到的效果。尤其在項目與項目、用戶與用戶、用戶與項目以及顯性或隱性信息之間的處理上，GNN 推薦系統能夠借助非歐式數據，使得推薦結果高質量化。推薦系統目前的主要挑戰是如何從用戶-物品交互以及輔助信息中學習有效的嵌入信息。其大部分的信息本質上都是圖結構，而GNN 在表示學習方面具有先天優勢。隨著深度學習的發展，作為常見的深度學習模型GNN，其應用于推薦系統方向的研究與日俱增，在推薦方向的應用將成為發展的必然趨勢。基于GNN 推薦系統問題的相關研究正受到人們的廣泛關注和研究。以往的GNN 推薦方向的綜述從GNN 模型的圖結構、個人或群體等角度上進行總結歸納，本文最大的創新點在于從方法、問題兩個角度切入分析，在近些年來圖神經網絡的相關研究進行整理的基礎上，對圖神經網絡推薦系統進行深入研究，從兩個角度來分析總結基于GNN 推薦系統的最新研究進展，提出GNN 推薦系統當前存在的問題并討論未來的主要研究方向。

1 推薦系統

推薦系統的核心是通過用戶的歷史行為、興趣偏好或者人口統計學特征來得到某種推薦算法，該算法能產生用戶感興趣的項目列表，而該項目列表使得排在前面的物品展示給用戶。正因為互聯網的發展，推薦系統已經成為互聯網產品的標配，而推薦系統的主要目標是發現并建立用戶與信息之間的通道。從用戶角度來看，推薦系統就是幫助用戶找到他們所需要的信息，例如喜歡的物品或服務，還會幫助用戶做出決策，并且發現用戶可能感興趣的潛在信息；從信息角度來看，推薦系統可以將特定的信息提供給特定的用戶，以此來提供個性化的服務，提高用戶信任度和粘性，為商家增加營收。根據推薦算法所用數據的不同分為基于內容的推薦、協同過濾的推薦以及混合的推薦。如圖1 所示為推薦系統基本分類。

圖1 推薦系統分類Fig.1 Recommendation system classification

基于協同過濾的推薦系統是基于用戶-項目的歷史交互記錄產生推薦，可以是顯性反饋（評分、喜歡/不喜歡），也可以是隱性反饋（瀏覽、點擊）；基于內容的推薦主要是根據用戶和項目的特征信息來進行推薦；混合方法推薦則結合了以上兩種不同的推薦方法，即可同時建模靜態特征與動態交互。在基于協同過濾的推薦系統上，圖神經網絡屬于基于圖的模型。

2 圖神經網絡推薦系統方法

圖神經網絡借鑒了卷積神經網絡、循環網絡和深度自編碼器的思想，目的是為了擴展現有神經網絡，定義和設計用于處理圖形結構數據的神經網絡結構。盡管在提取歐氏空間數據的特征方面，傳統方法取得了巨大的成功，但圖神經網絡既可以利用圖來反映對象之間的復雜關系，還可以對非歐氏空間生成的數據進行特征提取和表示。它在學習圖形結構數據方面表現出了更強大的功能。正因為GNN在圖學習上的優越性能，它被廣泛運用于推薦系統。除此之外，它也被應用到許多領域，如文本分類、自然語言處理、疾病預測、特征關系提取等。

對于推薦系統來說，一般推薦系統包括三個階段，分別是匹配、排序和再排序。圖神經網絡的原理主要是：首先構建圖結構模型來反映實體和實體之間的關系；再利用特定的方法對節點進行描述并得到包含最終的鄰居節點信息和拓撲結構特點狀態的節點，該節點已經進行了不斷的更新迭代；最后將通過某種特定的方式輸出這些節點的表示形式，并獲得所需要的信息。而對于GNN 推薦系統來說，其主要階段和圖神經網絡過程接近，一般只分為四步：（1）根據實體相互關系建立GNN 模型；（2）決定GNN模型的信息傳播與更新方法；（3）提取出更新后的節點特征；（4）選取算法實現推薦。本文基于圖神經網絡推薦系統的方法主要分成了五大類。圖2 表示了GNN 推薦系統主要的五大分類。

圖2 GNN 推薦系統分類Fig.2 Taxonomy of graph neural network-based recommendation system

2.1 圖卷積網絡推薦系統

圖卷積網絡（graph convolution networks，GCN）是將卷積運算從傳統數據推廣到了圖數據，如圖3所示。

圖3 圖卷積原理圖Fig.3 Principle diagram of graph convolution networks

該圖是使用深度為2 的卷積模型。左邊是一個小的輸入圖示例，右邊為兩層神經網絡。該網絡使用節點及其鄰域()（節點、、）來計算節點的值。

在基于圖卷積神經網絡推薦系統的算法中，一部分算法并不會直接使用GCN 方法，而是將GCN 與圖嵌入融合在一起，從而提升了整個模型的效率。事實上，GCN 與其他四類也進行了融合，創造了許多成果。在最近的文獻研究里，更多的是處理大規模的數據。文獻[11]提出了一種基于高效的隨機游走方法來構建卷積模型，并設計了一個新穎的訓練策略來改善模型的魯棒性和收斂性。其在基于圖卷積架構的推薦系統上，能解決數億級別用戶的Web 推薦任務，但不足之處在于不能解決其他大規模的圖表示學習問題。對于處理大規模數據的計算和內存問題上，Chen等提出了一種基于混合內存計算（computation-in-memory，CIM）結構的圖卷積網絡的有效分配方法。該方法還解決了圖卷積網絡在應用中的不規則數據的訪問問題。CIM 結構上優化了GCN 的任務分配，為GCN 推薦系統上數據處理提供了一個解決方案。同樣地，對于處理和訓練復雜的大規模異構圖數據上，Tran等則開發了一個基于GCN 原理的新的框架——HeteGraph（graph learning in recommender systems via graph convolutional networks）。其通過一種抽樣技術和一個圖卷積運算來學習高質量圖的節點嵌入。這個與傳統的GCN 不同，后者需要一個完整的圖鄰接矩陣來進行嵌入學習，而該框架是設計了兩個模型來評估推薦系統任務，即項目評級預測和多樣化項目推薦。該方法主要是應用于大規模異構圖數據的推薦問題，但僅適用于兩個實體，即用戶和項目。進一步來說，Shafqat等將用戶-項目點擊交互作為概率分布，并使用該值度量節點之間的相似度。該方法采用了兩個不同節點之間的相似性度量來事先對鄰居進行采樣。這種方法簡化了GCN 模型的鄰居抽樣任務，提高了訓練效率，降低了復雜度和計算時間，但需要形成會話圖，并不適應于所有推薦系統場景。對于異構圖數據，不同于Tran等方法，Yin等提出的基于異構信息網絡的高效推薦算法是利用圖卷積神經網絡自動學習節點信息的特點，提取異構信息，并融合異構信息的計算策略和評分信息融合策略解決節點評分問題，通過更新節點，減小了訓練規模，提高了計算效率。除了數據量的問題，關于可解釋性上，同樣地利用了用戶和項目兩個實體，Chen等將知識圖（knowledge graph，KG）引入到推薦系統來提高可解釋性。他們提出了一種基于KG 的交互式規則引導推薦（interactive rules-guided recommender，IR-Rec）框架，主要是從增強的KG 中提取用戶-項目之間交互的多條路徑，再從潛在動機角度將這些路徑歸納出一些公共行為規則，通過這些規則來確定推薦的潛在原因。根據用戶、項目和規則設計了圖卷積網絡等不同神經網絡來學習嵌入表示。Bonet等給出了一種時間協同過濾（temporal collaborative filtering，TCF）方法，利用GNN 學習用戶和項目表示，并利用遞歸神經網絡建模。該方法為了解決數據稀疏性，使用每段時間累積的數據來訓練GNN，提高了推薦系統的性能，但其側重于提高推薦的準確度，忽視了推薦系統的可解釋性，且無法應對數據樣本量稀少的情況。

2.2 圖注意力網絡推薦系統

圖注意力網絡（graph attention network，GAT）是一種基于空間的圖卷積網絡，它在聚合特征信息時，將注意力機制用于確定節點鄰域權重。它能夠放大數據中最重要部分的影響并且能夠自適應地學習鄰居節點權重。但是，計算成本和內存消耗會隨著每對鄰居之間的注意權重的計算而迅速增加。這也是基于GAT 推薦系統的難題。

基于GAT 推薦系統的研究比較豐富。社交關系是GAT 應用的主要因素。Song等提出了用于在線社區基于會話的社交推薦的動態圖注意力神經網絡（dynamic-graph-attention neural network）模型。同樣地，Jiang 等人也認為社會關系能優化推薦系統，由此將社會信息融入到圖卷積網絡中的嵌入鄰域聚類中，利用用戶-項目交互圖和社會關系圖來捕捉用戶的項目品味和用戶朋友之間的關系。他們設計了一種新的框架——注意力社會推薦系統（attentional social recommendation system，ASR），通過兩個注意力機制分別研究節點的鄰居權重以及交互圖和社交圖之間的語義貢獻，并利用分層圖注意力卷積網絡使SAR 能自適應地探索更高階的交互和社會鄰居，以構建更好的嵌入表示。但是，ASR 設置了兩個注意力機制而使模型更加復雜，往后需要有效、合理地簡化GAT。在社會關系的另一方面，對于利用社會信息解決傳統協同過濾中的數據稀疏性和冷啟動問題，Wu等提出了能夠學習二重社交影響的對偶圖注意力網絡（dual graph attention networks for modeling multifaceted social effects in recommender systems，DANSER），它包括兩個對偶的圖注意力網絡，以學習推薦系統中社會效應的深層表征，利用了特定用戶的注意力權重和通過動態并能夠感知上下文的注意力權重來建模。不同于大多數的模型，它并沒有假設好友的社會影響是固定靜態的。而在上述文獻中，文獻[18，20]都有考慮到用戶的動態性，而文獻[19]僅僅利用了其他信息來關聯一些隱性信息。實際上，許多社會研究和實踐案例表明，人們的消費行為和社會行為不是孤立的，而是相互關聯的。一些隱性信息也值得挖掘。Xiao等基于圖神經網絡、注意機制和互補模型，創造出了一種新的框架——MutualRec（joint friend and item recommendations with mutualistic attentional graph neural networks），用于聯合建模社交網絡中的用戶偏好和社交交互。這種框架使用了空間和頻譜注意力神經網絡層來獲取用戶的偏好特征和社交特征，再通過互補模型中的關注層將兩個特征融合在一起，同時解決了社交推薦和鏈路預測任務。該模型具有一定局限性，可以結合知識圖來推薦，進而更好地使前兩層緩解數據稀疏性。而Dang等首次提出了一種將知識圖和知識表示引入到Web服務推薦中的深層知識感知方法，并提出了一種深度知識感知的Web 服務推薦框架（deep knowledge-aware approach for Web service recommendation，DKWSR）。該框架還加入了注意力機制來模擬當前候選項目的標簽對組合項目表示的影響。這解決了因用戶調用有限數量的服務而導致的數據稀疏性和冷啟動問題，并提高了推薦結果的可解釋性。Li等為解決數據稀疏和冷啟動的問題，利用圖的邊信息創造出了一個名為GSIRec（graph side information for recommendation）的深層端到端推薦框架。其利用了圖注意力神經網絡來增強推薦。Salamat等通過將社會網絡建模為一個異質圖，利用帶注意力機制的GNN 智能聚合來自所有來源的信息，并提出了一種新的基于圖的推薦系統Hetero-GraphRe（heterogeneous graph-based neural networks for social recommendations）。該系統提高了模型的可解釋性，但未考慮社交網絡的動態行為。以上的文獻方法都能有效解決數據稀疏和冷啟動問題，但由于文獻[24]需要獲取了大量的信息，那么如何進行高效的數據篩選從而捕獲有用的信息也是一個大的挑戰。眾所周知，KG 能有效地緩解數據稀疏性，但基于KG 的推薦系統不能自動捕獲實體對推薦的長期依賴關系，Sang等提出了一種雙通道神經交互方法——知識圖增強神經協同過濾殘差遞歸網絡（knowledge graph enhanced neural collaborative filtering with residual recurrent network，KGNCF-RRN）。該方法能捕捉豐富的語義信息，還能捕捉用戶與項目之間復雜的隱含關系，用于推薦。這也為捕獲隱性信息提供了方法。

2.3 圖自動編碼器推薦系統

圖自動編碼器（graph autoencoders）是一類圖嵌入方法，典型的用法是利用多層感知機作為編碼器來獲取節點嵌入。其目的是利用神經網絡結構將圖的頂點表示為低維向量。Kipf 與Welling 在2016 年提出了基于圖的（變分）自編碼器——VGAE（variational graph auto-encoder）。自此開始，圖自編碼器在很多領域都派上了用場，例如腦電路圖、多視圖、社交網絡等。

在隱式關系上，文獻[29-32]各自提出了模型，但區別在于一個是捕捉圖結構下的隱式信任關系，另一個是捕獲隱式數據之間的關系。Zheng等提出了一種基于變分自動編碼器（variational auto-encoder，VAE）的隱式信任關系感知社交推薦模型（implicit trust relation-aware model，ITRA）。ITRA 采用注意模塊將加權信任嵌入信息反饋到繼承的非線性VAE 結構中。模型可以通過重建一個包含間接關鍵意見領袖和鄰居顯性聯系的隱式高階交互的非二進制鄰接社交矩陣進行推薦。而典型的模型通常將用戶信任關系描述為從社交圖中導出的二進制鄰接矩陣，基本上只包含鄰域交互，然后用相同的值對不同個體的信任值進行編碼。這種方法無法捕捉隱藏在圖結構下的隱式高階關系，因此忽略了間接因素的影響。而Yao等提出了相關瓦瑟斯坦自動編碼器（correlated Wasserstein autoencoders，CWAEs）模型，通過無向無環圖來表示數據，利用現實世界數據通常相互關聯的特點，以提高推薦性能。更進一步地，Deng等提出了一種混合的HybridGNN-SR（combining unsupervised and supervised graph learning for session-based recommendation）模型，將無監督圖學習和有監督圖學習相結合，從圖的角度來表示會話中的項目轉換模式以此捕捉節點特征的圖形結構數據。具體說，在無監督學習部分，提出將變分圖自動編碼器和互信息相結合來表示會話圖中的節點；在監督學習部分，使用一種路由算法來提取會話中較高概念特征進行推薦。這種算法考慮了會話中的項目之間依賴關系。文獻[32]則是開發了一種考慮用戶偏好的監督多變量自動編碼器（supervised multivariational autoencoder considering user preference，SMVAE-UP），可以提取內容特征之間的關系，從而獲得偏好感知的多通道特征。這樣可以從大量帖子中為每個用戶個性化推薦帖子，但是該訓練時間具有局限性，使用了Intel Core i77800X，NVIDIA Quadro GV100和32 GB RAM的計算機，所有用戶訓練SMVAE（supervised multi-variational auto-encoder）的總時間為33.5 h。如何更高效、更簡潔地處理大數據，從而挖掘隱式關系，是需要考慮的問題。

2.4 圖生成網絡推薦系統

圖生成網絡（graph generative networks）是給定一組觀察到的圖的情況下生成新的圖。圖生成網絡的方法都是基于特定領域，例如：分子圖生成、自然語言處理等。一些方法是將生成過程看作交替生成節點和邊，另一些方法是利用生成對抗訓練。在最近的研究中，圖生成網絡正在被深度學習徹底改變，其應用廣泛，尤其是藥物中的分子生成等方面。而在推薦系統的生成圖上，新節點連通性與現有圖的冷啟動問題一直存在。例如用戶屬性，如性別、教育等存在著大部分缺失信息，使得個性化推薦任務遇到一定問題。Zhou等提出一種基于對抗性VAE 的屬性推斷模型（infer-AVAE）。該模型將多層感知器和GNN 結合，學習正負潛在表示，還將引入互信息約束作為解碼器的正則化器，以更好地利用表示中的輔助信息并生成不受觀察限制的輸出表示，但其還是會出現過擬合和過度平滑問題。對稀疏性數據，很容易產生過擬合現象。盡管在學習圖表示和圖生成方面出現了一些新的文獻，但是由于學習過程嚴重依賴于拓撲特征，從而導致大多數的圖表示和圖生成方法大都不能處理孤立的新節點。在這方面，Xu等提出了一個統一的生成圖卷積網絡模型，該模型通過對觀察到的圖形數據構造的圖生成序列進行采樣，自適應地學習生成模型框架中所有節點的節點表示。此模型是將圖表示學習和圖卷積網絡結合到一個順序生成模型，該方法在增長圖的鏈接預測上優于其他方法。然而，因為計算復雜性取決于完整圖的大小，可伸縮性仍然是一個主要問題。大多數研究還會結合對抗神經網絡、卷積神經網絡構成圖生成對抗神經網絡。例如，Wu等提出了一種新的基于圖卷積的生成先令攻擊（graph convolutionbased generative shilling attack，GOAT），部署了一個生成性對抗網絡（generative adversarial network，GAN），其生成器還結合了一種圖卷積結構。該方法是為了探索推薦系統的穩定性，進而提出了先令攻擊模型。此推薦方法只適用于對基于評論等內容的推薦。同樣是結合對抗神經網絡，Zhang等提出了一種新的全局仿射和局部特定生成對抗網絡（globalaffine and local-specific generative adversarial network，GALS-GAN），用于顯式構造全局語義布局和學習不同的實例級特征，解決了合成細粒度紋理和小規模實例的困難。可見，圖生成網絡推薦系統開始和卷積神經網絡或對抗神經網絡進行了一定程度的融合。受到深度學習和強化學習最新進展的啟發，有些人開始利用圖的深度生成模型結合注意力機制來生成模型。不過，這些推薦系統僅僅是想生成有用且有效的信息，并沒有考慮到興趣會隨時間變化，當圖變大時，對長序列建模就變得困難了，而且這些方法都不能擴展到大的圖，其性能還有待提升。

2.5 圖時空網絡推薦系統

圖時空網絡（graph spatial-temporal networks）同時捕捉時空圖的時空相關性，它利用時空圖來建模。時空圖具有全局圖結構，每個節點的輸入隨時間變化。圖時空網絡的目標可以是預測未來的節點值或標簽，或者預測時空圖標簽。它常用于交通流量預測方面。最近的研究常結合深度學習使用時空圖卷積網絡（spatial-temporal graph convolution networks，ST-GCN）來提取空間和時間維度上的特征。例如Park等設計的生成性對抗網絡框架，它從一組帶有樣式標簽但未配對的運動剪輯中學習風格特征，以支持多個樣式域之間的映射，而以往多采用單一維度，例如利用時間軸來提取數據風格特征，無法表現空間動態的運動。雖然該文獻中的框架能提取空間和時間兩個維度的特征，但其對隨機噪音十分敏感，適合少量已經標好明確樣式標簽的數據。對于涉及時間動態和屬性交互上，一般算法通過時間線分割不同的時間窗口，但不適用于有交互行為的數據，還不能完全處理異構節點數據。Zhang等提出了一個新的框架TigeCMN（temporal interaction graph embedding via coupled memory neural networks），從一個序列的時間相互作用中學習節點表示。該框架也可以結合機器學習任務，適用性廣，但僅僅考慮了二部圖，未擴展到多部異構圖而且訓練過程中提取數據是均勻抽樣，其實用性較差，具有很大的改進空間。楊珍等提出了該方向的專利，通過建模時序信息的GCN，再分配給周圍鄰居的時序注意力權重來探索時序信息，提高了推薦系統的性能。但該方法只能用于購物商品推薦，具有一定的局限性。與傳統推薦任務不同，由于POI（point-of-interest）推薦具有個性化、空間感知和時間依賴性，圖時空網絡推薦系統常應用于POI 推薦。已有文獻嘗試對空間和時間特征建模，但大多存在以下兩大局限性：一方面，在空間上現有作品只考慮了用戶和POI 的距離或者POI-POI 距離，不能發現用戶區域周期偏好；另一方面，在時間上大多數文獻將用戶和時間視為兩個獨立的因素，沒有發現不同用戶可能在不同的時間偏愛相同的POI。Han等對此提出了多個利用用戶區域周期模型和用戶POI 周期模型的評分函數，還開發了一個時間平滑策略來緩解數據稀疏性問題，但未能考慮到時空序列節點之間的上下文信息。

總體而言，在以上五類基于圖神經網絡推薦系統研究中，如表1 所示，圖卷積與圖注意力神經網絡依舊是熱點，GCN 能夠和其他四類進行嵌入獲得新的方法。而圖自動編碼器很適合發現并處理隱式數據，圖生成神經網絡會利用對抗神經網絡成為對抗生成網絡，還會結合知識圖譜增強數據，減少節點數據稀疏。而圖時空網絡推薦系統場景基本上是POI任務推薦，由于數據量大，會結合注意力網絡和卷積神經網絡建模。單獨采用圖生成網絡推薦系統和圖時空網絡推薦系統文獻較少。一方面是計算內存和速度限制了該方向的研究進展；另一方面是圖生成網絡對于新節點只有節點屬性可用，圖時空網絡中的時空圖涉及到空間和時間問題。不過，這也表示了該研究處于研究階段初期。圖生成網絡推薦系統和圖時空網絡推薦系統存在巨大繼續研究的空間。

表1 GNN 推薦系統各類別的對比Table 1 Classes comparison of graph neural network in recommendation system

3 GNN 推薦系統問題

由于存在該領域的研究成果不單單屬于以上分類，而且從圖神經網絡角度來看，圖卷積神經網絡常與其他四類結合來促進推薦系統領域發展，另一方面，推薦系統中的圖神經網絡開始融合社交網絡和知識圖譜。雖然Xiang 等在文獻[44]已經歸納出了問題類別，但基于圖神經網絡的推薦系統的范圍非常龐大，有些算法和應用很難明確歸納到某一類。而對于有些分類來說，同一分類的問題可以針對不同類型的算法和應用。這里，按照推薦系統一般的場景來劃分，把問題分為六類：序列推薦問題、社交推薦問題、跨域推薦問題、多行為推薦問題、捆綁推薦問題以及基于會話的推薦問題。

3.1 序列推薦問題

在真實場景中，通常會使用所有數據來訓練模型，但這樣會遺漏用戶表示中的用戶序列行為信息。在最近的研究中，Yang等通過添加一個標簽推薦函數建立一個順序推薦模型。Gu等將項目圖嵌入和上下文建模結合到推薦系統任務中去。而

Tao等提出了一種新的序貫推薦方法，從隱式用戶交互歷史中學習項目趨勢信息，并將項目趨勢信息合并到后續的項目推薦任務中，利用了門控圖神經網絡對項目趨勢表征建模來提高項目的表征能力。這些提出的方法都提高了推薦系統的性能，但文獻[46-47]都是利用歷史信息且都采用了注意力機制，只是前者使用的是會話序列信息，后者使用的是用戶交互歷史。對于隱式信息，Wang等引入知識圖，利用用戶的隱式偏好表示，整合了遞歸神經網絡和注意力機制，以捕捉用戶興趣的演變和序列中不同項目之間的關系。

3.2 社交推薦問題

社交推薦主要是利用信任或親密的人所感興趣的東西，即用戶關系鏈中的推薦內容，進而對用戶進行推薦。近些年，在提高社交推薦的精確度上，Guo等關注到了項目特征之間的相關性，將用戶特征空間和項目特征空間抽象為兩個圖形網絡。Liu等提出了項目關系圖神經網絡，用于同時發現多個復雜關系，而且對于不能直接獲取的項目或者用戶信息提供了解決方案。而Salamat等通過將社會網絡建模為一個異質圖，利用帶注意力機制的GNN 智能聚合來自所有來源的信息，建立用戶與用戶、項目與項目、用戶與項目之間的關系。在關系方面，實體之間還存在著高階的關系，為了捕獲這些高階的關系，很多文獻考慮將知識圖譜和用戶-項目圖進行融合。又因為知識圖譜有多重類型的邊，所以需要使用注意力機制來聚集來自鄰居的信息。在用戶信息整合上，一些工作假設用戶具有靜態的表示，再利用GNN 來學習項目表示；另外的一些工作則將用戶作為知識圖譜中一種輸入數據來學習。例如Wang等對融合后的知識圖譜進行嵌入表示，使用注意力機制和遞歸神經傳播鄰居節點的嵌入表示來更新當前節點的表示。這些關系在一定程度上解決了圖神經網絡推薦系統數據的稀疏性問題。

3.3 跨域推薦問題

跨域推薦一般利用原本的數據集來對單個目標進行推薦，有的還考慮到用戶與物品之間的雙向潛在關系和潛在信息。Yang等將知識圖與排序學習、神經網絡相結合來構建模型，提出了基于知識圖的貝葉斯個性化推薦模型和基于知識圖的神經網絡推薦模型，可以通過捕獲高階關系來解決個性化問題。文獻[56]引入了一種新的耦合圖張量分解模型。當單邊的信息以項目-項目相關矩陣或圖形的形式出現時，它能解釋與圖相關的邊信息。Ouyang等利用相關域的互補信息來緩解稀疏性，實現了基于學習應用嵌入的跨域應用推薦，可以為用戶找到符合自己興趣的應用程序。對于個性化新聞推薦，Sheu等提出了一種基于上下文感知的圖嵌入方法，用于新聞的推薦。為了充分利用結構和特征信息，Liang等提出了一種新的異構圖神經網絡框架——HGNRec（heterogeneous graph neural network framework）。Ma等提出了一個基于圖的行為感知網絡。由于應用場景不一樣，所需信息的量也不同，而知識圖譜所捕獲的信息量巨大，故文獻[55]的推薦模型的運行也較其他場景更復雜。其中文獻[58-60]都是適用于新聞推薦應用，但目標不一樣，文獻[58]強調新聞個性化，而文獻[60]則重在多樣化。Wang等將標準的圖卷積網絡引入推薦中，它利用用戶-物品交互圖來傳播嵌入特征表示：

He等則簡化了該公式：

上述研究表明模型的簡單性帶來了更高的性能。Amar針對推薦系統問題提出了一種基于SVD（singular value decomposition）的簡單方法的基準測試，以理解進一步簡化建模方法是否可以改善性能指標。Liu等采用兩個GNN 來處理每個用戶/物品的Embedding，其中一個處理偏好，另一個處理相似性。這個帶有兩個圖的模型將GNN 和協同過濾方法進行了融合，使推薦系統達到了更高的精確度。

3.4 多行為推薦問題

在現實中，用戶行為不僅僅是單個類型的用戶與商品的行為數據，還有復雜的交互關系類型數據，例如：加購、點擊、購買、收藏等。Xia等提出了一種基于圖形神經網絡的多行為增強推薦框架，該框架在基于圖形的消息傳遞體系結構下，顯式地建模不同類型的用戶-項目交互之間的依賴關系。它還設計了一個關系聚合網絡來模擬交互異構性，并遞歸地在相鄰節點之間通過用戶-項目交互圖進行嵌入傳播。它采用了異構圖來構建依賴關系，而在交互的時間序列上，Yu等用一種基于圖神經網絡的混合模型對多行為交互序列進行特征層次的深層表示，從而實現基于會話的推薦。在具體的互動式新聞推薦上，Ma等同時考慮了六種不同類型的行為以及用戶對新聞多樣性的需求。他們分別從不同角度來解決用戶的多行為問題，但方法各有千秋，用戶的多行為問題依舊是一個挑戰。

3.5 捆綁推薦問題

捆綁推薦經常使用在場景推薦中，由于用戶不僅僅與單個物品進行交互，他們希望一次性得到自己想要的產品。那么，怎樣才能使用戶獲得所需的一系列物品，這是一個問題。在法律推薦方面，Yang等構造了一個HLIN（heterogeneous legal information network）網絡，它包含了文本信息和各種節點。其基本思想是融合來自多個異構圖的交互特征以改進圖節點的表示學習，例如user-item 二部圖和social關系網絡圖。Zhang等認為這是第一次將metapath 與social relation 表征結合起來的工作。草藥推薦方面，Yuan等將注意機制引入綜合癥狀誘導過程模型。此外，它還引入了中醫知識圖譜，以豐富輸入語料庫，提高表示學習的質量。在減輕客戶服務壓力方面：Liu等通過圖形神經網絡對一組靈活的服裝項目進行建模；Chen等采用時空圖進行了動態預測，動態地提供最優的自行車站布局；Yang等添加了一個標簽推薦函數，通過點擊標簽快速捕獲用戶的問題意圖。在舞蹈音樂推薦方面：Gong等提出了一種基于舞蹈運動分析的深度音樂推薦算法，實現了一種新的音樂推薦方法，可以學習動作和音樂之間的對應關系。針對開發人員所需的API（application programming interface）問題，Ling等提出了一種新的API 使用推薦方法GAPI（graph neural network based collaborative filtering for API usage recommendation）；Zhang等提出了基于圖卷積網絡的語義變分圖自動編碼器，這是一種端到端的方法。對于課程推薦，Zhu等將網絡結構化特征與圖形神經網絡和用戶交互活動相結合，采用張量分解技術，提出了一種混合推薦模型。可見，圖神經網絡推薦系統的實用場景豐富。場景動態性是考慮的重點，時空圖和動態圖將是研究的主要問題。

3.6 會話推薦問題

在會話推薦系統中，系統通過自然語言和用戶進行動態交互，識別出用戶的偏好，進而進行物品推薦。一般的靜態模型缺乏用戶的實時反饋和顯式指導，目前研究的會話推薦系統正解決這方面的問題。在基于匿名會話預測用戶操作上，Zheng等提出了一種雙通道圖轉換網絡的方法，用于模擬目標會話和鄰居會話之間的項轉換。基于多行為的會話推薦預測下一個項目上，Yu等提出了一種基于圖神經網絡的混合模型GNNH。與其他模型相比，該模型通過特征級別表征學習發現多行為轉換模式的潛力，能夠對多行為交互序列進行特征層次的深層表示，從而實現基于會話的推薦。對于會話興趣動態問題上，Gu等提出了一種將項目圖嵌入和上下文建模結合到推薦任務中的方法。它是基于所有歷史會話序列構造的有向圖，利用圖神經網絡捕捉項目之間豐富的局部依賴關系。并采用會話級注意機制，根據目標用戶的當前興趣獲得每個好友的表示。它還對目標用戶的歷史會話興趣應用最大池，了解其長期興趣的動態性。基于會話推薦的技術上，Huang等提出了一個具有多級轉換動力學（multi-level transition dynamics，MTD）的多任務學習框架，該框架能夠以自動和分層的方式聯合學習會話內和會話間的項目轉換動力學，從而捕捉了復雜的過渡動態信息，這種過渡動態表現為時序和多級相互依賴的關系結構。

這六種分類方法是從問題角度出發的分類。如表2 所示，在這六大分類中不難發現，信息質量與數量是一個很大的影響因素，為了得到更多的有用信息，會采用隱式信息或者高階信息。序列推薦方面也可以適量結合該方面的其他信息來提升推薦準確性。而跨域推薦中模型改進上的簡化也值得探究。那么數據是否也需要簡化呢？隨著個性化和用戶多行為化，個性化推薦和多樣化推薦的平衡如何維持？這也有待研究。

表2 問題相似性歸納分析Table 2 Inductive analysis of problem similarity

4 GNN 推薦系統研究難點及未來研究方向

隨著在線信息的爆炸式增長，人們提出了眾多推薦方法，推薦系統取得了一定的研究進展。尤其是圖神經網絡，已有的研究進展和現今計算內存和速度的提升為圖數據分析鋪平了道路，對基于圖神經網絡的推薦系統研究提供了強有力的幫助。圖神經網絡作為一種有效的圖數據深度表示學習技術，其研究已經成功地探索了推薦系統方面的多種任務，并證明了其有效性。以往圖神經網絡對推薦的研究角度是GNN 模型的圖結構、個人或群體等，大多集中在無向圖的結構或用戶數量分類上，忽略了GNN 本身模型分類和問題本身。本文由方法、問題兩個角度對圖神經網絡推薦系統進行了研究、分析，對比了方法中每小類的優點和局限性，概括了問題中的難點。以下是一些存在研究難點的未來研究方向。

4.1 數據稀疏性和冷啟動

推薦系統應用中，用戶行為數據稀少與用戶或者項目的數量不足導致推薦系統長期存在稀疏性和冷啟動問題，跨領域推薦方法及輔助信息的嵌入等方法應運而生。而對于圖神經網絡方面，隨著知識表示學習和知識路徑推理等關鍵知識圖技術的出現，利用知識圖譜輔助推薦將面臨諸多挑戰，也是一個重要的研究熱點。文獻[79]提出了協同知識增強的推薦方法，通過構建的交互圖中項目之間的聯系和知識圖中實體之間的連通性來學習用戶和項目的表示。除了將知識圖譜與推薦系統結合起來，現實世界中還有許多其他外部結構信息可以幫助推薦，例如社交網絡中的社會關系信息等。Guo等就提出了一種基于異構多關系圖融合的信任推薦方法。它同時考慮用戶的社會信任關系和項目相關知識，這為解決數據稀疏性和冷啟動問題提供了更多的可能。特別是圖卷積網絡，其與其他方法的結合使得這一研究方向得到了進一步的發展。但是，單獨運用圖生成網絡和圖時空網絡在推薦系統上比較少，最近這方面的研究漸漸多起來了，這將是未來尤其注意的方向，而圖生成網絡推薦系統方面的獨立節點和其數據稀疏性導致模型易過擬合問題將是研究的重難點。

4.2 用戶動態興趣

知識圖譜不僅包含各種數據類型（例如，像用戶和項目這樣的節點類型，以及像不同的行為類型這樣的邊類型），通常還有不同的和不確定的興趣。在多行為用戶和個性化推薦上，許多文獻對用戶動態興趣問題提供了一些模型以及方法。Isufi等發展了一個從最近鄰和最遠鄰圖學習聯合卷積表示的模型，以建立一個新的準確性-多樣性權衡推薦系統。但大多數都是基于用戶數據的補充上，如何解決與用戶意圖相關的嵌入問題，如何自適應地為每個用戶設置不同的興趣數，如何為多向量表示設計一個有效的傳播模式等，需要進一步研究。因此，如何表現用戶的多重和不確定的興趣是一個值得探索的方向。

4.3 動態圖與異構圖

在現實世界的推薦系統中，不僅用戶興趣是動態的，而且用戶和項目之間的關系也隨著時間的推移而發生變化。為了確保推薦的精確度，系統需要時常更新信息。從圖的角度來看，不斷更新的信息帶來的是動態圖而不是靜態圖。而動態圖形則帶來了變化的結構。在實際應用中，如何針對動態圖設計相應的GNN 框架是一個有趣的前瞻性研究課題。現有的推薦研究很少關注動態圖，而且基于時空圖神經網絡的研究也很少，動態圖在推薦中是一個很大程度上未被探索的領域，值得進一步研究。在推薦系統處理復雜、屬性豐富、基于上下文的交互信息的性能上，現有的基于GCN 的方法大多集中于同構圖環境下的任務求解，沒有考慮異構圖環境。傳統的GCN 方法需要一個完整的圖鄰接矩陣來進行嵌入學習，這種為圖中的每個節點生成鄰居節點的遞歸方法使得訓練一個深度大的GCNN 模型更具挑戰性。由于處理復雜的計算和訓練大規模數據集，再加上模型邊界的過度測量，這在很大程度上阻礙了推薦系統框架的應用，還需要進行深入的研究。

4.4 大數據與數據噪音

在推薦系統中，隨著時間累計，數據越來越多，數據量過大將會帶來更多的數據噪音。目前的主要挑戰是從用戶-物品交互以及輔助信息中學習有用的信息。而處理復雜的計算和訓練大規模數據集也是一個挑戰。現有的基于圖神經網絡的方法利用用戶與項目之間的高階連通性來獲得滿意的性能，但是這些方法的訓練效率較低，容易引入信息傳播的偏差。此外，由于觀測的交互信息極其稀疏，應用的貝葉斯個性化排序損失不足以為訓練提供監督信號。為了解決上述問題，Pan等提出了有效圖協同過濾方法。但不同的領域包含各種不同的圖數據，節點和連邊關系也各有不同，如何結合領域中有用的知識對給定的圖數據利用圖卷積神經網絡進行建模是圖卷積神經網絡應用的關鍵問題。如果數據全部運用上，隨之而來的是過平滑問題，而且推薦的準確度會降低。因此，如何在基于GNN 的推薦中為每個用戶或項目自適應地選擇合適的接收信息的范圍也是一個值得研究的問題。數據作為推薦系統最重要的部分，如何解決推薦的多樣性和個性化的問題。這也將是未來研究的主要問題。

總而言之，在現有研究的基礎上，GNN 推薦系統的難點大致上與數據、動態問題有關。從數據量來看，存在由于數據過少而導致的數據稀疏性和冷啟動問題，也存在數據過多時的數據篩選和數據噪音問題。從動態性來看，存在著用戶的動態興趣嵌入問題和動態、異構圖的模型構建問題。這些難點也是未來研究的方向。