







摘 要:現(xiàn)有的下一個興趣點(point of interest,PoI)推薦技術存在三個主要問題:使用過于簡單的方法構建用戶興趣模型、忽略用戶和PoI之間在時空維度上的互動以及未能充分挖掘用戶間復雜的高階交互信息。針對這些問題,提出一種新穎的超圖學習模型FSTMH,細粒度地融合時間、空間和語義信息,用于下一個PoI推薦。FSTMH包括細粒度嵌入模塊和多層次嵌入模塊。前者通過使用地理圖卷積網(wǎng)絡和有向超圖卷積網(wǎng)絡進行學習,獲取對應的嵌入信息,并通過對比學習提升PoI表示的質量,使用細粒度超圖卷積網(wǎng)絡學習該模塊的PoI嵌入;后者將多層語義超圖輸入到多層超圖卷積網(wǎng)絡,學習多層次語義的PoI嵌入表示。最后,模型將兩個模塊的PoI嵌入向量進行組合,生成最終的top-K預測結果。通過在廣泛使用的三個社交網(wǎng)絡公共數(shù)據(jù)集上進行多種實驗,結果均表明FSTMH模型表現(xiàn)出色,說明該新模型可作為提高下一個 PoI 推薦的有效方法。
關鍵詞: 下一個興趣點推薦; 細粒度; 時空圖; 多語義; 超圖學習
中圖分類號: TP391 文獻標志碼: A 文章編號: 1001-3695(2025)02-010-0398-08
doi: 10.19734/j.issn.1001-3695.2024.07.0288
Multi-semantic hypergraph learning with fine-grained spatio-temporal
information for next PoI recommendation
Li Wanqiu1, Zhang Chaoqun1,2’, Tang Weidong1, Zeng Zhilin1, Li Haoran1
(1.College of Artificial Intelligence, Guangxi Minzu University, Nanning 530006, China; 2.Guangxi Key Laboratory of Hybrid Computation amp; IC Design Analysis, Nanning 530006, China)
Abstract:The current approaches for next point of interest (PoI) recommendation face three main challenges: employing overly simplistic methods to model user interests, neglecting the complex spatio-temporal interactions between users and PoI and failing to fully exploit the intricate higher-order interaction information among users. To address these issues, this paper proposed a novel hypergraph learning model called FSTMH. FSTMH combined temporal, spatial and semantic information carefully. It aimed to understand user preferences and PoI contexts better. FSTMH had two main parts: a fine-grained embedding module and a multi-level embedding module. The fine-grained embedding module used geographic graphs convolutional networks and directed hypergraph convolutional networks. It improved PoI representations through contrastive learning and fine-grained hypergraph convolutional networks. The multi-level embedding module used multi-layer semantic hypergraphs and multi-layer hypergraph convolutional networks. It learned multi-level semantic PoI embedding representations. Extensive experiments were conducted on three widely used social network public datasets and the results show that the FSTMH model performs well, indicating that the new model can be used as an effective method to improve the next PoI recommendation.
Key words:next point of interest recommendation; fine-grained; spatio-temporal graph; multi-semantic; hypergraph learning
0 引言
在當今信息化時代,個性化服務已成為連接用戶和海量信息不可或缺的紐帶。作為智能旅游[1]、本地生活[2,3]和電子商務等領域中的關鍵技術之一,興趣點(point of interest,PoI)推薦在發(fā)現(xiàn)潛在興趣和緩解信息過載問題方面發(fā)揮著至關重要的作用。近年來,隨著Foursquare和Facebook Places等基于位置的社交網(wǎng)絡的蓬勃發(fā)展,用戶可以通過在這些平臺上簽到興趣點來分享他們的地理位置。PoI通常代表特定的地理位置,如餐廳、健身房等,這些地點可能對用戶有用或引起他們的興趣。通過分析用戶的簽到記錄,能夠洞察用戶的移動模式,從而為他們推薦合適的PoI。
伴隨著大數(shù)據(jù)和人工智能技術的飛速進步,PoI推薦系統(tǒng)已明顯優(yōu)于僅基于簡單地理位置或用戶歷史行為的傳統(tǒng)方法。現(xiàn)代PoI推薦系統(tǒng)深入挖掘用戶的多維信息,包括個人偏好、情感傾向和社交關系[4]等。這種全方位的分析使推薦系統(tǒng)能夠為用戶提供更加精準、個性化且新穎獨特的地點建議。通過融合這些復雜的數(shù)據(jù)維度,PoI推薦系統(tǒng)不僅能滿足用戶的即時需求,還能預測他們可能感興趣但尚未探索的新地點。這種智能化的推薦方式不僅提高了用戶體驗,也為商家創(chuàng)造了新的商機,推動服務性能的發(fā)展。
與傳統(tǒng)探索用戶長期偏好的PoI推薦方法[5]不同,下一個PoI推薦旨在揭示用戶和PoI之間的順序依賴關系,并將其與最近的時空信息融合,以在特定時間點為用戶提供合適的PoI建議[6,7]。目前,下一個PoI推薦方法主要分為基于序列的推薦[8,9]和基于圖的推薦[10~14]兩類。基于序列的推薦方法將下一個PoI推薦視為序列預測任務,利用序列建模方法來捕捉轉移模式,這些方法從傳統(tǒng)的馬爾可夫鏈[15]發(fā)展到更先進的循環(huán)神經(jīng)網(wǎng)絡(recurrent neural network,RNN)[16~18]和自注意力機制[19~21]。然而,它們主要聚焦于序列模式挖掘,對用戶的高階信息探索仍顯不足。受圖神經(jīng)網(wǎng)絡(graph neural network,GNN)的啟發(fā),基于圖的推薦方法主要依托GNN來捕捉高階協(xié)同信號并建模復雜的鄰域關系,在下一個PoI推薦中取得顯著的性能提升。然而,現(xiàn)有方法大多僅利用PoI之間的直接位置和時間關系來學習嵌入表示,缺乏對抽象空間和時間特征以及用戶高階信息的深入學習。最近的一些研究工作嘗試使用超圖[22~24]來捕捉用戶之間的高階關系,為解決這一問題提供了新的思路。盡管如此,這些方法仍存在以下局限性:
a)目前的模型主要基于序列和圖的嵌入學習,未能有效解決用戶和興趣建模的細粒度問題。這導致推薦準確性降低,推薦的興趣點可能與用戶的實際需求和偏好不符。
b)現(xiàn)有模型往往忽略用戶和PoI之間的時空相關性,無法直接利用GNN來建模。例如,在圖1中,David和Lisa在相同時間訪問相同的興趣點(辦公室、游泳館、餐廳和超市),但訪問順序不同。如果僅基于興趣點間的交互來聚合信息,這兩者的嵌入表示將會相同。然而,實際上訪問順序反映他們不同的生活模式,因此興趣點的表示應當有所區(qū)別。此外,空間位置信息的影響也不容忽視。不同用戶對距離的接受程度各異,例如Peter的軌跡。因此,綜合考慮用戶和PoI之間的時間和空間信息,對于準確推薦下一個PoI至關重要。
c)大部分下一個PoI推薦研究通過隨機采樣一跳的興趣點鄰居來捕獲協(xié)同信號,但忽略興趣點的高階連通性。以圖1中David和Peter的路徑為例,David的路徑為(辦公室、游泳館、餐廳和超市),Peter的路徑為(辦公室、游泳館、電影院和健身房)。對于共同的興趣點辦公室和游泳館,其高階鄰居分別是(餐廳、超市)和(電影院、健身房)。這兩組不同的高階鄰居通過辦公室和游泳館兩個興趣點相連,具有潛在的關聯(lián)性。充分利用這種高階信息可以有效緩解數(shù)據(jù)稀疏性問題,提高模型的性能。然而,現(xiàn)有模型在這方面仍顯不足。
圖1 一個用戶和PoI交互的例子Fig.1 An example of a user interacting with PoI
為了同時實現(xiàn)用戶興趣的細粒度建模,并根據(jù)時空信息和高階信息學習每個用戶的興趣特征,本文提出一種新穎的細粒度時空多語義超圖學習模型FSTMH,用于下一個PoI推薦。FSTMH模型包括細粒度嵌入模塊和多層次嵌入模塊。細粒度嵌入模塊采用地理圖和有向圖來描述節(jié)點之間的地理分布和轉移關系,并通過對比學習來提高PoI表示的質量。隨后運用細粒度超圖卷積網(wǎng)絡來學習用戶序列行為中的高階協(xié)作信號。這種方法能夠捕捉用戶行為的微妙變化和復雜模式。多層次嵌入模塊利用多層超圖卷積網(wǎng)絡來學習多層語義超圖的PoI嵌入。這種多層次的方法使模型能夠捕捉不同抽象層次的語義信息,從而更全面地理解PoI之間的關系。最后,F(xiàn)STMH將兩部分學習到的PoI嵌入向量進行融合,生成最終的預測結果。這種綜合方法能夠充分利用細粒度的時空信息和多層次的語義信息,從而提高推薦的準確性和相關性。本文的主要貢獻包括:
a)提出面向下一個PoI推薦的細粒度時空多語義超圖學習模型FSTMH。該模型通過結合細粒度嵌入模塊和多層次嵌入模塊,實現(xiàn)了多視覺嵌入學習,為下一個PoI推薦提供了全面的用戶興趣模型。這種多視覺的嵌入學習方法使得模型能夠從地理、時間和語義等多個角度全面理解用戶和PoI之間的復雜關系,為下一個PoI的推薦提供了更為準確和全面的依據(jù)。
b)為了深入挖掘用戶信息,設計一個融合地理圖和有向超圖的細粒度嵌入學習模塊。該模塊巧妙地利用不同類型的圖卷積網(wǎng)絡來學習多樣化的嵌入表示,從而提取出融合時空交互的PoI嵌入表示。這種方法能夠更精確地捕捉用戶行為的細微特征和復雜模式。
c)為了擴展對用戶和PoI的理解廣度,提出一種多層次超圖卷積網(wǎng)絡,這種網(wǎng)絡結構能夠有效捕獲復雜的多層語義特征,從而更全面地理解PoI之間的關系和用戶的潛在興趣。
d)在三個知名的基于位置的社交網(wǎng)絡(LBSN)數(shù)據(jù)集上與大量基線模型進行對比。實驗結果表明,本文FSTMH模型在所評估的指標上始終優(yōu)于對比模型,充分驗證其在下一個PoI推薦任務中的卓越性能。
1 相關工作
1.1 用于推薦的時空圖學習
在下一個PoI推薦任務中,時間圖和空間圖是從真實地理和時間信息中提取的兩種關鍵圖數(shù)據(jù)結構。近年來,研究者們提出了多種創(chuàng)新方法來充分利用這種結構,以提高推薦的準確性和相關性。文獻[3]提出一種融合人群移動軌跡和時空類別的下一個PoI推薦模型。該模型采用門控圖卷積網(wǎng)絡對共同移動軌跡進行建模,并將簽到序列中的時空類別信息進行多維度的特征融合。通過引入自注意力機制,模型能夠更精準地捕獲用戶偏好,從而提供更準確的PoI推薦。為了在全局視圖下直接連接和學習用戶以提升推薦效果,文獻[25]提出時空偏好用戶圖注意力網(wǎng)絡。這一創(chuàng)新模型利用個性化用戶偏好,并探索全局時空偏好鄰域中的下一個PoI,使用戶能夠有選擇地從其他用戶中學習。文獻[26]則針對PoI在區(qū)域和類別特征上的復雜依賴關系,提出一種基于注意力的時空興趣點群用于PoI推薦。該模型將空間和時間兩個模塊通過多重注意力機制相互結合,有效捕捉PoI之間的復雜關系。這些基于時空圖學習的模型在下一個PoI推薦任務中均取得了顯著的效果,展示了時空信息在提高推薦質量中的重要作用。
然而,值得注意的是,這些主要基于序列和圖進行推薦的方法尚未充分考慮和利用用戶及PoI的高階信息。
1.2 用于推薦的超圖學習
研究者們意識到,現(xiàn)有基于GNN的推薦模型在處理圖數(shù)據(jù)中隱含的復雜高階性問題上存在局限,超圖神經(jīng)網(wǎng)絡在推薦任務中的應用開始受到廣泛關注。這種新興方法旨在更有效地捕捉復雜的高階交互信息并緩解數(shù)據(jù)稀疏性問題。文獻[24]提出時空超圖卷積網(wǎng)絡,該網(wǎng)絡巧妙地利用超圖來捕獲軌跡粒度信息。通過同時學習用戶的歷史軌跡和其他用戶的協(xié)作軌跡,該模型能夠生成更為精確的PoI嵌入表示。這種方法不僅能提高推薦的準確性,還可增強模型對稀疏數(shù)據(jù)的處理能力。針對群組推薦的特殊需求,文獻[27]提出一種基于超圖卷積網(wǎng)絡的創(chuàng)新方法。該模型通過構建三個互補的視圖來全面捕捉群組偏好:以超圖為代表的高階偏好提取視圖、以重疊圖為代表的一致性偏好提取視圖,以及以二分圖為代表的常規(guī)偏好提取視圖。這種多維度的偏好建模方法顯著提升了群組推薦的性能。在多行為順序推薦任務中,文獻[28]提出一種超圖增強的多興趣學習框架。該框架通過充分探索潛在的多維真實興趣和多行為的高階依賴關系,有效地提高了推薦的準確性和多樣性。特別是,通過利用多行為超圖來捕捉行為之間的全局高階依賴關系,該模型在復雜的推薦場景中取得了令人矚目的效果。
盡管上述模型利用超圖成功解決了高階信息問題,但它們沒有考慮到用戶交互信息的細粒度表示。
1.3 下一個PoI推薦
下一個PoI推薦的目標是根據(jù)用戶最近的時空上下文和訪問行為,為其推薦適合的下一個位置。實現(xiàn)這一目標的關鍵在于有效收集和利用用戶的簽到信息。隨著研究的深入,推薦模型的復雜性和精確度不斷提高。在早期研究中,RNN被廣泛用于捕捉用戶偏好,主要通過基于序列模型的方式對用戶簽到進行編碼。文獻[29]提出一種基于RNN的下一個PoI推薦方法,同時考慮相似用戶的位置興趣和上下文信息,并利用時空模型來描述用戶的位置興趣。通過綜合特征表征用戶的興趣和上下文信息,該方法在現(xiàn)有數(shù)據(jù)集上取得了顯著的效果。文獻[30]進一步推進了這一領域的研究,提出一個統(tǒng)一的神經(jīng)網(wǎng)絡框架,通過聯(lián)合學習機制,利用PoI上下文預測來輔助下一個PoI的推薦,從而更充分地利用用戶和PoI上下文信息。文獻[17]提出一種結合RNN和GNN的混合模型,用于下一個PoI推薦任務。這種創(chuàng)新的結構設計允許模型為每個用戶進行更加個性化的推薦,顯著提升了推薦的相關性和用戶滿意度。盡管這些基于RNN的模型在下一個PoI推薦任務中取得了較好的結果,但它們仍面臨一個共同的挑戰(zhàn):RNN本身存在長期依賴問題。這一固有限制使得模型難以有效捕捉用戶興趣演變和上下文信息的長期依賴關系,從而可能影響下一個PoI預測的準確性。
近年來,注意力機制在解決長期依賴問題方面展現(xiàn)出巨大潛力,被廣泛應用于捕捉簽到序列之間的高階依賴關系。這一技術突破為下一個PoI推薦任務帶來了顯著的性能提升。文獻[31]提出一種創(chuàng)新的不規(guī)則間隔注意力和多任務學習模型,該模型針對簽到序列中的數(shù)據(jù)稀疏性和不規(guī)則間隔問題,巧妙地設計了數(shù)據(jù)增強方法以提高數(shù)據(jù)密度,并引入了不規(guī)則間隔注意力模塊。更進一步,為了全面考慮影響用戶行為的潛在因素,該模型還整合了邊緣注意力網(wǎng)絡,有效融合了用戶時空和社交過渡圖中的邊緣權重。通過建立多個子任務進行聯(lián)合學習,該模型在下一個PoI推薦數(shù)據(jù)集上取得了顯著成效。為了同時解決時空相關性和高階建模的問題,文獻[22]提出一種自適應時空超圖融合學習框架。該框架設計時空圖卷積網(wǎng)絡以解耦時空因素,并創(chuàng)新性地利用跨視圖對比學習來增強PoI嵌入的質量。此外,該模型還引入多語義增強超圖網(wǎng)絡,用于學習高階特征,在三個真實數(shù)據(jù)集上展現(xiàn)出了先進的性能。文獻[23]提出了一個具有時空周期性興趣的多視圖超圖模型。該模型將推薦過程創(chuàng)新性地分為局部視圖和全局視圖。局部視圖專注于聯(lián)合學習時空方面的周期性特征,而全局視圖則致力于捕捉跨用戶的高階協(xié)作信息,以生成更精確的PoI嵌入表示。這種多視角的設計使得模型能夠更全面地理解用戶行為和PoI特征。這些最新研究成果不僅在性能上取得了顯著進展,更重要的是,它們代表了下一個PoI推薦技術的新趨勢。
盡管現(xiàn)有模型在捕捉用戶與PoI之間的時空關系和高階交互方面取得顯著進展,但在時空因素的細粒度建模上仍有提升空間,這為本研究提供了關鍵的切入點。本文在前人工作的基礎上,提出一種細粒度時空多語義超圖學習模型FSTMH,旨在從深度和廣度兩個維度全面挖掘用戶信息。FSTMH模型的獨特之處在于在細粒度層面綜合考慮時空因素和高階信息,通過這種多維度、細粒度的建模方法,期望能夠更精確地捕捉用戶偏好和行為模式,從而顯著提升PoI推薦的準確性和相關性。
2 細粒度時空多語義超圖學習模型FSTMH
下面詳細闡述本文FSTMH模型的結構,如圖2所示。首先闡明地理圖和有向超圖的構建方法,并分別利用相應的卷積網(wǎng)絡對其進行嵌入學習,以實現(xiàn)多視覺嵌入學習。隨后采用對比學習方法整合兩種嵌入,旨在最大化兩個因素之間的互信息。接著,進行細粒度與多語義處理,通過細粒度超圖卷積網(wǎng)絡,進一步學習細粒度的PoI嵌入。對于語義超圖,將其輸入到多語義超圖卷積網(wǎng)絡中,以獲得多層次的PoI嵌入。最后,將上述兩種PoI嵌入進行拼接,并通過注意力層和預測層完成最終預測。FSTMH模型的各組成部分介紹如下。
2.1 細粒度嵌入
2.1.1 地理圖卷積網(wǎng)絡
在下一個PoI推薦任務中,地理圖扮演著至關重要的角色,因為它提供PoI的地理位置信息。對用戶而言,他們通常對當前位置或附近的地理位置表現(xiàn)出更濃厚的興趣,這凸顯了地理圖在推薦系統(tǒng)中的重要性。
2.1.2 有向超圖卷積網(wǎng)絡
2.1.3 對比學習
為了有效整合地理嵌入和有向圖嵌入,本文采用對比學習方法來增強PoI的表示。該方法的核心思想是通過比較不同視覺下的PoI表示來學習更豐富的特征。具體而言,將同一PoI在地理嵌入和有向嵌入兩個不同模塊中的表示視為正樣本對,這些正樣本對反映了PoI在不同視覺下的一致性。將不同部分中不同PoI嵌入看作負樣本對。定義的對比損失函數(shù)如下:
2.2 多層次嵌入學習
2.3 預測和優(yōu)化
對于用戶u和目標PoI,通過點積運算計算得分,即
u=softmax(EFEM)(10)
3 實驗
3.1 數(shù)據(jù)集
為了全面評估FSTMH模型的性能,本文選擇Foursquare-NYC[33]、Foursquare-TKY[33]和Gowalla[34]三個公開的社交網(wǎng)絡數(shù)據(jù)集來測試。這些數(shù)據(jù)集的選擇旨在確保實驗結果的可靠性和普適性。需要說明的是,F(xiàn)oursquare-NYC和Foursquare-TKY是在紐約和東京分別收集的數(shù)據(jù),時間跨度為2012年4月至2023年2月,而Gowalla數(shù)據(jù)集包含2009年2月至2010年10月在社交平臺上的簽到記錄。為了降低數(shù)據(jù)的稀疏性并排除異常數(shù)據(jù),從Foursquare數(shù)據(jù)集中移除被少于5個用戶訪問的PoI,而對于Gowalla數(shù)據(jù)集,移除被少于10個用戶訪問的PoI。經(jīng)處理后用于實驗的數(shù)據(jù)集的統(tǒng)計信息如表1所示。按照8∶1∶1將數(shù)據(jù)集劃分為訓練集、驗證集和測試集,其中,訓練集用于訓練模型,驗證集用于調參和模型選擇,測試集用于評估模型的性能。這種嚴格的數(shù)據(jù)處理和劃分策略確保了實驗的科學性和結果的可信度。通過使用三個地理位置和時間跨度各異的數(shù)據(jù)集,能夠全面評估FSTMH模型在不同場景下的表現(xiàn),從而驗證其在PoI推薦任務中的魯棒性和通用性。
3.2 評估標準
本研究采用了兩個廣泛使用的評估指標來評估模型性能,這與先前的下一個PoI推薦的相關研究[35]一樣。這兩個指標分別是召回率 Recall@K(簡寫為 R@K)和歸一化折損累計增益 NDCG@K(簡寫為 N@K)。Recall@K 用于衡量 top-K 推薦列表中實際被訪問的PoI數(shù)量與測試集中實際訪問的PoI總數(shù)之間的比例。該指標可以評估模型在給定的推薦列表中的覆蓋率,反映模型推薦的全面性。NDCG@K 根據(jù)測試集中實際訪問的PoI在 top-K 推薦列表中的排序位置來衡量PoI排序的質量,該指標同時考慮推薦結果的排序和相關性,反映模型推薦的精確性和排序能力。若Recall@K和NDCG@K 越高,則表示模型在排名和相關性方面的表現(xiàn)越好。選擇K值為5和10,這種選擇有兩種考慮:K=5反映模型在較短推薦列表中的性能,更接近實際應用場景;而K=10提供一個更寬泛的視角,評估模型在稍長推薦列表中的表現(xiàn)。通過同時使用這兩個指標和兩個K值,能夠全面評估模型在不同推薦長度下的性能,既考慮了推薦的廣度,也考慮了精度和排序質量。這種多角度的評估方法有助于更準確地比較不同模型的優(yōu)劣。
3.3 基線模型
為了全面驗證本文提出的FSTMH模型的有效性,本研究設計一系列對比實驗,將FSTMH模型與八個代表性的下一個PoI推薦模型進行詳細比較。這些基線模型涵蓋了當前PoI推薦領域的主要技術,包括基于RNN的方法、基于自注意力機制的方法和基于GNN的方法。
a)LSTM[36]:它是RNN模型的一種變體,在捕捉序列數(shù)據(jù)之間的長期依賴關系方面表現(xiàn)優(yōu)異。
b)STGN[30]:它是一種基于LSTM的模型,引入空間和時間信息來學習序列之間的時空規(guī)律。
c)STAN[37]:它是一種基于自注意力機制的模型,通過交互序列中的距離和時間間隔編碼來建模時空因素影響。
d)LightGCN[38]:它是一種基于簡化GNN的模型,在沒有非線性激活和特征變換的情況下進行聚合和傳播信息。
e)SGRec[39]:它是一個基于GNN的連續(xù)PoI推薦模型,通過Seq2Graph增強捕獲一跳鄰居之間的協(xié)作信號。
f)HCCF[40]:它是一個基于GNN的自監(jiān)督推薦框架,通過超圖增強的跨視圖對比學習架構,聯(lián)合捕獲局部和全局協(xié)作關系。
g)ASTHL[22]:它是一個基于GNN的模型,利用解耦中心PoI學習來學習時空因素,跨視圖對比學習來增強PoI表示的質量。
h)MSTHN[41]:它是一個基于GNN的模型,利用局部視圖和全局視圖進行下一個PoI推薦。
通過與這些不同類型的模型進行對比,能夠全面評估FSTMH模型在多種場景下的性能表現(xiàn),進而分析FSTMH模型相對于現(xiàn)有方法的優(yōu)勢和潛在改進空間,以驗證FSTMH模型在融合多源信息和捕捉復雜時空關系方面的有效性及優(yōu)越性。
3.4 實驗設置
本文FSTMH模型基于PyTorch軟件庫實現(xiàn),所有實驗均在配備Intel i7 13700 CPU和NVIDIA GeForce RTX 3060Ti GPU的高性能PC機上進行,以確保計算效率和結果的可復現(xiàn)性。模型訓練和評估采用以下參數(shù)設置:
基線模型遵循原始論文中推薦的參數(shù)設置,以保證公平比較;對于FSTMH模型,采用Adam作為優(yōu)化器,學習率設置為1E-3;α1和α2的取值分別為0.1和1E-5;嵌入維度設置為128,批次大小設置為100;對于NYC和TKY數(shù)據(jù)集,其閾值設置為2.5,而對于Gowalla數(shù)據(jù)集,其閾值設置為100;層數(shù)大小L分別設置為1、2、3和4;在損失函數(shù)中,溫度參數(shù)τ分別取值為0.1、0.5、1、5和10,以優(yōu)化對比學習的效果。這些參數(shù)旨在充分發(fā)揮FSTMH模型的潛力,同時保證實驗的可比性和可靠性。
通過調整上述超參數(shù),能夠研究模型在不同數(shù)據(jù)集上的表現(xiàn)及其各組件對模型性能的影響,以確保實驗結果的穩(wěn)定性和可復現(xiàn)性。在實際訓練過程中,采用驗證集來監(jiān)控模型性能,并使用早停策略來防止過擬合。
3.5 結果分析
本文FSTMH模型與上述八個基線模型的對比實驗結果列于表2,其中加粗數(shù)字表示最優(yōu)結果,下畫線表示次優(yōu)結果。
a)FSTMH模型在Foursquare-NYC、Foursquare-TKY和Gowalla三個數(shù)據(jù)集上均表現(xiàn)出色,明顯優(yōu)于其他八個對比模型。具體而言,在NYC數(shù)據(jù)集上相比于次優(yōu)模型提升0.45%~4.76%,在TKY數(shù)據(jù)集上提升3.12%~6.32%,在Gowalla數(shù)據(jù)集上提升3.42%~8.05%。這些結果可歸因于FSTMH模型具有的兩個特性:一方面,它在時空信息建模和對比學習方面的創(chuàng)新增強了PoI表示;另一方面,采用細粒度超圖卷積網(wǎng)絡能夠有效學習到更高階的特征信息,從而緩解了數(shù)據(jù)稀疏性問題。FSTMH模型在不同地理位置和用戶行為特征的數(shù)據(jù)集上均表現(xiàn)出色,證明了其強大的適應性和泛化能力。這種一致性的優(yōu)越表現(xiàn)不僅驗證了模型設計的有效性,也展示了其在實際應用中的潛力。
b)當單獨使用LightGCN作為地理信息編碼器時,其下一個PoI推薦性能顯著低于FSTMH模型。這一性能差距可能源于以下原因:LightGCN僅利用用戶和PoI交互信息進行推薦,忽略用戶行為序列和上下文信息,難以有效捕捉用戶動態(tài)興趣的變化。相比之下,F(xiàn)STMH融合時間、空間等多維上下文信息,能更全面、準確地表征用戶的興趣偏好,從而取得更好的推薦性能。
c)在下一個PoI推薦任務中,考慮時空信息的重要性不言而喻。ASTHL和MSTHN等綜合考慮時空信息的模型均優(yōu)于僅利用用戶和PoI交互信息的LightGCN。即便是僅考慮時間因素的SGRec,在稀疏數(shù)據(jù)集Gowalla上也取得1.57%~8.69%的性能提升。這進一步驗證了時空信息對下一個PoI推薦的關鍵作用。同時,ASTHL、MSTHN和本文FSTMH模型在建模空間信息方面的優(yōu)勢也得到證實。盡管上述三種模型都融合了時空信息,但FSTMH仍然優(yōu)于前兩者。這主要得益于FSTMH對細粒度信息的深入建模,以及對高階交互特征的有效學習,為下一個PoI推薦提供了更加豐富的支撐。這些實驗結果不僅驗證時空信息在PoI推薦中的重要性,還凸顯FSTMH模型在綜合利用多維信息和深度特征學習方面的優(yōu)勢。FSTMH通過細粒度建模和高階特征提取,成功地在保留時空信息優(yōu)勢的基礎上,進一步提升了推薦的準確性和相關性。
d)從整體趨勢來看,基于GNN的模型優(yōu)于基于注意力機制的模型,后者又優(yōu)于基于RNN的模型。這可歸因為:基于RNN的模型難以建模長序列信息,容易出現(xiàn)梯度消失或爆炸問題;基于注意力機制的模型雖然能解決長序列問題,但在表示學習和稀疏數(shù)據(jù)場景下效果有限;而基于GNN的模型能更好地捕捉用戶和PoI之間的復雜關系,所以其推薦效果優(yōu)于其他兩類模型。這種性能層次的出現(xiàn)反映了PoI推薦任務的本質特征,即用戶和PoI交互本質上是一個復雜的圖結構問題。基于GNN的模型能夠直接在這種圖結構上進行操作和學習,因此更適合捕捉PoI推薦任務中的復雜關系和高階信息。
3.6 參數(shù)分析
3.6.1 層數(shù)大小L的取值分析
為了分析超圖卷積層數(shù)對模型性能的影響,對不同數(shù)據(jù)集進行不同層數(shù)取值的實驗分析。如圖3所示,可觀察到以下結果:FSTMH模型在NYC數(shù)據(jù)集上采用3層時取得最佳性能,3層結構能夠有效捕捉中等復雜度的用戶和PoI交互模式。在TKY數(shù)據(jù)集上采用4層最佳,值得注意的是,盡管TKY數(shù)據(jù)集密度較大,F(xiàn)STMH模型仍能在更深的網(wǎng)絡結構下取得最佳結果,這一發(fā)現(xiàn)凸顯了FSTMH在處理復雜、高階協(xié)作信號方面的卓越能力。在Gowalla數(shù)據(jù)集上采用2層時取得最佳性能,這反映了Gowalla數(shù)據(jù)集中用戶和PoI交互模式的相對簡單性。
上述結果表明FSTMH模型具有強大的適應能力,能夠根據(jù)不同數(shù)據(jù)集的特性自動調整其最優(yōu)結構;在復雜數(shù)據(jù)環(huán)境中,更多的卷積層有助于捕捉更深層次的特征和關系;不同數(shù)據(jù)集的最優(yōu)層數(shù)反映了模型在效率和性能之間尋求平衡的能力,這種靈活性使模型能在各種復雜度的數(shù)據(jù)集上都取得良好表現(xiàn)。
3.6.2 溫度參數(shù)τ的取值分析
在細粒度嵌入模塊中,溫度參數(shù)τ扮演調節(jié)樣本間區(qū)分度的關鍵角色。為了探究其影響,本文進行一系列實驗。分別設置τ的值為0.1、0.5、1、5和10,結果如圖4所示。通過分析實驗數(shù)據(jù),本文發(fā)現(xiàn)當τ取0.1時,F(xiàn)STMH模型取得最優(yōu)性能。這一發(fā)現(xiàn)揭示了適當控制溫度參數(shù)τ的重要性,合適的取值能夠有效凸顯用戶與PoI之間的關系特征,從而顯著提升模型的整體表現(xiàn)。
3.7 消融實驗
為了驗證FSTMH模型各組件的有效性,在NYC和TKY兩個數(shù)據(jù)集上進行消融實驗,其結果如表3和圖5所示。在實驗中,采用符號w/o FG表示去除細粒度嵌入模塊;用w/o ML表示去除多層嵌入模塊;用w/o GG表示去除地理圖;用w/o DG表示去除有向圖。分析實驗結果,得出以下幾點重要結論:
a)移除細粒度嵌入模塊后,模型性能降至最低,這一結果有力地證明了時空特性在下一個PoI推薦任務中的核心地位。
b)單獨移除地理圖或有向圖時,雖然模型性能有所下降,但仍優(yōu)于完全移除這兩個組件的情況。值得注意的是,移除地理圖導致的性能下降更為顯著,這表明在PoI推薦任務中,空間因素比時間因素更為關鍵。特別針對密集的TKY數(shù)據(jù)集,移除兩個組件時模型性能下降的幅度略大于NYC,這一現(xiàn)象凸顯了FSTMH模型在處理高階信息和密集數(shù)據(jù)等方面的卓越能力。
c)移除多層級嵌入模塊后,模型性能出現(xiàn)明顯下降,結果表明學習用戶和PoI間語義關系對提升模型效果具有重要影響。
綜上所述,F(xiàn)STMH模型的各個組件通過協(xié)同作用,顯著提升了模型的整體性能。這種模塊化設計不僅增強了模型的適應性,還為未來在不同場景下的優(yōu)化提供了靈活性。
3.8 案例分析
該部分針對引言中提到的現(xiàn)存模型的局限性(時空相關性缺失和高階連通性)問題進行案例分析,以圖1為例。
在時空相關性建模上,F(xiàn)STMH模型通過地理圖卷積網(wǎng)絡和有向超圖卷積網(wǎng)絡,有效地捕捉用戶訪問PoI時的時空模式。這種設計使得模型能夠區(qū)分不同用戶的訪問順序和空間位置偏好,從而生成更加個性化和準確的推薦結果。例如,對于David和Lisa,F(xiàn)STMH模型能夠識別出他們訪問順序的不同,并據(jù)此調整推薦策略,為David推薦更多與其工作生活相關的下一個PoI,為Lisa推薦更多休閑娛樂類的下一個PoI。
在高階連通性問題上,F(xiàn)STMH模型通過多層次嵌入模塊,將多層語義超圖輸入到多層超圖卷積網(wǎng)絡中,學習多層次語義的PoI嵌入表示。這種設計使得模型能夠充分利用PoI之間的高階連通性,挖掘潛在的用戶興趣和行為模式。在David和Peter的例子中,F(xiàn)STMH模型能夠識別出他們共享PoI背后的高階鄰居差異。對于David,模型可能會推薦那些與他之前訪問的PoI(如辦公室和游泳館)在時間和空間上相近,且與其高階鄰居(如餐廳和超市常客也常去的其他地方)有潛在關聯(lián)的下一個PoI。對于Peter,則可能推薦那些更符合他獨特興趣和生活模式的下一個PoI,這些PoI與他之前訪問的PoI在類型或風格上有所不同,但同樣具有吸引力。需要注意的是,對于這些下一個PoI推薦結果,是在用戶正常的生活模式下進行的,不包含一些突發(fā)因素,例如用戶情緒、天氣等問題。
通過上述案例分析可以看出,F(xiàn)STMH模型在提升下一個PoI推薦準確性、多樣性和新穎性方面具有顯著優(yōu)勢。該模型通過綜合考慮用戶和PoI之間的時空相關性以及PoI之間的高階連通性,為用戶提供更加精準和個性化的下一個PoI推薦服務。
4 結束語
在當今社交網(wǎng)絡中,下一個PoI推薦系統(tǒng)扮演著至關重要的角色。這類系統(tǒng)能夠有效學習用戶偏好,為其預先推薦可能感興趣的地點。然而,現(xiàn)有方法面臨著諸多挑戰(zhàn),包括粗粒度建模、難以捕捉高階特征以及忽視時空因素等問題。為了解決這些問題,本文提出一種細粒度時空多語義超圖學習模型FSTMH,用于下一個PoI推薦。FSTMH模型由細粒度嵌入和多層級嵌入兩個核心模塊構成。細粒度嵌入模塊專注學習時空因素,而多層級嵌入模塊致力于挖掘深層語義信息。在細粒度嵌入模塊中,本文創(chuàng)新性地采用對比學習方法來強化地理圖和有向圖中的PoI嵌入表示。隨后,這兩種嵌入被輸入到精心設計的細粒度超圖卷積網(wǎng)絡中,用于學習更為精細的PoI嵌入。最終,將這兩部分學習到的PoI嵌入進行拼接,用于用戶行為預測。為驗證FSTMH模型的有效性,在著名的Foursquare-NYC、Foursquare-TKY和Gowalla三個社交網(wǎng)絡數(shù)據(jù)集上進行對比實驗、參數(shù)分析和消融實驗,其結果均表明,F(xiàn)STMH模型表現(xiàn)出色,明顯優(yōu)于對比模型,在這三個數(shù)據(jù)集上分別取得了至少0.45%、3.12%和3.43%的性能提升;并在消融實驗中證明了模型每個組件的有效性。這些結果有力地證實了FSTMH模型在進行下一個PoI推薦中的卓越性能。
雖然FSTMH模型在下一個PoI推薦中已經(jīng)取得優(yōu)勢,但是也存在諸多問題。例如:包括多個圖卷積的網(wǎng)絡需要較高的計算資源;在實際應用中,用戶的決策過程可能還受到上下文因素的影響,例如天氣、節(jié)假日、用戶情緒等,這些因素在模型中可能沒有得到充分的考慮和利用。這些問題已成為接下來的研究重點。
未來,筆者計劃將時態(tài)知識圖譜引入下一個PoI推薦系統(tǒng),以有效捕捉PoI數(shù)據(jù)的動態(tài)變化。此外,可結合季節(jié)性信息來實現(xiàn)更加個性化的推薦。
參考文獻:
[1]Gao Qiang, Wang Wei, Zhang Kunpeng, et al. Self-supervised representation learning for trip recommendation [J]. Knowledge-Based Systems, 2022, 247: 108791.
[2]Sun K, Li Chenliang, Qian Tieyun. City matters!A dual-target cross-city sequential PoI recommendation model [J]. ACM Trans on Information Systems, 2024, 42(6): 1-27.
[3]郭秉璇, 楊曉文, 孫福盛, 等. 融合人群移動軌跡和時空-類別的下一個興趣點推薦 [J/OL]. 計算機工程與應用.(2024). https://www.cnki.com.cn/Article/CJFDTotal-JSGG20240509003.htm. (Guo Bingxuan, Yang Xiaowen, Sun Fusheng, et al. Next point of interest recommendation fusing crowd movement trajectories and spatiotemporal-category features [J/OL]. Computer Enginee-ring and Applications. (2024). https://www.cnki.com.cn/Article/CJFDTotal-JSGG20240509003.htm.)
[4]李征, 黃雪原, 袁科. 基于位置社交網(wǎng)絡的興趣點推薦研究 [J]. 計算機應用研究, 2022, 39(11): 3211-3219. (Li Zheng, Huang Xueyuan, Yuan Ke. Survey of research on point-of-interest re-commendation methods based on location-based social networks [J]. Application Research of Computers, 2022, 39(11): 3211-3219.)
[5]Horozov T, Narasimhan N, Vasudevan V. Using location for persona-lized PoI recommendations in mobile environments [C]// Proc of International Symposium on Applications on Internet. Washington DC: IEEE Computer Society, 2006: 124-129.
[6]Qin Yifang, Wu Hongjun, Ju Wei, et al. A diffusion model for PoI recommendation [J]. ACM Trans on Information Systems, 2023, 42(2): 1-27.
[7]Duan Chenghua, Fan Wei, Zhou Wei, et al. CLSPRec: contrastive learning of long and short-term preferences for next PoI recommendation [C]// Proc of the 32nd ACM International Conference on Information and Knowledge Management. New York:ACM Press, 2023: 473-482.
[8]Huang Jianfeng, Liu Yuefeng, Chen Yue, et al. Dynamic recommendation of PoI sequence responding to historical trajectory [J]. ISPRS International Journal of Geo-Information, 2019, 8(10): 433.
[9]Chen Jing, Jiang Wenjun, Wu Jie, et al. Dynamic personalized PoI sequence recommendation with fine-grained contexts [J]. ACM Trans on Internet Technology, 2023, 23(2): 1-28.
[10]Wang Zhaobo, Zhu Yanmin, Zhang Qiaomei, et al. Graph-enhanced spatial-temporal network for next PoI recommendation [J]. ACM Trans on Knowledge Discovery from Data, 2022, 16(6): 1-21.
[11]Fu Jiarun, Gao Rong, Yu Yonghong, et al. Contrastive graph lear-ning long and short-term interests for PoI recommendation [J]. Expert Systems with Applications, 2024, 238: 121931.
[12]Kong Xiangjie, Chen Zhiyu, Li Jianxin, et al. KGNext: knowledge-graph-enhanced Transformer for next PoI recommendation with uncertain check-ins [J]. IEEE Trans on Computational Social Systems, 2024,11(5): 6637-6648.
[13]Yang Yuxuan, Zhou Siyuan, Weng He, et al. Siamese learning based on graph differential equation for Next-PoI recommendation [J]. Applied Soft Computing, 2024, 150: 111086.
[14]劉志中, 李林霞, 孟令強. 基于混合圖神經(jīng)網(wǎng)絡的個性化PoI推薦方法研究 [J]. 南京大學學報:自然科學, 2023, 59(3): 373-387. (Liu Zhizhong, Li Linxia, Meng Lingqiang. An approach for personalized PoI recommendation based on hybrid graph neural network [J]. Journal of Nanjing University: Natural Science, 2023, 59(3): 373-387.)
[15]Cheng Chen, Yang Haiqin, Lyu M R, et al. Where you like to go next: successive point of-interest recommendation [C]// Proc of the 23rd International Joint Conference on Artificial Intelligence. San Francisco, CA: Morgan Kaufmann, 2013: 2605-2611.
[16]Li Guohui, Chen Qi, Zheng Bolong, et al. Group-based recurrent neural networks for PoI recommendation [J]. ACM Trans on Data Science, 2020, 1(1): 1-18.
[17]Capanema C G S, Silva F A, Silva T R M B, et al. PoI-RGNN: using recurrent and graph neural networks to predict the category of the next point of interest [C]// Proc of the 18th ACM Symposium on Performance Evaluation of Wireless Ad hoc, Sensor, amp; Ubiquitous Networks. New York: ACM Press, 2021: 49-56.
[18]李勇, 韓志媛, 安敬民. 基于循環(huán)神經(jīng)網(wǎng)絡的實時偏好感知興趣點推薦 [J]. 計算機工程與設計, 2023, 44(12): 3772-3777. (Li Yong, Han Zhiyuan, An Jingmin. Real-time preference-aware point-of-interest recommendation based on recurrent neural network [J]. Computer Engineering and Design, 2023,44(12): 3772-3777.)
[19]Yang Qing, Hu Shiyan, Zhang Wenxiang, et al. Attention mechanism and adaptive convolution actuated fusion network for next PoI re-commendation [J]. International Journal of Intelligent Systems, 2022, 37(10): 7888-7908.
[20]Cheng Shulin, Wu Zhongquan, Qian Meng, et al. Point-of-interest recommendation based on bidirectional self-attention mechanism by fusing spatio-temporal preference [J]. Multimedia Tools and Applications, 2024, 83(9): 26333-26347.
[21]Kumar A, Jain D K, Mallik A, et al. Modified node2vec and attention based fusion framework for next PoI recommendation [J]. Information Fusion, 2024, 101: 101998.
[22]Lai Yantong, Su Yijun, Wei Lingwei, et al. Adaptive spatial-temporal hypergraph fusion learning for next PoI recommendation [C]// Proc of IEEE International Conference on Acoustics, Speech and Signal Processing. Piscataway,NJ:IEEE Press, 2024: 7320-7324.
[23]An Jingmin, Gao Ming, Tang Jiafu. MvStHgL: multi-view hyper-graph learning with spatial-temporal periodic interests for next PoI re-commendation [J]. ACM Trans on Information Systems, 2024, 42(6): 1-29.
[24]Yan Xiaodong, Song Tengwei, Jiao Yifeng, et al. Spatio-temporal hypergraph learning for next PoI recommendation [C]// Proc of the 46th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York:ACM Press, 2023: 403-412.
[25]Lim N, Hooi B, Ng S, et al. STP-UDGAT: spatial-temporal-preference user dimensional graph attention network for next PoI recommendation [C]// Proc of the 29th ACM International Conference on Information amp; Knowledge Management. New York:ACM Press, 2020: 845-854.
[26]Yu Huarui, Cheng Zesheng. AST-PG: attention-based spatial-temporal point-of-interest-group model for real-time point-of-interest recommendation [J]. Applied Sciences, 2024; 14(12): 5337.
[27]Wang Nan, Liu Dan, Zeng Jin, et al. HGRec: group recommendation with hypergraph convolutional networks [J]. IEEE Trans on Computational Social Systems, 2024, 11(3): 4214-4225.
[28]Li Qingfeng, Ma Huifang, Jin Wangyu, et al. Hypergraph-enhanced multi-interest learning for multi-behavior sequential recommendation [J]. Expert Systems with Applications, 2024, 255: 124497.
[29]Chen Ming, Li Wenzhong, Qian Lin, et al. Next PoI recommendation based on location interest mining with recurrent neural networks [J]. Journal of Computer Science and Technology, 2020, 35: 603-616.
[30]Zhao Pengpeng, Luo Anjing, Liu Yanchi, et al. Where to go next: a spatio-temporal gated network for next PoI recommendation [J]. IEEE Trans on Knowledge and Data Engineering, 2022, 34(5): 2512-2524.
[31]He Xi, He Weikang, Liu Yilin, et al. ImNext: irregular interval attention and multi-task learning for next PoI recommendation [J]. Knowledge-Based Systems, 2024, 293: 111674.
[32]Chopde R N, Nichat M. Landmark based shortest path detection by using A* and haversine formula [J]. International Journal of Innovative Research in Computer and Communication Engineering," 2013, 1(2): 298-302.
[33]Yang Dingqi, Zhang Daqing, Zheng V W, et al. Modeling user acti-vity preference by leveraging user spatial temporal characteristics in LBSNs [J]. IEEE Trans System, Man, and Cybernetics: System, 2015, 45(1): 129-142.
[34]Yin Hongzhi, Cui Bin, Chen Ling, et al. Modeling location-based user rating profiles for personalized recommendation [J]. ACM Trans on Knowledge Discovery from Data, 2015, 9(3): 1-41.
[35]Wang Bin, Zhang Yan, Ma Yan, et al. SA-LSPL: sequence-aware long-and short-term preference learning for next PoI recommendation [EB/OL]. (2024-03-30). https://arxiv.org/abs/2404. 00367.
[36]Hochreiter S, Schmidhuber J. Long short-term memory [J]. Neural Computation, 1997, 9(8): 1735-1780.
[37]Luo Yingtao, Liu Qiang, Liu Zhaocheng. STAN: spatio-temporal attention network for next location recommendation [C]// Proc of the 30th International Conference on World Wide Web. New York: ACM Press, 2021: 2177-2185.
[38]He Xiangnan, Deng Kuan, Wang Xiang, et al. LightGCN: simplifying and powering graph convolution network for recommendation [C]// Proc of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. New York:ACM Press, 2020: 639-648.
[39]Li Yang, Chen Tong, Luo Yadan, et al. Discovering collaborative signals for next PoI recommendation with iterative Seq2Graph augmentation [C]// Proc of the 30th International Joint Conference on Artificial Intelligence. San Francisco, CA: Morgan Kaufmann, 2021: 1491-1497.
[40]Xia Lianghao, Huang Chao, Xu Yong, et al. Hypergraph contrastive collaborative filtering [C]// Proc of the 45th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York:ACM Press,2022: 70-79.
[41]Lai Yantong, Su Yijun, Wei Lingwei, et al. Multi-view spatial-temporal enhanced hypergraph network for next PoI recommendation [C]// Proc of the 28th International Conference on Database Systems for Advanced Applications. Berlin: Springer, 2023: 237-252.