中圖分類號(hào):TP391 文獻(xiàn)標(biāo)志碼:A 文章編號(hào):1001-3695(2025)08-009-2312-08
doi:10.19734/j.issn.1001-3695.2024.12.0518
Time-block-based dynamic graph neural network for sequential recommendation
Peng Zihang1, Zhang Quangui2?,Jin Haibo1,Liu Yixin1,Qi Yuxin1 (1.SchoolofreclUsityL;hlfcamp; ChongqingUniversity ofArtsamp; Sciences,Chongqing 40216O,China)
Abstract:Dynamicgraph-basedsequentialrecommendationisacurentresearchhotspotintherecommendationsystemdo main.Existing methods typicallconstructed dynamicgraphsateach timestampof user-item interaction sequences,which strugled toaddress noisecaused byocasionaluser behaviors andfailed to effctivelycaptureusers’periodic preferences.To address thesechallenges,thispaper proposedaTBDGNNforsequentialrecommendation.The methodfirstlydivided temporal sequences intomultipletimeblocksbasedonthedistributionofuser-iteminteraction historydata.Thenitconstructeddyamic graphswithineachtimeblocktomodeltemporalevolutionofuserbehaviors.Aditionally,itdesignedatime-block-levelgraph neural network framework tomitigate theimpactofocasional interactions(e.g.,usermisoperations)andcaptureusers’periodicbehaviors through time-blockpartitioning.ExperimentalresultsdemonstratethatTBDGNNsignificantlyoutperformsthe DGEL baseline on core metrics in datasets including MovieLens,achieving a maximum improvement of 8.7% in hit@10 . The findings validate the model's efectiveness in dynamic recommendation and periodic behavior modeling.
Key Words:sequential recommendation;dynamic graph neural network;time block;periodic preferences
0 引言
傳統(tǒng)的推薦系統(tǒng)主要依賴于用戶的靜態(tài)偏好與物品間的相似性,通過協(xié)同過濾等手段為用戶提供個(gè)性化推薦[1,2]。盡管這些方法在一定程度上滿足了用戶需求,但它們忽視了用戶興趣隨時(shí)間變化的動(dòng)態(tài)特性。序列推薦系統(tǒng)的出現(xiàn)與發(fā)展正是為了更精準(zhǔn)地捕捉這些動(dòng)態(tài)偏好。該系統(tǒng)強(qiáng)調(diào)時(shí)間性的用戶交互,利用用戶的歷史行為記錄來預(yù)測(cè)其未來興趣,實(shí)現(xiàn)更為個(gè)性化的推薦。
序列推薦系統(tǒng)的發(fā)展歷程中,從基于馬爾可夫模型的簡單概率建模到復(fù)雜神經(jīng)網(wǎng)絡(luò)方法的演進(jìn),標(biāo)志著其建模能力的顯著提升。早期的馬爾可夫鏈[3]和隱馬爾可夫模型[4通過建模狀態(tài)轉(zhuǎn)移和潛在狀態(tài),有效地捕捉了用戶行為的序列化模式。隨著深度學(xué)習(xí)技術(shù)的興起,循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)[5]、長短期記憶網(wǎng)絡(luò)(LSTM)[6]和門控循環(huán)單元(GRU)[7]等神經(jīng)網(wǎng)絡(luò)架構(gòu)因其強(qiáng)大的序列建模能力而備受青睞,它們能夠更有效地處理長時(shí)間依賴問題。同時(shí),卷積神經(jīng)網(wǎng)絡(luò)(CNN)[8]通過局部特征提取,增強(qiáng)了序列推薦在短期模式捕捉方面的效果。而注意力網(wǎng)絡(luò)9則以其動(dòng)態(tài)權(quán)重分配和全局上下文捕捉能力,精確建模了用戶行為的全局依賴關(guān)系。
近年來,圖神經(jīng)網(wǎng)絡(luò)技術(shù)的應(yīng)用進(jìn)一步提升了序列推薦系統(tǒng)的性能,通過優(yōu)化復(fù)雜的用戶-物品交互模型,實(shí)現(xiàn)了更為精準(zhǔn)的推薦。然而,即便靜態(tài)圖結(jié)構(gòu)模型在捕捉用戶興趣方面已取得一定成效,它們?cè)谌娌蹲接脩襞d趣隨時(shí)間變化的動(dòng)態(tài)性方面仍面臨挑戰(zhàn)。當(dāng)前的動(dòng)態(tài)圖序列推薦模型仍面臨兩大挑戰(zhàn):
一方面,模型設(shè)計(jì)過于側(cè)重細(xì)粒度的時(shí)間維度,雖然增強(qiáng)了模型的敏感性,但也使得模型更容易受到用戶行為偶然波動(dòng)或誤操作導(dǎo)致的“噪聲”影響。這種噪聲會(huì)模糊用戶真實(shí)的連續(xù)偏好模式,進(jìn)而影響推薦效果。因此,如何在保持模型敏感性的同時(shí)有效過濾噪聲,是優(yōu)化動(dòng)態(tài)圖序列推薦模型的一大關(guān)鍵。
另一方面,模型在捕捉周期性行為模式方面存在不足,未能充分挖掘和利用跨時(shí)間段的重復(fù)或周期性交互規(guī)律。這限制了模型對(duì)用戶行為的理解和預(yù)測(cè)能力。因此,如何增強(qiáng)模型對(duì)周期性行為模式的捕捉能力,是提升推薦系統(tǒng)精度和個(gè)性化水平的另一重要方向。
例如用戶可能經(jīng)常產(chǎn)生一些偶然的點(diǎn)擊或?yàn)g覽行為。這些短期行為也同時(shí)會(huì)被動(dòng)態(tài)圖模型捕捉,并對(duì)用戶的興趣和偏好產(chǎn)生影響。過度關(guān)注短期波動(dòng),可能導(dǎo)致對(duì)用戶偏好的誤判,最終降低推薦的精準(zhǔn)性,這些偶發(fā)行為在序列推薦系統(tǒng)中被視為噪聲。如圖1所示, t1~t5 是用戶的一個(gè)交互序列。在這種情況下,除了 t3 的衛(wèi)生紙外,其他所有產(chǎn)品都是電子游戲產(chǎn)品。這里的衛(wèi)生紙可能是用戶的偶發(fā)行為,在整個(gè)序列預(yù)測(cè)中屬于噪聲,若將其納入序列建模中,可能會(huì)對(duì)推薦模型的效果產(chǎn)生負(fù)面影響。
圖1按時(shí)間戳排序的用戶點(diǎn)擊序列圖表
Fig.1User click sequence chart sorted by timestamp
周期性行為模式能夠精準(zhǔn)體現(xiàn)用戶于不同時(shí)間段所呈現(xiàn)出的興趣偏好差異。然而,現(xiàn)有的動(dòng)態(tài)圖序列推薦模型在捕捉這類周期性模式方面存在明顯不足。舉例來說,某用戶通常會(huì)在每月月初集中采購日常用品,而在每月月末則傾向于瀏覽各類娛樂產(chǎn)品。當(dāng)前的模型往往過度聚焦于用戶在特定時(shí)段內(nèi)的瞬間行為,卻忽視了跨時(shí)間段的廣泛行為規(guī)律,這就使得模型難以準(zhǔn)確預(yù)估用戶在不同時(shí)間段的興趣波動(dòng)情況,進(jìn)而制約了其提供深度個(gè)性化推薦內(nèi)容的能力。由此可見,進(jìn)一步優(yōu)化動(dòng)態(tài)圖序列推薦模型,有效突破上述局限,乃是提升推薦系統(tǒng)精準(zhǔn)度與個(gè)性化水平的重中之重。
因此,針對(duì)如何有效捕捉用戶在動(dòng)態(tài)圖序列推薦中的真實(shí)偏好變化,本文提出了基于時(shí)間塊的動(dòng)態(tài)圖構(gòu)建方法,以減少偶然行為噪聲的影響,同時(shí)捕捉用戶的周期性行為,該方法通過構(gòu)建隨時(shí)間動(dòng)態(tài)調(diào)整的圖結(jié)構(gòu),有效捕捉用戶在不同時(shí)間點(diǎn)的行為特征和偏好變化。
如圖2所示,把圖1中過高的時(shí)間分辨率劃分成兩個(gè)時(shí)間段,即時(shí)間段 和 T?1 ,如此便能更有效地捕捉用戶交互行為的時(shí)間特性。在時(shí)間段 T0 中,前三種日常用品(毛巾、牙刷與衛(wèi)生紙)呈現(xiàn)出強(qiáng)時(shí)序關(guān)系,可將其視作有效的序列信息。而在最后三個(gè)與游戲相關(guān)的物品(游戲機(jī)、手柄和衛(wèi)生紙)里,之前所提及的衛(wèi)生紙可能屬于噪聲項(xiàng)。但在時(shí)間段 T1 中,此衛(wèi)生紙與時(shí)間段 T0 的衛(wèi)生紙構(gòu)建起了新的相關(guān)性,從而突破了之前的噪聲困擾。這一現(xiàn)象充分表明用戶的交互行為具備一定的周期性或時(shí)間依賴性。在實(shí)際的數(shù)據(jù)集里,用戶的交互并非均勻分布在整個(gè)時(shí)間軸上。某些時(shí)間段內(nèi),用戶的交互次數(shù)頻繁,這些區(qū)域蘊(yùn)涵著豐富且細(xì)致的用戶行為模式與偏好信息。時(shí)間塊劃分基于數(shù)據(jù)時(shí)間跨度、業(yè)務(wù)場(chǎng)景需求和統(tǒng)計(jì)方法構(gòu)建多因素協(xié)同決策框架。依據(jù)數(shù)據(jù)時(shí)間跨度動(dòng)態(tài)調(diào)整粒度,長周期數(shù)據(jù)用粗粒度,短周期用細(xì)粒度。不同業(yè)務(wù)場(chǎng)景適配不同閾值,如電商促銷期等高頻場(chǎng)景采用更細(xì)粒度劃分,日常低頻場(chǎng)景采用較粗粒度。統(tǒng)計(jì)方法上,通過分位數(shù)分析選擇覆蓋大部分交互的間隔,并用拐點(diǎn)檢測(cè)確定分布突變點(diǎn)。同時(shí),針對(duì)時(shí)間密度不同的區(qū)域,動(dòng)態(tài)調(diào)整時(shí)間段選取。在高時(shí)間密度區(qū)間,采用更細(xì)致的時(shí)間塊劃分,以充分挖掘豐富信息;在低時(shí)間密度區(qū)間,設(shè)置較大跨度的時(shí)間塊,保證合理數(shù)據(jù)量提取行為模式,避免不必要的計(jì)算開銷。通過這種依據(jù)時(shí)間密度動(dòng)態(tài)調(diào)整時(shí)間塊劃分的策略,TBDGNN能夠在兼顧數(shù)據(jù)處理效率的同時(shí),最大程度地保留用戶-物品交互歷史數(shù)據(jù)中的關(guān)鍵信息,為后續(xù)基于時(shí)間塊的序列推薦模型提供更加準(zhǔn)確和有效的數(shù)據(jù)基礎(chǔ)。
借助這種分段處理手段,不但能夠削減噪聲項(xiàng)的不利影響,還能夠精準(zhǔn)捕捉用戶行為的時(shí)間特征。為了更充分地利用這些信息,本文創(chuàng)新性地提出了一種動(dòng)態(tài)時(shí)間塊序列推薦方法。借助時(shí)間塊級(jí)別的圖神經(jīng)網(wǎng)絡(luò)模型,深度捕捉用戶在不同時(shí)間塊中的行為特征及其演變規(guī)律。在開展預(yù)測(cè)工作時(shí),不僅運(yùn)用最近的 Ωn 個(gè)物品,還綜合前一個(gè)時(shí)間塊中的用戶行為模式,以此實(shí)現(xiàn)更為精準(zhǔn)的綜合預(yù)測(cè)。本文的研究貢獻(xiàn)可以總結(jié)為以下幾點(diǎn):提出了一種新的策略,基于用戶行為密度的時(shí)間塊劃分策略;設(shè)計(jì)并實(shí)現(xiàn)了一種新的時(shí)間塊級(jí)別圖神經(jīng)網(wǎng)絡(luò)架構(gòu),創(chuàng)新性地使用時(shí)間塊的概念,在每個(gè)時(shí)間塊內(nèi)動(dòng)態(tài)構(gòu)建圖結(jié)構(gòu),持續(xù)精確地模擬用戶行為隨時(shí)間的演變。
為了驗(yàn)證TBDGNN方法的有效性,本文在四個(gè)不同的真實(shí)數(shù)據(jù)集上進(jìn)行了全面實(shí)驗(yàn),提供了其性能的有力證據(jù)。實(shí)驗(yàn)結(jié)果顯示,TBDGNN在推薦性能上優(yōu)于類似的基線方法,證明了其有效性。
1相關(guān)工作
1.1序列推薦
序列推薦是一種通過分析用戶的歷史交互序列(如瀏覽記錄、點(diǎn)擊行為、購買歷史等)進(jìn)行個(gè)性化推薦的方法。它能靈活追蹤用戶興趣的變化,提供更精準(zhǔn)的推薦,既結(jié)合了用戶的長期偏好,也融入了當(dāng)前行為的細(xì)微差異。
早期研究聚焦于通過統(tǒng)計(jì)方法捕捉用戶行為的序列模式。馬爾可夫鏈[3通過狀態(tài)轉(zhuǎn)移概率刻畫相鄰行為的關(guān)聯(lián)性,在電商場(chǎng)景中可建模商品間的直接轉(zhuǎn)移規(guī)律。但其一階馬爾可夫假設(shè)難以捕捉長期依賴,導(dǎo)致推薦結(jié)果局限于近期交互的相似物品。文獻(xiàn)[4]嘗試將馬爾可夫鏈與協(xié)同過濾相結(jié)合,通過分解用戶-物品矩陣獲得長期偏好表征,但靜態(tài)表征無法適應(yīng)興趣漂移問題。這類方法的理論局限在于將用戶興趣演變視為離散狀態(tài)轉(zhuǎn)移過程,未能建模連續(xù)語義空間中的動(dòng)態(tài)演化。
深度學(xué)習(xí)通過連續(xù)向量空間建模突破了離散狀態(tài)限制。早期RNN架構(gòu)LSTM[利用隱狀態(tài)遞推捕捉時(shí)序依賴,在會(huì)話推薦中驗(yàn)證了建模長程依賴的有效性。然而梯度消失問題導(dǎo)致其對(duì)早期行為記憶能力有限。后續(xù)研究通過注意力機(jī)制實(shí)現(xiàn)動(dòng)態(tài)權(quán)重分配,如NARM[9使用雙通道架構(gòu),通過注意力權(quán)重捕捉序列關(guān)鍵節(jié)點(diǎn),以及GRU建模整體序列模式。Trans-former[10]進(jìn)一步通過自注意力機(jī)制建立全序列關(guān)聯(lián),但其復(fù)雜度限制了長序列處理效率。CNN方法Caser[8]通過卷積核提取序列局部特征,其平移不變性假設(shè)雖能捕捉重復(fù)模式,但難以區(qū)分行為序列的時(shí)序因果關(guān)系。
近期研究揭示用戶行為序列本質(zhì)隱含著物品間的復(fù)雜轉(zhuǎn)移關(guān)系,催生了圖神經(jīng)網(wǎng)絡(luò)的應(yīng)用創(chuàng)新。SRGNN[11]首次將用戶會(huì)話建模為物品關(guān)系圖,通過聚合鄰域信息更新節(jié)點(diǎn)表示,有效捕捉物品間的共現(xiàn)模式。TiSASRec[12]在自注意力中引入時(shí)間間隔矩陣,使注意力權(quán)重顯式編碼時(shí)間衰減效應(yīng),理論證明其可建模時(shí)間異質(zhì)性。PTGCN[13]模型在圖卷積中引入了位置和時(shí)間信息,這一創(chuàng)新使得模型能夠更精準(zhǔn)地捕捉到用戶-物品交互中的序列模式和時(shí)間動(dòng)態(tài)。然而,現(xiàn)有圖方法因靜態(tài)圖構(gòu)建假設(shè)物品關(guān)系恒定而難以捕捉動(dòng)態(tài)演化,且多層消息傳遞機(jī)制易在信息傳播過程中引入不相關(guān)的高階噪聲,導(dǎo)致節(jié)點(diǎn)表示失真。
為了解決這些挑戰(zhàn),動(dòng)態(tài)圖建模技術(shù)成為一個(gè)重要的解決方案。動(dòng)態(tài)圖神經(jīng)網(wǎng)絡(luò)通過時(shí)間劃分和增量更新機(jī)制突破上述限制。用戶行為序列 S={s1,…,sT} 在時(shí)間維度可劃分為塊序列 {B1,…,Bk} ,每個(gè)塊內(nèi)構(gòu)建局部圖。根據(jù)TGN理論[14],動(dòng)態(tài)圖通過耦合節(jié)點(diǎn)狀態(tài)更新與圖結(jié)構(gòu)演化的雙重機(jī)制,在GRU跨塊記憶保持時(shí)序連續(xù)性的同時(shí),通過動(dòng)態(tài)邊權(quán)重建模關(guān)系強(qiáng)度的時(shí)變特性,顯著優(yōu)于全連接自注意力機(jī)制[15]。而通過使用動(dòng)態(tài)圖,TBDGNN有效地緩解了靜態(tài)圖模型在處理用戶行為數(shù)據(jù)時(shí)所面臨的局限性,它不僅能夠動(dòng)態(tài)地捕捉用戶行為隨時(shí)間的變化,還能夠準(zhǔn)確地反映用戶與物品之間關(guān)系的動(dòng)態(tài)演變,并通過采用新的網(wǎng)絡(luò)結(jié)構(gòu)來有效降低噪聲干擾,從而提升推薦的精準(zhǔn)度。
1.2 動(dòng)態(tài)圖神經(jīng)網(wǎng)絡(luò)
圖神經(jīng)網(wǎng)絡(luò)(GNN)是一種專門針對(duì)圖結(jié)構(gòu)數(shù)據(jù)設(shè)計(jì)的深度學(xué)習(xí)技術(shù)。它利用神經(jīng)網(wǎng)絡(luò)從圖結(jié)構(gòu)數(shù)據(jù)中提取和處理各種特征和模式。在這種圖中,每一個(gè)節(jié)點(diǎn)都可以被看作是一個(gè)實(shí)體,而邊則用來表示這些實(shí)體之間的關(guān)聯(lián)關(guān)系。與靜態(tài)圖有所不同,動(dòng)態(tài)圖能夠展示節(jié)點(diǎn)和邊的時(shí)間屬性,從而精準(zhǔn)地捕捉它們隨時(shí)間的變化情況。這種特性使得動(dòng)態(tài)圖模型在處理變化圖數(shù)據(jù)時(shí)表現(xiàn)得尤為出色,無論是節(jié)點(diǎn)的增減、邊的變化,還是節(jié)點(diǎn)和邊屬性的更新,都能被有效地處理。
在動(dòng)態(tài)圖神經(jīng)網(wǎng)絡(luò)(DGNN)的相關(guān)研究中,一系列創(chuàng)新模型相繼涌現(xiàn),共同推動(dòng)了該領(lǐng)域的蓬勃發(fā)展。作為先驅(qū),GCRN[16]首次將圖卷積網(wǎng)絡(luò)(GCN)與RNN結(jié)合,實(shí)現(xiàn)了對(duì)圖結(jié)構(gòu)數(shù)據(jù)的空間信息和時(shí)間序列數(shù)據(jù)的時(shí)間信息的聯(lián)合建模,為DGNN的發(fā)展奠定了堅(jiān)實(shí)的基礎(chǔ)。隨后,虛擬動(dòng)態(tài)圖卷積網(wǎng)絡(luò)(VDGCNeT)[17]和因果驅(qū)動(dòng)的動(dòng)態(tài)圖解釋框架[18]相繼問世。前者通過虛擬動(dòng)態(tài)圖捕捉路網(wǎng)中的隱藏時(shí)空依賴,后者則通過因果推理強(qiáng)化動(dòng)態(tài)圖的可解釋性,進(jìn)一步優(yōu)化了動(dòng)態(tài)圖模型的實(shí)用性。
sDHN[19]首次將股票市場(chǎng)建模為動(dòng)態(tài)異構(gòu)網(wǎng)絡(luò),通過融合多視圖技術(shù)相似性與元路徑語義聚合,系統(tǒng)性揭示了股票漲跌背后的業(yè)務(wù)協(xié)同或競爭關(guān)系,為動(dòng)態(tài)圖神經(jīng)網(wǎng)絡(luò)在非歐氏數(shù)據(jù)中的應(yīng)用提供了新范式。StreamingGNN[20]專為實(shí)時(shí)變動(dòng)的圖數(shù)據(jù)流量身打造,達(dá)成了在動(dòng)態(tài)環(huán)境里節(jié)點(diǎn)表示與圖結(jié)構(gòu)的即時(shí)更新,契合大規(guī)模動(dòng)態(tài)圖處理的訴求。SUPA[21]運(yùn)用傳播架構(gòu)有效處理動(dòng)態(tài)多路異構(gòu)圖中的鄰域擾動(dòng)難題,以此提升GNN在動(dòng)態(tài)圖場(chǎng)景下的性能表現(xiàn)。DynShare[22]模型把用戶嵌入劃分為兩部分以體現(xiàn)分享傾向,并借助基于雙向連續(xù)時(shí)間動(dòng)態(tài)圖的時(shí)間圖注意力網(wǎng)絡(luò)編碼時(shí)間鄰域信息。DGEL[23]引入動(dòng)態(tài)嵌入的重縮放增強(qiáng)網(wǎng)絡(luò),成功緩解效率困境并降低復(fù)雜度。 DGSR[24] 作為一個(gè)典范案例,充分展現(xiàn)了DGNN在用戶行為建模領(lǐng)域的潛力。通過運(yùn)用動(dòng)態(tài)圖,DGSR精準(zhǔn)捕捉用戶的時(shí)間信息以及跨用戶的動(dòng)態(tài)協(xié)作信號(hào),為用戶偏好預(yù)測(cè)呈上一份全面且精確的解決方案。盡管現(xiàn)有的DGNN模型在捕捉時(shí)間依賴性和用戶行為軌跡方面斬獲了顯著成果,然而在應(yīng)對(duì)復(fù)雜周期性模式以及協(xié)調(diào)長短期趨勢(shì)時(shí)仍有欠缺。比如 Dyn-Share雖然引人了注意力機(jī)制與時(shí)間編碼技術(shù),但在明確捕捉用戶周期行為方面稍顯遜色。同樣,DGSR借助動(dòng)態(tài)圖捕捉用戶時(shí)間信息和動(dòng)態(tài)協(xié)作信號(hào)之際,在處理微小時(shí)間變化與周期性模式上亦存在局限。與之相比,TBDGNN獨(dú)具優(yōu)勢(shì)。其引人的時(shí)間塊分割策略,有效提升了用戶行為建模的精準(zhǔn)度以及交互模式的識(shí)別能力,在處理復(fù)雜周期性模式時(shí)表現(xiàn)更為出色,能更敏銳地捕捉細(xì)小時(shí)間變化,且在平衡長短期趨勢(shì)方面優(yōu)于DGEL和SUPA,進(jìn)而提出一種更為精細(xì)且具備高度上下文敏感性的用戶偏好預(yù)測(cè)手段。
2 TBDGNN推薦方法
2.1 問題定義
在序列推薦中, u 和 v 分別表示用戶和物品。每個(gè)用戶的行為序列 Su 及相應(yīng)的時(shí)間戳 T? 被記錄下來,所有用戶序列的集合為 S 目標(biāo)是利用先前的序列信息預(yù)測(cè)用戶的下一步行為。為提高效率,序列長度被限制為最大值 n 。對(duì)于長于 n 的序列,僅使用最新的 n 項(xiàng)。為了建模,將用戶和物品轉(zhuǎn)換為低維嵌人 eu 和 ev ,分別存儲(chǔ)在矩陣 E? 和 E?V 中。最終,本文的目標(biāo)是利用這些嵌入向量和歷史行為序列信息,對(duì)用戶未來的行為進(jìn)行邊預(yù)測(cè),即預(yù)測(cè)用戶在當(dāng)前行為之后的下一個(gè)可能行為。
2.2 動(dòng)態(tài)圖構(gòu)建
首先,根據(jù)數(shù)據(jù)集的時(shí)間分布將整個(gè)時(shí)間范圍劃分為多個(gè)動(dòng)態(tài)時(shí)間塊。目標(biāo)是確保每個(gè)時(shí)間塊包含足夠數(shù)量的用戶-物品交互事件,同時(shí)避免單個(gè)時(shí)間塊中交互數(shù)過多,以免影響捕捉用戶動(dòng)態(tài)時(shí)間信息的能力。
在構(gòu)建動(dòng)態(tài)圖以捕捉用戶在不同時(shí)間塊中的行為特征及演變規(guī)律時(shí),將時(shí)間軸劃分為不重疊的時(shí)間塊
,其中每個(gè)時(shí)間塊 Tv 平衡了用戶短時(shí)間內(nèi)密集交互物品的行為與長時(shí)間未進(jìn)行操作的狀態(tài)之間的區(qū)分,旨在全面而準(zhǔn)確地捕捉用戶活動(dòng)的動(dòng)態(tài)變化。
為了捕捉用戶的行為模式及其時(shí)間演變,本文設(shè)計(jì)了一個(gè)基于時(shí)間塊的動(dòng)態(tài)圖神經(jīng)網(wǎng)絡(luò)模型。在該模型中,定義了用戶節(jié)點(diǎn)在時(shí)間塊 Tv 內(nèi)的鄰居集合 Nu(Tv) ,即在該時(shí)間塊中與該用戶交互的物品節(jié)點(diǎn)集合,將 Nuk(Tv) 定義為用戶的 k 跳鄰居,即通過 k 次交互可到達(dá)的物品節(jié)點(diǎn)集合。
在預(yù)測(cè)時(shí),模型不僅考慮用戶在最近時(shí)間塊 Tn 中的行為,即 Nu(Tn) ,還全面考慮用戶在之前時(shí)間塊 T1,T2,…,Tn-1 中的行為模式。通過整合這些歷史信息和近期行為,可以更好地建模用戶在不同時(shí)間塊中的行為特征,并使用動(dòng)態(tài)圖神經(jīng)網(wǎng)絡(luò)模型捕捉用戶-物品交互的演變過程。
在圖3中,原始輸入數(shù)據(jù)依據(jù)時(shí)間戳 (Φt1~t5) 被劃分為時(shí)間塊( T1,T2) ,形成動(dòng)態(tài)圖。此圖以實(shí)線描繪已發(fā)生的用戶-項(xiàng)目交互,虛線則預(yù)測(cè)潛在交互。動(dòng)態(tài)圖生成當(dāng)前用戶與項(xiàng)目的嵌入表示,結(jié)合時(shí)間塊信息輸入多頭注意力機(jī)制,融合信息生成綜合特征。這些特征(含物品與用戶)用于預(yù)測(cè)用戶未來交互。模型通過對(duì)比預(yù)測(cè)與實(shí)際標(biāo)簽優(yōu)化,以最小化誤差。
2.3 記憶模塊
在動(dòng)態(tài)圖模型中,記憶模塊起著至關(guān)重要的作用,用于壓縮和管理節(jié)點(diǎn)的歷史信息。當(dāng)在 tstart 處激活時(shí),每個(gè)節(jié)點(diǎn) 都會(huì)保留一個(gè)向量 rv(t) ,該向量反映節(jié)點(diǎn)從初始到當(dāng)前 tend 的狀態(tài)演變。這些向量高效地傳達(dá)每個(gè)節(jié)點(diǎn)的歷史信息,避免冗余。
當(dāng)一個(gè)新節(jié)點(diǎn) v 出現(xiàn)時(shí),其記憶向量 rv(t) 被初始化為零向量,為捕獲其歷史信息提供了基礎(chǔ)起點(diǎn)。每當(dāng)節(jié)點(diǎn) 發(fā)生事件(例如與另一個(gè)節(jié)點(diǎn)的交互)時(shí),其記憶向量 rv(t) 會(huì)根據(jù)事件進(jìn)行更新。此更新通過聚合函數(shù)實(shí)現(xiàn),該函數(shù)將事件特征與節(jié)點(diǎn)的當(dāng)前記憶向量組合,生成新的記憶向量 rν(t) ,其中(t)表示包含事件的新時(shí)間區(qū)間。在基于時(shí)間塊的模型中,記憶向量在每個(gè)時(shí)間塊結(jié)束時(shí)進(jìn)一步聚合。時(shí)間塊內(nèi)的節(jié)點(diǎn)交互順序模式通過遞歸神經(jīng)網(wǎng)絡(luò)來捕獲。通過這種方式,節(jié)點(diǎn)的記憶向量不僅包含單個(gè)事件的信息,還包含節(jié)點(diǎn)在整個(gè)時(shí)間塊中的歷史行為背景。
圖3TBDGNN結(jié)構(gòu)
Fig.3Structure of TBDGNN
在預(yù)測(cè)或推理階段,模型的記憶模塊用于查詢節(jié)點(diǎn)的歷史信息。通過訪問節(jié)點(diǎn)的記憶向量 rv(t) ,模型可以了解節(jié)點(diǎn) v 的過去行為和交互,從而更準(zhǔn)確地預(yù)測(cè)其未來的行為或與其他節(jié)點(diǎn)的交互。
由于動(dòng)態(tài)圖的特性,節(jié)點(diǎn)和事件的數(shù)量可能會(huì)隨著時(shí)間的推移而增長。記憶模塊在設(shè)計(jì)時(shí)考慮了這種擴(kuò)展性,確保它能夠高效地存儲(chǔ)和更新大量節(jié)點(diǎn)的記憶向量,同時(shí)保持計(jì)算和存儲(chǔ)的效率。通過結(jié)合時(shí)間塊和記憶模塊的概念,動(dòng)態(tài)圖模型可以更好地捕捉用戶或物品的行為特征及其演變規(guī)律,從而提升序列推薦的性能。
2.4節(jié)點(diǎn)消息更新
對(duì)于涉及節(jié)點(diǎn) Ωn 的每個(gè)事件,都會(huì)計(jì)算一個(gè)消息以更新節(jié)點(diǎn) n 的記憶。這意味著每當(dāng)節(jié)點(diǎn) n 參與一個(gè)事件時(shí),便會(huì)生成一個(gè)包含該事件中節(jié)點(diǎn)信息的消息,并用于更新節(jié)點(diǎn)的內(nèi)部狀態(tài)。這一更新機(jī)制確保節(jié)點(diǎn)的記憶反映出其參與的最新事件,從而保持節(jié)點(diǎn)狀態(tài)的動(dòng)態(tài)性和準(zhǔn)確性。
用戶節(jié)點(diǎn) Ωu 和物品節(jié)點(diǎn) v 在時(shí)間 χt 發(fā)生的交互 euv(t) 中,將生成兩個(gè)不同的消息,分別用于更新 u 和 v 的記憶。此過程考慮了它們的交互前狀態(tài)、事件間的時(shí)間塊以及交互本身的獨(dú)特屬性,確保記憶更新能夠反映節(jié)點(diǎn)及其關(guān)系的全面信息。具體而言,這兩個(gè)消息為
xu(t)=msgu(ru(t-),rv(t-),Δt,euv(t))
xv(t)=msgv(rv(t-),ru(t-),Δt,euv(t))
其中 :rv(t-) 表示節(jié)點(diǎn) v 在時(shí)間 χt 之前的記憶,包含其最新交互之前的狀態(tài); msg 代表一個(gè)可訓(xùn)練的消息函數(shù)MLP,能夠基于歷史上下文計(jì)算更新; Δt 表示時(shí)間塊之間的時(shí)間差,在所有實(shí)驗(yàn)中,消息函數(shù)設(shè)置為恒等函數(shù),即簡單地將輸入進(jìn)行拼接。在時(shí)間塊的結(jié)束處,將時(shí)間塊內(nèi)計(jì)算的所有消息用于更新節(jié)點(diǎn)的記憶狀態(tài)。這種方法能夠有效地捕獲用戶行為的時(shí)間演變,同時(shí)簡化了時(shí)間戳處理。
通過基于時(shí)間塊的模型,可以全面考慮最近的行為和歷史興趣,從而提升序列推薦的性能。此方法不僅利用了近期的物品交互,還結(jié)合了用戶在以往時(shí)間塊中的行為模式,以實(shí)現(xiàn)更準(zhǔn)確的預(yù)測(cè)。
2.5 節(jié)點(diǎn)消息和記憶更新
在同一時(shí)間塊中,節(jié)點(diǎn)可能會(huì)參與多個(gè)交互事件。如果不進(jìn)行聚合處理,每個(gè)交互事件都會(huì)生成一個(gè)獨(dú)立的消息,導(dǎo)致計(jì)算和存儲(chǔ)開銷顯著增加。通過利用聚合消息,可以更高效地利用節(jié)點(diǎn)的歷史數(shù)據(jù),提升模型對(duì)節(jié)點(diǎn)狀態(tài)演變的描述和預(yù)測(cè)能力,即 [xn(t1)…xn(tk)]. 1。這對(duì)于 的情況尤為重要。
記憶更新器負(fù)責(zé)在動(dòng)態(tài)圖神經(jīng)網(wǎng)絡(luò)中每個(gè)事件之后更新節(jié)點(diǎn)的記憶,以反映節(jié)點(diǎn)狀態(tài)的最新變化。記憶更新器的功能是確保節(jié)點(diǎn)能夠根據(jù)最新的事件信息調(diào)整其記憶。
其中 :rn(t-) 表示節(jié)點(diǎn)在時(shí)間 χt 之前的記憶狀態(tài)。為了動(dòng)態(tài)更新節(jié)點(diǎn)的記憶狀態(tài),本文采用GRU作為模型中的可訓(xùn)練函數(shù),使模型能夠?qū)W習(xí)如何根據(jù)事件來調(diào)整記憶。
2.6 嵌入模塊
通過結(jié)合周期性更新和時(shí)間塊分割,嵌入模塊可以在每個(gè)時(shí)間塊中準(zhǔn)確捕捉節(jié)點(diǎn)的動(dòng)態(tài)變化,同時(shí)確保節(jié)點(diǎn)表示能夠隨時(shí)間推移保持最新狀態(tài)。周期性更新機(jī)制使節(jié)點(diǎn)的時(shí)間嵌入在關(guān)鍵時(shí)刻得到更新,而時(shí)間塊分割提供了對(duì)該時(shí)間段內(nèi)狀態(tài)變化的深入分析。這種雙重機(jī)制有效解決了記憶陳舊問題,使模型即使在節(jié)點(diǎn)長時(shí)間未參與事件的情況下,仍能保持節(jié)點(diǎn)狀態(tài)的準(zhǔn)確性和時(shí)效性。直接使用記憶作為節(jié)點(diǎn)嵌入:
其中: w 表示一個(gè)可學(xué)習(xí)函數(shù); ru(t) 表示節(jié)點(diǎn) u 的最新記憶消息; euv 表示邊信息。現(xiàn)有研究方法使用了各種啟發(fā)式離散化策略,將數(shù)值特征轉(zhuǎn)換為類別特征,使用類別策略分配嵌入。
2.7 時(shí)序圖注意力
時(shí)序圖注意力機(jī)制利用多層圖注意力網(wǎng)絡(luò)構(gòu)建節(jié)點(diǎn)表示,深度整合當(dāng)前的時(shí)間上下文和鄰居節(jié)點(diǎn)信息。每一層都細(xì)致地結(jié)合了節(jié)點(diǎn) n 的表示、其鄰居的表示、交互時(shí)間戳和特征,有效整合了跨越不同時(shí)間點(diǎn)和鄰域的數(shù)據(jù)。這種層次化的細(xì)化確保了最終的節(jié)點(diǎn)嵌入能夠同時(shí)捕捉到局部的短期交互和長期的全局時(shí)間動(dòng)態(tài)。
K(l)(t)=V(l)(t)=F(l)(t)
在時(shí)序圖注意力框架中, hn(l-1)(t) 表示節(jié)點(diǎn) n 在第 l-1 層的特征向量,由前一層的計(jì)算得出。節(jié)點(diǎn) n 的鄰居節(jié)點(diǎn)嵌入表示 {h1(l-1)(t),…,hN(l-1)(t)} 包含了在時(shí)間 χt 上與節(jié)點(diǎn) n 直接連接的 N 個(gè)鄰居的嵌人表示。這些嵌入是第 l-1 層的輸出,反映了鄰居節(jié)點(diǎn)的狀態(tài)。
每個(gè)鄰居節(jié)點(diǎn)交互都有時(shí)間戳 Ψt 表示交互發(fā)生的具體時(shí)間。時(shí)間戳用于衡量交互的時(shí)間相關(guān)性,并在計(jì)算注意力權(quán)重時(shí)考慮時(shí)間因素。為了捕捉時(shí)間的周期性并減少偶然行為的影響,本文將時(shí)間序列劃分為多個(gè)時(shí)間塊,每個(gè)時(shí)間塊表示一個(gè)時(shí)間范圍。時(shí)間塊有助于平滑用戶行為中的隨機(jī)噪聲,更好地捕捉周期性偏好。
每個(gè)時(shí)間塊中的數(shù)據(jù)用動(dòng)態(tài)圖表示,時(shí)間塊內(nèi)的交互數(shù)據(jù)用于構(gòu)建局部圖。對(duì)于每個(gè)時(shí)間片段,利用鄰居節(jié)點(diǎn)的嵌入和時(shí)間標(biāo)記構(gòu)成片段級(jí)別的圖神經(jīng)網(wǎng)絡(luò)輸人。具體而言,在每個(gè)片段中,節(jié)點(diǎn)的查詢向量 Q(l)(t) 對(duì)應(yīng)第 l 層的查詢,便于在時(shí)間 Φt 的多頭注意力機(jī)制中進(jìn)行查詢。同時(shí),第 ξl 層的鍵向量K(l)(t) 和值向量 ?V(l)(?t) 表達(dá)了鄰居節(jié)點(diǎn)的屬性,用于與查詢向量匹配。
符號(hào) η(?) 表示時(shí)間編碼,將時(shí)間戳信息轉(zhuǎn)換為數(shù)值特征,在計(jì)算注意力權(quán)重時(shí)加以考慮。連接操作使用符號(hào)Ⅱ,將查詢、鍵和值向量整合生成綜合的節(jié)點(diǎn)表示,包含時(shí)間片段的具體細(xì)節(jié)。通過多頭注意力機(jī)制,模型能夠在每個(gè)時(shí)間塊內(nèi)整合鄰居信息,從而更準(zhǔn)確地捕捉節(jié)點(diǎn)間的時(shí)間依賴性和周期行為。
在時(shí)序圖注意力機(jī)制中,MLP網(wǎng)絡(luò)作為集成器,融合Q(l)(t),K(l)(t) 和 V(l)(t) 以生成最終的節(jié)點(diǎn)表示。不同于原始TGAT模型中的層定義,該模型在每個(gè)節(jié)點(diǎn)的輸人表示中加入了時(shí)間塊特征,以更好地處理時(shí)間依賴和周期模式,從而提升序列推薦性能。
3 實(shí)驗(yàn)結(jié)果與分析
3.1 實(shí)驗(yàn)參數(shù)
實(shí)驗(yàn)為全面評(píng)估模型性能,兼顧泛化能力與新節(jié)點(diǎn)歸納能力,將數(shù)據(jù)集劃分為 70% 訓(xùn)練集 .15% 驗(yàn)證集和 15% 測(cè)試集。這種劃分方式旨在確保模型有足夠的數(shù)據(jù)進(jìn)行學(xué)習(xí),同時(shí)也能對(duì)模型的性能進(jìn)行可靠的評(píng)估。其中,訓(xùn)練集用于模型的參數(shù)學(xué)習(xí),驗(yàn)證集用于在訓(xùn)練過程中調(diào)整超參數(shù)和監(jiān)控模型的泛化能力,測(cè)試集則用于對(duì)模型的最終性能進(jìn)行無偏評(píng)估。硬件選用11GB顯存的NVIDIARTX 2080Ti GPU加速計(jì)算,搭配12核 、2.50GHz 的 IntelBXeonB Platinum8255CCPU,運(yùn)行于Ubuntu20.04系統(tǒng)。軟件上,以Python3.8為編程語言,采用PyTorch2.0.0框架,結(jié)合CUDA11.8及相應(yīng)cuDNN庫優(yōu)化計(jì)算。
參數(shù)設(shè)置經(jīng)多次實(shí)驗(yàn)分析確定。批量大小200保障梯度更新均衡,提升訓(xùn)練穩(wěn)定性;每個(gè)樣本考慮10個(gè)鄰居節(jié)點(diǎn),豐富局部特征。注意力層設(shè)2個(gè)頭,增強(qiáng)復(fù)雜關(guān)系理解。訓(xùn)練50個(gè)epoch,初始學(xué)習(xí)率0.0001配合5個(gè)epoch早停策略,避免過擬合。節(jié)點(diǎn)與時(shí)間嵌入維度100統(tǒng)一消息傳遞,172的記憶維度強(qiáng)化圖模式學(xué)習(xí),0.1的dropout率提升模型魯棒性。
3.2 實(shí)現(xiàn)方法
輸入:用戶行為序列集合 s 超參數(shù)集合 p □輸出: 等指標(biāo)。
1)初始化模型解析命令行參數(shù),加載超參數(shù) p 初始化鄰居查找器和負(fù)采樣器;計(jì)算時(shí)間統(tǒng)計(jì)量 μΔt,σΔt ,劃分時(shí)間塊 T
2)迭代訓(xùn)練for epoch °=1 to N do:讀取記憶模塊(式(5)),按時(shí)間塊劃分訓(xùn)練數(shù)據(jù),生成局部動(dòng)態(tài)圖 Gk :聚合記憶模塊信息式(3);更新記憶模塊信息(式(4)),按批次采樣正負(fù)樣本;時(shí)序圖注意力計(jì)算生成節(jié)點(diǎn)嵌入(式(6)~(10));計(jì)算損失并反向傳播;
驗(yàn)證集評(píng)估,觸發(fā)早停機(jī)制;
3.3 數(shù)據(jù)集
為了評(píng)估模型的有效性,本文進(jìn)行了充分的實(shí)驗(yàn),使用了來自實(shí)際平臺(tái)的四個(gè)真實(shí)數(shù)據(jù)集:MovieLens、CiaoDVD、Epi-nions和Beauty。這些數(shù)據(jù)集在推薦系統(tǒng)方法的評(píng)估中廣泛使用,且在領(lǐng)域、規(guī)模和稀疏性方面各不相同。處理后的數(shù)據(jù)集的摘要統(tǒng)計(jì)信息如表1所示,提供了其主要特征的簡明概述。
表1真實(shí)數(shù)據(jù)集參數(shù)
Tab.1Parameters of real datasets
MovieLens-1M是推薦系統(tǒng)研究中的一個(gè)流行基準(zhǔn)數(shù)據(jù)集。它包含6040位用戶對(duì)3706部電影的超過100萬條評(píng)分記錄,評(píng)分時(shí)間為1995—1998年。每條評(píng)分記錄包括用戶ID、電影ID、評(píng)分(1~5)和評(píng)分時(shí)間戳。該數(shù)據(jù)集中的評(píng)分分布較為均勻,大多數(shù)評(píng)分集中在3~5。
CiaoDVD數(shù)據(jù)集是一個(gè)廣泛使用的電影推薦數(shù)據(jù)集,來自Ciao電影推薦社區(qū)。它包含了用戶對(duì)電影的評(píng)分記錄、用戶個(gè)人信息以及詳細(xì)的電影數(shù)據(jù)。該數(shù)據(jù)集包含數(shù)萬條評(píng)分記錄,涉及大量的用戶和電影。
Epinions數(shù)據(jù)集是一個(gè)廣泛使用的推薦系統(tǒng)數(shù)據(jù)集,來源于在線消費(fèi)者評(píng)論平臺(tái)Epinions。它包含了用戶對(duì)產(chǎn)品的評(píng)分、產(chǎn)品屬性信息以及用戶之間的交互數(shù)據(jù)。數(shù)據(jù)集通常包括用戶ID、產(chǎn)品ID、評(píng)分、時(shí)間戳等信息,可用于訓(xùn)練和評(píng)估推薦算法,同時(shí)分析用戶行為與產(chǎn)品之間的關(guān)系。
Beauty數(shù)據(jù)集是推薦系統(tǒng)領(lǐng)域常用的數(shù)據(jù)集之一,源自亞馬遜的美妝產(chǎn)品評(píng)論。它包含眾多用戶對(duì)各類美妝產(chǎn)品的評(píng)分信息。每條記錄通常包含用戶ID、產(chǎn)品ID、評(píng)分、評(píng)論時(shí)間戳等信息。其豐富的數(shù)據(jù)內(nèi)容,可用于訓(xùn)練和評(píng)估序列推薦算法,分析用戶對(duì)美妝產(chǎn)品的偏好特點(diǎn)以及行為模式。
實(shí)驗(yàn)中,先以訓(xùn)練集訓(xùn)練模型,每epoch計(jì)算訓(xùn)練損失與指標(biāo),再用驗(yàn)證集評(píng)估并依早停策略調(diào)整。最終在測(cè)試集和新節(jié)點(diǎn)測(cè)試集進(jìn)行預(yù)測(cè),得出實(shí)驗(yàn)結(jié)果。
3.4基線模型
為了評(píng)估本文模型的性能,TBDGNN與幾種先進(jìn)的基線方法進(jìn)行了全面比較。這些基線方法被選用以代表推薦領(lǐng)域中的多種技術(shù),涵蓋個(gè)性化排序、序列推薦和動(dòng)態(tài)圖建模等方面。以下是每種基線方法的簡要概述。
FPMC[3]:該方法結(jié)合矩陣分解與一階馬爾可夫鏈,用于下一個(gè)購物籃推薦,通過結(jié)合兩者來捕捉用戶長期偏好及商品轉(zhuǎn)換情況,以實(shí)現(xiàn)更精準(zhǔn)的個(gè)性化推薦。
Caser[8]:該模型創(chuàng)新性地將用戶的交互序列視為“圖像”,利用卷積神經(jīng)網(wǎng)絡(luò)(CNN)識(shí)別這些“圖像”中的局部模式。通過卷積操作建模物品之間的交互和依賴性,為基于序列的推薦系統(tǒng)提供了全新的視角。
SRGNN[]:該模型通過結(jié)合圖神經(jīng)網(wǎng)絡(luò),解決了會(huì)話推薦中的復(fù)雜性。它通過將物品之間的過渡動(dòng)態(tài)建模為圖,巧妙地捕捉復(fù)雜關(guān)系,從而增強(qiáng)會(huì)話推薦的有效性。
TiSASRec[12]:該模型引人了時(shí)間間隔信息,并使用自注意力機(jī)制將時(shí)間間隔編碼融入其中,以提高序列推薦的準(zhǔn)確性,并更細(xì)致地捕捉用戶行為的時(shí)間特征和動(dòng)態(tài)變化。
DGSR[24]:該模型利用動(dòng)態(tài)圖建模結(jié)合了序列推薦,并通過動(dòng)態(tài)更新圖結(jié)構(gòu)來捕捉用戶行為的時(shí)間變化和動(dòng)態(tài)特征。該模型能夠適應(yīng)用戶行為的變化,并實(shí)時(shí)調(diào)整推薦結(jié)果。
PTGCN[13]:該模型通過將用戶-物品交互框架化為雙重圖結(jié)構(gòu),創(chuàng)新性地采用位置敏感和時(shí)間感知的圖卷積動(dòng)態(tài)表示用戶和物品,同時(shí)自注意力機(jī)制進(jìn)行信息聚合。多層圖卷積增強(qiáng)了模型識(shí)別用戶與物品之間高階關(guān)系的能力。
DGEL[23]:該模型通過時(shí)間衰減鄰居增強(qiáng)和共生局部結(jié)構(gòu)學(xué)習(xí)設(shè)計(jì)節(jié)點(diǎn)實(shí)時(shí)更新方法,構(gòu)建重縮放增強(qiáng)網(wǎng)絡(luò)橋接歸一化與模型學(xué)習(xí),解決動(dòng)態(tài)環(huán)境下的推薦問題。
TBDGNN在推薦系統(tǒng)中的創(chuàng)新在于其能夠動(dòng)態(tài)捕捉用戶行為的時(shí)間變化,并實(shí)時(shí)更新圖結(jié)構(gòu)。與傳統(tǒng)模型FPMC相比,TBDGNN不僅關(guān)注用戶的偏好排序和短期行為,還通過動(dòng)態(tài)圖網(wǎng)絡(luò)靈活地處理用戶行為的復(fù)雜動(dòng)態(tài)變化。與Caser等模型相比,TBDGNN不僅依賴于固定的時(shí)間序列或局部特征提取,還通過動(dòng)態(tài)圖網(wǎng)絡(luò)全局捕捉用戶行為的動(dòng)態(tài)特征。與基于自注意力機(jī)制的模型TiSASRec相比,TBDGNN進(jìn)一步結(jié)合了動(dòng)態(tài)圖結(jié)構(gòu)的動(dòng)態(tài)更新能力,使其能夠更準(zhǔn)確地捕捉用戶行為中的長程依賴關(guān)系和時(shí)間間隔信息。與圖神經(jīng)網(wǎng)絡(luò)模型如SRGNN、DGSR和PTGCN相比,TBDGNN通過精細(xì)化的動(dòng)態(tài)圖建模和自注意力機(jī)制,提高了推薦系統(tǒng)在應(yīng)對(duì)用戶行為實(shí)時(shí)變化時(shí)的靈活性和準(zhǔn)確性,從而在序列推薦任務(wù)中表現(xiàn)優(yōu)異。TBDGNN相對(duì)于DGEL的優(yōu)勢(shì)在于,DGEL對(duì)數(shù)據(jù)質(zhì)量要求較高,而TBDGNN可依據(jù)數(shù)據(jù)集自動(dòng)劃分時(shí)間塊,有效降低因數(shù)據(jù)質(zhì)量波動(dòng)產(chǎn)生的影響,更靈活地適應(yīng)不同的數(shù)據(jù)狀況,從而在序列推薦任務(wù)中展現(xiàn)出更強(qiáng)的穩(wěn)定性與適應(yīng)性。
3.5 評(píng)估指標(biāo)
為了全面評(píng)估TBDGNN模型的性能,本文選擇了AP(平均精度)、AUC(ROC曲線下面積)、HIT(命中率)和NDCG(歸一化折扣累積增益)作為關(guān)鍵指標(biāo)。AP強(qiáng)調(diào)了模型的排名能力,特別是在長尾項(xiàng)目上,確保了整體推薦質(zhì)量。AUC評(píng)估了模型在正負(fù)實(shí)例之間的區(qū)分能力。
另一方面,HIT直接量化了推薦準(zhǔn)確度,對(duì)于短期和實(shí)時(shí)應(yīng)用尤其重要。NDCG進(jìn)一步評(píng)估了推薦列表的排序質(zhì)量,不僅關(guān)注是否命中,還關(guān)注命中項(xiàng)目在列表中的位置,從而更全面地衡量推薦系統(tǒng)的精準(zhǔn)性和用戶體驗(yàn)。綜合來看,這些指標(biāo)為TBDGNN在不同用戶行為場(chǎng)景中的實(shí)用性和適應(yīng)性提供了強(qiáng)有力的評(píng)估。
AP是評(píng)估推薦系統(tǒng)有效性的重要指標(biāo),它結(jié)合了推薦的精度和召回率,特別適用于基于排名的評(píng)估。
其中: ;N 是推薦列表的總長度; Precision(k) 是前 k 個(gè)推薦項(xiàng)目的精度; rel(k) 是一個(gè)二元指示函數(shù),如果第 k 個(gè)項(xiàng)目相關(guān)則為1,否則為0;n_relevant是推薦列表中相關(guān)項(xiàng)目的總數(shù)。
AUC指標(biāo)評(píng)估二分類器的整體表現(xiàn),特別是在類別分布不均的場(chǎng)景中。它表示接收者操作特征(ROC)曲線下面積,提供了全面的評(píng)估。
更常見地,通過計(jì)算不同閾值下的真正率(TPR)和假正率(FPR)的點(diǎn),并使用梯形法或其他數(shù)值積分方法近似計(jì)算。 χt 是分類器的決策閾值。AUC值越接近1,表示模型在兩個(gè)類別之間的區(qū)分能力越強(qiáng)。
HIT反映了用戶在推薦中遇到至少一個(gè)相關(guān)項(xiàng)目的可能性,對(duì)于評(píng)估系統(tǒng)在實(shí)際應(yīng)用中的效果至關(guān)重要。
其中: relu(N) 是一個(gè)二元指示函數(shù),如果用戶 u 在前 N 個(gè)推薦中至少有一個(gè)相關(guān)項(xiàng)目則為1,否則為 0;|U| 是總用戶數(shù)的數(shù)量。HIT值越高,說明推薦系統(tǒng)在為用戶提供至少一個(gè)相關(guān)推薦方面的表現(xiàn)越好。這對(duì)于評(píng)估系統(tǒng)在實(shí)際應(yīng)用中的效果至關(guān)重要。
NDCG是評(píng)估推薦系統(tǒng)排序質(zhì)量的關(guān)鍵指標(biāo),公式為
其中: :ri 是第 i 個(gè)推薦項(xiàng)相關(guān)性得分; IDCG@k 是理想排序下的 NDCG值越接近1,推薦排序越理想,能更好地反映推薦系統(tǒng)將高相關(guān)性項(xiàng)目置于前列的能力。
表2中TBDGNN與七個(gè)基線方法的評(píng)估結(jié)果顯示了其在處理用戶行為數(shù)據(jù)方面的顯著提升。實(shí)驗(yàn)結(jié)果表明,TBDGNN模型在跨域推薦任務(wù)中展現(xiàn)出顯著性能優(yōu)勢(shì)。相較于當(dāng)前最佳基線DGEL,該模型在MovieLens、Epinions和Beauty三個(gè)主流數(shù)據(jù)集的核心指標(biāo)( AUC,AP,hit@10 及 NDCG@10 )上均實(shí)現(xiàn)全面提升。具體而言:在MovieLens數(shù)據(jù)集上的四項(xiàng)指標(biāo)分別提升 3.5、2、1、3、9 和2.7百分點(diǎn);Epinions數(shù)據(jù)集獲得3.1、1.6、2.9和2.8百分點(diǎn)的增益;Beauty數(shù)據(jù)集則分別提高2.1、1.9、2.1和1.4百分點(diǎn)。值得注意的是,在數(shù)據(jù)規(guī)模較小的CiaoDVD數(shù)據(jù)集上,盡管AUC、AP和 hit@10 仍保持4.8、3.2和8.7百分點(diǎn)的提升,但 NDCG@10 指標(biāo)出現(xiàn)1.3百分點(diǎn)的輕微下降,經(jīng)分析主要?dú)w因于該數(shù)據(jù)集時(shí)序信息缺失及訓(xùn)練樣本不足導(dǎo)致的模型收斂限制。
表2模型性能對(duì)比
Tab.2Comparison ofmodelperformance
3.6 消融實(shí)驗(yàn)
本文開展了消融實(shí)驗(yàn),旨在驗(yàn)證TBDGNN模型的精確性,并評(píng)定其各個(gè)組件在推薦性能方面的獨(dú)立影響。通過這些對(duì)比分析,得以洞悉組件所具有的重要性及其發(fā)揮作用的機(jī)制,為進(jìn)一步優(yōu)化模型提供了理論依據(jù)與數(shù)據(jù)支撐,如圖4~7所示。
通過分析移除時(shí)間塊劃分和時(shí)間編碼模塊的影響,可以更好地理解組件對(duì)TBDGNN模型性能的作用。
TBDGNN-1:移除時(shí)間塊劃分的TBDGNN。在這個(gè)實(shí)驗(yàn)中,移除了時(shí)間塊劃分組件后,動(dòng)態(tài)圖建模僅基于時(shí)間序列數(shù)據(jù)進(jìn)行。實(shí)驗(yàn)結(jié)果表明,時(shí)間塊劃分對(duì)推薦性能具有顯著影響。例如,在Beauty數(shù)據(jù)集上,移除時(shí)間塊劃分后,TBDGNN-1的AUC值從 70.5% 下降到 65.8% ,下降了4.7百分點(diǎn)(圖4)。這表明時(shí)間塊劃分對(duì)于捕捉用戶的長期行為模式并提高推薦準(zhǔn)確性至關(guān)重要。同樣,在Epinions數(shù)據(jù)集上,AUC從 66.2% 降低到 61.7% ,進(jìn)一步凸顯了時(shí)間塊劃分在提高推薦性能中的關(guān)鍵作用。
TBDGNN-2:移除時(shí)間編碼的TBDGNN。移除時(shí)間編碼組件后,性能有所下降,但比移除時(shí)間塊劃分的影響小得多。例如,在MovieLens數(shù)據(jù)集上,AUC僅下降了O.8百分點(diǎn),這表明雖然時(shí)間編碼對(duì)模型性能有所貢獻(xiàn),但其影響相對(duì)較小。圖5中的AP數(shù)據(jù)進(jìn)一步證實(shí)了這一觀察結(jié)果。在MovieLens數(shù)據(jù)集中,TBDGNN-1的AP值比TBDGNN低2.9百分點(diǎn),而TBDGNN-2的AP值僅低0.8百分點(diǎn)。這進(jìn)一步表明,時(shí)間塊劃分在提高推薦準(zhǔn)確性方面的作用更為顯著,而時(shí)間編碼的作用相對(duì)較小。
圖5各組件AP性能評(píng)估
Fig.5AP performance evaluation of each component
在 NDCG@10 和 hit@10 指標(biāo)(圖6和7)中也觀察到了類似的趨勢(shì)。在CiaoDVD數(shù)據(jù)集中,移除時(shí)間塊劃分, NDCG@ 10和 hit@10 分別下降了5百分點(diǎn)和7.2百分點(diǎn)。相比之下,移除時(shí)間編碼的影響要小得多, NDCG@10 僅下降了0.6百分點(diǎn)。這些結(jié)果確認(rèn)了時(shí)間塊劃分對(duì)于提升推薦系統(tǒng)性能的關(guān)鍵作用,而時(shí)間編碼的貢獻(xiàn)相對(duì)有限。TBGNN的動(dòng)態(tài)分塊策略與圖結(jié)構(gòu)協(xié)同優(yōu)化雖提升了推薦精度,但引入了額外計(jì)算開銷,包括大規(guī)模數(shù)據(jù)預(yù)處理耗時(shí)高、跨塊注意力機(jī)制對(duì)硬件資源要求苛刻等問題。未來將采用近似圖采樣與增量式傳播策略優(yōu)化處理效率,并探索模型輕量化技術(shù)以適配實(shí)時(shí)推薦場(chǎng)景。
圖6各組件NDCG@10性能評(píng)估
Fig.6NDCG@1O performance evaluation of each componenl
總體而言,時(shí)間塊劃分是TBDGNN模型不可或缺的核心組件。通過定期劃分用戶行為序列,它有效地捕捉了長期行為模式和周期性特征,顯著提升了推薦系統(tǒng)的整體性能。相比之下,雖然時(shí)間編碼為模型提供了額外的時(shí)間上下文,但它對(duì)性能提升的影響相對(duì)較小。因此,在構(gòu)建復(fù)雜推薦系統(tǒng)時(shí),優(yōu)先考慮時(shí)間塊劃分機(jī)制對(duì)于更好地捕捉用戶行為的周期性特征,從而大大提高推薦效果至關(guān)重要。
Fig.7Hit@1O performance evaluation of each component
4結(jié)束語
本文提出了基于時(shí)間塊的動(dòng)態(tài)圖神經(jīng)網(wǎng)絡(luò)。在該模型中,通過巧妙運(yùn)用時(shí)間塊動(dòng)態(tài)圖,能夠精準(zhǔn)地捕捉用戶與項(xiàng)目之間的交互情況及其時(shí)間動(dòng)態(tài)特性。其中,TBDGNN的核心創(chuàng)新點(diǎn)聚焦于其獨(dú)特的時(shí)間塊劃分策略以及卓越的動(dòng)態(tài)建模技術(shù)。這兩大亮點(diǎn)顯著增強(qiáng)了模型在挖掘用戶數(shù)據(jù)里周期性行為與復(fù)雜交互模式方面的效能,使其能夠更加敏銳地捕捉到用戶行為的細(xì)微變化與規(guī)律。經(jīng)由大量實(shí)驗(yàn)驗(yàn)證,在真實(shí)世界數(shù)據(jù)集的測(cè)試環(huán)境下,TBDGNN模型的表現(xiàn)卓越,成功超越了現(xiàn)有的眾多基準(zhǔn)模型。尤其在周期性用戶行為檢測(cè)以及應(yīng)對(duì)時(shí)間變化場(chǎng)景時(shí),展現(xiàn)出了極為突出的優(yōu)勢(shì)與精準(zhǔn)度,有力地證明了其在處理動(dòng)態(tài)且時(shí)間敏感的推薦任務(wù)時(shí)所具備的強(qiáng)大有效性與可靠性。未來將圍繞TBDGNN模型展開進(jìn)一步拓展與深化。一方面,計(jì)劃引入更為豐富的上下文特征信息,以此構(gòu)建更加全面且細(xì)致的用戶偏好及行為畫像,從而實(shí)現(xiàn)推薦準(zhǔn)確性的持續(xù)提升。另一方面,積極探索遷移學(xué)習(xí)與領(lǐng)域適應(yīng)技術(shù)在TBDGNN中的應(yīng)用潛力,力求使其在數(shù)據(jù)資源有限的全新場(chǎng)景中,依然能夠保持高效的適應(yīng)能力與卓越的推薦性能,為拓展模型的應(yīng)用范圍與適應(yīng)性奠定堅(jiān)實(shí)的基礎(chǔ)。
參考文獻(xiàn):
[1]SarwarB,KarypisG,KonstanJ,etal.Item-basedcollaborativefilteringrecommendationalgorithms[C]//Procofthe1Oth International Conference on World Wide Web.New York:ACM Press,2001: 285-295.
[2]Shokrzadeh Z,F(xiàn)eizi-Derakhshi MR,Balafar MA,etal.Knowledge graph-basedrecommendationsystemenhancedbyneural collaborative filtering and knowledge graph embedding[J].Ain Shams EngineeringJournal,2024,15(1):102263.
[3]Rendle S,F(xiàn)reudenthaler C,Schmidt-Thieme L. Factorizing personalized Markov chains fornext-basket recommendation[C]//Procof the19th International Conferenceon World WideWeb.New York: ACMPress,2010:811-820.
[4]Gupta A,Garg D,Kumar P.Mining sequential learning trajectories withhidden Markovmodelsfor earlypredictionofat-risk studentsin e-learningenvironments[J]. IEEE Trans on Learning Technologies,2022,15(6):783-797.
[5] Saraswat M,Srishti.Leveraging genre classification with RNN for bookrecommendation [J].International Journal of Information Technology,2022,14(7):3751-3756.
[6]Sak H,Senior A,BeaufaysF.Long short-term memory recurrent neural network architecturesforlarge scaleacousticmodeling[C]// Proc of Interspeech.2014:338-342.
[7]Hidasi B,Karatzoglou A,Baltrunas L,et al. Session-based recommendations with recurrent neural networks [EB/OL].(2O15-11- 21).https://arxiv.org/abs/1511.06939.
[8]TangJiaxi,WangKe.Personalized top-Nsequential recommendation viaconvolutional sequence embedding[C]//Proc of the11th ACM International ConferenceonWeb SearchandDataMining.NewYork: ACMPress,2018:565-573.
[9].Li Jing,Ren Pengjie,Chen Zhumin,et al.Neural attentive sessionbasedrecommendation[C]//ProcofACMConferenceonInformation andKnowledge Management.New York:ACM Press,2O17:1419- 1428.
[10]Zhang Peiyan,Yan Yuchen,Zhang Xi,et al. TransGNN:harnessing the collaborative power of Transformers and graph neural networks for recommendersystems[C]//Proc ofthe 47th International ACM SIGIR Conference on Research and Development in Information Retrieval.NewYork:ACMPress,2024:1285-1295.
[11]Wu Shu,Tang Yuyuan,Zhu Yanqiao,et al.Session-based recommendation with graph neural networks[C]//Proc of the 33rd AAAI Conference on Artificial Intelligence.Palo Alto,CA:AAAI Press, 2019:346-353.
[12]Li Jiacheng,Wang Yujie,McAuley J.Time interval aware selfattentionforsequential recommendation[C]//Procof the13th International Conference on Web Search and Data Mining.New York: ACMPress,2020:322-330.
[13]HuangLiwei,Ma Yutao,Liu Yanbo,etal.Position-enhanced and time-aware graph convolutional network for sequential recommendations [J].ACMTrans on Information Systems,2023,41(1):1-32.
[14]RossiE,ChamberlainB,F(xiàn)rascaF,etal.Temporal graphnetworks for deep learning on dynamic graphs[EB/OL]. (2020-06-08).https://export.arxiv.org/abs/2006.10637v3.
[15]Sankar A,Wu Yanhong,Gou Liang,et al. DySAT:deep neural representation learning on dynamic graphs via self-attention networks [C]//Proc of the 13th International Conference on Web Search and Data Mining.New York:ACM Press,202O:519-527.
[16]SeoY,Defferrard M,VandergheynstP,etal.Structured sequence modelingwith graphconvolutional recurrent networks[C]//Procof the 25th International Conference on Neural Information Processing. Cham:Springer,2018:362-373.
[17]ZhengGe,ChaiWK,ZhangJiankang,etal.VDGCNeT:anovel network-wide virtual dynamic graph convolution neural network and Transformer-based traffic prediction model[J].Knowledge-Based Systems,2023,275:110676.
[18]Zhao Kesen,Liang Zhang.Causality-inspired spatial-temporal explanationsfor dynamic graphneural networks[C]//Proc of the12th International Conference on Learning Representations.2024.
[19]韓忠明,孟怡新,郭惠瑩,等.基于動(dòng)態(tài)異構(gòu)網(wǎng)絡(luò)的股價(jià)預(yù)測(cè) [J].計(jì)算機(jī)應(yīng)用研究,2024,41(7):2126-2133.(Han Zhongming,Meng Yixin,Guo Huiying,etal.Stock price prediction based ondynamic heterogeneousnetwork[J].Application Researchof Computers,2024,41(7):2126-2133.)
[20]Ma Yao,Guo Ziyi,Ren Zhaocun,et al.Streaming graph neural networks[C]//Proc of the 43rd International ACMSIGIR Conference on Research and Developmentin InformationRetrieval. 2O2O:719-728.
[21]Wu Cheng,WangChaokun,XuJingcao,etal.Instant representation learning for recommendationover large dynamic graphs[C]//Procof the39th IEEE International Conference on Data Engineering.Piscataway,NJ:IEEE Press,2023:82-95.
[22]Zhao Ziwei,Zhu Xi,Xu Tong,et al.Time-interval aware share recommendation via bi-directional continuous time dynamic graphs[C]// Procof the 46th International ACM SIGIR Conference on Research andDevelopment in Information Retrieval.New York:ACM Press, 2023:822-831.
[23]TangHaoran,WuShiqing,XuGuandong,etal.Dynamic graph evolutionlearningforrecommendation[C]//Procofthe46th International ACM SIGIR Conference on Research and Development in InformationRetrieval.NewYork:ACMPress,2023:1589-1598.
[24] Zhang Mengqi,Wu Shu,Yu Xueli,et al. Dynamic graph neural networks for sequential recommendation [J]. IEEE Trans on KnowledgeandDataEngineering,2023,35(5):4741-4753.
收稿日期:2024-12-05;修回日期:2025-03-03 基金項(xiàng)目:國家自然科學(xué)基金資助項(xiàng)目(62173171);重慶市教委科技項(xiàng)目-重點(diǎn)項(xiàng)目(KJZD-K202301309);重慶文理學(xué)院塔基計(jì)劃資助項(xiàng)目(R2021FRG01);重慶文理學(xué)院塔尖計(jì)劃資助項(xiàng)目(P2022RG08)
作者簡介:彭梓航(1998—),男,朝陽人,碩士,CCF會(huì)員,主要研究方向?yàn)橥扑]系統(tǒng);張全貴(1978—),男(通信作者),河北昌黎人,副教授,碩導(dǎo),博士,CCF會(huì)員,主要研究方向?yàn)橥扑]系統(tǒng)(zhgui@126.com);金海波(1983—),男,沈陽人,副教授,碩導(dǎo),博士,CCF會(huì)員,主要研究方向?yàn)殡S機(jī)過程、決策理論;劉怡欣(200—),女,四川眉山人,碩士,CCF會(huì)員,主要研究方向?yàn)橥扑]系統(tǒng);齊玉欣(200—),女,河南南陽人,碩士研究生,主要研究方向?yàn)橥扑]系統(tǒng).