融合時空感知GRU和注意力的下一個地點推薦

李 全，許新華，劉興紅，陳 琦

（湖北師范大學(xué)計算機與信息工程學(xué)院，湖北黃石435002）

（*通信作者電子郵箱56322268@qq.com）

0 引言

隨著移動設(shè)備和全球定位系統(tǒng)（Global Positioning System，GPS）的快速發(fā)展，人們?nèi)粘Ｊ褂玫闹悄芙K端提供的位置定位功能越來越精確。在此背景下，基于位置的社交網(wǎng)絡(luò)（Location-Based Social Network，LBSN）服務(wù)得到迅速的發(fā)展，且受到了廣大用戶的喜愛，如國外比較主流的Gowalla、Yelp和Facebook Places 等，國內(nèi)比較主流的嘀咕和街旁等［1］。相對于傳統(tǒng)的社交網(wǎng)絡(luò)，LBSN優(yōu)勢在于用戶能夠以簽到的形式發(fā)布他們的地理簽到信息，并對已訪問的地點，例如:咖啡廳、餐館和電影院等，與朋友分享他們的體驗和經(jīng)驗。在一個城市里可能包含成千上萬的感興趣的地點，但用戶可能只想訪問它們的一小部分。因此地點推薦的任務(wù)就是幫助用戶推薦下一個感興趣的位置［2］。

最近神經(jīng)網(wǎng)絡(luò)在自然語言處理、視頻和圖像等領(lǐng)域取得了比較突出的貢獻。神經(jīng)網(wǎng)絡(luò)在推薦系統(tǒng)的應(yīng)用領(lǐng)域也獲得了較好的效果，其中循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）在處理序列數(shù)據(jù)時具有較好的優(yōu)勢［3］。傳統(tǒng)的RNN 模型只能處理較短的序列數(shù)據(jù)。對于長序列的數(shù)據(jù)，它在反向傳播時容易產(chǎn)生梯度爆炸或者梯度消失等問題。長短期記憶（Long-Short Term Memory，LSTM）模型和門控循環(huán)單元（Gated Recurrent Unit，GRU）模型在RNN 模型的基礎(chǔ)上進行了改進。它們通過增加門控單元，有選擇性地記憶輸入和控制輸出，有效地解決以上問題［4］。GRU 模型相較于LSTM模型具有參數(shù)少和運行效率高等優(yōu)點。因此，本文主要研究GRU 模型在地點推薦中的應(yīng)用。同時為了解決數(shù)據(jù)稀疏等問題，興趣點推薦系統(tǒng)還應(yīng)該考慮位置影響和時間影響等上下文信息。因此如何在GRU 模型中有效地融入時間和位置等上下文信息，對于進一步提高地點推薦的準(zhǔn)確性和可解釋性具有重要的意義。基于以上考慮，本文首先在GRU 模型的基礎(chǔ)上進行改進，增加時間門和距離門，以融合地點的時間和空間信息。同時，用戶的簽到行為常常具有周期性、不均勻性和連續(xù)性［5］。當(dāng)預(yù)測用戶的下一個位置時，在用戶的歷史簽到序列中，不是所有的簽到數(shù)據(jù)都是有意義的，不相關(guān)的簽到數(shù)據(jù)會產(chǎn)生噪聲。用GRU 模型對所有的序列數(shù)據(jù)進行建模和地點推薦可能會產(chǎn)生令人不滿意的結(jié)果。因此需要引入注意力機制，獲取注意力關(guān)注地點的用戶偏好權(quán)重，再通過加權(quán)求和得到用戶的個性化偏好。最后通過貝葉斯個性化排序（Bayesian Personalized Ranking，BPR）算法構(gòu)造目標(biāo)函數(shù)并學(xué)習(xí)模型參數(shù)［6］。實驗結(jié)果表明本文提出的方法在準(zhǔn)確率和召回率等方面都要優(yōu)于傳統(tǒng)的方法。

1 相關(guān)工作

隨著基于位置社交網(wǎng)絡(luò)的快速發(fā)展，地點推薦可為人們提供更好的基于位置的服務(wù)，因此受到學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。由于地點推薦的簽到數(shù)據(jù)具有高稀疏性，因此基于協(xié)同過濾的推薦技術(shù)應(yīng)用到地點推薦中很容易產(chǎn)生數(shù)據(jù)稀疏問題。當(dāng)前許多研究試圖利用并融合地理影響、社會影響和內(nèi)容影響等來提高地點推薦的效果。

在融合地理和社交信息方面:文獻［7］將用戶間的相似性關(guān)系嵌入到基于用戶的協(xié)同過濾技術(shù)中。文獻［8］關(guān)于地點推薦采用線性插值的方法結(jié)合地理與社會影響應(yīng)用到基于用戶的協(xié)同過濾框架中。在融合內(nèi)容信息方面:文獻［9］提出了一種考慮文本內(nèi)容的貝葉斯協(xié)同過濾框架，同時給出了一種可擴展的優(yōu)化算法來學(xué)習(xí)潛在參數(shù)和差參數(shù)。

隨著地點推薦算法的發(fā)展，基于序列信息的下一個地點推薦已成為了地點推薦的新的熱點研究問題。文獻［10］提出了一種個性化馬爾可夫鏈和用戶位置受限的推薦方法（Factorizing Personalized Markov Chain and Localized Region，F(xiàn)PMC-LR）。該方法利用張量分解將與用戶地理距離較近的地點作為推薦對象。文獻［11］提出了基于個性化排名度量嵌入（Personalized Ranking Metric Embedding，PRME）的推薦方法。該方法將每一個地點映射低維空間計算地點之間的轉(zhuǎn)移概率。PRME 模型考慮了用戶偏好和時序轉(zhuǎn)移兩個影響因素。和FPMC-LR 模型相比，PRME 更好地解決了數(shù)據(jù)稀疏帶來的問題，然而，PRME 模型沒有深度挖掘簽到行為的上下文情景信息來進行推薦［12］。以上方法在進行地點推薦時都沒有融合時間和空間信息。文獻［13］提出了融合時間和空間的循環(huán)神經(jīng)網(wǎng)絡(luò)（Spatial Temporal Recurrent Neural Network，STRNN）的推薦方法。該方法在RNN 模型的基礎(chǔ)上通過時間和距離轉(zhuǎn)移矩陣融合時間信息和地理信息。然而RNN 模型對于長序列數(shù)據(jù)在反向傳播過程中容易產(chǎn)生梯度下降或梯度消失等問題。同時簽到序列中的每個地點對于推薦下一個地點的貢獻是不同的，不相關(guān)的簽到數(shù)據(jù)會產(chǎn)生噪聲。因此，本文提出了一種融合時空感知GRU 和注意力的下一個地點推薦技術(shù)。

2 融合時空感知GRU和注意力的地點推薦技術(shù)

2.1 問題的描述

2.2 GRU模型

傳統(tǒng)RNN 面臨的最大挑戰(zhàn)是無法解決長依賴問題。而GRU 模型可有效地解決此問題，且它比LSTM 模型具有參數(shù)少、結(jié)構(gòu)簡單和運行效率高等優(yōu)點。GRU 模型只有兩個門，分別是更新門和重置門，具體結(jié)構(gòu)如圖1所示。

圖1 GRU模型Fig. 1 GRU model

由圖1可知，GRU模型的公式如下:

最后采用隨機梯度下降法最小化目標(biāo)函數(shù)，如式（14）所示:超參數(shù)α是學(xué)習(xí)率。融合時空感知GRU和注意力的地點推薦算法步驟如下:

3 實驗和結(jié)果分析

3.1 數(shù)據(jù)集

文本選擇了兩種公開簽到數(shù)據(jù)集進行算法測試，分別為Gowalla 和Brightkite［14］。這兩個數(shù)據(jù)集是國外兩個基于位置的社交網(wǎng)絡(luò)站點。這兩個網(wǎng)站都提供了類似的簽到服務(wù)，使得用戶能夠分享自己當(dāng)前位置周邊的相關(guān)信息。它們都同時包含了用戶信息、地點信息、簽到信息和時間信息等［15］。首先對兩個數(shù)據(jù)集進行預(yù)處理。將每個數(shù)據(jù)集70%的數(shù)據(jù)作為訓(xùn)練集，剩余的30%的數(shù)據(jù)作為測試集。兩個數(shù)據(jù)集統(tǒng)計特性如表1所示。

表1 數(shù)據(jù)集統(tǒng)計特性Tab. 1 Statistical characteristics of datasets

3.2 評價標(biāo)準(zhǔn)

為了評價地點推薦算法的性能，本文使用準(zhǔn)確率（Precision@N）、召回率（Recall@N）和F1 值作為評價指標(biāo)，其中N表示地點推薦的個數(shù)。準(zhǔn)確率指推薦結(jié)果中用戶將來真正去的數(shù)量占推薦總數(shù)的比例。召回率指推薦結(jié)果中用戶將來真正去的數(shù)量占用戶將來訪問地點總數(shù)的比例。F1 值綜合了準(zhǔn)確率和召回率。用戶進行地點推薦的準(zhǔn)確率、召回率和F1定義如式（15）所示:

其中:R(u)為對用戶u進行推薦的地點集合，T(u)為用戶u在測試集上實際的簽到集合。

3.3 實驗結(jié)果分析

為驗證融合時空感知GRU 和注意力的下一個地點推薦算法的推薦效果，將它與4 種地點推薦算法進行比較和分析:MF（Matrix Factorization）是基于矩陣分解的地點推薦方法，F(xiàn)PMC-LR 是基于三階張量分解的地點推薦方法［10］，PRME 是基于個性化度量嵌入的地點推薦方法［11］，ST-RNN是在循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中融合時間和空間信息的地點推薦方法［13］。

實驗平臺為Intel i5 CPU，8 GB RAM，Windows 7操作系統(tǒng)等。開發(fā)工具為Pycharm，編程語言為Python 3.5，神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)框架為Theano。在實驗中進行推薦時，設(shè)置學(xué)習(xí)率超參數(shù)α= 0.01，正則化超參數(shù)λ= 0.01。對推薦列表長度K取不同值分別進行實驗，并抽取K分別取5、10和20時的實驗結(jié)果作為樣本。在準(zhǔn)確率和召回率兩個評價指標(biāo)上的實驗結(jié)果如表2和表3所示。

表2 兩個數(shù)據(jù)集上的準(zhǔn)確率實驗結(jié)果Tab. 2 Experimental results of precision on two datasets

表3 兩個數(shù)據(jù)集上的召回率實驗結(jié)果Tab. 3 Experimental results of recall on two datasets

1）不同方法的比較。

表2 是在兩個數(shù)據(jù)集上進行準(zhǔn)確率實驗所得到的結(jié)果，表3 是在兩個數(shù)據(jù)集上進行召回率實驗所得到的結(jié)果。它們顯示了本文提出的推薦算法和其他算法在不同K值時準(zhǔn)確率和召回率的變化趨勢。在準(zhǔn)確率方面，隨著K值的增加，準(zhǔn)確率在逐漸地減小。ST-RNN 的推薦算法與MF、FPMC-LR 和PRME 算法相比在準(zhǔn)確率和召回率方面都有了較大幅度的提高，說明了融入時間和空間信息的循環(huán)神經(jīng)網(wǎng)絡(luò)方法存在著明顯的優(yōu)勢。本文提出的地點推薦算法在準(zhǔn)確率和召回率方面又要優(yōu)于ST-RNN 算法，說明融入時空感知的GRU 和注意力地點推薦算法又能進一步有效地提高推薦算法的性能。

2）參數(shù)對ST-GRU+Attention的影響。

在基于ST-GRU+Attention 的位置推薦中，不同的特征向量維度和批處理大小對推薦結(jié)果產(chǎn)生不同的影響。本文以Gowalla 數(shù)據(jù)集為例，從該數(shù)據(jù)集中抽取70%作為訓(xùn)練集。因為在下一個地點推薦時召回率比準(zhǔn)確率更加重要［16］，所以比較這兩個參數(shù)在召回率和F1值的影響。

①不同特征向量維度下的實驗分析。

地點特征向量的維度越高表示具有更好的特征表達能力，但也可能會出現(xiàn)過擬合情況。推薦列表長度K取值分別為5、10 和20。不同特征向量維度下的ST-GRU+Attention 算法召回率和F1值如圖4所示。

由圖4 可知，隨著特征向量維度的增加，ST-GRU+Attention 地點推薦算法召回率和F1 值也逐漸增加。當(dāng)特征向量維度在80～200 時，該地點推薦算法的召回率和F1 值趨向于穩(wěn)定，所以本實驗中潛在特征向量的維度取80。

圖4 不同特征向量維度下的對比實驗Fig. 4 Comparison of different feature vector dimensions

②不同批處理大小的實驗分析。

在算法訓(xùn)練的過程中，樣本批處理的大小也會影響系統(tǒng)的性能。通過調(diào)節(jié)批處理的大小觀察實驗結(jié)果。推薦列表長度K取值也分別為5、10 和20。不同批處理大小的ST-GRU+Attention算法實驗結(jié)果如圖5所示。

由圖5 可知，隨著批處理大小的增加，ST-GRU+Attention地點推薦算法召回率和F1 值先增加然后再逐步地減少。當(dāng)批處理大小的值為20時，該地點推薦算法的召回率和F1值為最大值，所以本實驗中批處理大小的取值為20。

圖5 不同批處理大小的對比實驗Fig. 5 Comparison of different batch sizes

4 結(jié)語

本文主要研究GRU 模型在地點推薦中的應(yīng)用。為了解決數(shù)據(jù)稀疏等問題，地點推薦系統(tǒng)應(yīng)該考慮位置影響和時間影響等上下文信息。因此本文首先在GRU 模型的基礎(chǔ)上增加時間門和空間門融合地點之間的時間間隔和空間間隔信息。另外，簽到序列中的每個地點對于推薦下一個地點的貢獻是不同的，不相關(guān)的簽到數(shù)據(jù)會產(chǎn)生噪聲。因此通過引入注意力機制，獲取注意力關(guān)注地點的用戶偏好權(quán)重，再通過加權(quán)求和得到用戶的個性化偏好。最后通過BPR 排序算法構(gòu)造目標(biāo)函數(shù)。實驗結(jié)果表明本文算法的精確度相比其他相關(guān)的地點推薦技術(shù)有了較好的提高。在未來的工作中，將在推薦系統(tǒng)中融入知識圖譜等其他信息，并通過圖神經(jīng)網(wǎng)絡(luò)和表示學(xué)習(xí)技術(shù)進一步提高地點推薦的性能。