多維度偏好建模的動態興趣點群組推薦算法

孫明陽，馬玉亮，袁 野，王國仁

1.東北大學 計算機科學與工程學院，沈陽 110167

2.東北大學 信息科學與工程學院，沈陽 110819

3.北京理工大學 計算機學院，北京 100081

興趣點推薦任務通常是面向用戶個體推薦一組該用戶可能感興趣的地點。隨著互聯網數據信息的海量化和地理社交網絡（geo-social networks，GSNs）的不斷發展，人與人之間的聯系越來越緊密。以往的用戶個體活動也逐漸發展為群組活動，推薦問題的主體也從用戶個體向群組進行延伸。興趣點群組推薦問題也逐漸成為很多學者的研究熱門課題之一，且在娛樂、社交媒體、文旅活動[1-3]等領域具有廣泛的應用。

興趣點群組推薦問題是向一組用戶推薦他們可能感興趣的一組地點，例如幾個朋友想找一個地點聚會。在現實生活中，群組決策的方式復雜多樣，例如聽從朋友的意見、聽從專業人士的意見、堅持自己的觀點等。群成員可能會因為其他成員的決定而對自己的選擇產生變化，也可能因其專業性對群組最終決策擁有較大的話語權。現有研究主要致力于將深度學習[4-6]的相關技術應用于群組推薦系統，并取得了良好的效果。

然而，現有的群組推薦模型很大程度上只適合處理無特定相關上下文信息的群組推薦任務。興趣點推薦問題具有很強的上下文信息相關性。具體而言，興趣點推薦的上下文信息主要包括時間、地點上下文信息。時間上下文信息表示用戶在某一時間段內的偏好，地點上下文信息多數反映用戶到達新地方的偏好變化。此外，興趣點群組推薦通常存在興趣本地化和活動本地化的現象，其中興趣本地化是指不同地方的用戶興趣存在很大差別，活動本地化是指用戶通常在周邊進行活動。然而，現有的興趣點群組推薦模型的群組聚合策略往往是靜態的，無法模擬復雜的動態決策過程。因此本文對地理社交網絡中的動態興趣點群組推薦展開研究，將用戶多維度嵌入學習和注意機制相結合，考慮地理社交網絡的動態特征，提出基于神經網絡結構的動態興趣點群組推薦模型。

本文的主要貢獻如下：

（1）提出了一種新穎的面向地理社交網絡的群組推薦模型，該模型基于用戶的多維度偏好建模和群組決策的動態過程相結合，實現動態興趣點群組推薦。

（2）為了刻畫地理因素對用戶偏好的影響，本文在用戶偏好建模階段進行多維度嵌入學習，即融合群組成員的偏好、興趣點的空間和時間特性、協同用戶的影響，增強用戶偏好的表示學習。

（3）利用神經網絡結構并以群組成員的增強嵌入表示為核心實現決策過程的動態性，提高興趣點群組推薦的準確率。

（4）在真實數據集上進行了一系列的實驗，結果表明本文提出的模型在推薦命中率等方面優于現有的群組推薦模型，充分驗證了本文提出模型的有效性。

1 相關工作

群組推薦方法大致分為兩類，基于內存（memorybased）的方法和基于模型（model-based）的方法。基于內存的方法又可細分為基于偏好聚合的方法和基于分數聚合方法。其中基于偏好聚合方法的主要思想就是提取每個成員的偏好信息和群組成員間的關系信息，并將偏好信息整合形成一個偽概要文件，根據概要文件進行推薦。例如文獻[7]在推薦電視節目的問題中，通過提取用戶的偏好來構建概要文件，然后通過用戶概要文件聚合算法，形成一個共同的用戶配置文件來反映群體大部分人的偏好信息。基于分數聚合方法的主要思想就是計算群組中每個成員對于候選物品的偏好分數，最后將分數聚合并排列完成推薦。通常包括三種常用策略，即平均策略[8]、最小痛苦策略[9]、最大滿意策略[10]。

基于模型的群組推薦方法的主要思想是模擬群組決策過程相結合，設計出能更好反映實際的模型。例如Wang 等人[11]提出了BTF-GR（bidirectional tensor factorization model for group recommendation）模型，在社會群體背景下，考慮用戶與群組之間雙向的影響關系，即用戶偏好和群組決策之間的相互作用；Guo等人[12]將社會影響放在首位來設計組推薦模型，將個性、專業程度、社交網絡、用戶偏好等因素綜合考慮；Yin等人[13]同樣以社交影響為核心，并模擬群體其他成員對于某個推薦項的容忍（愿意接受不喜歡的內容）和利他（愿意接受朋友喜歡的內容）因素進行建模。從群組推薦問題的衍生至今，用戶偏好不再是單一的因素所決定的，與社交網絡、社會影響[6]等相關因素相結合來更好地模擬現實中所做出的決策過程是目前更多人所研究的方向。近些年它們在傳統的推薦中得到了廣泛的應用。目前很多學者致力于將深度學習的相關技術和方法應用于群組推薦系統。例如He 等人[4]提出了GAME（graphical and attentive multi-view embeddings）群組推薦模型，該模型是基于用戶、推薦項與群組之間相互表示、相互影響的思想[5]，從多個視圖出發，并利用表示學習和神經交互學習兩個部分來完成群組對推薦項分數的動態預測過程。Tran 等人[14]提出了MoSAN（medley of sub-attention networks）群組推薦模型，利用次級注意網絡中群組成員之間的相互作用來動態分配群組成員的注意力權值完成群組偏好聚合過程。Cao等人[15-16]提出了AGREE（attentive group recommendation）模型，該模型將注意機制首次引入應用于群組推薦領域，根據每個用戶的歷史數據對每個組成員動態地分配注意力權重，并在預測階段通過多層神經網絡完成推薦。

在興趣點群組推薦問題中，Zhu等人[17]以興趣點的距離為中心，充分考慮群組決策時興趣點的合理性，并采用基于距離的預過濾和基于距離的排名來調整群組滿意度。現有的興趣點[18]推薦方法通過考慮類別、距離等多個方面來建模，以興趣點為核心，忽略了用戶偏好的影響，很少有研究能將GSNs中的特性同用戶偏好相結合進行統一建模。并且現有模型方法的聚合策略大多數都是靜態的，這些靜態的預定義策略在設置群組成員權重過程中缺乏靈活性，不能準確地反映群組成員在群組決策過程中動態的變化過程。因此本文提出了基于多維度偏好建模的動態興趣點推薦算法，實驗表明該算法能夠有效地提高推薦的準確率。

2 問題定義

本章介紹論文中所使用的主要符號、興趣點群組推薦問題中的相關定義。常用符號及其描述如表1所示。

表1 符號描述Table 1 Notation description

定義1（地理社交網絡）地理社交網絡將傳統的社交網絡同地點相結合，加入了位置因素，以便在社會結構中的用戶可以共享嵌入位置信息。在GSNs中，本文使用Users={u1,u2,…,un}表示用戶，用POIs={p1,p2,…,pm}表示興趣點信息，每個地點由一個二元組(lat,lon)唯一確定且對應現實世界中的某個具體位置。對于GSNs中的每個用戶可以隨時在GSNs中簽到并產生一條簽到記錄，其中簽到記錄表示為三元組(ui,pj,time)的形式。

表2 為Foursquare 中部分簽到數據示例。其中用戶和興趣點通過UserID和POI唯一確定，每個興趣點都對應唯一的坐標信息lat、lon，每條用戶活動記錄對應一條時間戳信息time。

表2 Foursquare中的簽到數據示例Table 2 Example of check-in data on Foursquare

定義2（群組-興趣點感知圖）群組-興趣點感知圖如圖1 所示，主要由兩層網絡組成，包括用戶層和地點層，將用戶偏好與時間特性和空間特性相結合用于群組成員與地點時間的建模階段。定義為Gg={Vg,Eg}，具體規則構建如下：

圖1 群組-興趣點感知圖Fig.1 Group-POI awareness graph

（1）頂點集Vg包含群成員頂點和興趣點頂點；

（2）邊集Eg包含在群成員和興趣點頂點之間，即如果在給定的時間段內群成員訪問過該興趣點，則它們之間存在一條邊，并且將邊賦予相應的權值。其中權值的大小由群成員訪問頻次最高的興趣點與該興趣點之間距離來決定，計算公式如下：

問題定義在GSNs中，對于任意給定群組g和時間節點time，動態興趣點群組推薦的目標是學習一個預測函數F(g,time,p|Θ)，其中p為某個候選的興趣點，Θ表示函數F的模型參數。

3 模型概述

本文將模型分為表示學習層、表示聚合層、預測優化層三部分。模型的整體架構圖如圖2所示，將用戶的嵌入信息和地點信息作為模型的輸入，群組對于推薦興趣點的預測分數作為模型的輸出。在進行表示學習之前，本文先將用戶和興趣點進行向量表示，將其作為模型中的基本表示單元。本文首先使用one-hot 編碼來表示用戶u∈Users和興趣點p∈POIs的所有狀態，即。然后使用兩個可訓練的矩陣E∈Rn×d和F∈Rm×d來將它們轉變為同維的嵌入表示向量，即ui∈Rd和pj∈Rd。

3.1 表示學習層

在該部分，本文將用戶偏好表示分為三部分：用戶嵌入表示Us、用戶-興趣點嵌入表示Up、協同用戶嵌入表示Uc。并通過聚合策略最終得到用戶的最終嵌入表示。

3.1.1 用戶嵌入表示

在該部分本文將用戶自身嵌入表示Us作為用戶表示向量的一部分，它表示用戶的歷史偏好信息，考慮的是用戶的原始偏好。

3.1.2 用戶-興趣點嵌入表示

在該部分本文充分考慮用戶與地點簽到關系，從空間影響和時間影響兩方面出發對其進行建模。空間影響是分析用戶日常活動的一個重要因素。在以往的研究[19]中表明用戶的出行簽到數據往往與用戶中心距離服從冪律分布的特征。根據對用戶簽到記錄分析可以直觀地感受到：用戶的簽到記錄往往反映了用戶的中心活動范圍。用戶的簽到往往更傾向于簽到中心活動范圍附近的興趣點。時間影響同樣也扮演著重要的角色，用戶在不同時間段的訪問地點會有較大的差異性，例如用戶在中午更有可能訪問的是餐館而不是酒吧。

基于以上分析，本文首先將一天中的時間分為五部分{T0,T1,T2,T3,T4}，分別表示早上8 點—11 點、中午12 點—14 點、下午15 點—18 點、晚上19 點—23點、半夜24點—7點，然后以時間段信息為基準，將群成員活動記錄進行篩選和分類，從而完成構建群組-興趣點感知圖。

在模型中，用戶地點嵌入表示的形式化表示如式（6）所示：

本文對群組成員在特定時間段內所訪問過的興趣點進行加權求和表示，其中系數α(u,t)表示用戶對于興趣點的偏愛程度，并將地理因素同群組成員的偏好相結合。pt表示興趣點的嵌入表示。Nl表示群組-興趣點感知圖中興趣點的索引。

在GSNs中，用戶的偏好與興趣點之間的距離呈負相關，即表現為用戶通常會選擇距離自己范圍即中心距離較近的區域進行活動，即如果用戶曾經訪問過該地點，且用戶中心距離與該地點的距離越近，用戶再次訪問的可能性越大。反之則越小。因此，本文將群組-興趣點感知圖中權值的倒數作為用戶對于興趣點偏好的權重大小，并使用softmax 函數對權值大小進行歸一化處理。

3.1.3 協同用戶嵌入表示

協同過濾思想[20-21]在推薦系統中得到了很廣泛的應用，其根據物以類聚、人以群分的思想進行推薦，即和自己興趣相投的喜歡同樣的物品。因此在興趣點群組推薦中，本文將用戶的協同用戶的偏好作為用戶偏好表示的一部分。

首先，本文將與該成員用戶在相同時間段且簽入超過15 個相同興趣點的用戶看作它的協同用戶。通過隨機采樣8個用戶，并將這8個用戶的嵌入表示進行連接，然后通過非線性轉換得到用戶的協同用戶表示向量。

其中，Uc1,Uc2,…,Ucx表示協同用戶的嵌入表示，W(1)為可訓練的權值矩陣，即W(1)∈Rd×d，b(1)為可訓練的偏置，即b(1)∈Rd。σ為激活函數。

在該階段的最后一步就是將用戶表示的三部分進行聚合，本文通過將用戶、地點、協同用戶的嵌入表示向量進行聚合，得到一個用戶的最終嵌入表示，它不僅包含用戶的偏好信息，還將用戶的偏好信息同距離和時間相結合，并利用協同過濾的思想將用戶偏好進行擴展，得到了最終的用戶向量表示。這里本文采取常用的聚合策略進行聚合。

GraphSage聚合[22]：將用戶、地點、協同用戶的嵌入表示向量進行連接操作，然后對其進行非線性變換。

其中，Us,Up,Uc分別表示用戶、地點、協同用戶的嵌入表示，W(2)為可訓練的權值矩陣，即W(2)∈R3d×d，b(2)為可訓練的偏置，即b(2)∈Rd。σ為激活函數。

3.2 表示聚合層

在上個階段本文得到用戶的最終嵌入表示，即與時間、空間、相似用戶相結合的用戶偏好建模。在群組偏好聚合階段，本文旨在最大程度地模擬群組在進行決策過程中的動態過程。群組的嵌入表示通過加權和形式來進行表示，公式如式（11）所示。這個群組嵌入表示可以解釋為動態地聚合群組中所有成員的特征表示，可以很容易地與某個興趣點的嵌入表示進行交互得到最終的預測分數。

本文采用神經網絡結構中的注意力網絡[23]來動態地決定群組成員的權重變化矩陣。如果群組中的用戶去過候選興趣點，則可以理解為它對于這個興趣點有一定的了解，它在群組決策過程中的權重會占用較大的比重。在神經網絡中，一般通過注意力網絡來將該權重量化，并通過歸一化函數來將動態的注意力權重量化。如式（13）所示：

其中，W(4)、Wu、Wv為可訓練的注意層矩陣，b(3)、b(4)為可訓練的偏置，σ為激活函數。對于上述計算出的群組成員的權重系數ω(i,j)，本文得到了群組偏好聚合的表示向量。

3.3 預測階段

到目前為止，本文得到了群組對于某個特定興趣點和興趣點的嵌入表示向量。在預測階段，本文通過將兩部分嵌入表示向量乘積運算，對兩個嵌入向量之間的相互利用進行建模。該方法已經在文獻[24-25]中被證明在神經結構的低層特征交互建模是非常有效的。然后本文通過設置多層感知機來捕獲群組與興趣點之間的非線性特征和高階相關性，如式（14）所示：

其中，?表示兩個向量的元素乘積，el為經過L層感知機后的輸出向量，W1,W2,…,Wl為可訓練的注意層矩陣，b1,b2,…,bl為可訓練的偏置。σ為激活函數，本文使用非線性的ReLU 作為激活函數。最后將多層感知機的輸出向量el轉換為預測分數，如式（15）所示：

3.4 目標函數

本文采取鏈路預測中常用的成對學習的目標函數來進行訓練，大多數的鏈路預測任務的結果取值為0或1，為了能與鏈路預測總體結果保持一致，只需將正樣本的排名高于負樣本即可。本文沿用上述思想，使用Ο表示訓練集，三元組(g,p,n)表示群組g曾經訪問興趣點p，但未訪問過興趣點n。即p表示正樣本，n表示負樣本。因此正樣本與負樣本的預測分數差值為1，則目標函數如下式所示：

3.5 群組推薦算法

算法1基于多維偏好建模的動態興趣點群組推薦

本節對基于多維偏好建模動態興趣點群組推薦算法進行闡述，其過程如算法1所示。具體地，第3～9行為模型的第一階段，其中包括群組-興趣點感知圖的構造過程、嵌入表示學習的過程，最終得到多維度偏好建模后的用戶嵌入表示。第10～13 行為模型的第二階段，在該階段利用神經結構中注意力網絡動態聚合群組偏好信息，最終得到群組偏好的嵌入表示。第14～16行為模型的第三階段，其中包括利用多層感知機得到預測分數，并根據目標函數計算梯度，然后進行多輪反向傳播更新模型中的參數，直至模型不再收斂，完成訓練。

4 實驗

4.1 實驗設置

在數據集方面，本文使用來自Foursquare 和Gowalla 兩個真實地理社交網絡的簽到數據集來進行實驗。其中，Foursquare 數據集包含24 941 個用戶，28 593 個興趣點，1 196 247 次簽到；Gowalla 數據集包含5 628 個用戶，31 803 個興趣點，620 686 次簽到。簽到信息包含用戶ID、興趣點ID、時間戳和坐標信息。這兩個數據集的統計信息顯示在表3 中。對于興趣點群組推薦問題，在本文實驗中使用文獻[17]提出學術模擬中常用的方法來捕獲群組的簽到信息。具體而言，如果幾個用戶在1 h內訪問同一興趣點，并且這幾個用戶相互之間存在社交關系，則這些用戶和興趣點構成一條群組簽入信息。

4.2 評價指標

本文采用廣泛使用的命中率（hits ratio，HR）和歸一化折損累積增益（normalised discounted cumulative gain，NDCG）作為評價指標。命中率強調預測的準確性，是指滿足用戶的需求的興趣點在返回的推薦結果中所占的比率。歸一化折損累積增益關心找到的這些興趣點是否放在用戶更顯眼的位置里，根據測試項出現的位置來進行評估而不僅僅考慮它的出現，即強調順序性。在實驗中，本文考慮HR@K和NDCG@K來表示測試集中所有記錄的平均命中率和平均歸一化折損累積增益。對應公式為式（17）和式（18），本文將推薦序列k的長度分別設置為5、10、15、20。

4.3 基線方法

本文選取三種算法進行對比，其中包括傳統的推薦協同過濾算法和基于注意力機制的群組推薦算法。其中傳統的協同過濾算法采用平均策略、最小痛苦策略、最大滿意三種不同的聚合策略。本文對四種基線方法進行了綜合比較。

CF+AVG[8]：基于用戶的協同過濾算法以用戶為中心，通過用戶與用戶的相似性來評估組中每個用戶對于不同興趣點的推薦分數，然后利用平均聚合策略來評估群組推薦的最終分數。

CF+LS[9]：基于用戶的協同過濾算法以用戶為中心，通過用戶與用戶的相似性來評估組中每個用戶對于不同興趣點的推薦分數，然后利用最小痛苦聚合策略，著重于群組中每個成員得分最低的興趣點分數作為群組推薦的最終分數。

CF+MS[10]：基于用戶的協同過濾算法以用戶為中心，通過用戶與用戶的相似性來評估組中每個用戶對于不同興趣點的推薦分數，然后利用最大滿意聚合策略，著重于群組中每個成員得分最高的興趣點分數作為群組推薦的最終分數。

AGREE[15-16]：該模型將注意機制首次應用于群組推薦領域，根據每個用戶的歷史數據對每個組成員動態地分配注意力權重，并在預測階段通過多層神經網絡得到群組對于某個特定興趣點的預測分數。

4.4 實驗結果

實驗1（嵌入維度的影響）對于嵌入維度d的取值，本文通過設置不同d的取值并在兩個數據集上進行實驗，實驗結果如圖3所示。在實驗中d的取值為16、32、64、128、256，并以K=10 為例。當嵌入維度d的取值在128時命中率達到最大值，隨后性能便出現下降的趨勢。這是因為本文基于對用戶偏好的多維度建模，需要較大的嵌入維度編碼更多的用戶信息，過小的d不能較好地整合用戶偏好的相關信息，而過大的d則會出現數據的過擬合現象，導致整體性能下降。

圖3 不同嵌入維度對本文模型的影響Fig.3 Effect of different embedding dimensions on proposed model

實驗2（命中率分析）本組實驗分別在Foursquare、Gowalla兩個數據集上對興趣點的命中率指標進行測試。當嵌入維度d取值128時，通過與對照算法在命中率指標上的結果進行分析，以表明本文提出模型的有效性，實驗結果如表4、表5所示。

表4 Foursquare數據集中HR@K 性能對比Table 4 HR@K performance comparison on Foursquare dataset

實驗結果表明本文算法取得了最佳的效果，基于分數聚合的算法例如CF+AVG、CF+LS 等在預測興趣點問題中表現較差，而AGREE算法是基于神經網絡的算法，兩者的實驗結果對比表明AGREE算法的整體性能明顯高于傳統的方法，證明了預定義的策略已經不能準確地反映群組成員在群組決策過程中動態的變化過程。在與AGREE算法對比過程中，本文算法獲得了最佳的效果。尤其是在K取值為5、10 時，HR 指標明顯高于對比算法，但是隨著K的取值不斷增加，本文算法同AGREE算法的命中率相差越來越小。這是由于隨著K的增加，算法的容錯率也在逐漸增加，對比算法也會在命中率指標上有著不錯的表現。

實驗3（歸一化折損累積增益分析）本組實驗分別在Foursquare、Gowalla 兩個數據集上對興趣點的歸一化折損累積增益進行測試。當嵌入維度d取值128時，通過與對照算法在NDCG指標上的結果進行分析，以表明本文提出模型的有效性，實驗結果如表6、表7所示。

表6 Foursquare數據集中NDCG@K 性能對比Table 6 NDCG@K performance comparison on Foursquare dataset

表7 Gowalla數據集中NDCG@K 性能對比Table 7 NDCG@K performance comparison on Gowalla dataset

實驗結果表明本文算法在K的所有取值上NDCG 指標均取得了最佳效果，上文中提到隨著K的增加，本文算法的命中率與對比算法的結果越來越接近，但NDCG指標仍然明顯高于對比算法，即目標興趣點的預測分數位于預測集的前列。表明本文算法能夠更加準確地建模用戶和群組偏好，同時也證明了本文算法的有效性。

5 結束語

本文提出了一種解決興趣點群組推薦問題的新方法，首先本文從用戶的偏好表示出發，以GSNs 中的特性為核心進行多維度偏好建模并進行表示學習，增強用戶偏好的表示學習。然后利用神經網絡結構中的注意機制動態地進行偏好的聚合。最后在兩個真實數據集上的實驗表明本文算法的整體性能優于現有算法，證明了本文算法的有效性。

在未來的研究中，本文提出了兩個可擴展的方向。為了保證推薦的準確性和高質量，對用戶偏好建模得相對復雜，導致訓練時間較長，因此在未來的研究中可以通過簡化用戶偏好模型，衡量訓練時間和準確率之間的關系，并設計出訓練時間與準確率的收益函數，使得推薦的收益得到最大化。本文的研究重點是如何從已有的用戶記錄中挖掘有效的信息，然而冷啟動問題是推薦系統中面臨的挑戰之一，因此在未來的研究中，如何對沒有用戶記錄或者存在較少用戶記錄的用戶完成推薦是研究的重要方向之一。