結合地理和社交因素影響的興趣點推薦

畢 波

(馬鞍山師范高等專科學校，安徽 馬鞍山 243041)

0 引 言

近幾年來，具有簽到功能且基于位置的社交網絡，如Brightkite、Gowalla和Jiepang等，都運作失敗.失敗的主要原因之一是個性化服務的質量，盡管用戶能夠被推送他們朋友訪問喜歡的空間地點，但推薦的質量不足以滿足用戶的需求[1].這些地點稱為興趣點，可以包括餐館、博物館和商店.Foursquare是最早基于位置的社交網絡之一，最近推出一款名為Marsbot的新應用，向用戶推薦個性化興趣點.Marsbot可以在任何給定地點自動推薦首選的個性化興趣點.Foursquare不僅能讓用戶分享簽到體驗，還能為用戶提供個性化服務，尤其是基于位置的推薦.單純的簽到已經不能滿足用戶的需求.而孟祥福等[2]研究了位置興趣推薦所帶來的兩者與用戶之間的耦合問題，利用分類算法及關聯集成算法，在yelp數據集測試得到了良好的實驗結果.康來松等[3]提出了奇異值和因子等分解對異構數據的興趣點推薦算法改進，并且在Gowalla和Foursquare數據集測試得到了優化效果，未來可以為服務推薦等場景提供依據.因此，提供智能化且個性化的推薦，是基于位置的社交網絡成功的關鍵.

1 傳統興趣點推薦算法

個性化興趣點推薦的主要算法是協同過濾，依賴于用戶-個性化興趣點檢查.這種算法又可分為基于記憶的推薦算法和基于模型的推薦算法[4].

1.1 基于記憶的推薦算法

基于記憶的推薦算法包括基于用戶和基于項目的協同過濾.這些算法基于相似性或某種特定關系，通過聚合相似用戶或個性化興趣點的得分來預測目標用戶的偏好[5-7].個性化興趣點通常根據地理信息進行關聯.例如，Ye等[6]利用2個個性化興趣點之間距離的冪律分布來模擬個性興趣點之間的關系.Zhang等[7]估計核密度來探索個性化興趣點與二維地理坐標的關系.Sarwat等[5]應用基于項目的協同過濾計算項目的空間相似度，并考慮了距離懲罰.

1.2 基于模型的推薦算法

基于模型的推薦算法通過計算表示訪問不同個性化興趣點可能性的偏好，向用戶推薦某些個性化興趣點.這些偏好是通過推導出建立在整個數據集上的模型來計算的[8].基于模型算法的典型例子包括矩陣因子化和貝葉斯概率模型.矩陣因子化已經應用于融合地理信息和社會信息方面[9-11].Liu等[12]利用概率因子模型預測用戶對個性化興趣點的偏好，該模型融合了概率矩陣因子化和泊松因子模型.Yin等[13]提出了基于潛伏Dirichlet分配的用戶評分特征的概率生成模型.

無論是基于記憶還是基于模型的推薦算法，在協同過濾中都會給每個用戶和個性化的興趣點分配低層次的特征，因此，探索用戶偏好的深層特征和學習特征之間的高階交互是不可能的.深度學習是具有多層次表示的學習算法，通過組成簡單的非線性模塊獲得，將某個層次的表示轉化為更高且更抽象層次的表示.這種算法非常善于發現高維數據中的復雜結構，從簽到數據中發現有效的特征或表示是個性化的興趣點推薦的關鍵.因此，深度學習模型非常適用于發現內在的高級特征，這對個性化的興趣點推薦任務非常有用.

2 結合地理和社交因素影響的興趣點推薦算法

對于個性化興趣點推薦來說，用戶偏好最重要的信息是地理和社會影響因素[9-11].根據Tobler第一定律[12]，用戶簽到行為呈現出地理聚類的特點.例如，研究者利用模式分解對個性化興趣點之間的距離及對用戶簽到行為進行建模[13-15].Cheng等[10]發現用戶傾向于在幾個中心附近簽到，并將地理相似度建模為多中心高斯模型.Zhang等[7]通過估計內核密度來捕捉二維地理坐標.因此，本研究提出了深度學習模型來探索個性化興趣點之間的地理相似性.

關于社交影響的大量研究[16-17]表明，用戶行為受在線社交好友的影響很大.大多數研究從社交鏈接中得出相似性，并將其放入傳統的協作過濾器[18]中.與以往算法相比，此算法采用深度學習的方式來推導用戶之間的社交影響因素，并考慮社交好友的簽到數據.

與以往研究不同，此算法嘗試對地理相似性和社會影響進行建模，而不是時間和順序上下文.許多深度學習模型都可以使用，然而卷積神經網絡(Convolutional neural networks,CNN)被設計為處理多個數組形式的數據，最好使用循環神經網絡(Recurrent neural networks,RNN)和門控循環單元(Gate recurrent unit,GRU)對順序上下文進行建模[19].上述模型都利用了監督學習進行訓練，但是人類的學習基本上是無監督的，因此此算法使用無監督深度學習的算法.

2.1 結合地理和社交因素的特征設計

在傳統的推薦任務中，偏好可以通過評分來明確獲得，但此算法沒有明確的評分數據，只有訪問個性化興趣點的用戶簽到數據[20].此外，不同類別的簽到頻率尺度也不具有可比性.顯然,單憑簽到頻率數據不能完全代表用戶對個性化興趣點的偏好程度.詞頻-逆文檔頻率(Term frequency-inverse document frequency,TF-IDF)是當今信息檢索及文本挖掘系統中最常用加權技術之一[21].根據TF-IDF的設計，c類對于用戶簽到的重要性也同樣可以設計為：

(1)

式中，Nik是用戶i簽入的屬于類別k的不同個性化興趣點的數量，而所有類別都在集合Cat中.Nuser為用戶總數，Nc為已打卡屬于c類興趣點的用戶數.βic由兩部分的乘積計算而來：左邊部分代表c類在用戶i的簽到中的頻率，右邊部分表示c類在所有用戶簽到中的稀有度.因此，該產品可以衡量類別c在用戶i的簽到中的重要性.例如，如果c在用戶i中的出現頻率較高，而在其他用戶中較為罕見，那么c對于用戶i來說更為重要.

眾所周知，簽到次數遵循高度偏態分布，所以對數轉換是文獻中的標準作法[22].因此，結合以上所有內容，可以得出特定用戶i及其對位置j的偏好變換：

(2)

基于文獻[15]中的數據可知，興趣點之間的距離與簽到頻率的關系大致遵循冪律分布.大多數用戶的朋友數量少于10個，但盡管大多數用戶的朋友數量相對較少，但與朋友共同簽到的比例明顯高于與陌生人簽到的比例.因此，社會影響力對用戶的簽到行為有一定的影響，在個性化興趣點推薦任務中應被考慮到.

本研究使用冪律分布來計算個性化興趣點之間的地理相似性：

s=α×Dβ

(3)

式中，α和β為冪律分布的參數，D為同一用戶訪問的個性化興趣點之間的距離，s指個性化興趣點之間的地理相似度.用戶的簽到行為受到其移動性的影響，移動性用所訪問的個性化興趣點的地理分布來表示.

2.2 基于半限制性玻爾茲曼機的深度學習模型

本研究提出的深度學習模型不僅要考慮地理和社會影響因素，還要發現隱性因素特征，比如偏好.整體框架有4部分，如圖1所示.首先，從用戶個性化興趣點的簽到歷史中得出用戶對個性化興趣點的偏好.其次，利用半限制性玻爾茲曼機對個性化興趣點的地理相似性進行建模，而用限制性玻爾茲曼機對用戶在個性化興趣點的偏好進行建模.基于半限制性玻爾茲曼機和限制性玻爾茲曼機來逐層構建多層結構.具體來說，第1層由半限制性玻爾茲曼機組成，表示個性化興趣點和它們之間的相似性.然后，利用限制性玻爾茲曼機來構建其余各層.需要注意的是，當前的限制性玻爾茲曼機的隱藏層是下層的限制性玻爾茲曼機的可見層.多層限制性玻爾茲曼機用于預訓練模型的參數.第三，將模型展開，產生基于半限制性玻爾茲曼機的深度自動編碼器.第四，基于用戶之間的社交鏈接，在模型中加入條件層，建立了深度學習模型.考慮到好友的簽到行為，本研究將社交影響融入到提出的深度模型中.

在深度學習中，學習表示和轉換輸入特征通常是無監督的任務.因此，本研究選擇了深度自動編碼器.受Salakhutdinov等[23]使用條件層獲取額外信息的啟發，本研究對朋友的簽到信息使用了條件層，并將其連接到第1個隱藏層，以學習更高層的特征.在深度自動編碼器中，輸入層和輸出層代表個性化興趣點.半限制性玻爾茲曼機捕獲了個性化興趣點之間的地理接近性，因此，它被連接到深度自動編碼器的第1層和最后層.

3 結合地理和社交因素影響的興趣點推薦算法實現

本研究在深度學習模型的預訓練過程中使用了半限制性玻爾茲曼機來模擬地理相似性[24].限制性玻爾茲曼機是層內無連接的二元連接圖，通常用于預訓練深度學習模型.與限制性玻爾茲曼機不同，半限制性玻爾茲曼機的可見單元之間是完全或部分連接.本研究中，半限制性玻爾茲曼機的可見單元代表個性化興趣點，可見單元之間的連接可以模擬個性化興趣點之間的地理相似性.半限制性玻爾茲曼機很少用于現有的工作中，由于可見單元之間存在聯系，卻適合于模擬個性化興趣點之間的地理近似性.

在此算法的模型中，每個半限制性玻爾茲曼機代表1個用戶，每個可見單元代表用戶訪問過的個性化興趣點.所有的半限制性玻爾茲曼機都有相同數量的隱藏單元，但每個用戶的可見單元數量不同，因為不同的用戶訪問過不同的個性化興趣點.然而，所有的半限制性玻爾茲曼機都共享相同的權重和偏差集.即，當數據被輸入到模型的可見單元時，每個用戶都有缺失值，因為用戶沒有檢查到一些個性化興趣點.本研究中，此算法沒有將缺失值設置為0，而是在所有計算中忽略這些值，而對于其余值，將更新連接的權重.

半限制性玻爾茲曼機不僅是此算法深度學習模型的組成部分，而且還用于預訓練此算法的模型[24].對于每個用戶，此算法可以獲得1個包含用戶訪問過的個性化興趣點簽到數據集合.

如圖2所示，基于半限制性玻爾茲曼機的自動編碼器是通過展開多層半限制性玻爾茲曼機和限制性玻爾茲曼機得到的.因此，第1層(輸入層)有可見單元之間的連接，最后層(輸出層)有代表個性化興趣點的隱藏單元之間的連接.此算法的自動編碼器中，第1層的可見輸入是個性化興趣點的偏好，輸出是模型預測的用戶對個性化興趣點的偏好.

由于通過傳統反向傳播訓練難于優化參數，預訓練程序[25]已經成為一種流行的初始化參數算法.此算法使用半限制性玻爾茲曼機和限制性玻爾茲曼機對自動編碼器進行預訓練.對于第1層(輸入層)，此算法使用半限制性玻爾茲曼機來預訓練相應的參數，但對于其余層，此算法使用限制性玻爾茲曼機來預訓練參數.對于每個限制性玻爾茲曼機，將上層的隱藏單元視為當前層的可見單元.

訓練過程使用鏈式規則的反向傳播算法，此外通過最小化平方誤差函數優化參數.具體來說，對于包含用戶訪問過的個性化興趣點集Lt的訓練案例t(用戶特定)，此算法將成本定義為總的瞬時方差函數：

(4)

式中，yi是輸入層中單位i的輸入值，oi?Output是輸出層中單位i的輸出值.

給定由N個訓練案例(用戶)組成的訓練集T，則此算法定義整體損失函數如下：

(5)

式(5)中的第1項是訓練案例的總誤差平均值，加入正則化項(即第2項)，以防止問題的過度擬合.

此算法的模型輸出了用戶對所有個性化興趣點的偏好.所有個性化興趣點都按總體偏好降序排列，其中前K個候選者被推薦給用戶.此外，即使用戶已經訪問了某個特定的個性化興趣點，基于位置的社交網絡仍然需要向用戶推薦該個性化興趣點，并通知用戶相關的折扣或促銷活動.因此，此算法模型考慮了所有個性化興趣點，包括在推薦之前用戶已經訪問過的個性化興趣點.

4 實驗結果與性能分析

本研究建立了3種模型進行對比，第1種模型為Semi-DAE，是去除社交層后的深度學習模型；第2種模型為CDAE，是具有社會影響力層但去除了半限制波爾曼層的深度學習模型，第3種模型為Semi-CDAE，綜合了地域相似性和社會影響力兩者.本研究比較了Semi-DAE、CDAE和Semi-CDAE在3個數據集上的推薦精度，以證明半限制性玻爾茲曼機層和社交層的有效性及模型管理額外隱含信息的能力.

實驗硬件平臺配置為：Intel Core i9-9900K CPU@3.60 GHz處理器；TITAN RTX型號GPU,32 GiB內存；64-bit Ubuntu 18.04操作系統.數據收集自基于位置的流行社交網絡Foursquare，其包括3個數據集：紐約、布魯克林與舊金山.基于位置的社交網絡提供了用戶對個性化興趣點的簽到次數及經緯度等地理信息，此外也提供了用戶直接的在線社交鏈接，這些鏈接是沒有加權的原始數據.

對于此3個數據集，Semi-CDAE的性能優于Semi-DAE.與CDAE相比，Semi-CDAE在3個數據集上的表現也要優越得多.實驗結果表明，該算法有效地處理了社會和地理因素的影響，提高了精度.

這些結果不僅證明了社會和地理因素實際影響到用戶訪問個性化興趣點的決定，而且也顯示了此算法在模擬這些影響和學習用戶偏好方面的潛力.

5 結 語

地理和社會影響對個性化興趣點推薦服務非常重要，社會影響是個性化興趣點建議的有效預測因子.從數據科學的角度，本研究提出了一種利用深度學習技術結合地理和社會影響信息的新算法.傳統的技術需要仔細的工程設計和扎實的領域專業知識來為每個因素設計特征提取器.

因此，幾乎不可能明確地包含個性化興趣點推薦的所有因素.然而，深度學習模型非常擅長自動發現內隱特征.本研究的實驗結果表明，深度學習模式在抽象的高水平上學習這些因素是非常有效的.因此，基于位置的社交網絡中，深度學習是一種更好的推薦選擇，特別是當存在多個未知特征時，因為它能夠隱式地發現特征.

本研究證明了在基于位置的社交網絡中使用半限制性玻爾茲曼機模型來模擬地理相似性的實用價值.實驗也表明，半限制性玻爾茲曼機模型和提出的Semi-CDAE算法能夠很好地學習地理相似性.這些模型最顯著的特點是在某些層中存在內部聯系，可以用來表示個性化興趣點之間的地理相似性.