基于動態卷積概率矩陣分解的潛在群組推薦

王海艷 董茂偉

1(南京郵電大學計算機學院 南京 210023) 2(江蘇省無線傳感網高技術研究重點實驗室 南京 210003) 3 (江蘇省大數據安全與智能處理重點實驗室 南京 210023) (wanghy@njupt.edu.cn)

基于動態卷積概率矩陣分解的潛在群組推薦

王海艷1,2,3董茂偉1

1(南京郵電大學計算機學院 南京 210023)2(江蘇省無線傳感網高技術研究重點實驗室 南京 210003)3(江蘇省大數據安全與智能處理重點實驗室 南京 210023) (wanghy@njupt.edu.cn)

近年來，群組推薦由于其良好的實用價值得到了廣泛關注.然而，已有的群組推薦方法大多都是根據分析用戶對服務的評分矩陣直接將個體用戶的推薦結果或個體用戶偏好進行聚合，沒有綜合地考慮用戶-群組-服務這三者間的聯系，導致群組推薦效果欠佳.受潛在因子模型與狀態空間模型啟發，結合評分矩陣、服務描述文檔以及時間因素，共同分析用戶-群組-服務間的聯系，提出了一種基于動態卷積概率矩陣分解的群組推薦方法.該方法首先利用基于卷積神經網絡的文本表示方法獲取服務潛在特征模型的先驗分布；然后，將狀態空間模型與概率矩陣分解模型相結合，獲得用戶潛在偏好向量與服務特征向量；之后，對用戶偏好向量運用聚類算法來發現潛在的群組；最終，對群組中的用戶偏好采取均值策略融合成群組偏好向量，并與服務特征向量共同生成群組對服務的評分，實現群組推薦.通過在MovieLens數據集上與同類方法進行對比實驗，發現所提方法的推薦有效性與精確性上更具有優勢.

卷積神經網絡；概率矩陣分解；狀態空間模型；聚類算法；群組推薦

隨著科學、技術和工程的迅猛發展，近20年來，在諸多領域(如交通旅游、健康醫護、互聯網和電子商務)都存在海量數據，“信息爆炸”現象日益嚴峻.據統計：2016年全球Wechat月活躍用戶數量已突破8億，2017年最新公布的天貓“雙十一購物狂歡節”產生2.78億個訂單.如何確保用戶在海量信息中快速獲取所需服務，有效解決“信息過載”問題成為了計算機學術界與產業界的一個熱點研究問題.個性化推薦系統作為主動為用戶推送信息的一類解決方案，是目前緩解這一問題較為成功的工具之一.

然而，傳統的服務推薦系統(如基于協同過濾技術的推薦系統)普遍側重于向單個用戶進行推薦，但在現實生活的許多場景中，用戶是以群組形式出現的，例如出行旅游、網上團購、飯店點餐等[1].此外，在一些特殊的應用場景如移動IPTV推送服務，由于帶寬等各種各校因素的限制，需要通過臨時生成隨機群組，降低通訊開銷，才能更加有效地實現服務推薦的功能[2].面向群組的推薦研究受到越來越多的關注[3].現有的群組推薦方法大多都是根據用戶對服務的評分信息簡單地將個體用戶的推薦結果或個體用戶偏好進行聚合，從而實現群組推薦，較少關注到時間因素對推薦結果的影響.這類方法在實際應用中是不合理的，因為用戶的偏好程度很有可能隨時間推移發生改變；此外，盡管服務的一些描述信息并不能直接揭示用戶、群組、服務間的潛在聯系，但這些附屬信息對于充分挖掘三者間的關系，提升推薦結果的準確度有很大幫助，而這類附屬信息卻很少在群組推薦中被關注.

針對上述問題，我們結合服務描述文檔、用戶配置文件以及時間因素，深入挖掘用戶-群組-服務三者間的潛在聯系，提出一種融合卷積神經網絡的動態概率矩陣分解模型(dynamic probabilistic matrix factorization model integrated with convolutional neural network, DPMFM-CNN)，并將DPMFM-CNN融合到群組推薦框架，提出了潛在群組推薦方法(latent group recommendation, LGR)，主要工作有：

1) 將卷積神經網絡(convolutional neural network, CNN)的文本表示方法融合到潛在因子模型中，提出基于CNN的服務特征模型，使得服務描述文檔可以約束服務特征模型的生成.

2) 將狀態空間模型融合到潛在因子模型中，提出基于狀態空間模型的動態概率矩陣分解模型(dynamic probabilistic matrix factorization model, DPMFM)，以此發現用戶與服務的潛在關系.

3) 運用多種聚類算法來發現用戶偏好空間中的潛在群組，結合均值策略對群組偏好進行融合，根據群組偏好來預測群組對服務的評分，提出一種潛在群組推薦方法LGR，實現群組推薦.

4) 在MovieLens1M數據集上對所提出的方法進行測試，并與現有的群組推薦方法進行對比，驗證我們方法的有效性與精確性，同時，我們分析了影響LGR群組推薦性能的重要參數.

1 相關工作

本節將介紹群組推薦相關的研究成果，以及基于卷積神經網絡的文本表示方法.

1.1群組推薦

群組推薦研究是建立在個性化推薦系統基礎上的，它們將個性化推薦方法獲得的輸出，采用一定的群組模型融合為群組推薦結果.根據融合對象的不同，群組推薦方法一般分為2類：1)基于個體推薦模型的融合；2)基于個體推薦結果的融合.前者先將組內用戶的偏好聚合為群組偏好，再向用戶推薦偏好服務；后者先獲取群組每個個體用戶個性化服務列表，再將推薦列表進行聚合后推送給組內用戶.Baltrunas等人[4]將個體用戶的推薦列表聚合成群組推薦列表，指出當個體推薦效果不佳時，群組推薦列表更加有效，此外，組內用戶偏好越接近，群組推薦效果越好.Boratto等人[5]通過用戶-項目評分矩陣建立用戶相關性網絡，用特定的聚類算法將相似用戶聚類為群組，然后采用均值策略融合用戶偏好為群組偏好，從而進行群組推薦.Feng等人[2]結合概率主題模型，更加綜合地去分析項目特征與用戶偏好，運用重啟隨機游走算法分析用戶與群組的關系，采用一定的策略將組內用戶偏好融合成群組偏好，進行群組推薦.Boratto等人[6]提出了一種解決群組發現過程中因聚類數據稀疏的而導致維度災難的群組推薦方法Predict&Cluster，該方法通過傳統的協同過濾方法預測用戶的評分矩陣的缺失項，對預測補全后的評分矩陣采用K-means方法進行聚類得到潛在群組，并將群組內所有用戶評分采用均值策略融合為群組對項目的評分.Zeng等人[7]基于矩陣因子模型，提出了并行化的潛在群組模型PLGM，該方法運用矩陣分解方法獲取用戶的潛在因素偏好，通過K-means算法將鄰近用戶聚合為群組，采取均值策略將用戶偏好聚合為群體偏好，通過擬合群組對服務評分進行群組推薦.

1.2基于卷積神經網絡的文本表示

卷積神經網絡[8](CNN)是前饋神經網絡的一種，除了輸入層與輸出層，其所包括的基本結構有2種：卷積層進行特征提取；池化層進行特征映射.兩者按照先卷積再池化的成對順序出現.它早期被用來進行模式分類，在計算機視覺鄰域得到了廣泛的應用.

近年來，得益于詞向量工作的成果[9-10]，一些學者將CNN靈活地運用到了自然語言處理.Shen等人[11]提出了一種基于CNN的語義表示的信息檢索方法，將需要查詢的目標語句與文檔表示為向量，經過該方法處理后的語句將被表示成一個向量，擁有相似語義的向量在向量空間中位置相近，以此對用戶的查詢語句做出快速的反饋.He等人[12]提出了一種基于CNN的多角度句子語義相似度建模的方法，該方法使用詞向量將句子表示成矩陣作為輸入，卷積后采用不同的池化方法進行池化，以此達到多角度獲取句子特征，將句子表示為向量后進行相似度比較.Kim等人[13]在word2vec[9]的工作基礎上，提出了一種基于單隱層CNN的句子分類方法，并且該方法使用多通道的思想，設置多組不同卷積窗口，靈活地獲取句子多種上下文特征，將文本表示成向量之后再進行分類.

我們將對Kim等人的工作進行改進，使其可以融合到群組推薦系統中去，幫助提高推薦的精確度.

2 基于DPMFM-CNN的潛在群組推薦方法LGR

本節首先基于CNN的文本表示方法、狀態空間模型與概率矩陣分解模型，提出動態卷積概率矩陣分解模型(DPMFM-CNN)；然后提出一種基于DPMFM-CNN的潛在群組推薦方法(LGR).

2.1動態卷積概率矩陣分解模型

動態卷積概率矩陣分解模型(DPMFM-CNN)的生成模型的圖模型如圖1所示，其中，Ut為用戶偏好矩陣，V為服務特征矩陣，Rt為評分矩陣，θ為服務文檔特征矩陣，W為CNN的模型參數，X為服務描述文檔集.首先，我們給出CNN服務特征模型怎樣將服務描述文檔表示服務特征向量(右側部分)的方法，然后給出CNN服務特征模型結合DPMFM模型(左側部分)生成的DPMFM-CNN模型，最后給出DPMFM-CNN模型的參數學習方法.

Fig. 1 DPMFM-CNN model圖1 DPMFM-CNN模型

2.1.1 CNN服務特征模型

CNN服務特征模型的作用與CTR[14]中服務特征模型類似，結合Kim等人[13]的句子分類方法將服務描述文檔表示為服務特征分布向量，并作為DPMFM-CNN中服務特征元素生成的條件概率，提高整個預測模型的精度.CNN服務特征模型如圖2所示，整個CNN服務特征模型總共4層：Embedding層、卷積層、池化層和輸出層.

Fig. 2 CNN service feature model圖2 CNN服務特征模型

1) Embedding層

Embedding層的任務是將服務描述文檔轉換為一個由詞向量組成的服務描述文檔矩陣.第j個服務描述文檔可以看做是由nj個詞組成的句子，詞向量可以對服務描述語料庫使用word2vec[9]或glove[10]等工具訓練隨機初始化的詞向量獲得，也可以使用它們預先訓練好的詞向量表進行查表獲取，未出現在表中的詞向量先隨機初始化，然后進行訓練獲得.經過Embedding層的處理，文檔就可以用帶順序的單詞向量構成的矩陣表示為

(1)

其中，j∈[1,M]，nj為第j個服務描述文檔的總詞數，wi∈K×1，Kw是詞量化維數.

2) 卷積層

卷積層的任務是提取出服務描述矩陣的上下文特征.我們采用[13]中的卷積架構對Xj進行文檔的上下文特征提取.假設第l個卷積窗口大小為wsl，意味著每一個上下文特征由連續的wsl個詞中提取，提取通過過濾這個窗口的權值矩陣Wl∈ws×K與其偏置項bl∈卷積進行.提取的卷積映射屬性值是通過卷積窗口對Xj在第i步時窗口內的內容K×ws進行卷積提取出的，i∈[1,nj-wsl+1]，其生成過程如下：

(2)

其中，?為卷積操作符，f是一個非線性激活函數，常用的有sigmoid，tanh以及ReLU，我們使用ReLU，相比于其他函數，它可以避免梯度缺失導致收斂速度過慢或者局部最值問題.

這樣由文檔矩陣Xj經過第l個卷積窗口提取出的全部卷積映射屬性值構成的卷積映射屬性向量可以表示為

(3)

然而，一個卷積窗口中的權值矩陣Wl與其偏置項bl只能提取一種形式的卷積映射屬性向量，采用文獻[13]中的多通道方法，設置多組不同的卷積窗口，這里的不同包括窗口大小wsl或者權值矩陣Wl與其偏置項bl.這樣就可以提取不同形式的卷積映射屬性向量，這里l∈[1,NW]，NW為卷積窗口的個數.

3) 池化層

(4)

到這層，第j個服務描述文檔可以被表示為維度為NW的服務上下文特征向量cj.

4) 輸出層

輸出層的任務是將長度為NW的服務上下文特征向量cj映射到K維空間中去.為了防止過擬合，首先為模型添加Dropout層，令dj為Dropout層的輸出，則：

dj=tanh(Wdropout·(cj·rdropout)+bdropout)，

(5)其中，Wdropout∈K×N為非線性映射矩陣，bdropout∈K×1為偏置向量，Kdropout為Dropout后的向量維度，rdropout∈丟棄控制向量，rdropout中每一個元素rp～Bernoulli(Dropoutrate)，p∈[1,Kdropout].從維度為Kdropout的向量dj映射到維度為K的服務特征向量θj，常用的方法是進行非線性映射，整個映射過程如下：

θj=tanh(Wθ·dj+bθ)，

(6)

其中，Wθ∈K×K是映射矩陣，bθ∈K×1是它的偏置向量.

CNN服務特征模型完成了從服務描述文檔Xj到服務特征向量θj的轉換，整個θj的生成過程可以看成函數：θj=fCNN(W,Xj).這樣θj就可以作為DPMFM-CNN的服務特征向量vj生成的條件概率，轉換公式為

vj=θj+ε，

(7)

(8)

整個CNN服務特征模型的條件概率為

(9)

2.1.2 DPMFM-CNN的生成模型

DPMFM-CNN在除了將CNN服務特征模型融入PMF[15-16]，還引入時間信息分析用戶偏好，時間信息是學習用戶偏好演變的一個重要因素.直接使用物理時間點對用戶的偏好進行分析,無論從計算量還是反饋信息數量都不切實際.因此，將時間離散化的工作必不可少，一種直接的方法就是將時間窗口化，窗口的大小可以運用領域知識設定，如周、月、年等，也可以根據用戶產生數據量的流量進行自適應.在引入時間窗口后，我們就可以分析用戶在不同窗口下的偏好了.

(10)

我們運用高斯時間序列模型作為生成DPMFM模型中用戶偏好的動態部分的先驗概率.根據式(10)，用戶i在t時間段的偏好向量的第k個元素uik,t可以這樣生成：

(11)

其中，k∈[1,K]，K為潛在特征的維數.

對于DPMFM-CNN中用戶偏好模型的靜態部分，實際上指用戶的全局偏好，我們直接采用用戶在全部時段的數據來學習全局偏好，工作類似動態部分，唯一不同在于其生成的先驗概率為

(12)

根據上面的工作，用戶動態偏好的生成概率模型Ut的條件概率

(13)

用戶i在時間段t內對服務j的評分的相對期望rij,t可以通過用戶動態偏好向量與服務特征向量內積生成，且誤差服從均值為0，方差σ2的高斯分布：

(14)

因此整個時間段t內的評分矩陣Rt生成模型的條件概率為

(15)

其中，I為指示矩陣，表示用戶與服務是否有評分交互，若Rij>0，Iij=1，否則Iij=0.

2.1.3 參數學習

參數學習的過程就是使生成模型可以很好地解釋已觀察的評分數據的過程，我們使用最大后驗(MAP)估計[15]模型中的參數用戶動態偏好模型Ut、服務特征模型V，其最大后驗概率的對數表達為

(16)

將式(16)進行處理后會得到一個關于Ut，V，W的函數，并作為損失函數：

(17)

用最優化方法求解，以此獲得用戶動態偏好模型Ut、服務特征模型V.這里，我們采用SGD[18]方法來增量學習模型參數.因此，當前模型進行訓練的每一個樣本(i，j，rij,t)相關的損失函數可以簡化為

(18)

DPMFM-CNN的用戶動態偏好模型Ut，服務特征模型V的參數學習算法步驟是：

1) 初始化λU，λV，η，Itermax，Cendure，Ut←Ut-1，V←θ，W；

2) 輸入(i，j，rij,t)∈Rt，X;

3) 更新ui,t與vj：

4) 輸出Ut∈K×N和V∈K×N.

其中，λU與λV為正則項系數，K為潛在特征維數，η為學習率，Itermax為最大迭代次數，Cendure與C分別為允許的誤差回退次數與誤差回退次數.

不同于更新用戶動態偏好模型Ut與服務特征模型V，W是與CNN模型中每一層相關的參數，包括：每個卷積窗口的權值矩陣Wl與其偏置項bl，以及非線性映射的權值矩陣Wdropout,Wθ與偏置向量bdropout,bθ.這里我們采用反向傳播算法訓練模型參數，并將

(19)

看作是W的帶l2正則項的損失函數,其中，θj=fCNN(W,Xj)，j∈[1,M].

2.2基于DPMFM-CNN的潛在群組推薦框架

在2.1節中，我們已經通過DPMFM-CNN模型獲取到了用戶的動態與靜態偏好，與其他基于個體推薦模型融合的群組推薦方法PLGM[7]類似，我們將采用多種聚類算法對DPMFM-CNN的輸出的用戶偏好向量進行聚類，以此來發現用戶集中的潛在群組，結合均值策略進行群組偏好融合，提出一種潛在群組推薦方法(LGR)，其結構如圖3所示.

Fig. 3 Structure of latent group recommendation圖3 潛在群組推薦結構

整個群組推薦過程主要分為3步，由上到下分別為潛在群組發現、群組偏好融合和群組評分預測.

2.2.1 潛在群組發現

群組可以被認為是對服務有相似特征偏好的用戶集合，而從個體用戶到群組的過程，我們認為是一個聚類任務.我們將采用4種適合于我們的聚類算法進行潛在群組發現：

1)K-means[19].K-means基本思想是以空間中k個點為中心進行聚類，對最靠近他們的對象歸類.通過迭代的方法，逐次更新各聚類中心的值，直至得到最好的聚類結果.

2)K-means++[19].K-means++算法是K-means的演化算法，不同于K-means算法的是，初始中心點不再隨機，而是符合一定原則，基本原則是使得各個種子點之間的距離盡可能的大，但是又得排除噪聲的影響.

3) Birch[20].Birch算法是層次聚類算法之一，基本思想主要是引入了聚類特征(clustering feature, CF)和聚類特征樹(CF Tree)，首先通過其他的聚類方法將其聚類成小的簇，然后再在簇間采用CF聚類特征對簇聚類.

4) AffinityPropagation[21].該算法的基本思想是將全部樣本看作網絡的節點，然后通過網絡中各條邊的消息傳遞，計算出各樣本的聚類中心.聚類過程中，共有2種消息在各節點間傳遞，分別是吸引度(responsibility)和歸屬度(availability).聚類的結果取決于樣本間的相似性大小和消息傳遞.

希望通過不同聚類方法對群組推薦的性能表現的對比，找出最適合于發現用戶偏好向量空間中具有內在相似性的用戶集合的聚類方法來發現潛在群組.

2.2.2 群組偏好融合

通過發現用戶間的內在聯系并將用戶聚類為群組之后，一個重要的工作就是將群組內用戶的偏好融合為群組偏好.均值策略[22]被認為是大規模數據環境下產生群組偏好最精確的融合策略，我們將采用均值策略進行群組偏好

2.2.3 群組評分預測

在獲得用戶的群組歸屬后，將群組的偏好向量與服務特征向量進行內積，擬合群組對服務的評分.不同于傳統個體用戶評分的擬合，這里的群組評分的擬合是群組中具有內在相似性用戶的共性偏好與服務特征向量擬合的結果，整個用戶對服務的擬合評分為

(21)

3 實驗與分析

為了驗證LGR的有效性與準確性，我們首先介紹整個實驗的實驗準備，然后展示實驗結果并對其進行分析.

3.1實驗準備

本節主要對數據集、實驗環境與具體設置、對比方法與評價指標這3個方面進行敘述.

3.1.1 數據集

為了說明我們提出的基于LGR的群組推薦方法的有效性與準確性，我們選取了公開的真實數據集MovieLens1M作為實驗數據集，此數據集主要包括用戶的顯式評分相關的信息.由于MovieLens1M數據集并不包括電影的描述文檔，因此，我們將對MovieLens1M數據集中的電影描述信息進行補充，根據MovieLens1M中每部電影名到IMDB中的獲取其關聯信息，并將每部電影的總結作為電影的描述文檔.

類似CTR[14]中對數據的預處理工作，數據預處理主要步驟如下：1)去除沒有描述文檔的電影記錄；2)去除評分次數少于3次的用戶信息；3)設置最大描述文檔長度為300；4)計算每個詞的tf-idf，去除停頓詞(tf-idf得分大于0.5)；5)選取剩余詞中tf-idf得分前8 000個單詞作為詞匯表；6)將描述文檔中不在詞匯表中的單詞移除.盡管MovieLens1M數據集的一些記錄被移除，但并沒有對原始數據集的稀疏度產生明顯改變.

預處理后的MovieLens1M數據集的數據統計信息如表1所示:

Table 1 Data Statistics of the MovieLens1M Data SetAfter Preprocessing

3.1.2 實驗環境與具體設置

實驗環境是CPU為Intel酷睿i7 6700HQ處理器，GPU為Nvidia GTX960M獨立顯卡，內存8 GB，系統為Ubuntu 16.04 LTS.

為了實現DPMFM-CNN，我們主要用python及其一種深度學習框架keras與科學運算庫numpy、scipy實現.LGR的聚類算法采用python機器學習庫sklearn中的聚類算法.

為了分析時間信息對用戶偏好模型的影響，我們對數據集做設置：將MovieLens1M數據集前80%的數據分別按半年為時間窗口分段作為訓練集，將最后20%的數據作為測試集.

為了訓練CNN的參數W，我們使用基于mini-batch的RMSprop方法，并且使每一個mini-batch包括128條數據.更具體地做了設置：1)服務描述文檔最大長度設置為300；2)每一個詞向量的維度設置為200，并且采用glove[10]預訓練結果作為詞向量的初始化輸入；3)設置3組不同寬度的卷積窗口(寬度分別為3，4和5)；4)每一種寬度的卷積窗口在卷積層的個數都設置為100；5)經過多次實驗的調試，設置Dropoutrate=0.2.

3.1.3 對比方法與評價指標

我們將在預處理后的MovieLens1M數據集上與2個基準方法進行對比.

1) Predict&Cluster[6]方法通過傳統的協同過濾方法預測用戶的評分矩陣的缺失項，對預測補全后的評分矩陣采用K-means方法進行聚類得到潛在群組，并將群組內所有用戶評分采用均值策略融合為群組對項目的評分.

2) PLGM[7]方法通過潛在因子模型獲取用戶隱式偏好，對用戶隱式偏好采用K-means方法進行聚類得到潛在群組，并將群組內所有用戶偏好采用均值策略融合為群組偏好，最終通過潛在因子模型預測群組對項目評分.

我們選取了均方根誤差(root mean squared error,RMSE)來對群組推薦結果的精確性進行分析.其在群組推薦場景下的表達形式為：

(22)

3.2實驗結果與分析

本節將會從2個方向對實驗結果進行分析：首先在對比實驗結果中分析基于DPMFM-CNN的LGR的精確性與有效性；然后分析模型中影響推薦方法性能的主要參數.

3.2.1 精確性與有效性分析

首先給出LGR與所有預采用的聚類方法在用戶偏好擬合系數γ=0.6、正則化系數λU=100與λV=10、潛在特征維數K=50、詞向量維數Kw=200、偏好融合策略為均值策略、群組數量Ng=1,20，50，200，500，6 040所展示的RMSE值.LGR隨群組數量變化的RMSE值如表2所示.

通過實驗結果發現，K-means++算法在LGR推薦結果中的精度較其他算法有著一定的優勢，因此，我們也將選取它作為LGR中潛在群組發現算法，并與基準方法進行對比.

Table 2 RMSE of LGR in Different Group Size表2 LGR在不同群組數量的RMSE值

Predict&Cluster,PLGM以及LGR在MovieLens1M數據集上的RMSE隨群組數量Ng變化的效果對比如圖4所示:

Fig. 4 RMSE in three methods (K=50,Average Strategy)圖4 K=50時3種方法均值策略的RMSE

從圖4中可以發現，LGR不僅在個體推薦情景下的推薦準確度明顯高于Predict&Cluster與PLGM，在群組推薦場景下，也具有一定優勢.相對于Predict&Cluster，LGR的精度具有著較大優勢，這是因為Predict&Cluster聚合的是個體推薦結果，這些預測的推薦結果維度較大，偏好分布不明顯.在與同樣是融合個體偏好模型的PLGM的對比過程中，當群組數目Ng≤50時，LGR的精度以微弱的劣勢略遜于PLGM，但總體精度上依然存在著一定的優勢.

3.2.2 影響推薦方法性能的主要參數分析

根據3.2.1節各聚類算法對LGR的性能表現的對比，選取群組個數Ng=500，并在上述設置的基礎上分析用戶偏好擬合系數γ、正則化系數λU與λV、潛在特征維數K、詞向量維數的變化對RMSE值的影響，在展示一個影響因素的變化趨勢時，其他參數為最佳設置.

1) 用戶偏好擬合系數γ.設置γ=0，0.1，0.2，…，1，觀察其變化對RMSE值的影響如圖5所示:

Fig. 5 RMSE in different γ圖5 不同γ下的RMSE

2) 正則化系數λU與λV.設置了λU=1，10，100，1 000、λV=1，10，100，1 000，觀察其變化對RMSE值的影響如圖6所示:

Fig. 6 RMSE in different λU and λV圖6 不同λU與λV下的RMSE

3) 潛在特征維數K.設置K=10,20,50,100，觀察其變化對RMSE值的影響如圖7所示.

Fig. 7 RMSE in different K圖7 不同K下的RMSE

4) 詞向量維數Kw.設置Kw=100,200,300，觀察其變化對RMSE值的影響如圖8所示.

Fig. 8 RMSE in different Kw圖8 不同Kw下的RMSE

通過實驗結果可以發現，潛在特征維數K與詞向量維數Kw在到達一定的數值以后對RMSE值幾乎沒有影響，用戶偏好擬合系數γ取值在0.5～0.7時RMSE有最小值，正則化系數λU與λV分別為100與10時RMSE出現最小值.根據分析得出：我們采用的最佳設置為γ=0.6，λU=100,λV=10，K=50,Kw=200.

4 總 結

我們提出了一種基于動態卷積概率矩陣分解模型(DPMFM-CNN)，以及將其融合于群組推薦框架的的潛在群組推薦方法(LGR).DPMFM-CNN模型結合服務描述文檔、用戶配置文件以及時間因素，綜合的分析了用戶的靜態與動態偏好；LGR通過聚類用戶偏好，采用多種聚類算法發現用戶集合中的潛在群組，并采取均值策略進行群組偏好融合，完成群組對服務評分的任務.

目前，我們的工作主要關注用戶的顯式評分數據，而這類數據并不是所有場景都可以獲得的，相比于用戶的顯式數據，用戶的隱式反饋如：點擊、評論、轉發等行為更為容易收集.因此運用用戶隱式反饋數據分析用戶興趣將是一個值得關注的方向.此外，用戶的興趣遷移可以通過時間直觀地反映出.然而，在這背后可能潛藏著更多的影響因素如：地點、天氣、交通、節假日等，因此，將用戶的表示擴展到更高維度來分析用戶的偏好也是一個值得進一步探討的研究點.

[1] Zhuang Yujie, Du Yulu. Research on group recommendation system and their application[J]. Chinese Journal of Computers, 2016, 39(4): 745-764 (in Chinese)(張玉潔, 杜雨露. 組推薦系統及其應用與研究[J]. 計算機學報, 2016, 39(4): 745-764)

[2] Feng Shanshan, Cao Jian, Wang Jie, et al. Group recommendations based on comprehensive latent relationship discovery[C] //Proc of IEEE Int on Web Services (ICWS 2016). Piscataway, NJ: IEEE, 2016: 9-16

[3] Boratto L. Group recommender systems[C] //Proc of ACM Confon Recommender Systems (RecSys 2016). New York: ACM, 2016: 427-428

[4] Baltrunas L, Makcinskas T, Ricci F. Group recommendations with rank aggregation and collaborative filtering[C] //Proc of ACM Confon Recommender Systems (RecSys 2010). New York: ACM, 2010: 119-126

[5] Boratto L, Carta S, Chessa A, et al. Group recommendation with automatic identification of users communities[C] // Proc of 2009 IEEE/wic/ACM Int Joint Conf on Web Intelligence and Intelligent Agent Technologies. Piscataway, NJ: IEEE, 2009: 547-550

[6] Boratto L, Carta S. Using collaborative filtering to overcome the curse of dimensionality when clustering users in a group recommender system[C] //Proc of the 16th Int Conf on Enterprise Information Systems (ICEIS 2014). Setubal: Scitepress, 2014: 564-572

[7] Zeng Xuelin, Wu Bin, Shi Jing, et al. Parallelization of latent group model for group recommendation algorithm[C] //Proc of the 1st 2016 IEEE Int Conf on Data Science in Cyberspace (DSC 2016). Piscataway, NJ: IEEE, 2016: 80-89

[8] Lecun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015, 521(7553): 436-444

[9] Mikolov T, Sutskever I, Chen Kai, et al. Distributed representations of words and phrases and their compositionality[C] //Proc of Neural Information Processing Systems (NIPS 2013). Cambridge, MA: MIT Press, 2013: 3111-3119

[10] Pennington J, Socher R, Manning C. Glove: Global vectors for word representation[C] //Proc of Conf on Empirical Methods in Natural Language Processing (EMNLP 2014). New York: ACM, 2014: 1532-1543

[11] Shen Yelong, He Xiaodong, Gao Jianfeng, et al. Learning semantic representations using convolutional neural networks for Web search[C] //Proc of the 23rd Int Conf on World Wide Web (WWW 2014). New York: ACM, 2014: 373-374

[12] He Hua, Gimpel K, Lin J. Multi-perspective sentence similarity modeling with convolutional neural networks[C] //Proc of Conf on Empirical Methods in Natural Language Processing (EMNLP 2015). Stroudsburg, PA: ACL, 2015: 1576-1586

[13] Kim Y. Convolutional neural networks for sentence classification[C] //Proc of the 2014 Confon Empirical Methods in Natural Language Processing (EMNLP 2014). Stroudsburg, PA: ACL, 2014: 1474-1480

[14] Wang C, Blei D M. Collaborative topic modeling for recommending scientific articles[C] //Proc of ACM SIGKDD Int Conf on Knowledge Discovery and Data Mining (SIGKDD 2011). New York: ACM, 2011: 448-456

[15] Salakhutdinov R, Mnih A. Probabilistic matrix factorization[C] //Proc of the 20th Int Conf on Neural Information Processing Systems (NIPS 2007). Cambridge, MA: MIT Press, 2007: 880-887

[16] Zhang Wei, Han Linyu, Zhang Dianlei, et al. GeoPMF: A distance-aware tour recommendation model[J]. Journal of Computer Research and Development, 2017, 54(2): 405-414 (in Chinese)(張偉, 韓林玉, 張佃磊, 等. GeoPMF: 距離敏感的旅游推薦模型[J]. 計算機研究與發展, 2017, 54(2): 405-414)

[17] Roweis S, Ghahramani Z. A unifying review of linear gaussian models[J]. Neural Computation, 1999, 11(2): 305-345

[18] Guang Ling, Yang Haiqin, Irwin K, et al. Online learning for collaborative filtering[C] //Proc of the 2012 Int Joint

Conf on Neural Networks (IJCNN 2012). Piscataway, NJ: IEEE, 2012, 20: 1-8

[19] Arthur D, Vassilvitskii S.k-means++: The advantages of careful seeding[C] //Proc of the 18th Annual ACM-SIAM Symp on Discrete Algorithms (SODA 2007). Philadelphia, PA: SIAM, 2007: 1027-1035

[20] Zhang Tian, Ramakrishnan R, Livny M. BIRCH: An efficient data clustering method for very large databases[J]. AcmSigmod Record, 1996, 25(2): 103-114

[21] Frey B J, Dueck D. Clustering by passing messages between data points[J]. Science, 2007, 315(5814): 972-976

[22] Boratto L, Carta S. Modeling the preferences of a group of users detected by clustring: A group recommendation case-study[C] //Proc of Int Conf on Web Intelligence, Mining and Semantics (WIMS 2014). New York: ACM, 2014

LatentGroupRecommendationBasedonDynamicProbabilisticMatrixFactorizationModelIntegratedwithCNN

Wang Haiyan1,2,3and Dong Maowei1

1(SchoolofComputerScience,NanjingUniversityofPostsandTelecommunications,Nanjing210023)2(JiangsuHighTechnologyResearchKeyLaboratoryforWirelessSensorNetworks,Nanjing210003)3(JiangsuKeyLaboratoryofBigDataSecurity&IntelligenceProcessing,Nanjing210023)

Group recommendation has recently

great attention in the academic sector due to its significant utility in real applications. However, the available group recommendation methods mainly aggregate individual recommendation results or personal preferences directly based on an analysis of rating matrix. The relationship among users, groups, and services has not been taken into comprehensive consideration during group recommendation, which will interfere with the accuracy of recommendation results. Inspired by latent factor model and state space model, we propose a latent group recommendation (LGR) based on dynamic probabilistic matrix factorization model integrated with convolutional neural network (DPMFM-CNN), which comprehensively investigates rating matrix, service description documents and time factor and makes a joint analysis of the relationship among those three entities. The proposed LGR method firstly obtains a prior distribution for service latent factor model with the employment of text representation method based on convolutional neural network (CNN). Secondly, it integrates state space model with probabilistic matrix factorization model and draws user latent vector together with service latent vector. Thirdly, latent groups are detected through the use of multiple clustering algorithms on user latent vectors. Finally, group latent vectors are aggregated with average strategy and group rating can be generated. In addition, simulation on MovieLens is performed and comparison results demonstrate that LGR has better performance in efficiency and accuracy for group recommendation.

convolutional neural network; probabilistic matrix factorization; state space model; clustering algorithms; group recommendation

Wang Haiyan, born in 1974. PhD. Professor. Senior member of CCF. Her main research interests include service computing, trusted computing and big data intelligent processing technology.

Dong Maowei, born in 1993. Master candidate. His main research interests include service computing, deep learning (dongmaowei@gmail.com).

2017-05-23；

：2017-06-21

國家自然科學基金項目(61201163,61373138) This work was supported by the National Natural Science Foundation of China (61201163, 61373138).

TP181; TP183