基于需求預測的主動服務推薦方法

劉志中,張振興,海 燕,郭思慧,劉永利

(1.河南理工大學 計算機科學與技術學院,河南 焦作 454002; 2.華北水利水電大學 信息工程學院,鄭州 450045)

0 概述

隨著服務計算、云計算、邊緣計算以及移動計算等新型計算模式的快速發展,網絡上出現了大量跨網跨域的可用服務,同時無線網絡和智能終端的快速發展與普及,也使更多的用戶可以隨時隨地調用各個領域的服務來完成工作業務與生活事務。然而在海量服務為用戶帶來方便的同時,也導致了服務發現與服務選擇難題。此外,當前服務系統通常采用“請求-響應”被動式的服務模式來處理用戶的服務需求,該模式缺乏智能性與主動性,嚴重影響了服務資源的利用率與用戶體驗,不能滿足當前大數據與人工智能時代下用戶對服務應用的體驗要求。

針對當前被動服務模式存在的不足,研究者提出主動服務的思想[1-2],以使大規模用戶能夠更快捷地獲取到其迫切需要的服務。主動服務現已成為服務應用領域的研究熱點[3],其是一種運行于Web上的新型信息服務模式,可以解決服務信息過載以及用戶需求多變而帶來的服務可擴展性問題,在當前動態、互聯、智能的信息環境下,主動捕獲用戶的個性化服務需求,并為用戶提供滿足其個性化需求的服務[4-5]。以智慧養老服務為例,老人在發現服務、使用服務等方面比常人存在更多的困難,而主動服務模式則可以智能、實時地感知老人的需求,主動為老人推薦亟需使用并且最適合其自身情況的服務。因此,深入開展主動服務相關技術的研究,具有重要的理論意義與應用價值。

主動服務推薦是實現主動服務的主要技術之一[6-7]。目前,國內外學者針對服務推薦問題展開了大量的研究工作[8-10],其中部分基于協同過濾[7,11]、內容[8,12]或關聯規則[13-14]為用戶推薦服務,部分則基于服務質量(Quality of Service,QoS)預測為用戶推薦服務[10,15]。然而,當前的研究工作多數僅關注對服務模式的研究或基于QoS預測的服務推薦,忽略了服務推薦過程中用戶需求對服務推薦效果的影響,導致服務推薦的準確性較差。

針對上述問題,本文提出一種基于用戶需求預測的主動服務推薦方法。利用矩陣分解(Matrix Factorization,MF)算法從大量歷史服務使用數據中快速地提取用戶特征和服務特征,基于此訓練深度學習算法實現對用戶服務需求的精確預測,并根據所預測的服務需求選擇最合適的服務主動推薦給用戶。

1 相關工作

近年來,研究者針對主動服務開展了一系列的研究。文獻[16]提出一種在移動互聯網下基于情景感知的透明主動服務架構,利用傳感器設備對用戶所處情景信息進行收集并發送給云服務端,經過服務器端的服務選擇算法處理數據,最終返回給用戶一個合適的服務推薦列表。該文以智能手機代替傳感器設備,在云服務器端進行了模擬實驗,驗證了所設計架構的有效性。文獻[17]提出一種基于熟人模型與最小二乘支持向量機的主動服務選擇策略,利用最小二乘支持向量機預測隨機服務列表,并基于熟人模型進行服務分配。實驗結果表明,該服務選擇策略不僅縮短了通信時間,而且還減少了服務組合的執行時間,顯著提高了服務選擇的成功率。

文獻[4]在物聯網環境下對服務模式進行研究,通過應用模糊邏輯對服務資源進行等級劃分和評估,提出一種三級結構的主動服務資源選擇策略,并在模擬物聯網的分布式環境下,驗證其性能優于隨機策略。文獻[5]針對當前車聯網環境下被動服務模式帶來的誤報、延報等問題,設計一種多層次感知的主動行車服務模型,其中每一層次都作為一個智能體存在。實驗仿真驗證了該模型的主動性與高效性。

此外,文獻[18]設計了一種基于規則歸納推理的推薦機制來預測用戶需求,利用智能手機收集用戶的情景信息以及該情景下用戶的活動信息,并基于收集到的信息建立<時間,條件,行為>規則模型。近年來研究者嘗試引入新的方法和技術對主動服務進行創新和改進。文獻[19]提出一種將邊緣化去噪自動編碼器(mDA)與隱含因子模型相結合的混合推薦算法。通過利用mDA算法引入輔助信息來改善傳統CF模型的數據稀疏性,并在4個不同數據集上驗證了其性能的提升。文獻[20]將概率圖模型與深度信念網絡結合,提出一種在線音樂推薦方法。文獻[21]使用循環神經網絡提取文本數據的隱含特征以提升協同過濾算法的性能,并通過在2個不同稀疏程度的數據上驗證結果,證明了其顯著的性能優勢。文獻[22]將層疊降噪自動編碼器與隱含因子模型相結合,綜合考慮用戶評分信息和評論文本信息。在亞馬遜公開數據集上驗證結果表明,該混合推薦算法對評分預測的準確性高于傳統推薦模型。

上述工作分別從服務模式、服務架構等方面對服務推薦進行研究,但未從用戶需求預測的角度出發,缺乏對用戶需求的主動感知,導致服務推薦的主動性與準確性較低。因此,本文提出一種基于用戶需求預測的主動服務推薦方法,以彌補當前研究工作存在的不足。

2 基于矩陣分解與深度學習的服務需求預測

用戶需求預測是實現主動服務推薦的關鍵。在網絡服務平臺上,存在著大量關于用戶使用服務的數據,這些數據中隱藏著用戶和服務的重要特征,可以通過數據挖掘與機器學習方法來獲這些規則特征,從而預測用戶未來對不同類型服務的需求概率。用戶需求預測為實現主動的服務推薦提供了重要的信息支持。

基于用戶使用服務的歷史數據可以生成<用戶-服務>矩陣。然而,<用戶-服務>矩陣具有很強的數據稀疏性,嚴重影響了用戶服務需求預測的準確性。針對這一問題,本文采用隱語義模型的矩陣分解方法,從大量用戶使用服務的歷史數據中快速提取用戶特征和服務特征,形成用戶特征矩陣和服務特征矩陣,從而有效解決數據稀疏性問題。在此基礎上,利用用戶特征矩陣與服務特征矩陣訓練深度學習模型并完成對用戶需求的預測。本文方法流程如圖1所示。圖中實線部分是對用戶需求的正向預測,虛線部分則是利用預測值與真實值的誤差反向訓練用戶需求預測模型。

圖1 本文方法流程

本文方法能夠彌補矩陣分解方法在特征提取方面的不足,其具有以下特點:

1)從用戶與服務的交互矩陣中提取每個用戶與服務的向量,用戶向量能夠表征用戶與所有服務的不同映射關系。

2)服務向量能夠表征服務與所有用戶的不同關系映射。

3)利用深度神經網絡高效的特征提取能力,通過3個隱層不斷向上的特征抽取,獲得具有高表征能力的用戶向量和服務向量表示。

2.1 基于矩陣分解的特征提取

矩陣分解(MF)是一種高效的特征提取方法[19,23]。基于MF可以把用戶與服務的交互矩陣分解為用戶和服務特征的共同潛在空間,進而分別發現用戶對服務需求的潛在因素。

給定用戶與服務的交互矩陣R=(ru,i)U×I,矩陣的行表示一位用戶對所有類型服務的歷史使用情況,列則表示關于某一種服務的所有用戶的歷史使用情況。經過矩陣分解分別得到用戶和服務的低秩矩陣MU×D和NI×D,其中,矩陣MU×D是U個用戶的D維潛在空間表示,而NI×D是I類服務的D維潛在空間表示,且矩陣MU×D和NI×D的乘積能還原成原始矩陣R=(ru,i)U×I,即可以通過矩陣還原預測用戶u對服務i的需求r′u,i:

(1)

從用戶和服務的整體范圍考慮,每個用戶有自己的服務使用習慣,每個服務具有自身的服務特征,因此,也可以使用帶有平均偏差的預測模型進行矩陣還原操作。對于每個用戶服務,分別引入一個偏移量bu和bi,基礎部分是所有需求數值的平均值a,考慮平均偏差的矩陣分解預測公式如下:

(2)

為盡可能準確地表達用戶和服務特征,本文定義一個損失函數floss來衡量預測值與真實值之間的差距,并通過最小化損失函數來預測和修改參數。

損失函數的定義有很多種,本文通過計算預測值與真實值的均方誤差作為損失函數,設用戶對服務的所有交互集合為H={(u,i,r)},則最小化損失函數如式(3)所示。

(3)

其中:

(4)

基于矩陣分解的用戶特征與服務特征提取算法描述如下:

算法1基于矩陣分解的特征提取算法

輸入用戶列表U,服務類型列表I,用戶對不同服務類型的歷史需求記錄列表R

輸出用戶特征矩陣M,服務特征矩陣N

1.Begin

2.構造用戶和服務初始特征

3.For u=1→U Do//遍歷用戶列表U中的每位用戶u

4.r(u)=embed(1,8)

//通過嵌入矩陣方法初始化用戶特征,維度為1×8

5.M=r(U)//矩陣M是由所有用戶特征組成的

6.End For

7.For i=1→I Do//遍歷每個服務類型i

8.r(i)=embed(1,8)//初始化服務特征,維度為1×8

9.N=r(I)//矩陣N是由所有服務特征組成的

10.End For

11.預測用戶需求

12.通過式(1)預測用戶u對服務i的需求r′u,i

13.矩陣分解

14.通過式(3)、式(4)計算損失函數

15.M,N=gd(floss)//采用梯度下降法優化損失函數,得//到用戶特征矩陣M和服務特征矩陣N

16.迭代訓練

17.For j=1→1 500 Do//迭代次數

18.重復步驟11

19.重復步驟13

20.End For

21.End

2.2 基于深度神經網絡的用戶需求預測

深度神經網絡(Deep Neural Network,DNN)是深度學習的通用型神經網絡架構,其目的是通過確定性學習將原始數據表達為隱藏性表示。DNN通過對原始數據進行重構輸入,從數據中學習到具有高表征的輸入和輸出的關系映射。近年來,DNN已在多個應用領域取得優異成果[24-25]。本文利用DNN 3個隱層的數學運算學習特征表達輸出,將前一層網絡的輸出作為下一層的輸入,其表達形式如式(5)所示。

al=σ(wlal-1+bl)

(5)

其中:a是DNN的輸出,表示預測的用戶需求概率值;l表示網絡的層數;w和b分別表示對應的權重矩陣和偏倚向量;σ是激活函數。本文采用ReLU函數作為激活函數,該函數的單側抑制性使神經網絡中的神經元具有稀疏激活性,在線性函數中有更強的表達能力,而對于非線性函數,ReLU函數非負區間為正值的特性,也解決了神經網絡反向傳播求解參數時經常會出現的梯度消失的問題。ReLU激活函數如式(6)所示。

(6)

在DNN的輸出層,本文采用Softmax函數對輸出結果進行分類,進而得到用戶對每種服務類型的需求概率。Softmax函數模型可以看作是Logistic函數模型的推廣,其本質是把一個n維的向量映射成另一個具有相同維度表示的向量,主要用于多分類問題,對于不同類別的輸入,分別用一個概率值表示輸出,且所有類別的概率和為1。Softmax函數表達式如下:

(7)

其中,j=1,2,…,K。DNN通過反向傳播求解最適合的神經網絡參數,也需要選擇一個損失函數來度量神經網絡訓練的輸出和真實值的誤差。在神經網絡中,損失函數的選取直接影響網絡的訓練輸出結果,本文采用均方差函數和交叉熵函數之和作為損失函數。設定真實值為y,預測值為a,下標i表示第i個樣本,wi是權重,則神經網絡每次迭代訓練的均方差可以表示為:

(8)

交叉熵是用來度量神經網絡預測用戶需求實際輸出和期望值接近程度的一種方法,交叉熵的值越小,表示實際輸出和期望值越接近。交叉熵函數的公式表示為:

(9)

利用DNN進行預測時,為避免過擬合,在損失函數中引入正則化懲罰項,通過控制學習參數,防止網絡學習到特別復雜的模型,減小過擬合發生的概率,引入了正則化的損失函數如下:

(10)

其中,W表示所有學習參數,λ為一個可調節的參數,用來控制正則化對損失函數的影響。基于DNN的用戶需求預測算法描述如下:

算法2基于DNN的用戶需求預測算法

輸入用戶特征矩陣M,服務特征矩陣N

輸出用戶u對不同類型服務i的需求概率r′u,i

1.Begin

2.初始化參數

3.For layer=2→4 Do//DNN的3個隱層

4.parameter[w,b]=init_param(layer)//隨機生成//初始權重值和偏置值,3個隱藏層中的節點個數分別為//64、32和16

5.End For

6.DNN前向傳播

7.加載矩陣M、N作為輸入層的輸入數據

8.通過式(5)～式(7)預測用戶u對每種類型服務i的需求概率r′u,i

9.DNN反向傳播

10.通過式(10)計算損失函數

11.parameter[w,b]=gd(floss)//采用梯度下降法優化//參數w、b

12.迭代訓練

13.For j=1→1 500 Do//迭代次數

14.重復步驟6

15.重復步驟9

16.End For

17.End

3 基于需求預測的主動服務推薦

經過對用戶服務需求的預測,可以得到用戶未來使用某一類服務的概率,以此選取概率值較大的服務類作為該用戶的服務需求,并依據預測的用戶服務需求,確定滿足該需求的候選服務集。在候選服務集內部,按用戶歷史使用服務的頻率并結合服務的評價數據,選擇綜合評價最優的服務并主動地推薦給用戶。

設滿足用戶u服務需求的候選服務集合為S={Si,i∈1,2,…,n},其中,n表示候選服務的總數。對于每個候選服務Si,計算其針對用戶u的使用頻率f(Si),并計算每個候選服務的平均評價值g(Si),在此基礎上,計算每個候選服務的綜合推薦指數e(Si),將綜合推薦指數最大的服務Si推薦給用戶,如式(11)所示。

e(Si)=λf(Si)+(1-λ)g(Si)

(11)

其中,λ是一個可變參數,用于調整候選服務的評價值和使用頻率在綜合推薦指數中所占的比重。在推薦過程中,對于每個用戶都需要進行上述操作,且每個候選服務的實際評價數值較大,在進行綜合推薦指數計算時要對其進行歸一化處理。基于需求預測的服務推薦算法描述如下:

算法3基于需求預測的主動服務推薦算法

輸入用戶u對每種類型服務i的需求概率r(u,i),每個服務的平均評價值g

輸出推薦服務Si

1.Begin

2.確定候選服務集合s

3.S←max(r(u,i))

4.計算服務使用頻度

5.For j=1→len(S)Do

6.f(S(j)=count(S(j))/len(S)

7.EndFor

8.推薦服務

9.采用式(11)計算各服務的綜合推薦指數

10.將綜合推薦指數最大的服務Si推薦給用戶u

11.End

4 實驗與結果分析

4.1 實驗環境和數據集

為驗證本文方法的有效性,筆者進行了模擬實驗。從公開的數據網站MovieLens獲取到用戶對電影的評分數據,該實驗把“電影”看作“服務”,把“評分”看作“需求”的概率值。選取MovieLens 1M數據集模擬用戶對服務的需求,該數據包括約6 000名用戶對4 000部電影產生的100萬條評分數據,評分共分為5個等級,用1～5表示。為便于實驗,對數據做如下處理:將用戶對電影的前三個評分等級視為用戶未使用過此服務,標記為0;將后兩個評分等級視為1,表示用戶使用過本服務。2種交互類型數據之比約為1∶1.35,每位用戶交互過的服務記錄至少20條,以保證真實數據的獨立性和稀疏性。

實驗環境為個人電腦,操作系統:Windows 10家庭版64位,CPU:Intel酷睿i5 4210M;RM:4 GB。實驗應用Python3版本編程語言,基于谷歌開源深度學習框架TensorFlow 1.6.0,在Pycharm社區版編程軟件上完成。

4.2 實驗評價指標

該實驗將數據集隨機劃分成兩部分,分別用于訓練和測試。其中,數據集的70%作為訓練數據,30%用于對模型進行評估。在介紹評估方法前,首先引入混淆矩陣,如圖2所示,其中,True、False分別表示分類是否正確,Positive、Negative分別表示正負樣本的分類情況。

圖2 混淆矩陣結構

本文實驗設置預測結果1為正樣本,0為負樣本。評估方法如下:

1)準確率,即總樣本中分類正確的樣本個數所占比重,表達式為:

(12)

2)精確率,即正樣本預測結果中正確預測為正樣本個數所占比重,表達式為:

(13)

3)召回率,即正樣本總數中被正確預測為正樣本個數所占比重,表達式為:

(14)

由于分類問題是回歸模型輸出結果的離散化表現,因此本文還引入平均絕對誤差和均方根誤差2種回歸模型的評估方法,用于衡量預測值與真實值的誤差。

4)平均絕對誤差表達式為:

(15)

5)均方根誤差表達式為:

(16)

4.3 實驗結果與分析

根據實驗評價指標,依次對比矩陣分解(MF)模型、DNN模型和基于矩陣分解的DNN混合模型的性能,以1 500次迭代為機器學習終止條件,預測準確率對比如圖3所示。可以看出,與MF模型相比,DNN模型在預測準確率上效果并不理想,最終結果略低于MF模型。在1 500次的迭代訓練中,MF模型的預測準確率從42.5%左右開始逐步增加,最終穩定在73.5%,DNN模型的預測精確度則從56.3%左右增加至73%。混合模型MF+DNN的表現要優于2種單一的模型,不僅比MF擁有較高的起點,并且最終準確率達到了78.8%,相比于MF和DNN分別提高了近5%和6%,表明基于矩陣分解的DNN方法具有更高的用戶需求預測準確性。

圖3 3種模型的準確率對比

3種模型的精確率和召回率對比如圖4所示,可以看出,相比于MF方法,DNN模型取得了較好的結果。在精確率的對比上,MF為75%,而DNN為72%,兩者相差僅為3%,并無明顯的差異。在召回率的對比上,DNN為86.6%,高出MF的80.2%約6.5%。混合模型MF+DNN整體表現要優于2種單一的模型,其精確率為79.85%,高于MF和DNN,而召回率為84.4%,僅低于DNN約2.2%。上述實驗結果表明,基于矩陣分解的DNN預測模型具有較強的預測能力,可彌補矩陣分解算法預測的不足。

圖4 3種模型的精確率和召回率對比

3種模型的平均絕對誤差和均方根誤差對比如圖5所示,可以看出,MF模型和DNN模型幾乎相等,而混合模型MF+DNN效果要優于這2種模型,在平均絕對誤差和均方根誤差上均低于MF和DNN模型約0.05,可見由數據稀疏性導致的預測誤差對MF+DNN模型影響較小,因此,該模型具有更好的穩定性。

圖5 3種模型的平均絕對誤差與均方根誤差對比

3種模型的實驗數據對比如表1所示。綜合5項評估指標對比可以得出結論:基于矩陣分解的DNN模型性能優于單一使用的矩陣分解模型。

表1 3種模型的實驗數據對比

5 結束語

為實現服務的智能化主動推薦,提高用戶滿意度與資源利用率,本文提出一種基于用戶需求預測的主動服務推薦方法。該方法基于隱語義模型的矩陣分解算法,從服務應用歷史數據中快速提取用戶特征與服務特征,為精確預測用戶的服務需求提供了更有效的數據,同時解決了數據稀疏性問題。此外,其基于深度學習算法建立用戶與服務之間的非線性關系映射,有助于挖掘數據中隱含的特征,能夠提高用戶服務需求預測的準確性以及服務需求預測模型的可擴展性。由于本文模型僅基于用戶的歷史服務使用數據進行預測,并未考慮用戶使用時的情景信息,因此下一步將研究情景感知的主動服務推薦方法。