自注意力機(jī)制支持下的混合推薦算法

苑威威，彭敦陸，吳少洪，陳 章，劉 叢

(上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院，上海 200093)

1 引 言

隨著云計(jì)算、大數(shù)據(jù)技術(shù)的飛速普及、互聯(lián)網(wǎng)中數(shù)據(jù)快速增加，信息過(guò)載問(wèn)題日益嚴(yán)重，如何快速有效的從復(fù)雜的數(shù)據(jù)中獲取有價(jià)值的信息成為了當(dāng)前大數(shù)據(jù)發(fā)展的關(guān)鍵難題.推薦系統(tǒng)[1](Recommendation System)通過(guò)推薦算法根據(jù)用戶的偏好和需求從海量的數(shù)據(jù)中挖掘出用戶感興趣的項(xiàng)目，在一定程度上緩解了信息過(guò)載的問(wèn)題，提高了信息檢索的效率，得到了學(xué)術(shù)界和工業(yè)界的廣泛認(rèn)同.

傳統(tǒng)的推薦算法中主要包括協(xié)同過(guò)濾、基于內(nèi)容的推薦算法和混合推薦算法.協(xié)同過(guò)濾推薦算法是目前應(yīng)用最廣泛的推薦算法，但其面臨著數(shù)據(jù)稀疏和冷啟動(dòng)性的挑戰(zhàn).此外，協(xié)同過(guò)濾算法往往采用淺層模型，因而不利于用戶和項(xiàng)目的深層次特征的學(xué)習(xí).基于內(nèi)容的推薦算法通常是利用人工設(shè)計(jì)的特征，通過(guò)用戶的歷史行為數(shù)據(jù)挖掘用戶和商品間的關(guān)系，限制了推薦系統(tǒng)的有效性和擴(kuò)展性的同時(shí)也忽視了商品間的內(nèi)在關(guān)系.

近年來(lái)，深度學(xué)習(xí)技術(shù)發(fā)展迅猛，在圖像處理、自然語(yǔ)言處理等領(lǐng)域取得了突破性的進(jìn)展.與傳統(tǒng)的推薦系統(tǒng)相比，深度學(xué)習(xí)方法具有兩個(gè)明顯優(yōu)勢(shì).一是深度學(xué)習(xí)網(wǎng)絡(luò)是一種深層次的非線性網(wǎng)絡(luò)，能夠更好的提取數(shù)據(jù)的深層特征.二是深度學(xué)習(xí)模型能夠?qū)⒍嘣悩?gòu)數(shù)據(jù)映射到一個(gè)相同的隱藏空間中，獲得數(shù)據(jù)的統(tǒng)一表示.

數(shù)據(jù)挖掘中啤酒和尿不濕的案例表明用戶購(gòu)買的商品間存在著相互關(guān)聯(lián)，并非是兩兩獨(dú)立的.因此，本文在建模挖掘用戶與商品間關(guān)系的同時(shí)，通過(guò)引入自注意力機(jī)制建模商品間的關(guān)聯(lián)關(guān)系.并考慮到緩解推薦系統(tǒng)中數(shù)據(jù)稀疏性、冷啟動(dòng)問(wèn)題，本文提出了AS-SADDL算法，結(jié)合自注意力機(jī)制與深度學(xué)習(xí)模型的優(yōu)點(diǎn)，學(xué)習(xí)用戶潛在偏好表示.論文的主要貢獻(xiàn)如下：

1)在學(xué)習(xí)用戶潛在偏好表示模型中引入自注意力機(jī)制，建模用戶交互數(shù)據(jù)間的內(nèi)在關(guān)系，獲得更加有效的用戶潛在偏好表示.

2)分別建模項(xiàng)目的評(píng)分?jǐn)?shù)據(jù)和特征信息，共同組成項(xiàng)目的潛在表示，彌補(bǔ)了因評(píng)分矩陣數(shù)據(jù)稀疏性和新項(xiàng)目冷啟動(dòng)性導(dǎo)致的項(xiàng)目間相似度可計(jì)算性差的問(wèn)題.

2 相關(guān)工作

過(guò)去幾十年內(nèi)，學(xué)者們提出的各種推薦算法已經(jīng)被應(yīng)用到各類推薦系統(tǒng)中.LI等人[2]提出了基于改進(jìn)用戶相似性度量和評(píng)分預(yù)測(cè)的協(xié)同過(guò)濾推薦算法，用于推薦影片和新聞.Schafer[3]提出的基于內(nèi)容的推薦算法，通過(guò)從用戶交互過(guò)的項(xiàng)目特征中學(xué)習(xí)用戶的偏好并用特征表示，用以計(jì)算用戶和待預(yù)測(cè)項(xiàng)目間的匹配度.文獻(xiàn)[4]提出的混合推薦算法通過(guò)將協(xié)同過(guò)濾和基于內(nèi)容的推薦算法結(jié)果融合后推薦.

近幾年來(lái)，隨著深度學(xué)習(xí)在提取數(shù)據(jù)深層特征表示上的優(yōu)秀表現(xiàn)，越來(lái)越多的研究者們將深度學(xué)習(xí)方法與推薦系統(tǒng)任務(wù)相結(jié)合.Vishrawas等人[5]將深度學(xué)習(xí)應(yīng)用于推薦問(wèn)題，提出了一種基于受限玻爾茲曼機(jī)的推薦模型.Strub等人[6]采用兩個(gè)降噪自編碼器(SDAE)，通過(guò)用戶和項(xiàng)目的評(píng)分?jǐn)?shù)據(jù)分別學(xué)習(xí)用戶和項(xiàng)目的隱表示，來(lái)預(yù)測(cè)缺失評(píng)分進(jìn)行推薦.最近，注意力機(jī)制被應(yīng)用到機(jī)器翻譯、推薦系統(tǒng)等不同任務(wù)中.例如，James等人[7]將注意力機(jī)制應(yīng)用到機(jī)器翻譯任務(wù)中，翻譯時(shí)，通過(guò)建模原句中每個(gè)詞的貢獻(xiàn)權(quán)重，動(dòng)態(tài)生成中間語(yǔ)義向量，顯著的提高了翻譯的準(zhǔn)確性.Gong等人[8]提出了一種基于注意力的卷積神經(jīng)網(wǎng)絡(luò)對(duì)微博中的Hashtag進(jìn)行推薦；Seo[9]等人通過(guò)采用雙重局部和全局注意力對(duì)用戶偏好和項(xiàng)目屬性進(jìn)行建模；Vaswani等人[10]通過(guò)在翻譯任務(wù)中引入自注意力機(jī)制建模句子內(nèi)詞間的內(nèi)在關(guān)系，有效的提高了翻譯的準(zhǔn)確性.

通過(guò)將深度神經(jīng)網(wǎng)絡(luò)模型從復(fù)雜數(shù)據(jù)中提取深層特征的能力和自注意力機(jī)制提取數(shù)據(jù)間內(nèi)在關(guān)系的能力相結(jié)合，本文提出一種新的推薦算法，以用戶與待推薦項(xiàng)目間的相似度，待推薦項(xiàng)目與用戶偏好項(xiàng)目間的平均相似度，共同度量用戶對(duì)待推薦項(xiàng)目的喜愛(ài).論文的主要思想是考慮到用戶交互數(shù)據(jù)間的相互作用和用戶偏好的易變性，如在世界杯期間用戶大都會(huì)關(guān)心跟足球有關(guān)的商品.因此，本文采用深層神經(jīng)網(wǎng)絡(luò)與注意力機(jī)制結(jié)合的方式建模用戶交互數(shù)據(jù)，學(xué)習(xí)用戶的潛在偏好特征表示和項(xiàng)目的潛在表示.同時(shí)考慮到項(xiàng)目間可計(jì)算性差的問(wèn)題，利用主成分分析算法(PCA)對(duì)項(xiàng)目評(píng)分?jǐn)?shù)據(jù)進(jìn)行降維，并與從項(xiàng)目特征中提取的項(xiàng)目特征表示相結(jié)合，共同表示一個(gè)項(xiàng)目.在一定程度上提高了項(xiàng)目潛在表示的有效性和項(xiàng)目間相似度的可計(jì)算性.

3 準(zhǔn)備工作

本節(jié)主要介紹本文用到的相關(guān)術(shù)語(yǔ)和利用主成分分析法對(duì)項(xiàng)目評(píng)分?jǐn)?shù)據(jù)降維.3.1節(jié)給出文章所需相關(guān)術(shù)語(yǔ)的解釋.3.2節(jié)詳細(xì)描述了PCA處理項(xiàng)目評(píng)分?jǐn)?shù)據(jù)的方式.

3.1 術(shù)語(yǔ)解釋

下面給出所提算法中術(shù)語(yǔ)的相關(guān)解釋：

項(xiàng)目評(píng)分矩陣Rmn：該矩陣由系統(tǒng)中用戶對(duì)項(xiàng)目的評(píng)分組成，m，n分別表示系統(tǒng)中用戶項(xiàng)目個(gè)數(shù).元素Rij表示用戶i對(duì)項(xiàng)目j的評(píng)分，Rij∈Rmn.

用戶交互項(xiàng)目：與用戶有交互行為的項(xiàng)目，如用戶對(duì)項(xiàng)目具有的點(diǎn)擊、下載、瀏覽、評(píng)分等行為.

項(xiàng)目特征信息：項(xiàng)目的ID、名稱、項(xiàng)目的屬性等信息，例如，在本文實(shí)驗(yàn)數(shù)據(jù)中，項(xiàng)目特征信息包括電影的ID、電影名稱、電影上映年份、電影的類別.

表1 文章用到的符號(hào)以及其所表示Table 1 Explanation of Notations

文章用到的符號(hào)以及其所代表的含義見(jiàn)表1.

3.2 PCA處理項(xiàng)目評(píng)分?jǐn)?shù)據(jù)

主成分分析(PCA)是一種統(tǒng)計(jì)分析方法，它將原始的眾多具有一定相關(guān)性的指標(biāo)重新組合，得到新的無(wú)相關(guān)性的綜合指標(biāo)[11].其中心思想是降維，用低緯度空間內(nèi)的主成分來(lái)代替原始的高緯度空間中的數(shù)據(jù).主成分是由原始數(shù)據(jù)組合得到的，任意兩個(gè)主成分間是獨(dú)立的，無(wú)關(guān)聯(lián)的，而且這些主成分能夠總體代表原始數(shù)據(jù)信息.

數(shù)據(jù)標(biāo)準(zhǔn)化階段，即對(duì)于本文實(shí)驗(yàn)數(shù)據(jù)集，首先根據(jù)用戶對(duì)項(xiàng)目評(píng)分構(gòu)建項(xiàng)目評(píng)分矩陣Rm×n，xij∈Rm×n，xij即用戶對(duì)項(xiàng)目的評(píng)分，若未評(píng)分則初始化評(píng)分為0.而后標(biāo)準(zhǔn)化評(píng)分矩陣Rm×n，使得其均值為0，方差為1.

(1)

其中，i,j=(1,2,…,n)，m,n分別為原矩陣Rm×n的行和列的個(gè)數(shù).

(2)

其中λi為由相關(guān)系數(shù)矩陣求得的特征值，貢獻(xiàn)率G超過(guò)閾值0.9的特征值被選取作為主成分.

主成分選取后，由所選取的特征對(duì)應(yīng)的特征向量組成的矩陣C計(jì)算項(xiàng)目的評(píng)分?jǐn)?shù)據(jù)表示，計(jì)算公式如下：

(3)

4 偏好特征表示學(xué)習(xí)模型AS-SADDL

本節(jié)首先介紹結(jié)合自注意力機(jī)制的深度神經(jīng)網(wǎng)絡(luò)模型AS-SADDL，詳細(xì)描述了該模型如何從用戶交互項(xiàng)目數(shù)據(jù)中學(xué)習(xí)用戶的潛在偏好表示和項(xiàng)目潛在表示.而后給出了推薦列表的生成方式.

4.1 AS-SADDL模型

現(xiàn)實(shí)生活中，用戶偏好并非一成不變的，當(dāng)用戶關(guān)注某些商品時(shí)，不可避免的會(huì)忽視另外一些商品.因此，本文提出一種新的模型AS-SADDL，該模型在學(xué)習(xí)用戶潛在偏好表示時(shí)，使用自注意力建模用戶交互項(xiàng)目間的內(nèi)在關(guān)系，從而使得學(xué)習(xí)到的用戶偏好表示更加有效，模型結(jié)構(gòu)如圖1所示.

圖1 AS-SADDL模型Fig.1 AS-SADDL model

由圖可見(jiàn)，模型分為左右兩個(gè)部分，模型的左半部分用于學(xué)習(xí)用戶潛在偏好表示集合Su，分為項(xiàng)目特征數(shù)據(jù)嵌入、特征提取、自注意力建模嵌入數(shù)據(jù)內(nèi)在關(guān)系、潛在表示學(xué)習(xí)四個(gè)階段.右半部分采用多層全鏈接神經(jīng)網(wǎng)絡(luò)從項(xiàng)目特征數(shù)據(jù)中學(xué)習(xí)項(xiàng)目特征表示集合Sv.

每個(gè)項(xiàng)目都具有一系列的特征，如本文實(shí)驗(yàn)數(shù)據(jù)中每部電影都具有電影名、上映日期、電影所屬類別等特征.但電影的特征數(shù)量是有一定區(qū)別的，如有些可能只是喜劇片，而另外一些電影則可能屬于多個(gè)類別.因此，在項(xiàng)目特征數(shù)據(jù)嵌入階段，串聯(lián)每個(gè)項(xiàng)目的特征，并將其編碼成一個(gè)固定長(zhǎng)度的二進(jìn)制值向量，作為模型的輸入.以單個(gè)用戶為例，用戶交互項(xiàng)目嵌入完成后，I=(I1，…，It)，Ii表示用戶的第i個(gè)交互項(xiàng)目的特征表示向量.

在項(xiàng)目特征提取階段，通過(guò)一層全鏈接神經(jīng)網(wǎng)絡(luò)，將用戶的交互項(xiàng)目的特征表示映射到維空間中提取項(xiàng)目特征.映射方式如下：

ld=fRelu(WI+b)

(4)

其中，Id表示d維空間內(nèi)用戶i的交互項(xiàng)目特征表示.fRelu(·)在本文中均表示激活函數(shù)為Relu的單層全鏈接神經(jīng)網(wǎng)絡(luò).

自注意力建模，即項(xiàng)目特征表示由d維空間向z維空間映射時(shí)，引入自注意力機(jī)制，建模項(xiàng)目間的內(nèi)在關(guān)系，注意力機(jī)制計(jì)算原理如下：

lz=fRelu(WId+b)

(5)

A=softmax(IzW(Id)T)

(6)

Iz=AIz

(7)

其中，W為權(quán)重矩陣，b為偏置，公式(5)表示將d維空間內(nèi)的用戶交互項(xiàng)目特征映射到維空間.公式(6)即計(jì)算d維空間內(nèi)的所有用戶交互項(xiàng)目對(duì)維空間內(nèi)每個(gè)用戶交互項(xiàng)目的貢獻(xiàn)權(quán)重，模型訓(xùn)練時(shí)通過(guò)損失函數(shù)自主調(diào)節(jié)權(quán)重矩陣W，經(jīng)softmax函數(shù)歸一化后的矩陣A既為各項(xiàng)目間的注意力權(quán)重.公式(7)通過(guò)自注意力權(quán)重矩陣A對(duì)z維空間內(nèi)的項(xiàng)目進(jìn)行加權(quán)計(jì)算，加權(quán)計(jì)算后維空間內(nèi)每個(gè)項(xiàng)目的特征表示是由其本身和所有與其有關(guān)聯(lián)的項(xiàng)目共同表示的，最終的輸出Iz既為經(jīng)自注意力機(jī)制加權(quán)后的項(xiàng)目特征表示.下文統(tǒng)一用符號(hào)fself(.)來(lái)表示注意力機(jī)制的計(jì)算.

AS-SADDL模型為了更好的提取項(xiàng)目間的內(nèi)在關(guān)系，采用三次獨(dú)立的自注意力機(jī)制對(duì)用戶交互項(xiàng)目建模，計(jì)算公式如下：

(8)

潛在表示學(xué)習(xí)階段即串聯(lián)三次注意力機(jī)制加權(quán)后的項(xiàng)目特征表示，作為三層全鏈接神經(jīng)網(wǎng)絡(luò)的輸入，學(xué)習(xí)用戶的潛在表示，具體步驟如下：

(9)

模型的右半部分是利用多層全鏈接神經(jīng)網(wǎng)絡(luò)提取項(xiàng)目特征表示，公式如下：

(10)

(11)

4.2 生成推薦列表

本節(jié)以top-k推薦為例來(lái)闡述本文所提模型推薦項(xiàng)目的過(guò)程.首先計(jì)算用戶偏好特征與未評(píng)分項(xiàng)目間的相似度Sim1，并選取前k項(xiàng)作為候選列表Ck1.Sim1計(jì)算公式如下：

(12)

然后，依次計(jì)算未評(píng)分項(xiàng)目與用戶偏好項(xiàng)目間的相似度Sim2，同樣選取前k項(xiàng)作為候選列表Ck2.項(xiàng)目與項(xiàng)目間的相似度Sim2計(jì)算公式如下：

(13)

(14)

(15)

其中，ε為可調(diào)節(jié)參數(shù)，通過(guò)依次計(jì)算用戶與候選列表中各項(xiàng)目的相關(guān)度Sim，選取前項(xiàng)推薦給該用戶.算法的流程如下：

2)通過(guò)AS-SADDL模型獲得用戶的潛在偏好特征表示集合Su，以及每個(gè)項(xiàng)目的潛在特征表示集合Sv.

3)通過(guò)PCA對(duì)項(xiàng)目的評(píng)分?jǐn)?shù)據(jù)降維，獲得項(xiàng)目評(píng)分?jǐn)?shù)據(jù)表示集合Sr.

5)運(yùn)用公式(14)、(15)分別計(jì)算用戶與候選列表Ck內(nèi)項(xiàng)目的相似度，并根據(jù)計(jì)算結(jié)果Sim選取前k項(xiàng)作為推薦項(xiàng)目，推薦給用戶.

5 實(shí)驗(yàn)分析

實(shí)驗(yàn)采用的數(shù)據(jù)集為MovieLens-100k1，為了測(cè)試本文所提模型的表現(xiàn)，在該數(shù)據(jù)集上進(jìn)行了一系列的實(shí)驗(yàn).實(shí)驗(yàn)由三部分組成，第一部分是比較ε取值對(duì)模型有效性的影響，第二部分是將本文所提AS-SADDL模型的推薦效果與現(xiàn)有模型如協(xié)同過(guò)濾模型、基于內(nèi)容的推薦模型和SDAE模型相比較.第三部分是比較本文所提模型與現(xiàn)有模型的運(yùn)算速度.

5.1 實(shí)驗(yàn)設(shè)置

論文選取推薦系統(tǒng)公開(kāi)數(shù)據(jù)集MovieLens-100k.該數(shù)據(jù)集中包含10萬(wàn)個(gè)分值為1～5的評(píng)分，943個(gè)用戶和1682部電影.數(shù)據(jù)集中還給出電影名、上映時(shí)間以及電影所屬類別等特征信息.本文試驗(yàn)選取數(shù)據(jù)集中的80%為訓(xùn)練集，20%為測(cè)試集.采用準(zhǔn)確率P(k)、召回率R(k)、F1值F1(k)、MAP(Mean Average Precision)、NDCG(Normalized Cumulative Discounted Gain)作為實(shí)驗(yàn)的主要評(píng)價(jià)指標(biāo).

表2 未評(píng)分項(xiàng)目的4種情況Table 2 Four cases of unrated items

給定推薦列表長(zhǎng)度，系統(tǒng)根據(jù)用戶與未評(píng)分項(xiàng)目間Sim的值，選取前k項(xiàng)推薦給用戶.于是，對(duì)于一個(gè)未曾被用戶評(píng)分的項(xiàng)目，最終可能的結(jié)果有4種，即系統(tǒng)推薦給用戶且用戶喜歡，系統(tǒng)推薦給用戶但是用戶不喜歡，用戶喜歡但是系統(tǒng)未推薦，用戶不喜歡且系統(tǒng)未推薦.表2總結(jié)了這四種可能的情況，其中Ntp，Nfp，Nfn,Ntn分別表示四種情況的數(shù)目.

則給定推薦列表長(zhǎng)度，系統(tǒng)中用戶個(gè)數(shù)M后本文所采用評(píng)價(jià)指標(biāo)定義如下

(16)

(17)

(18)

所有實(shí)驗(yàn)均在內(nèi)存為16GB，具有Tesla M60 GPU和8核CPU的服務(wù)器上完成.實(shí)驗(yàn)所用模型權(quán)重矩陣W均按照標(biāo)準(zhǔn)正態(tài)分布隨機(jī)初始化，偏置均初始化為0，模型超參取值如下：正則化系數(shù)φ均為0.01，隨機(jī)梯度下降的學(xué)習(xí)率lr設(shè)置為0.004，增噪率sttddev設(shè)置為0.3，項(xiàng)目特征初步嵌入長(zhǎng)度為1943.

5.2 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證本文提出的基于自注意力機(jī)制的推薦算法的推薦效果，實(shí)驗(yàn)將本文所提AS-SADDL模型與現(xiàn)有的協(xié)同過(guò)濾推薦模型(CF)，基于項(xiàng)目?jī)?nèi)容的推薦模型(Item-based)和基于棧式去噪自編碼器(SDAE)的推薦模型進(jìn)行對(duì)比，綜合性評(píng)估本文所提模型的有效性.

實(shí)驗(yàn)1.比較取值對(duì)實(shí)驗(yàn)結(jié)果影響

上述計(jì)算用戶與項(xiàng)目相關(guān)度時(shí)，超參的取值影響著模型的整體性能.當(dāng)時(shí)ε=0，模型僅考慮用戶與項(xiàng)目間的相關(guān)性，當(dāng)ε=1時(shí)僅考慮項(xiàng)目間的相似性.實(shí)驗(yàn)結(jié)果如圖2所示，ε值在0.6附近時(shí)，算法的準(zhǔn)確率、召回率、F1值達(dá)到最優(yōu).因此，在后續(xù)實(shí)驗(yàn)中，ε的取值均設(shè)置為0.6.

圖2 ε取值對(duì)比Fig.2 Comparisonofε圖3 計(jì)算效率對(duì)比Fig.3 Comparisonofcomputationalefficiency

實(shí)驗(yàn)2.本文所提模型與其它模型的計(jì)算效果對(duì)比

本組實(shí)驗(yàn)通過(guò)改變推薦列表k的長(zhǎng)度分別采用準(zhǔn)確率、召回率、F1值、MAP、NDCG比較本文所提模型與其他模型的優(yōu)劣.

準(zhǔn)確率值的大小在一定程度上反應(yīng)了推薦算法的有效性，實(shí)驗(yàn)結(jié)果如圖4所示.觀察實(shí)驗(yàn)結(jié)果可以看出，四種模型隨著推薦列表長(zhǎng)度的增加具有相同的變化趨勢(shì).當(dāng)推薦列表長(zhǎng)度大于200時(shí)，隨著推薦列表長(zhǎng)度的增加，推薦的準(zhǔn)確率呈現(xiàn)降低的趨勢(shì).這是由于推薦列表中用戶喜歡的項(xiàng)目個(gè)數(shù)Ntp達(dá)到了相應(yīng)的閾值造成的.四種推薦模型中基于內(nèi)容和協(xié)同過(guò)濾的推薦模型的準(zhǔn)確率變化幅度相似，基于SDAE的推薦模型的準(zhǔn)確率相比上兩種模型有了很大的提高，但本文所提模型的準(zhǔn)確率遠(yuǎn)高于其他三種算法.

AS-SADDL算法與其他三種模型的召回率的比較實(shí)驗(yàn)如圖5所示.四種推薦模型隨著k值的增加變化類似，recall值均先增大，后趨于穩(wěn)定.這是由于當(dāng)推薦結(jié)果小于閾值時(shí)，Nfn值偏大導(dǎo)致的.實(shí)驗(yàn)結(jié)果表明AS-SADDL模型與其他三種模型相比較，具有較高的召回率，推薦結(jié)果更加準(zhǔn)確.

F1值作為綜合度量準(zhǔn)確率和召回率的指標(biāo)，本實(shí)驗(yàn)主要比較四種模型F1值的大小，實(shí)驗(yàn)結(jié)果如圖6所示.隨著k值的增大，四種模型的F1均先增大，當(dāng)推薦列表中用戶喜歡的項(xiàng)目個(gè)數(shù)Ntp達(dá)到一定閾值又呈降低趨勢(shì).且本文所提AS-SADDL模型在各個(gè)k值上均具有明顯優(yōu)勢(shì).

圖4 算法準(zhǔn)確率比較Fig.4 Comparison of precision

圖5 算法召回率比較Fig.5 Comparison of recall

圖6 算法F1值比較Fig.6 Comparison of F1 value

表3是各種模型在推薦性能上的對(duì)比，從實(shí)驗(yàn)結(jié)果可見(jiàn)，AS-SADDL模型與其他模型相比具有更好的推薦性能.在MAP、NDCG@10、NDCG@20上，AS-SADDL模型都顯示了很好的結(jié)果.這表明相比于其他模型，AS-SADDL模型最終給出的推薦列表中用戶偏愛(ài)的項(xiàng)目排名靠前，更加有利于提高用戶的體驗(yàn).實(shí)驗(yàn)結(jié)果同時(shí)也說(shuō)明了注意力機(jī)制的引入使得模型能獲得更加有效的用戶潛在表示，提高了模型的推薦性能.

表3 推薦性能對(duì)比表Table 3 Recommended performance comparison table

實(shí)驗(yàn)3.比較計(jì)算效率

實(shí)驗(yàn)通過(guò)選取不同的值來(lái)比較本文所提AS-SADDL模型與其他三種模型的計(jì)算效率.實(shí)驗(yàn)結(jié)果如圖3所示，從圖中可以看出，對(duì)于不同值，本文所提模型的計(jì)算效率優(yōu)于 Item-based和SDAE模型.CF模型的計(jì)算效率比本文所提模型略高，這可能是因?yàn)锳S-SADDL模型為提高項(xiàng)目間的可計(jì)算性，同時(shí)考慮項(xiàng)目評(píng)分?jǐn)?shù)據(jù)和特征數(shù)據(jù)導(dǎo)致的.

實(shí)驗(yàn)結(jié)果表明，本文所提模型具有較高的有效性.在同一個(gè)數(shù)據(jù)集中，在不同的推薦列表長(zhǎng)度值上，與其他現(xiàn)有推薦方法相比較，本文所提模型具有較高的命中率，推薦列表中用戶偏愛(ài)項(xiàng)目排名靠前，推薦的結(jié)果相對(duì)更加準(zhǔn)確.

6 結(jié) 論

推薦系統(tǒng)能夠解決信息過(guò)載，可以幫助用戶快速高效的從海量信息中找到他們需要的項(xiàng)目.本文所提模型分別對(duì)項(xiàng)目評(píng)分?jǐn)?shù)據(jù)信息和項(xiàng)目自身特征信息進(jìn)行建模，學(xué)習(xí)項(xiàng)目潛在表示，提高了項(xiàng)目間的可計(jì)算性.另外，在建模用戶交互數(shù)據(jù)時(shí)采用一種基于自注意力機(jī)制的深度神經(jīng)網(wǎng)絡(luò)模型(AS-SADDL).模型在提取項(xiàng)目數(shù)據(jù)潛在表示的同時(shí)，考慮項(xiàng)目間的相互關(guān)系，有效地提高了學(xué)習(xí)到的潛在表示的有效性.實(shí)驗(yàn)表明，所提模型具有較高的準(zhǔn)確率、召回率、F1值，推薦效果更加準(zhǔn)確完善.下一步工作將考慮在模型中引入知識(shí)圖譜，完善項(xiàng)目及用戶數(shù)據(jù)信息，進(jìn)一步提高推薦效果.