融合命題邏輯與神經(jīng)網(wǎng)絡(luò)的隱式深度協(xié)同推薦模型

收稿日期：2022-02-24；修回日期：2022-04-21" 基金項(xiàng)目：國(guó)家自然科學(xué)基金資助項(xiàng)目（61906066）；浙江省自然科學(xué)基金面上項(xiàng)目（LY20F02006）；湖州師范學(xué)院研究生科研創(chuàng)新基金資助項(xiàng)目（2022KYCX43）

作者簡(jiǎn)介：陳邦（1999-），男，浙江杭州人，碩士研究生，主要研究方向?yàn)槿斯ぶ悄芘c邏輯推理；吳茂念（1975-），男（通信作者），貴州遵義人，教授，碩導(dǎo)，博士，主要研究方向?yàn)槿斯ぶ悄埽╳mn@zjhu.edu.cn）；朱紹軍（1984-），男，浙江新昌人，講師，博士，主要研究方向?yàn)闄C(jī)器學(xué)習(xí)；鄭博（1983-），女，吉林遼源人，講師，博士，主要研究方向?yàn)槿斯ぶ悄埽慌砦担?995-），男，江蘇泰州人，博士研究生，主要研究方向?yàn)楸倔w一致性及優(yōu)化.

摘 要：

以增強(qiáng)推薦算法模型認(rèn)知推理能力，克服傳統(tǒng)推薦算法高度依賴數(shù)據(jù)質(zhì)量致使性能受限的現(xiàn)狀為目標(biāo)，提出一種將命題邏輯與神經(jīng)網(wǎng)絡(luò)融合的隱式深度協(xié)同推薦模型。首先，構(gòu)建一個(gè)隱式邏輯表征模塊，輔助聯(lián)結(jié)實(shí)際問(wèn)題中復(fù)雜變量與邏輯變量的隔閡，并將推薦問(wèn)題轉(zhuǎn)換為一個(gè)邏輯表達(dá)式。隨后，利用神經(jīng)網(wǎng)絡(luò)擬合邏輯符號(hào)對(duì)邏輯表達(dá)式進(jìn)行求解并完成推薦。在具有不同特點(diǎn)的三個(gè)經(jīng)典數(shù)據(jù)集MovieLens、Book-Crossing、Amazon-E上的實(shí)驗(yàn)表明該方法展現(xiàn)了更好的推薦性能。

關(guān)鍵詞：推薦系統(tǒng)； 協(xié)同過(guò)濾； 神經(jīng)網(wǎng)絡(luò)； 認(rèn)知推理

中圖分類號(hào)：TP391"" 文獻(xiàn)標(biāo)志碼：A"" 文章編號(hào)：1001-3695（2022）09-020-2689-06

doi： 10.19734/j.issn.1001-3695.2022.02.0064

Implicit deep collaborative recommendation model based on propositional logic and neural network

Chen Bang1，2， Wu Maonian1，2， Zhu Shaojun1，2， Zheng Bo1，2， Peng Wei1，2

（1.School of Information Engineering，Huzhou University， Huzhou Zhejiang 313000， China; 2.Zhejiang Province Key Laboratory of Smart Management amp; Application of Modern Agricultural Resources， Huzhou Zhejiang 313000， China）

Abstract：With the goal of enhancing the cognitive reasoning ability of the recommendation algorithm model and overcoming the performance limitation of the traditional recommendation algorithm which is highly dependent on the data quality， this paper presented a deep collaborative recommendation model which fusion of propositional logic and neural networks. Firstly，it built an implicit logic representation module to linking complex variables in real-world problems with logical variables，and transformed the recommendation problem into a logical expression. Subsequently， it used neural networks to fit logical symbols to solve logical expressions and complete recommendations. Experiments on three classical datasets with different characteristics，MovieLens，Book-Crossing，and Amazon-E，show that the propesed model exhibits better recommendation performance.

Key words：recommendation system; collaborative filtering; neural network; cognitive reasoning

0 引言

近年來(lái)，高速發(fā)展的互聯(lián)網(wǎng)及快速升級(jí)的移動(dòng)設(shè)備給社會(huì)帶來(lái)了豐富多彩的生活方式，如電子商務(wù)、新零售的進(jìn)一步發(fā)展為人們提供大量生活方式及工作選擇，但爆發(fā)式增長(zhǎng)的信息和數(shù)據(jù)也使用戶面臨著難以從千萬(wàn)甚至上億產(chǎn)品中捕捉潛在感興趣商品的問(wèn)題。推薦系統(tǒng)能夠快速將用戶與其最相關(guān)的商品進(jìn)行匹配，有效節(jié)省用戶購(gòu)買時(shí)間并提升用戶的體驗(yàn)感，已成為相關(guān)領(lǐng)域的研究熱點(diǎn)［1］。推薦系統(tǒng)主要有協(xié)同過(guò)濾推薦、基于內(nèi)容的推薦、基于關(guān)聯(lián)規(guī)則推薦等方法。目前的主流推薦方法多以協(xié)同過(guò)濾思想為基礎(chǔ)進(jìn)行改良與優(yōu)化，即根據(jù)用戶歷史交互預(yù)測(cè)未來(lái)［2］。經(jīng)典協(xié)同過(guò)濾方法以矩陣分解為代表［3］，隨著深度學(xué)習(xí)的快速發(fā)展和廣泛應(yīng)用，利用深層模型對(duì)大規(guī)模數(shù)據(jù)進(jìn)行學(xué)習(xí)以擬合匹配函數(shù)成為研究熱點(diǎn)之一［4］。

然而，越來(lái)越多的學(xué)者發(fā)現(xiàn)推薦問(wèn)題并非僅憑對(duì)交互歷史進(jìn)行統(tǒng)計(jì)歸納就能完美解決［5～7］。例如，一位近期購(gòu)買過(guò)電腦的用戶不會(huì)再需要同類產(chǎn)品的推薦，而是需要鍵盤、鼠標(biāo)等外設(shè)產(chǎn)品。總體來(lái)說(shuō)，用戶常常剛買完商品就被推薦相似商品，但實(shí)際需求已經(jīng)消失。

因此，僅憑對(duì)用戶交互歷史進(jìn)行歸納統(tǒng)計(jì)以推斷其未來(lái)意向很難達(dá)到理想效果。其次，基于統(tǒng)計(jì)匹配的方式在面對(duì)過(guò)于稀疏的數(shù)據(jù)集時(shí)將很難學(xué)習(xí)到足夠的用戶—商品特征對(duì)。這主要是因?yàn)樯唐放c用戶的可能組合總是伴隨數(shù)據(jù)集增長(zhǎng)呈指數(shù)級(jí)別增加，而經(jīng)典的神經(jīng)網(wǎng)絡(luò)模型缺乏舉一反三的推理能力，模型效果嚴(yán)重依賴于數(shù)據(jù)集優(yōu)劣。相應(yīng)地，盡管傳統(tǒng)的邏輯系統(tǒng)擅于解決需要推理的問(wèn)題，但基于硬規(guī)則的邏輯方法往往缺乏泛化性，導(dǎo)致在解決實(shí)際問(wèn)題時(shí)無(wú)法很好地容納內(nèi)部沖突。例如，有著相同歷史交互的用戶也許會(huì)作出截然不同的決策，即同樣的邏輯表達(dá)式也許有不同的解。由此不難看出，融合邏輯推理與神經(jīng)網(wǎng)絡(luò)以構(gòu)建兼具推理能力與良好泛化能力的模型必然是研究者未來(lái)關(guān)注的焦點(diǎn)［7］。

最近，Shi等人［8］提出一種新穎思想，將推薦問(wèn)題轉(zhuǎn)換為一個(gè)邏輯表達(dá)式進(jìn)行求解，以構(gòu)建一種具有推理能力的推薦預(yù)測(cè)模型。類似的工作還有文獻(xiàn)［9～11］。然而，方法中的邏輯表達(dá)式僅考慮變量間的一階關(guān)系，且串聯(lián)求解會(huì)帶來(lái)靠前單位的信息丟失問(wèn)題。因此，本文在將推薦問(wèn)題轉(zhuǎn)換為邏輯表達(dá)式進(jìn)行求解的基礎(chǔ)上，于商品嵌入與邏輯求解間增加一個(gè)隱式邏輯表征模塊，提出一種隱式深度協(xié)同推理模型。

與已有工作相比，本文模型的創(chuàng)新點(diǎn)為：a）本文將交互邏輯表達(dá)式中的變量視為一個(gè)序列，利用多層自注意力機(jī)制挖掘各變量間的隱性交互關(guān)系，緩解僅考慮一階邏輯關(guān)系導(dǎo)致的表征信息不足的問(wèn)題；b）利用門控循環(huán)網(wǎng)絡(luò)模塊改善邏輯表達(dá)式串聯(lián)求解過(guò)程中靠前變量的信息丟失問(wèn)題。在MovieLens、Book-Crossing、Amazon-E數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果表明，本文模型在NDCG與HIT指標(biāo)上要優(yōu)于其他比較算法。

1 相關(guān)工作

1.1 基于深度模型的協(xié)同過(guò)濾推薦

協(xié)同過(guò)濾是一種常見(jiàn)且主流的推薦方法［12］，傳統(tǒng)的協(xié)同過(guò)濾方法都以匹配思想為基礎(chǔ)，通過(guò)學(xué)習(xí)匹配函數(shù)實(shí)現(xiàn)推薦。最早的矩陣分解技術(shù)將用戶—商品交互矩陣分解為兩個(gè)或多個(gè)矩陣的乘積，以表征用戶與商品間的關(guān)系［13］。當(dāng)前，研究學(xué)者優(yōu)化協(xié)同過(guò)濾模型主要有兩種途徑，一種是以優(yōu)化嵌入為目標(biāo)。例如，Adomavicius等人［14］通過(guò)上下文預(yù)過(guò)濾建模表征用戶特征，Karatzoglou等人［15］使用更高維的張量代替分解矩陣，通過(guò)維度的提升進(jìn)一步豐富嵌入信息，Koren［16］將動(dòng)態(tài)的時(shí)間信息與用戶行為加入到嵌入中進(jìn)行學(xué)習(xí)。同時(shí)，部分學(xué)者在表征中集成更豐富的信息結(jié)構(gòu)。例如，Zhang等人［17］使用圖像、評(píng)級(jí)等信息聯(lián)合表征用戶嵌入，He等人［18］直接從產(chǎn)品圖像中提取視覺(jué)特征，并作為一項(xiàng)獨(dú)立的指標(biāo)影響模型決策，Ai等人［19］借助知識(shí)圖譜輔助構(gòu)建推薦模型并優(yōu)化嵌入學(xué)習(xí)。另一種優(yōu)化方向是通過(guò)尋找更好的匹配函數(shù)構(gòu)建協(xié)同過(guò)濾推薦模型，例如，Hsieh等人［20］使用向量轉(zhuǎn)換代替內(nèi)積并在聯(lián)合空間中度量用戶偏好。隨著深度學(xué)習(xí)在圖像、語(yǔ)言等領(lǐng)域展現(xiàn)出強(qiáng)大效果，越來(lái)越多的學(xué)者傾向于使用復(fù)雜的神經(jīng)網(wǎng)絡(luò)來(lái)學(xué)習(xí)匹配。如Salakhutdinov等人［21］首次提出了一種RBM模型將深度學(xué)習(xí)與協(xié)同過(guò)濾相結(jié)合，并在電影數(shù)據(jù)集上取得良好效果。類似的工作還有He等人［22］提出的神經(jīng)協(xié)同過(guò)濾模型（neural collaborative filtering，NCF）和Ebesu等人［23］提出的協(xié)同記憶網(wǎng)絡(luò)模型（collaborative memory network，CMN）。上述方法均使用更豐富的先驗(yàn)知識(shí)或更復(fù)雜的內(nèi)核模型提升推薦效果，但在面對(duì)需要推理能力的任務(wù)時(shí)，基于歸納統(tǒng)計(jì)的方式難以逾越從感知到認(rèn)知的鴻溝。因此，必須將歸納統(tǒng)計(jì)與推理演繹的思想進(jìn)行融合，以應(yīng)對(duì)需要一定推理能力的復(fù)雜推薦任務(wù)。

1.2 神經(jīng)符號(hào)集成

作為人工智能領(lǐng)域中最經(jīng)典的范式，符號(hào)主義將符號(hào)作為設(shè)定硬規(guī)則的媒介賦予AI認(rèn)知智能。神經(jīng)符號(hào)集成是一個(gè)將經(jīng)典符號(hào)知識(shí)與神經(jīng)網(wǎng)絡(luò)相結(jié)合的領(lǐng)域，使模型能同時(shí)提供良好計(jì)算能力與邏輯推理能力。深度學(xué)習(xí)則被視為一個(gè)有希望克服符號(hào)與亞符號(hào)之間縫隙的方式［24～26］。近年來(lái)，已有不少學(xué)者試圖用深度學(xué)習(xí)的方法解決邏輯問(wèn)題，例如Johnson等人［27］和Yi等人［28］設(shè)計(jì)了一種深度網(wǎng)絡(luò)模型來(lái)生成程序并進(jìn)行視覺(jué)推理。Yang等人［29］提出了一種基于一階邏輯的知識(shí)庫(kù)神經(jīng)邏輯推理系統(tǒng)。Dong等人［30］構(gòu)建了一種用于關(guān)系推理及決策的神經(jīng)邏輯模型。然而，以上工作均預(yù)設(shè)一種單一架構(gòu)來(lái)處理不同的邏輯輸入，雖然在面對(duì)特異性問(wèn)題時(shí)展現(xiàn)出良好表現(xiàn)，但在面對(duì)需要泛化能力的復(fù)雜數(shù)據(jù)集時(shí)靈活性略顯不足。為使推理模型保有更好的泛化性能，Shi等人［8］提出了邏輯集成網(wǎng)絡(luò)（logic-integrated neural network，LINN），將基本的邏輯符號(hào)視為神經(jīng)網(wǎng)絡(luò)進(jìn)行擬合學(xué)習(xí)以作為神經(jīng)網(wǎng)絡(luò)與符號(hào)主義之間的良好媒介。但忽視了不同類型任務(wù)轉(zhuǎn)換為邏輯問(wèn)題后變量之間的隱式關(guān)系，同時(shí)根據(jù)邏輯表達(dá)式構(gòu)造模型計(jì)算圖的方式會(huì)導(dǎo)致前端邏輯單元信息丟失。本文以推薦系統(tǒng)為目標(biāo)，設(shè)計(jì)了一個(gè)由自注意力機(jī)制與門控循環(huán)網(wǎng)絡(luò)結(jié)合而成的隱式邏輯表征模塊，完善命題邏輯與神經(jīng)網(wǎng)絡(luò)融合過(guò)程中產(chǎn)生的問(wèn)題。

2 方法

2.1 方法概述

增強(qiáng)模型的認(rèn)知推理能力是解決復(fù)雜推薦問(wèn)題的有效手段之一。本文將推薦問(wèn)題轉(zhuǎn)換為邏輯表達(dá)式進(jìn)行求解，提出一種融合命題邏輯與神經(jīng)網(wǎng)絡(luò)的隱式深度協(xié)同推理算法（implicit deep collaborative reasoning，IDCR）。模型主要由基于自注意力與門控循環(huán)單元的隱式邏輯表征模塊和基于邏輯符號(hào)與BP神經(jīng)網(wǎng)絡(luò)集成的深度推理模塊組成。首先，利用隱式邏輯表征模塊從用戶歷史交互中挖掘商品間的隱式邏輯信息并生成隱式邏輯變量，隨后，經(jīng)由深度推理模塊對(duì)隱式邏輯變量構(gòu)成的邏輯表達(dá)式進(jìn)行求解并作推薦預(yù)測(cè)。

模型主要由四個(gè)部分組成，分別是輸入層、隱式邏輯表征模塊、深度推理層以及輸出層。下文將對(duì)模型的各個(gè)模塊進(jìn)行詳細(xì)闡述。

2.2 輸入層

輸入層將數(shù)據(jù)轉(zhuǎn)換為模型所需的輸入結(jié)構(gòu)，原始數(shù)據(jù)集由一系列用戶與商品的交互評(píng)分構(gòu)成，主要包括用戶的ID集合U={u1，u2，u3，…，ui}，商品的ID集合V={v1，v2，v3，…，vj}以及評(píng)分矩陣Yi×j。由于模型將推薦問(wèn)題轉(zhuǎn)換為邏輯表達(dá)式進(jìn)行求解，所以需要將評(píng)分轉(zhuǎn)換為0和1，以5分制為例，大于等于4的評(píng)分被視為1，代表用戶與商品產(chǎn)生正交互，小于4的評(píng)分被視為0，即用戶與商品產(chǎn)生負(fù)交互。

隨后，將所有用戶—商品交互按時(shí)間排序并組成序列，每一個(gè)序列包含用戶ui、商品vj、用戶對(duì)商品的評(píng)分yij以及在該條交互前的m個(gè)交互商品組H={h1，h2，h3，…，hm}。最后，為防止整數(shù)編碼方式導(dǎo)致商品與用戶之間產(chǎn)生錯(cuò)誤的次序關(guān)系，使用一個(gè)embedding layer（嵌入層）將所有的整數(shù)編碼映射到高維空間以得到特征向量。

2.3 深度推理層

為了更好地引出隱式邏輯表征模塊，本文首先介紹用于求解邏輯表達(dá)式的深度推理層，其輸入是由邏輯變量與三個(gè)基本邏輯符號(hào)（∧，∨，瘙綈）構(gòu)成的邏輯表達(dá)式，輸出為解向量。同時(shí)，基本的邏輯符號(hào)被視為三個(gè)獨(dú)立的神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

為便于理解，假設(shè)輸入層處理后的數(shù)據(jù)直接進(jìn)入到深度推理層中。輸入包含目標(biāo)用戶u、目標(biāo)商品vt、交互評(píng)分yt以及其之前交互的三個(gè)商品v1、v2、v3（假定m=3）。于是，當(dāng)用戶在給予商品v1、v2、vt正面評(píng)價(jià)，而給予商品v3負(fù)面評(píng)價(jià)后，可將其轉(zhuǎn)換為一個(gè)邏輯表達(dá)式：

（v1∧vt）∨（v2∧vt）∨（v3∧vt）=T（1）

式（1）代表用戶u與vt產(chǎn)生正交互的原因既可能與v1相關(guān)，也可能與v2或v3相關(guān)，每一個(gè)合取子式都是獨(dú)立的，這將鼓勵(lì)模型濾出不同的特征解，顯著降低模型耦合性。

將歷史交互轉(zhuǎn)換為邏輯表達(dá)式后，推薦問(wèn)題就被轉(zhuǎn)換為一個(gè)邏輯表達(dá)式的求解問(wèn)題。為了將符號(hào)邏輯與神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)結(jié)合起來(lái)，本文將三個(gè)基本邏輯符號(hào)視為三個(gè)可學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)AND（·，·）、OR（·，·）、NOT（·）。該做法得益于模型能自發(fā)地從數(shù)據(jù)中學(xué)習(xí)并理解邏輯推理規(guī)則，舉例而言，在一維空間中0和1代表正與負(fù)，也就是說(shuō)NOT（1）=0；在二維空間中，任意向量v都僅存在一條與其相似度為0的向量瘙綈v代表NOT（v）；當(dāng)維度達(dá)到三維即以上時(shí)，對(duì)于任意向量，與其相似度為0的向量將不再唯一。換言之，僅使用經(jīng)典邏輯系統(tǒng)難以表達(dá)高維向量之間的邏輯關(guān)系，因此需要引入神經(jīng)網(wǎng)絡(luò)來(lái)擬合不同空間中的復(fù)雜邏輯關(guān)系。假設(shè)所有向量的維度都為d，則 AND（·，·）與OR（·，·）網(wǎng)絡(luò)的輸入為兩個(gè)維度為d的向量，輸出為一個(gè)維度為d的向量，NOT（·）網(wǎng)絡(luò)輸入為一個(gè)維度為d的向量，輸出也為一個(gè)維度為d的向量。本文的三個(gè)網(wǎng)絡(luò)均采用單隱藏層的全連接神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，以NOT（·）網(wǎng)絡(luò)為例，其公式為

NOT （vt）=b+∑iciσ（bi+∑jwijvt）（2）

其中：σ為激活函數(shù)，本文使用的激活函數(shù)均為ReLU。

舉例來(lái)說(shuō)，AND（v1，vt）的輸出代表v1∧vt的結(jié)果，NOT（v3）則代表瘙綈v3。因此，式（1）在模型中的求解流程如圖1所示。

值得注意的是，模型只取變量之間的一階關(guān)系，這是由于高階關(guān)系在變量個(gè)數(shù)增加時(shí)會(huì)呈指數(shù)增長(zhǎng)，這將帶來(lái)大量計(jì)算需求與模型過(guò)擬合的問(wèn)題。

最后，將模型的輸出向量與隨機(jī)初始化的基準(zhǔn)向量T求相似度得到表達(dá)式的解，相似度公式為

sim（vo，T）=sigmoid（φvo·T‖vo‖×‖T‖）（3）

其中：φ為超參數(shù)，通過(guò)縮放相似度大小使模型能適配不同領(lǐng)域的數(shù)據(jù)集。相似度越接近1代表用戶對(duì)該商品的預(yù)期評(píng)價(jià)越傾向正面。

2.4 隱式邏輯表征

深度推理模型在實(shí)際應(yīng)用中會(huì)產(chǎn)生兩個(gè)問(wèn)題。首先，邏輯表達(dá)式求解析取范式的過(guò)程是串聯(lián)進(jìn)行的，這將導(dǎo)致靠前的邏輯單位信息不斷丟失，而靠后的邏輯單位則不可避免地對(duì)最終結(jié)果產(chǎn)生更大影響。其次，在前文中只保留變量間一階邏輯關(guān)系的做法雖然能夠精簡(jiǎn)模型，但也在一定程度上導(dǎo)致了邏輯變量間隱式信息的丟失。當(dāng)面對(duì)以推薦任務(wù)為代表的實(shí)際問(wèn)題時(shí)，不同變量間總是存在復(fù)雜的隱性關(guān)系，例如不同電影有上下部關(guān)系，不同商品也許從屬于同一品牌或同一類目，這些隱式信息都會(huì)對(duì)推薦結(jié)果產(chǎn)生影響。但在深度推理模塊中，每樣商品都被表示為獨(dú)立的邏輯變量。以2.2節(jié)中的假設(shè)為例，模型忽視了歷史交互商品v1、v2、v3之間的二階與三階關(guān)系：

（v1∧v2∧vt）∨（v1∧v3∧vt）∨（v1∧v2∧v3∧vt）=T（4）

簡(jiǎn)而言之，當(dāng)不考慮變量間的高階關(guān)系時(shí)，也就主動(dòng)舍棄了v1、v2、v3之間的隱式信息，這樣的做法顯然會(huì)對(duì)模型性能造成影響。

因此，需要針對(duì)上述深度推理模型的兩個(gè)問(wèn)題構(gòu)造一個(gè)隱式邏輯表征模塊。首先，借助自注意力機(jī)制（self-attention）來(lái)挖掘不同邏輯變量之間的隱式關(guān)系，解決忽略高階關(guān)系帶來(lái)的問(wèn)題；其次，增加一個(gè)門控循環(huán)單元層（gated recurrent unit，GRU）解決串聯(lián)執(zhí)行析取范式產(chǎn)生的信息丟失問(wèn)題。隱式邏輯表征模塊的具體結(jié)構(gòu)如圖2所示。

首先，attention模塊將代表商品的邏輯變量視做一個(gè)輸入序列，通過(guò)學(xué)習(xí)各邏輯變量之間的相關(guān)權(quán)重來(lái)挖掘不同商品間的隱式交互信息。該計(jì)算過(guò)程主要由query、key、value三個(gè)部分組成，通過(guò)線性投影的方式得到Q、K、V三個(gè)向量，將Q與K向量點(diǎn)乘得到相似度矩陣，相似度公式為

f（Q，Ki）=QTKi（5）

隨后對(duì)相似度矩陣歸一化得到關(guān)于向量V的權(quán)重分布，并點(diǎn)乘計(jì)算向量V的加權(quán)值，計(jì)算公式為

attention（Q，K，V）=softmax（f（Q，Ki）dk）（6）

為挖掘不同子空間中各邏輯變量間的復(fù)雜關(guān)系，需要引入多頭注意力機(jī)制，在多個(gè)不同的投影空間中捕捉不同的交互信息并有效防止模型陷入局部最優(yōu)陷阱，公式如式（7）（8）所示，其中W為可學(xué)習(xí)的參數(shù)矩陣。

headi=attention（Q，K，V）iVi（7）

MHead=concat（head1，head2，…，headi）W（8）

通過(guò)自注意力模塊可以得到包含各變量間高階隱式交互信息的隱式邏輯變量α1、α2、α3。隨后，利用門控循環(huán)網(wǎng)絡(luò)進(jìn)一步優(yōu)化模型，解決深度推理模型中串聯(lián)計(jì)算方式帶來(lái)的信息丟失問(wèn)題。

門控循環(huán)網(wǎng)絡(luò)內(nèi)部結(jié)構(gòu)展示在圖2上方，主要由兩個(gè)重要單元構(gòu)成，分別是更新門zt與重置門rt，更新門用于控制前一邏輯變量的狀態(tài)信息被帶入當(dāng)前信息中的程度，重置門則控制前一狀態(tài)有多少信息被寫入當(dāng)前的候選隱狀態(tài)h中，計(jì)算公式如下，其中［·］表示向量拼接：

rt=σ（Wr·［ht-1，xt］）（9）

zt=σ（Wz·［ht－1，xt］）（10）

h=tanh（Wh·［rtht－1，xt］）（11）

ht=（1－zt）ht－1+ztht（12）

yt=σ（W0·ht）（13）

通過(guò)門控循環(huán)網(wǎng)絡(luò)，模型可以自發(fā)地學(xué)習(xí)并控制對(duì)表達(dá)式不同位置變量信息的取舍，有效改善深度推理模型中邏輯表達(dá)式前端變量信息丟失的問(wèn)題。最后，將通過(guò)隱式邏輯表征模塊得到的隱式邏輯變量視為一個(gè)邏輯表達(dá)式并作為深度推理模型的輸入。

2.5 輸出層

深度推理層根據(jù)輸入的邏輯表達(dá)式進(jìn)行計(jì)算后會(huì)輸出一個(gè)d維解向量，將該向量與基準(zhǔn)向量T經(jīng)過(guò)式（3）計(jì)算后得到0～1的數(shù)值即代表用戶對(duì)目標(biāo)商品的預(yù)期傾向。該數(shù)值越接近1則用戶對(duì)該商品的預(yù)期評(píng)價(jià)越正面，在推薦任務(wù)中，預(yù)期評(píng)價(jià)越正面的商品在推薦序列中排名越靠前。

最后，算法1給出了IDCR模型的具體實(shí)現(xiàn)。

算法1 IDCR算法

輸入：歷史交互序列V{v1，v2，…，vn}，評(píng)分序列S{s1，s2，…，sn}，目標(biāo)vt。

輸出：用戶對(duì)vt的預(yù)期傾向P。

1" 初始化：AND（）、OR（）、NOT（）是三個(gè)全連接神經(jīng)網(wǎng)絡(luò)模塊，att（）是Attention模塊，gru（）是GRU模塊，embedding（）是嵌入向量模塊

2" X←embedding（V）

3" Xe←gru（att（X））

4" Xnot←NOT（Xe）*（1-S）+Xe*S

5" Xor←Xnot［0］

6" for（i=1;ilt;=length（Xnot）;i++） do

7"" Xor←OR（Xor，Xnot［i］）

8" end for

9" Xand←and（Xor，embedding（vt））

10 P←sim（Xand，T）//sim為式（3）

11 return P

下面給出具體實(shí)現(xiàn)案例：首先，與同一用戶交互的N個(gè)商品根據(jù)交互時(shí)間排序并組成序列V{v1，v2，…，vn}，第N+1個(gè)商品則作為預(yù)測(cè)商品vt；隨后，將序列V的每個(gè)變量嵌入生成高維向量（算法第2行），并將這一組向量輸入自注意力模塊與門控循環(huán)網(wǎng)絡(luò)并生成一組隱式邏輯變量（第3行）；接著，將這一組隱式邏輯變量視做一個(gè)邏輯表達(dá)式經(jīng)由邏輯符號(hào)網(wǎng)絡(luò)求解得到解向量（第4～9行）；最后，將該解向量與隨機(jī)生成的基準(zhǔn)向量T經(jīng)由式（3）得到該邏輯表達(dá)式的解值，并作為用戶對(duì)目標(biāo)商品的預(yù)測(cè)評(píng)分（第10行）。

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

本文利用三個(gè)具有代表性的公開(kāi)數(shù)據(jù)集MovieLens、Book-Crossing、Amazon-E檢驗(yàn)新建模型IDCR的推薦效果。

1）MovieLens［31］ 由GroupLens建立并維護(hù)的電影推薦數(shù)據(jù)集，是推薦領(lǐng)域的常用數(shù)據(jù)集。它數(shù)據(jù)密度較高，包含900+個(gè)用戶對(duì)1 000+部電影發(fā)表的十萬(wàn)條評(píng)分?jǐn)?shù)據(jù)。

2）Book-Crossing［32］ 由Book-Crossing社區(qū)二十四萬(wàn)閱讀者對(duì)圖書(shū)評(píng)分構(gòu)成的圖書(shū)推薦數(shù)據(jù)集。它非常稀疏，對(duì)基于統(tǒng)計(jì)特征的深度學(xué)習(xí)方法具有很大的挑戰(zhàn)。

3）Amazon-E［33］ 由亞馬遜用戶網(wǎng)上購(gòu)物評(píng)分構(gòu)成的電子商務(wù)推薦數(shù)據(jù)集。它密度適中，數(shù)據(jù)量非常大。

數(shù)據(jù)集基本情況如表1所示。

3.2 評(píng)價(jià)指標(biāo)

采用TOP-K推薦方法對(duì)新建模型進(jìn)行檢驗(yàn)，對(duì)每一個(gè)用戶給予積極評(píng)價(jià)的商品，隨機(jī)選取100個(gè)用戶給予消極評(píng)價(jià)或未進(jìn)行交互的商品生成測(cè)試序列，并對(duì)這101份商品進(jìn)行推薦排序。選用歸一化折損累計(jì)增益（normalized discounted cumulative gain，NDCG）和命中率HR（hits ratio）衡量模型推薦效果：

a）NDCG@K。越靠前的排名越能影響最終結(jié)果。該指標(biāo)越大則說(shuō)明目標(biāo)商品在TOP-K序列中的位置越靠前，其定義為

NDCG@K=1N∑Nln 2ln（i+2）（14）

b）HR@K。hit表示TOP-K中是否出現(xiàn)目標(biāo)商品，出現(xiàn)為1，否則為0。HR@K代表在所有測(cè)試集S中命中目標(biāo)商品的概率，其定義為

HR@K=number of hitsN（15）

3.3 比對(duì)模型及參數(shù)設(shè)置

將新建模型與以下六個(gè)經(jīng)典模型進(jìn)行比較（其中兩個(gè)模型基于矩陣分解思想，三個(gè)模型基于神經(jīng)網(wǎng)絡(luò)思想，最后的LINN基于神經(jīng)網(wǎng)絡(luò)與邏輯推理相結(jié)合的思想）：

a）SVD++［13］。基于矩陣分解方法的改進(jìn)模型，集成顯式與隱式反饋的強(qiáng)大推薦模型。

b）BiasedMF［34］。成對(duì)學(xué)習(xí)的矩陣分解的代表性模型，關(guān)注于商品之間的排序高于評(píng)價(jià)。

c）STAMP［35］。基于短期注意力與記憶優(yōu)先級(jí)的模型，借助注意力機(jī)制獲取用戶長(zhǎng)期及短期偏好，是熱門模型之一。

d）GRU4Rec［36］。面向推薦問(wèn)題的門控循環(huán)網(wǎng)絡(luò)模型。

e）NARM［37］。將注意力機(jī)制與門控循環(huán)網(wǎng)絡(luò)相結(jié)合的模型，是熱門的序列推薦模型之一。

f）LINN［10］。將神經(jīng)網(wǎng)絡(luò)與邏輯推理相結(jié)合的模型，是神經(jīng)網(wǎng)絡(luò)與邏輯毅力相結(jié)合的熱門模型之一。本文新建模型也基于神經(jīng)網(wǎng)絡(luò)與邏輯推理相結(jié)合的思想，本文方法在該模型基礎(chǔ)之上增加了一個(gè)隱式邏輯表征模塊以進(jìn)一步提升模型面對(duì)推薦問(wèn)題時(shí)的性能。

上述模型均采用PyTorch實(shí)現(xiàn)，對(duì)于每個(gè)模型，都以在驗(yàn)證集上取得最好效果那輪的測(cè)試結(jié)果作為模型最佳性能，并將多個(gè)隨機(jī)種子下模型取得的效果取平均值作為模型最終性能指標(biāo)。神經(jīng)網(wǎng)絡(luò)基線模型的參數(shù)設(shè)置如表2所示。

3.4 結(jié)果與分析

為避免偶然性影響，本文選取HR@K（K=1，5，10，20，50）及NDCG@K（K=5，10，20）共八個(gè)指標(biāo)的平均值作為比較參數(shù)。七個(gè)模型在三個(gè)數(shù)據(jù)集的平均性能如表3所示，可以看到本文新建模型在三個(gè)數(shù)據(jù)集上的性能均高于六個(gè)經(jīng)典模型，可知本文方法能有效提高推薦準(zhǔn)確率，增強(qiáng)推薦準(zhǔn)確性。

在密度與質(zhì)量較高的數(shù)據(jù)集MovieLens和Amazon-E上，基于神經(jīng)網(wǎng)絡(luò)的方法顯著優(yōu)于矩陣分解方法，可能是由于神經(jīng)網(wǎng)絡(luò)方法能夠賦予模型非線性學(xué)習(xí)能力，在面對(duì)特征豐富的數(shù)據(jù)集時(shí)能利用到更多交互信息。在Book-Crossing數(shù)據(jù)集上，除本文方法外的神經(jīng)網(wǎng)絡(luò)模型性能均低于矩陣分解方法，而矩陣分解模型則依然能保持它們?cè)谄溆鄡蓚€(gè)數(shù)據(jù)集上的推薦性能。分析原因是過(guò)于稀疏的數(shù)據(jù)集導(dǎo)致神經(jīng)網(wǎng)絡(luò)難以捕捉足夠多的特征，致使模型收斂效果不佳。

本文方法在三個(gè)不同數(shù)據(jù)集上均表現(xiàn)了最佳性能，這主要?dú)w功于增加的隱式邏輯表征模塊在保有模型推理能力的同時(shí)彌補(bǔ)了LINN模型難以捕獲變量間高階隱式信息的缺陷以及串聯(lián)計(jì)算圖帶來(lái)的信息丟失問(wèn)題。

從稀疏穩(wěn)定性來(lái)看，基于矩陣分解的模型在不同數(shù)據(jù)集上性能相近，這可能是由于矩陣分解方法對(duì)數(shù)據(jù)集質(zhì)量的依賴較弱。其余五種神經(jīng)網(wǎng)絡(luò)模型的性能均在Book-Crossing數(shù)據(jù)集上出現(xiàn)明顯下滑，但本文方法的降幅顯著低于其余神經(jīng)網(wǎng)絡(luò)模型，分析原因是增加的隱式邏輯表征模塊強(qiáng)化了模型的魯棒性，在面對(duì)稀疏數(shù)據(jù)時(shí)仍能通過(guò)挖掘各變量間的隱式信息以取得良好表現(xiàn)。

更詳細(xì)的實(shí)驗(yàn)結(jié)果如表3～6所示。可以看到，當(dāng)選擇不同K值時(shí)，模型性能排序會(huì)有輕微變化，如Book-Crossing數(shù)據(jù)集的HR@1與HR@5指標(biāo)上，SVD++取得優(yōu)異表現(xiàn)，而Amazon-E數(shù)據(jù)集的NDCG@5與HR@1指標(biāo)上，LINN表現(xiàn)更佳。這可能是由于本文方法考慮不同商品間的隱式交互使得相似商品在排序中更加接近，導(dǎo)致極小范圍的推薦精度出現(xiàn)降低。未來(lái)將考慮引入額外信息優(yōu)化嵌入，改善模型小范圍推薦精度。

3.5 參數(shù)敏感性實(shí)驗(yàn)

對(duì)新建模型的嵌入維度與隱式邏輯表征中自注意力層數(shù)進(jìn)行參數(shù)敏感性測(cè)試。分別設(shè)定嵌入維度為64、72、84、96、108，自注意力層數(shù)為1、2、3，在三個(gè)數(shù)據(jù)集上測(cè)試結(jié)果如圖3～5所示。發(fā)現(xiàn)當(dāng)自注意力層數(shù)為2時(shí)，模型性能出現(xiàn)明顯提升，可知2層自注意力網(wǎng)絡(luò)就能挖掘各變量之間的隱式高階關(guān)系。同時(shí)，模型的性能也隨著嵌入維度的增加而提升，在三個(gè)數(shù)據(jù)集上獲得最好性能的嵌入維度分別是84、96、96，可知在不同結(jié)構(gòu)的數(shù)據(jù)集上隱藏的交互信息豐富程度有輕微差異。

4 結(jié)束語(yǔ)

本文以將推薦問(wèn)題轉(zhuǎn)換為邏輯表達(dá)式進(jìn)行求解的思想為基礎(chǔ)，提出一種融合命題邏輯與神經(jīng)網(wǎng)絡(luò)的隱式深度協(xié)同推理算法。算法將邏輯表達(dá)式中的一組邏輯變量視為序列，使用多層自注意力與門控循環(huán)網(wǎng)絡(luò)構(gòu)造隱式邏輯編碼器挖掘各變量間的隱式交互信息并生成隱式邏輯變量，使模型在求解過(guò)程中能利用到不同變量間的高階交互關(guān)系與信息，改善模型解決復(fù)雜現(xiàn)實(shí)問(wèn)題的能力。同時(shí)，門控循環(huán)網(wǎng)絡(luò)的記憶機(jī)制也在一定程度上改善了模型串聯(lián)求解過(guò)程中產(chǎn)生的靠前單位信息丟失問(wèn)題。基于三個(gè)公開(kāi)數(shù)據(jù)集MovieLens、Book-Crossing、Amazon-E的實(shí)驗(yàn)結(jié)果表明，本文方法較基線方法有明顯提升。

本文方法也存在一定不足，例如，本文沒(méi)有考慮基本邏輯規(guī)則中先驗(yàn)知識(shí)對(duì)符號(hào)模塊的影響，也沒(méi)有充分利用外界豐富的輔助信息，而是通過(guò)模型訓(xùn)練挖掘變量間的隱式交互信息。未來(lái)將考慮在嵌入中加入更多用戶與商品的輔助信息以豐富特征，同時(shí)嘗試?yán)没具壿嬕?guī)則強(qiáng)化模型推理能力。

參考文獻(xiàn)：

［1］Cui Zhihua，Xu Xianghua，Xue Fei，et al. Personalized recommendation system based on collaborative filtering for IoT scenarios ［J］. IEEE Trans on Services Computing，2020，13（4）： 685-695.

［2］劉華玲，馬俊，張國(guó)祥. 基于深度學(xué)習(xí)的內(nèi)容推薦算法研究綜述 ［J］. 計(jì)算機(jī)工程，2021，47（7）： 1-12. （Liu Hualing，Ma Jun，Zhang Guoxiang. Summary of research on content recommendation algorithm based on deep learning［J］. Computer Engineering，2021，47（7）： 1-12.）

［3］He Xiangnan，Zhang Hanwang，Kan M Y，et al. Fast matrix factorization for online recommendation with implicit feedback ［C］// Proc of the 39th International ACM SIGIR Conference on Research and Deve-lopment in Information Retrieval. New York：ACM Press，2016： 549-558.

［4］Cheng H T，Koc L，Harmsen J，et al. Wide amp; deep learning for recommender systems ［C］// Proc of the 1st workshop on deep learning for recommender systems. New York：ACM Press， 2016： 7-10.

［5］Dacrema M F，Cremonesi P，Jannach D. Are we really making much progress？A worrying analysis of recent neural recommendation approaches ［C］// Proc of the 13th ACM Conference on Recommender Systems. New York：ACM Press，2019： 101-109.

［6］Rendle S，Krichene W，Zhang L，et al. Neural collaborative filtering vs. matrix factorization revisited ［C］// Proc of the 14th ACM Conference on Recommender Systems. New York：ACM Press，2020： 240-248.

［7］Bengio Y. From system 1 deep learning to system 2 deep learning ［C］// Proc of the 33rd Conference on Neural Information Processing Systems. 2019.

［8］Shi Shaoyun，Chen Hanxiong，Ma Weizhi，et al. Neural logic reasoning ［C］// Proc of the 29th ACM International Conference on Information amp; Knowledge Management. New York：ACM Press，2020： 1365-1374.

［9］Chen Hanxiong，Li Yunqi，Shi Shaoyun，et al. Graph collaborative reasoning ［C］// Proc of the 15th ACM International Conference on Web Search and Data Mining. New York：ACM Press，2022： 75-84.

［10］Chen Hanxiong，Shi Shaoyun，Li Yunqi，et al. Neural collaborative reasoning ［C］// Proc of Web Conference. 2021： 1516-1527.

［11］Fan Yujia，Zhang Yongfeng. Neural logic analogy learning ［EB/OL］. （2022-04-08）. http：//doi.org/10.48550/arxiv.2202.02436.

［12］Huang Zhenya，Liu Qi，Zhai Chengxiang，et al. Exploring multi-objective exercise recommendations in online education systems ［C］// Proc of the 28th ACM International Conference on Information and Knowledge Management. New York：ACM Press，2019： 1261-1270.

［13］Koren Y. Factorization meets the neighborhood： a multifaceted collaborative filtering model ［C］// Proc of the 14th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York：ACM Press，2008： 426-434.

［14］Adomavicius G，Tuzhilin A. Context-aware recommender systems ［M］// Recommender Systems Handbook. Boston： Springer，2011： 217-253.

［15］Karatzoglou A，Amatriain X，Baltrunas L，et al. Multiverse recommendation： n-dimensional tensor factorization for context-aware collaborative filtering ［C］// Proc of the 4th ACM Conference on Recommender Systems. New York：ACM Press，2010： 79-86.

［16］Koren Y. Collaborative filtering with temporal dynamics ［C］// Proc of the 15th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York：ACM Press，2009： 447-456.

［17］Zhang Yongfeng，Ai Qingyao，Chen Xu，et al. Joint representation learning for top-n recommendation with heterogeneous information sources ［C］// Proc of ACM on Conference on Information and Knowledge Management. New York：ACM Press，2017： 1449-1458.

［18］He Ruining，McAuley J. VBPR： visual Bayesian personalized ranking from implicit feedback ［C］// Proc of AAAI Conference on Artificial Intelligence. Palo Alto，CA：AAAI Press，2016.

［19］Ai Qingyao，Azizi V，Chen Xu，et al. Learning heterogeneous know-ledge base embeddings for explainable recommendation ［J］. Algorithms，2018，11（9）： 137.

［20］Hsieh C K，Yang Longqi，Cui Yin，et al. Collaborative metric learning ［C］// Proc of the 26th International Conference on World Wide Web. Republic and Canton of Geneva： International World Wide Web Conferences Steering Committee，2017： 193-201.

［21］Salakhutdinov R，Mnih A，Hinton G. Restricted Boltzmann machines for collaborative filtering ［C］// Proc of the 24th International Confe-rence on Machine Learning. New York：ACM Press， 2007： 791-798.

［22］He Xiangnan，Liao Lizi，Zhang Hanwang，et al. Neural collaborative filtering ［C］// Proc of the 26th International Conference on World Wide Web. Republic and Canton of Geneva： International World Wide Web Conferences Steering Committee，2017： 173-182.

［23］Ebesu T，Shen Bin，F(xiàn)ang Yi. Collaborative memory network for recommendation systems ［C］// Proc of the 41st International ACM SIGIR Conference on Research amp; Development in Information Retrieval. New York：ACM Press， 2018： 515-524.

［24］Jiang Zhuxi，Zheng Yin，Tan Huachun，et al. Variational deep embedding： an unsupervised and generative approach to clustering ［C］// Proc of the 26th International Joint Conference on Artificial Intel-ligence. Palo Alto，CA： AAAI Press，2017： 1965-1972.

［25］Hohenecker P，Lukasiewicz T. Ontology reasoning with deep neural networks ［J］. Journal of Artificial Intelligence Research，2020，68： 503-540.

［26］Makni B，Hendler J. Deep learning for noise-tolerant RDFS reasoning ［J］. Semantic Web，2019，10（5）： 823-862.

［27］Johnson J，Hariharan B，Van Der Maaten L，et al. Inferring and executing programs for visual reasoning ［C］// Proc of IEEE International Conference on Computer Vision. Piscataway，NJ： IEEE Press，2017： 3008-3017.

［28］Yi Kexin，Wu Jiajun，Gan Chuang，et al. Neural-symbolic VQA： disentangling reasoning from vision and language understanding ［C］// Proc of the 32nd International Conference on Neural Information Processing Systems. Red Hook，NY： Curran Associates Inc.，2018： 1039-1050.

［29］Yang Fan，Yang Zhilin，Cohen W W. Differentiable learning of logical rules for knowledge base reasoning ［C］// Proc of the 31st International Conference on Neural Information Processing Systems. Red Hook，NY： Curran Associates Inc.，2017： 2316-2325.

［30］Dong Honghua，Mao Jiayuan，Lin Tian，et al. Neural logic machines［C］// Proc of International Conference on Learning Representations. 2018.

［31］Harper F M，Konstan J A. The MovieLens datasets： history and context ［J］. ACM Trans on Interactive Intelligent Systems，2015，5（4）： 1-19.

［32］Ziegler C N，McNee S M，Konstan J A，et al. Improving recommendation lists through topic diversification ［C］// Proc of the 14th International Conference on World Wide Web. New York：ACM Press，2005： 22-32.

［33］He Ruining，McAuley J. Ups and downs： modeling the visual evolution of fashion trends with one-class collaborative filtering ［C］// Proc of the 25th International Conference on World Wide Web. Republic and Canton of Geneva： International World Wide Web Conferences Steering Committee，2016： 507-517.

［34］Rendle S，F(xiàn)reudenthaler C，Gantner Z，et al. BPR： Bayesian perso-nalized ranking from implicit feedback ［C］// Proc of the 25th Confe-rence on Uncertainty in Artificial Intelligence. Arlington，Virginia： AUAI Press，2009： 452-461.

［35］Liu Qiao，Zeng Yifu，Mokhosi R，et al. STAMP： short-term attention/memory priority model for session-based recommendation ［C］// Proc of the 24th ACM SIGKDD International Conference on Knowledge Discovery amp; Data Mining. New York：ACM Press， 2018： 1831-1839.

［36］Hidasi B，Karatzoglou A，Baltrunas L，et al. Session-based recommendations with recurrent neural networks ［C］// Proc of International Conference on Learning Representations. 2016.

［37］Li Jing，Ren Pengjie，Chen Zhumin，et al. Neural attentive session-based recommendation ［C］// Proc of ACM on Conference on Information and Knowledge Management. New York：ACM Press，2017： 1419-1428.