基于IRGAN模型和Hadoop的電影推薦系統的設計

趙桂升 潘善亮

(寧波大學信息科學與工程學院 浙江 寧波 315211)

0 引 言

隨著網絡的迅速發展，互聯網上的各類資源都呈現出爆炸式的增長趨勢，而信息量的劇增也導致了“信息過載”問題。針對此問題，一個有效的解決方法就是推薦系統。經過學術界和工業界多年的探索和研究，推薦算法的發展也是經歷了從傳統的協同過濾算法[1-2]到如今的結合深度學習技術的推薦算法的歷程，例如目前YouTube的視頻推薦、Google Play的App推薦以及Yahoo News的新聞推薦等[3-5]，都取得了不錯的效果。

根據中國互聯網絡信息中心2018年7月發布的第42次《中國互聯網絡發展狀況統計報告》[6]顯示，截止2018年6月，我國網民規模達8.02億，其中網絡視頻用戶規模達6.09億，占網民總體的76%。由上述報告可知，國內各類視頻資源數量增長迅速，尤其是電影資源，而且視頻用戶的數量呈現逐年增長態勢。針對目前國內視頻和用戶快速發展的趨勢，鑒于目前一些電影推薦系統研究[7-9]中存在的數據利用率低、系統壓力大、實時性差等弊端，本文系統決定采用深度學習中的IRGAN模型[10]作為主要的推薦算法，設計實現了基于IRGAN算法模型的離線推薦模塊和基于在線用戶行為數據收集處理的在線推薦模塊。采用二者聯合推薦的方式，并針對未來可能存在的海量電影數據和用戶的產生，以及模型本身存在的大量計算，借助大數據處理框架Hadoop、Spark和kafka等技術進行處理，保證系統的實時性、高效性和穩定性。

1 系統設計

1.1 系統架構設計

針對上述問題，并且為了提高系統的可維護性和可擴展性，本文系統采用平臺化結構設計。通過分層設計，使得系統整體邏輯更加清晰，降低了層與層之間的耦合度，具體的系統總體架構設計如圖1所示。

圖1 系統總體架構設計圖

由圖1可知，系統分為數據層、算法層、業務層、表現層和用戶層五個層次，最右側為各層次的主要技術選型，各層次詳細內容具體如下：

(1) 用戶層：針對不同的用戶，根據用戶的權限進行不同的功能展示，主要分為游客、普通用戶和管理員，用戶可以通過瀏覽器訪問表現層來進行交互。

(2) 表現層：主要是電影推薦系統的界面設計，通過良好的布局和圖表等形式，合理地呈現數據資源，與用戶友好地進行交互。

(3) 業務層：主要是具體的模塊功能邏輯的實現，主要包括用戶管理、電影管理、電影推薦、歷史記錄等功能。

(4) 算法層：主要是依托大數據處理框架，采用在線推薦和離線推薦相結合的形式，最終進行聯合推薦。對于離線推薦模塊，根據數據層提供的歷史數據，采用IRGAN模型對于每一個用戶的歷史評分數據進行計算，并存儲到HDFS中去；對于在線推薦模塊，通過結合Flume和kafka得到的實時的用戶行為數據，根據不同的權重分配，對于離線推薦模塊生成的推薦列表進行重新計算，然后將結果保存到HDFS中，實現電影推薦功能。

(5) 數據層：該層主要是包含了HDFS和MySQL數據庫，為業務層和算法層提供相應的數據支持。

1.2 系統功能設計

系統的功能模塊設計主要是通過對業務層的需求分析，將其需求劃分成不同的功能模塊，模塊間功能相互獨立，降低耦合度，便于后續功能的維護和擴展。其具體的功能模塊結構如圖2所示。

圖2 系統功能模塊結構圖

1.2.1用戶管理模塊

系統主要涉及游客、普通用戶和管理員三種角色，用戶管理模塊也是根據不同的角色劃分而制定的。通過對角色的分級管理，賦予不同的角色不同的操作權限。其中，管理員擁有最高權限，主要負責管理所有的用戶和電影信息，可以隨時更新電影資訊，維護用戶權限列表；普通用戶主要是系統的注冊用戶，可以維護自己的相關信息，收藏自己喜愛的電影，查閱相關電影資訊，為自己喜愛的電影進行評分、點贊等，并且可以獲取系統專門為用戶推薦的電影列表；游客只能登錄查看電影資訊，查看目前的熱門電影排行榜等一系列榜單，不會專門對游客進行推薦電影。

1.2.2電影管理模塊

系統的電影管理模塊主要使用者是管理員和普通用戶。對于管理員，可以通過電影管理模塊管理數據庫中的所有電影，隨時添加近期的最新電影，維護電影資源庫和用戶信息庫；對于普通用戶，可以通過電影管理模塊收藏自己喜愛的電影，為自己喜愛的電影進行評分操作，管理和維護自己收藏的電影庫，但是不能對電影進行數據庫層面的增刪改操作。

1.2.3電影推薦模塊

系統的電影推薦是針對普通用戶而言的，其主要是依靠系統架構中的算法層進行實現的。由于用戶量過大和電影資源的不斷增加，依托大數據處理框架Hadoop的相關工具，基于IRGAN的深度學習模型，對于數據庫中的用戶數據進行離線計算操作，得出每一個用戶的推薦列表，保存在分布式數據庫HDFS中。另外，根據Flume和kafka得到實時用戶行為數據，根據各項行為和離線數據處理得到推薦表的權重分配，重新計算權重并重新排序，將新的推薦列表保存到分布式數據庫HDFS中去，作為最終的推薦結果。

1.2.4歷史記錄模塊

歷史記錄模塊主要是記錄用戶在系統中的各項行為操作，相當于事務日記的作用，主要是提供給用戶，方便查看自己的歷史操作記錄。

2 算法層詳細設計與實現

2.1 算法層總體架構設計

推薦系統中，推薦算法層的設計是核心要點之一。在本系統中，主要依托大數據處理框架Hadoop，設計了對原有數據庫中的歷史評分數據進行處理的離線推薦模塊和對于用戶實時行為數據收集的在線推薦模塊相結合的架構，進行聯合推薦，具體的算法層架構設計如圖3所示。

圖3 算法層總體架構設計圖

2.2 離線推薦模塊設計實現

2.2.1IRGAN算法設計

IRGAN是2017年Wang等提出來的，主要是將信息檢索領域中長期存在的兩種思維流派的思想結合GAN網絡模型進行了統一，也是首次將GAN網絡模型引入到了推薦系統領域的研究當中。其算法的主要結構如圖4所示。

圖4 IRGAN算法模型結構圖

假設有一組查詢q={q1,q2,…,qn}和一組文件d={d1,d2,…,dn}，其中查詢qn為用戶的查詢關鍵字或者主要特征等，文件d為與查詢qn具有相關性或者無關性的一組文件。對于任意一個查詢qn，都有一組特定數目的文件d與之相關。設條件概率ptrue(dqn,r)用來描繪文件d在查詢qn和相關性r的基礎上的真實相關分布，根據原始的GAN網絡模型的基本原理，分別建立生成檢索模型和判別檢索模型如下：

(1) 生成檢索模型：pθ(dq,r)，通過給定的查詢q，生成與查詢q具有相關性的一組文件d，實際上是想讓生成檢索模型生成的相關性文檔d的概率分布盡可能多地接近真實的相關性文檔分布ptrue(dq,r)。

(2) 判別檢索模型：fφ(q,d) ，主要是從每個(q,d)元組中區分出哪個是具有相關性的元組，根據與查詢q的相關性，區分出相關文件和不相關文件，實際上也就是一個二進制分類器，設匹配的(q,d)元組的標簽為1，不匹配的(q,d)元組的標簽為0。

基于GAN思想，在上述兩個檢索模型之間形成一種極小極大的關系，利用生成檢索模型根據pθ(dqn,r)的分布概率來生成一組相關文檔d，然后將生成的相關文檔d交給判別檢索模型進行判定。而判別檢索模型會試圖尋找一個界限來區分生成檢索模型生成的一組相關文檔d和相關性文檔分布ptrue(dq,r)生成的一組相關文檔d。由此可以得到公式：

(1)

式中：pθ(dqn,r)是生成檢索模型的相關性分布，可以通過sigmoid函數來給出：

pθ(dq,r)=softmax(gθ(q,d))=

(2)

D(dqn)是判別檢索模型的區分(q,d)相關性的估計概率，可以通過sigmoid函數來給出判別檢索模型的公式：

(3)

兩個模型相互迭代學習，分別對式(1)進行博弈訓練優化。

2.2.2離線推薦具體設計實現

離線推薦模塊的設計主要是根據數據庫中存在的用戶在過去一段時間中對各類電影的評分數據，通過算法計算，得出一份推薦列表。根據之前考慮到的電影市場中用戶和電影資源的數量急劇擴大，首先會對大量的數據依托Hadoop框架進行Hadoop分布式集群的配置，這樣既可以保證數據的分塊分布式存儲，又可以保證了數據的多重備份，防止某臺服務器的宕機導致數據的丟失。具體配置參照表1。

表1 Hadoop分布式服務器配置表

表1中有一個Master和三個Slave，其中Master除了作為主服務器外，還同時作為NameNode節點。用戶可以通過訪問Master節點，由Master節點自動將對應任務的操作發送到各個Slave節點中去，等Slave節點執行完畢后，結果會返回到Master節點中，經過Master節點整理后，最終返回給用戶。

在解決了數據的分布式存儲后，考慮到對于深度學習算法模型的運算工作量大、運算效率較低等特點，并結合了以下優點后，選擇了Spark組件來對IRGAN算法模型進行分布式計算：

(1) Spark是基于內存計算的大型內存分布式計算組件，基于MapReduce的思想，所有的迭代計算放在內存中運行，比Hadoop的MapReduce執行速度快上百倍。

(2) 非常友好地支持了Java、Python等多種語言，對于實時計算和離線批處理等功能的可拓展性強，容易和現有的Hadoop生態圈結合。

(3) 由于IRGAN算法模型是基于Tensorflow平臺進行編碼的，Spark提供了分布式大規模運算的算法包PySpark。

為了不破壞基于J2ee設計的推薦系統的結構，對于IRGAN算法采用了Java動態傳參調用Python腳本的方式進行調用，在這里，我們設定查詢q為用戶ID，查詢結果為生成的具有相關性文檔d。具體的操作流程如下：

(1) 將HDFS中的電影表、用戶表和相關的評分表等數據轉換成相應的csv文件，按照數據量的80%和20%的比例分為訓練集和測試集。

(2) 訓練模型，調用命令行，并使用命令行傳入相關模型進行模型訓練。

(3) 在經過代碼中設定好的迭代次數收斂后，存儲模型的輸出結果。

(4) Java動態傳參模型調用，將對應的用戶ID傳入作為數據參數，使用Java調用Python腳本，得到返回結果。

(5) 將返回的結果保存到相關的數據庫中，并按照json格式進行轉換輸出到前臺頁面進行展示。

2.3 在線推薦模塊設計實現

由于單純靠深度算法計算得到的推薦表單主要是根據歷史數據進行計算的，并不能很好地做到實時更新，例如某個用戶之前是喜愛冒險類電影的，歷史數據可能也是顯示如此，所以冒險類電影的推薦分數可能要高于其他類型的電影分數，如果今天這位用戶在線去過多的關注愛情類的電影，這說明該用戶今天的關注點不是冒險類電影，而是愛情類電影，然而單純的根據離線推薦模塊進行推薦的話，不會具有實時性，從而不能把握用戶的喜好，造成用戶體驗不佳。在線推薦模塊的設計主要是對于數據庫中已存在的用戶，收集他們的實時行為數據，然后根據用戶不同的行為所代表的不同的權重系數進行計算，將這些隱式反饋加入到具體的評分系統當中，反饋出當前用戶對于該電影的喜愛程度。

由于在線推薦模塊需要收集用戶的各種操作的信息流，比如說用戶的瀏覽、點贊、評分以及評論等，這類消息的產生往往帶有高并發、數據量大等特點，需要使用日志分發和日志聚合等功能去實現，保證所有的信息都可以被保存和處理。針對有可能出現的上述問題，主要采用Flume和Kafka相結合的方式來解決。Flume是分布式的高可靠、高可用的日志收集、聚合和傳輸系統，支持在日志系統中定制各類數據發送方，便于收集日志數據；而Kafka是一種高吞吐量的分布式訂閱消息系統，主要具有兩種角色，分別是生產者和消費者，生產者指的是生產某一類型的消息的節點，消費者指的是消息的接收和使用節點。具體的在線推薦模塊利用Flume分流設計如圖5所示。

圖5 在線推薦模塊分流設計

首先利用Flume來收集相關的用戶行為日志信息作為代理對象Agent的數據源，然后將信息緩沖到Channel中去，分別將用戶行為信息分流到HDFS和Kafka中去，Kafka作為消息的中間件，作為緩沖的消息隊列，利用發布訂閱模式來實時記錄到對應的topic中去，然后再提交到Spark中進行數據計算，最后保存到數據庫中持久化。

針對電影推薦系統的用戶行為數據，主要收集用戶對于某部電影可能產生的點贊、評分、評論、收藏四種動作行為。比如，用戶對電影進行了評分，說明用戶看過該電影并進行打分，可能會對同種類型的電影產生興趣；而用戶對電影進行收藏，說明用戶近期可能想去看這部電影，喜愛程度較高。根據不同的用戶行為對電影的偏好重要程度，分別給予不同的權重系數，具體的權重系數如表2所示。

表2 用戶行為權重系數

根據表2可以得到如下評分公式：

Rij=α1rij+α2rij+α3rij+α4rij+α5rij

(4)

式中：Rij表示最終的用戶i對電影j的評分，αi分別表示各種用戶行為的權重系數，rij分別表示用戶i對電影j是否執行了此用戶行為，如果存在此用戶行為，設置值為1，反之為0。最后根據最終的用戶評分Rij進行排序，得出最終的推薦列表反饋給相關用戶。

對于收集到的用戶行為數據，如果用戶i對電影j執行了打分操作，那么具體的分數將作為用戶i對電影j的具體評分，并作為評分數據集，用來訓練下一階段的IRGAN模型；如果用戶i對電影j沒有執行打分操作，但是有其他行為操作，比如收藏、點贊或者評論等，可以認為用戶i對電影j有一定的認識，只是還沒有一個具體的評分來評價電影j，對此我們將設定用戶i對電影j的評分為隱式評分數據，具體的評分值取用戶i對電影j的其他同類型電影的評分的平均值，并作為評分數據集，用來訓練下一階段的IRGAN模型。

3 實驗與分析

3.1 數據集

本文算法實驗主要使用的是通用數據集MovieLens-100k。MovieLens-100k數據集是GroupLens項目組提供的一個公開的電影評分數據集，也是國內外很多研究學者用來進行電影評分預測算法效果的熱門數據集，在推薦算法研究領域中被許多研究者廣泛使用，具有很好的通用性。其中包含了943個用戶對于1 682部電影的100 000個評分，每部電影的評分范圍是1～5，評分矩陣密度是6.3%。

3.2 評價指標

本文算法實驗采用的評價指標主要有準確率(Precision)和NDCG(Normalized Discounted Cumulative Gain)[11-12]。準確率可以反映出推薦算法的準確性，值越高說明推薦準確性越高。對于用戶u生成的推薦的準確率公式為：

(5)

式中：R(u)是訓練完畢的生成檢索模型為用戶u做出的推薦結果，T(u)是用戶u在測試集上的真實結果。

NDCG是一種衡量推薦算法產生的推薦結果的排序質量的評價指標，該指標考慮到元素之間的相關性，值越高說明推薦結果的排序質量越好。對于推薦結果中的第i個結果qi，其NDCG值為：

(6)

3.3 實驗參數的選取

在本文算法實驗中，涉及到如下幾個參數：學習率μ，生成檢索模型的迭代次數n，判別檢索模型的迭代次數m，單批次訓練個數b。各參數的具體數值如表3所示。

表3 實驗參數選取信息

3.4 實驗結果

本實驗將在Movielens-100k的數據集上對基于用戶的協同過濾算法、BPR[13]、LambdaFM[14]和IRGAN四個算法進行對比實驗，分別使用Precision@N、NDCG@N的評價標準來驗證IRGAN方法的有效性。

基于用戶的協同過濾算法主要是通過相似度計算的方式計算兩個用戶之間的相似度，找到與目標用戶相似度最高的用戶，也就是興趣相似的用戶，然后將該用戶感興趣的項目推薦給目標用戶。

BPR模型是基于貝葉斯理論在先驗知識下極大化后驗概率，來實現從一個用戶-項目矩陣訓練出來多個矩陣，且一個矩陣表示一個用戶的項目偏好程度來獲取用戶多個項目關系進行排名的推薦模型。

LambdaFM模型是將LambdaRank和FM算法相結合實現的混合推薦模型。

具體的實驗結果展示如表4所示。

表4 實驗結果展示

由表4的實驗數據可知，IRGAN算法在各項數據上相比較于基于用戶的協同過濾算法、BPR和LambdaFM都有了明顯的提升，推薦結果的排序質量相對而言有所提高，推薦的總體質量也有了較大的提升，驗證了IRGAN算法的有效性。

4 系統測試

4.1 系統環境

本文系統設置的Hadoop集群主要包含了一個Master節點和三個Slave節點，每個節點的計算機的硬件主要配置如表5所示，并且每個節點都安裝好了相關的Hadoop環境。

表5 節點硬件配置表

對于系統測試所需要的數據集，均采用Movielens官網提供的通用數據集進行測試，除了上一節實驗中采用的Movielens-100k的數據集外，該官網還提供了1 MB和10 MB兩種不同數量級的數據集，其詳細情況如表6所示。

表6 Movielens數據集詳細情況

4.2 系統運行效率測試

基于上述系統環境配置條件下，對于不同數量級的數據集，分別進行兩次實驗對基于Hadoop環境下的推薦系統算法運行效率進行測試。首先，啟用Hadoop環境中的單個節點，分別比較三種數據集在基于Spark進行并行方式計算和普通串行方式計算的運行時間。具體的實驗結果見表7。

表7 Hadoop單個節點中Spark并行與普通串行運行時間對比

從表7可以看出，在數據量最小的時候，單節點串行計算耗時比并行計算耗時要短，效率較高，這是因為Spark啟動的時候，會調用一些計算機資源，耗時相對較長；而在數據量較大的時候，基于Spark的并行計算的耗時均小于串行計算耗時，也說明了Hadoop下啟動Spark對于大數據計算有很好的處理效率。

隨后進行實驗來比較三種數據集在基于Hadoop分布式集群和傳統單機條件下算法的并行運行效率，實驗中Hadoop分布式集群環境即為前面所述的系統環境設置，具體的實驗結果如表8所示。

表8 基于Hadoop集群和傳統單機環境下算法并行運行時間對比

從表8的實驗結果可以看到，隨著數據量的增加，基于Hadoop分布式集群環境下的算法運行效率要優于傳統單機環境下的算法運行效率，也很好地說明了基于Hadoop分布式集群環境下的并行計算對于大數據處理具有良好的處理效率。

5 系統對比

現階段傳統電影推薦系統普遍應用的推薦算法主要是基于用戶的協同過濾推薦算法(User-based)和基于物品的協同過濾推薦算法(Item-based)。為了驗證本系統與傳統的電影推薦系統相比具有較高的推薦準確性，運用第4節用到的MovieLens-100k數據集和評價指標，分別訓練三種推薦模型并篩選出各自的推薦TOP-3、TOP-5和TOP-10來分析。具體的實驗結果如圖6所示。

圖6 三種推薦算法準確度對比圖

由圖6可知，對于同一個數據集而言，基于IRGAN模型的電影推薦系統的準確度要高于基于User-based和Item-based模型的電影推薦系統。

由于MovieLens-100k數據集是固定的電影數據集，為了進一步驗證結合在線推薦模塊的系統的推薦準確度，本文通過點擊、收藏等用戶行為數據將部分隱式的用戶評分數據加入到數據集中，組合成新的數據集，然后用新的數據集分別訓練User-based、Item-based和結合了在線行為數據收集模塊的IRGAN，篩選出各自的推薦TOP-3、TOP-5和TOP-10來分析。具體的實驗結果如圖7所示。

圖7 三種推薦算法準確度對比圖

由圖7可知，當數據集中加入了部分隱式評分數據后，三種推薦算法的準確度都有所變化，基于User-based和Item-based模型的電影推薦系統準確度與之前數據集相比變化不是很大，即使加入了新的評分數據，但由于新的評分數據較少，盡管代表了當前用戶的喜好程度，但是大部分還是被歷史數據訓練的喜好程度掩蓋住了；而基于IRGAN結合在線推薦模塊的電影推薦系統推薦準確度有了明顯提升，能夠將當前的喜好程度實時地傳達出來，具有實時推薦性。

6 結 語

本文主要介紹了基于IRGAN算法模型和Hadoop大數據平臺相結合的電影推薦系統。針對目前存在的電影市場規模擴大、觀影用戶數量增長過快以及電影資源更新頻繁等帶來的數據利用率低、系統壓力大、實時性差等弊端，本文主要依托Hadoop、Spark等大數據處理技術，詳細設計實現了基于IRGAN算法模型的離線推薦模塊和基于在線用戶行為數據收集處理的在線推薦模塊。通過兩個模塊的聯合推薦，相比于傳統的電影推薦系統，提高了推薦實時準確性，提升了用戶體驗，并結合Hadoop等大數據技術，提高了系統的工作效率，加強了系統的穩定性。在隨后的算法實驗和系統測試中也驗證了本系統的可行性。同時，本文系統也存在一些不足之處，基于IRGAN算法模型的離線推薦模塊的訓練是博弈訓練的，在更新行為數據后如何訓練模型使之仍舊能取得較好的效果是一個問題，另外系統收集用戶的行為數據時，比如說用戶評論了某部電影，系統并沒有區分用戶的評論是否表達了對電影的喜愛，這也導致了部分隱式評分數據存在一定的誤差。針對以上不足，今后的工作主要是探究如何在數據發生變化的時候使模型的訓練仍舊能夠取得比較好的效果，對用戶行為數據的收集進行更加詳細的分類，進一步提升模型的訓練準確度和效率，并且優化系統的整體架構。