基于Hadoop和MapReduce的商品推薦

陶冶

摘? 要： 電子商務網站、社交網站以及醫療、教育、公共平臺等各種領域的應用等已深入人們的日常生活，海量信息帶來便捷的同時也產生了無用信息的干擾，過濾信息進行智能推薦已成為一種需求。采用協同過濾算法對產品的用戶評價數據進行分析，能夠跨領域運作分析，具有很好的通用性。依據綜合因素對算法進行改進后，利用MapReduce和Storm對提取的數據進行處理，得到數據過濾后的商品推薦列表，并通過實驗驗證了算法預測的準確度。

關鍵詞： 大數據; 協同過濾算法; Hadoop; MapReduce

中圖分類號：TP31? ? ? ? ? 文獻標志碼：A? ? ?文章編號：1006-8228（2019）07-29-04

Abstract： E-commerce websites， social networking websites and applications in various fields such as medical， education， and public platforms have penetrated into people's daily life. Massive information brings convenience， but also produces interference of useless information. Filtering information for intelligent recommendation has become a demand. Collaborative filtering algorithm is used to analyze the user evaluation data of product， which can be used in cross-domain operation analysis and has good versatility. After improving the algorithm with comprehensive factors， the extracted data are processed by Mapreduce and Storm， and the recommended commodity list filtered by data is obtained. The accuracy of the prediction is verified by experiments.

Key words： big data; collaborative filtering algorithm; Hadoop; MapReduce

0 引言

對于大數據的并行處理分析，我們常利用各種推薦方法的優點和系統的組織結構，目前，并行計算的框架有很多種。谷歌公司的云計算技術和MapReduce的并行計算框架有較好的發展前景，軟件借助Hadoop開源云計算平臺開發實現。系統在結合推薦技術和云計算技術基礎上，實現對實時采集并且進行整理過的數據通過推薦算法，進行分析，通過MapReduce的多次作業后生成一個推薦列表。

1 技術及主要內容

1.1 協同過濾算法

借助協同過濾算法對海量用戶的歷史交易數據進行分析，比如消費者對物品的評價信息，點擊信息和購買信息等等，然后通過協同過濾方法對這些數據進行處理，最后生成比較準確的推薦列表。協同過濾方法非常受到一些大型購物網站的熱愛。協同過濾方法分為基于物品和基于消費者兩種方法[1]。前者的核心思想是通過消費者的行為歷史數據的分析，求出物品之間的相似度，然后推薦相似的物品給消費者。后者的核心思想是，計算出相似的消費者，然后給目標消費者推薦相似的消費者購買過的物品。

1.2 主要內容

先介紹大數據處理方法框架和協同過濾方法，然后在Hadoop大數據處理平臺上對以物品為中心的協同過濾算法進行實驗，將消費者的歷史數據，例如瀏覽，點擊，收藏，購買等等這樣的數據輸入，最后生成推薦列表。

2 協同過濾推薦算法

2.1 推薦技術

2.1.1 基于物品內容屬性的推薦

基于物品內容屬性的推薦（CBF），是根據消費者的歷史行為數據，對其進行矩陣的建模分析，經過多次的矩陣的操作，為消費者推薦與物品的屬性比較相似的的物品，其核心在于對物品集合中所有的物品的特征進行提取，建模，找出物品之間的相關屬性[2]。基于物品內容屬性的推薦圖如圖1所示。

消費者B購買或瀏覽了衣服1，然后基于物品內容屬性的推薦系統（CBF）就為其推送與衣服1屬性相同或相似的衣服2，不推送與衣服1內容屬性不同或者差異比較大的衣服3。通過分析消費者歷史數據發現其消費愛好，這不依賴消費者之間任何關系的關系，它完全是根據物品之間的相似度或者說是物品的屬類是否相同。

2.1.2 基于規則的推薦

基于規則的推薦方法，其實就是根據消費者的消費歷史行為數據找出消費物品之間的相關性，總結出相關的規則，基于規則的推薦圖如圖2所示。

消費者A購買了三星手機，就可以為購買者推薦與該手機所相配的耳機或手機殼，這樣的推薦是根據用戶的實際需求，具有合理的推薦意義，能幫助消費者快速找到所需要的物品，這種推薦簡單有效。分析此例，這種推薦方法是沒有依賴消費者之間的關系的，只是根據物品之間的關聯關系進行推薦的。所以這種關聯關系是此算法的核心和關鍵。

2.1.3 協同過濾推薦

協同過濾算法從兩個角度分析數據：一個是用戶，另一個是物品。

下面對協同過濾算法做介紹：

⑴ 基于用戶的協同過濾算法（UserCF）：通過分析消費者對物品的評分來研究消費者的相似性，對相似的消費者做相同的推薦[3]。簡單的說，如果消費者A和消費者B有著比較高的相似度，當消費者A對物品S有著比較大的興趣愛好時，就可以對消費者B推薦物品S。基于用戶的協同過濾示例圖如圖3所示。從圖3可以看出，消費者C和消費者A有著比較高的相似度，所以，對消費者A可以推薦一下物品D。

⑵ 基于物品的協同過濾算法（ItemCF）：基于物品的協同過濾算法，對不同的物品的評分來自于對歷史數據進行大數據挖掘，從而根據物品之間的相似度推薦消費者喜歡的物品。基于物品的協同過濾示例圖如圖4所示。

2.1.4 混合推薦

協同過濾推薦、知識推薦、內容推薦、規則推薦，這幾種推薦方法都有各自的優缺點，所以提出混合的推薦方法。混合推薦方法，就是組合這幾種算法來消除各自的缺點，所以混合推薦的確有著比較高的準確性。

3 大數據分析的相關技術框架

3.1 離線計算Hadoop

Hadoop是Apache下面的一套開源的開發平臺。Hadoop提供的主要功能有就是利用集群服務器，根據用戶的業務邏輯，讀數據進行分布式處理。Hadoop的核心組件有：MAPREDUCE（分布式運算編程框架），HDFS（分布式文件系統），YURN（運算資源調度系統）[4]。

3.1.1 HDFS工作機制的簡單介紹

HDFS集群主要分為兩大角色第一是NameNode，第二是DataNode。NameNode是負責全部管控元數據，DataNode 是負責全部管理文件數據塊，每個文件被分成固定大小的塊分布存儲在多臺datanode上，Datanode會按照一定的時間間隔向Namenode匯報它所保存的文件block的信息，內部的HDFS工作原理是客戶端透明的，客戶端通過向namenode申請來進行HDFS訪問的。

3.1.2 分布式計算框架（MAPREDUCE）

Mapreduce采用分布式運算框架，被Hadoop數據分析的應用當做核心架構[5]。Mapreduce可以整合業務邏輯代碼和自帶默認的組件為分布式運算程序，并發的運行在一個Hadoop集群上。

3.1.3 apreduce框架結構及核心運行機制

apreduce程序有三類分布式實例進程：①MRAppMaster：完成過程調用和狀態轉換;②mapTask：負責map階段的整個數據處理流程，也就是切片的過程[6];③ReduceTask：負責reduce階段整個數據處理流程。

3.2 流式計算Storm

相對于離線計算，流式計算就是數據的產生、傳輸、計算以及展示都是實時的[7]。Storm是用來實時的處理數據，提供簡單容易理解的接口，便于開發。

3.2.1 Storm核心組件

⑴ Nimbus：是負責資源分配和任務調度。

⑵ Supervisor：執行Nimbus的任務，控制和管理自己的Worker進程。

⑶ Worker：分為兩種任務Spout和Bolt，是處理組件邏輯的運行進程。

⑷ Task：Worker中每一個Spout/Bolt線程稱為一個Task。一個executor物理線程被多個Task共享[8]。

3.2.2 流式計算一般架構

Storm流式計算的順序框架圖如圖5所示。

⑴ 其中flume用來獲取數據。

⑵ Kafka用來臨時保存數據。

⑶ Strom用來計算數據。

⑷ Redis是個內存數據庫，用來保存數據。

4 實驗以及實驗結果的分析

4.1 實驗簡介

4.2 實驗設計

實驗輸入的數據格式如圖6所示。

4.3 實驗結果以及總結

實驗結果數據如圖7所示，通過實驗驗證了基于Hadoop平臺的優化協同過濾推薦算法，數據經過六次mapreduce并行化作業后的正確性和準確性，要得到最好的推薦效果，準確率和召回率各為80.6%，16.2%。該實驗系統推薦商品的滿意度為80.6%，網絡商品推薦系統提高了用戶的工作效率，能有效滿足用戶在網購系統中的需求，具有良好的可擴展性。

5 結束語

在數據推薦算法的前提下，通過案例分析了基于屬性、規則、用戶、物品、混合等推薦算法的原理特點，搭建了基于虛擬機、Linux下Hadoop環境、Eclipse開發環境的實驗平臺，使用Storm流式計算，將消費者的歷史數據，例如瀏覽，點擊，收藏，購買等等這樣的數據輸入，利用Mapreduce對類似于（item_id，user_id，action，vtime）的互聯網上用戶行為數據進行運算處理，最得到數據過濾后的商品推薦列表。使用該方法得到的推薦具有較高的準確性和社會效益，值得進一步研究和推廣。

參考文獻（References）：

[1] （美）Benoy Antony等著.Hadoop大數據解決方案 [M].清華大學出版社，2017.

[2] 丁維龍等.Storm大數據流式計算及應用實踐[M].電子工業出版社，2016.

[3] 李嵩，李書琴，劉斌.改進的協同過濾算法及其并行化實現[J].計算機工程與設計，2018.12：3853-3859

[4] 曹超.基于用戶評論分析的推薦系統設計與實現[D].北京郵電大學碩士學位論文，2017.

[5] 胡波.B公司基于協同過濾算法的零售商品推薦系統研究[D].北京交通大學碩士學位論文，2018.

[6] 鄧園園，吳美香，潘家輝.基于物品的改進協同過濾算法及應用[J].計算機系統應用，2019.1：182-187

[7] 陳軍，謝衛紅，陳揚森.國內外大數據推薦算法領域前沿動態研究[J].中國科技論壇，2018.1：173-181

[8] 孫竹.基于商品關系改進的協同過濾推薦算法[D].燕山大學碩士論文，2017.