一種柔性的電子商務推薦系統

(1.北京工業大學 經濟與管理學院， 北京 100124; 2.哈爾濱工業大學 管理學院， 哈爾濱 150001）



摘 要：首先概述了電子商務推薦系統的相關研究工作，指出目前的推薦系統結構不夠靈活、柔性，然后運用柔性理論對電子商務推薦系統進行了柔性分析，進而提出了一個柔性的電子商務推薦系統。該系統通過策略模塊去完成推薦需求與實現之間的映射，通過這個映射完成不同的推薦服務。系統的設計遵循構件化的原則，以做到隨著策略的改變能夠靈活調整。

關鍵詞：柔性； 推薦系統； 推薦策略； 多代理； 數據挖掘

中圖分類號：TP319 文獻標志碼：A

文章編號：10013695(2009)03093003



Flexible ebusiness recommendation system



JIANG Guorui1， QING Hai1， HUANG Tiyun1，2



(1.School of Economics Management， Beijing University of Technology， Beijing 100124， China; 2. School of Management， Harbin Institute of Technology， Harbin 150001， China)



Abstract:This paper reviewed the research work of ecommence recommendation system， and pointed out that the current system was inflexible. Based on analyzing the recommendation system with flexible theory， the paper proposed a flexible ecommerce recommendation system. This system mapped the implementation and demand through strategy module， and the whole system would be design as standard parts to adapt to the change of the recommendation strategy.

Key words：flexible; recommendation system; recommendation strategy; multiagent; data mining



Internet和Web技術推動著電子商務的蓬勃發展，企業建立了大量的商業門戶，提供了大量的產品信息以拓展市場，創造更多的商業機會。然而，隨著電子商務提供越來越多的選擇的同時，其結構也變得越來越復雜，經常出現“信息迷航”的問題，即用戶會迷失在大量的商品信息空間中，無法找到自己需要的商品。解決這個問題的一個方法是發展智能推薦系統，提供個性化服務[1]，即依據顧客的偏好或需求，為其推薦商品，以幫助顧客完成購買過程。目前幾乎所有大型電子商務系統，如Amazon、eBay、新浪商城等，都不同程度地使用各種形式的個性化推薦系統。推薦系統在電子商務中取得了巨大的成功。研究表明，電子商務的銷售行業在使用個性化推薦系統后，銷售額能提高2%～8%[2]。

1 相關研究

電子商務個性化推薦系統（personalized recommendation systems for ecommerce）的正式定義由Resnick等人[3]在1997年給出：“電子商務個性化推薦系統是利用電子商務網站向用戶提供產品信息和相關建議，幫助用戶決定購買什么產品，通過模擬銷售人員幫助用戶完成購物過程的系統”。這個定義現在已經被廣泛引用。目前的電子商務推薦系統主要有基于協同過濾的推薦系統如GroupLens、基于內容的推薦系統如Personal Web Watcher、基于規則的推薦系統如ILOG等類型，它們各有優缺點，在不同的應用領域所表現的性能也不同。例如基于協同過濾的推薦系統適合推薦音樂、電影這些內容比較難分析的物品；基于內容的推薦系統比較適合推薦新聞、文章及網頁等。克服單一推薦技術的局限性的一種方法是采用混合推薦系統，如Schafer等人[4]提出的元推薦系統以電影推薦為例討論了將基于內容過濾推薦技術與基于協同過濾技術結合使用的方法。ZHANG Xizheng[5]提出一個結合關聯規則和分類的推薦方法，該方法先用Apriori算法產生一系列關聯規則，然后用CBACB算法產生分類器，最后通過分類器為用戶進行推薦。混合推薦系統可以同時利用更多的數據，使推薦效果更好，在一定程度上也突破了單一推薦技術在應用上的局限性。但是混合推薦系統在本質上也只是推薦技術本身的改進，在復雜、動態和充滿挑戰的商業環境中，推薦系統面臨著更大的挑戰，主要表現在以下幾個方面：不能靈活提供多種推薦功能；沒有充分考慮到商業策略；不能根據推薦需求的變化采用不同的推薦策略；由于推薦需求與應用系統之間的差別，推薦系統需要根據具體Web站點進行定制開發，集成代價高，系統移植性差；難以動態有效地管理和維護多個推薦工具和大量數據。這些問題限制了推薦系統在實際中的大規模應用。因此，如何構建靈活的推薦系統以適應復雜的商業環境是目前推薦系統的一個研究熱點。左子葉等人[6]提出了一個開放通用的電子商務推薦系統OARs，支持多種推薦模型并對所有推薦模型進行統一管理。楊引霞等人[7]提出并實現了一種多模型推薦系統，該系統提供了關聯規則推薦模型、熱門銷售推薦模型和協同過濾推薦模型三種，并提供可擴展的接口，可以方便地增加新的模型。這些多模型推薦系統在一定程度上可以滿足多種推薦需要，但是系統繼承代價仍然很高，系統移植性差。Weng LiTung等人[8]從推薦系統市場的角度出發，提出了一個由推薦服務用戶、推薦服務提供商、推薦生產者構成的推薦系統市場，并在此市場的基礎上提出了一個基于組件的推薦系統框架。它能夠基于不同的商業策略生成不同的個性化推薦，這為開放性推薦系統的設計提供了很好的思路，但是提出的框架僅為了說明其推薦市場理論的實現方式，并沒有進行詳細的分析和設計。馬輝民等人[9]提出柔性推薦系統的概念，但是并沒有深入探討。本文從柔性理論出發，設計電子商務推薦系統，通過添加一個策略模塊完成推薦需求與推薦實現之間的映射去實現柔性。該系統可以根據不同的商業環境進行定制，具有較好的繼承性和移植性。

2 柔性理論

2.1 柔性軟件理論

柔性思想起源于機械制造系統，柔性制造系統（flexible manufacturing system，FMS）是能夠滿足小批量、快節奏、多品種的生產制造系統。為了緩解軟件危機，設計出能夠較好適應不斷變化的環境和滿足不斷變化需求的軟件，人們將柔性的思想引進了軟件信息行業。柔性軟件系統（flexible software system，FSS）是在一定范圍內能夠滿足和適應不斷變化的環境和需求的軟件系統[10]。它具有以下幾個特征[11]：以復用和變化為目的；分層獨立、松散耦合、模塊組件化的系統框架；個性化界面定制、結構重構及擴展、功能模塊替換及擴充；提供基于柔性適應的一定的互操作功能。柔性軟件系統是目前軟件系統發展的一個趨勢。

2.2 多agent技術

Agent技術是人工智能技術的最新發展技術之一。現在普遍認為，agent是一個實體，具有一定的知識，并能夠針對特定目標有效地運用知識求解問題，具有自主性、交互性、適應性、社會性、進化性等特性。多agent系統是由多個agent組成的系統，其基本思想是將具有不同目標的多個agent對其目標、資源等進行合理的安排，以協調各自行為，最大程度地實現各自的目標，每一個agent又是一個具有目標、知識和能力的自治計算實體，多個agent協調合作形成問題的求解網絡。多agent技術正適應柔性系統的靈活性、復雜性、分布性等多方面的特點和要求。

3 電子商務推薦系統的柔性分析

3.1 領域分析

領域分析是對一類應用系統的共同應用領域進行系統化分析的過程，以發現該領域應用系統的共性和變性。

1）對現有的電子商務推薦系統的共性分析 共性（commonality）是一類應用系統的共同特征。現有的電子商務推薦系統雖然種類繁多，服務形式各不相同，但是都可以抽象成一個共同的體系結構，即收集用戶信息，然后根據用戶信息進行建模，在此基礎上提供個性化的推薦信息（圖1）。

2）對現有的電子商務推薦系統的變性分析 變性（variability）是不同系統各自特有的不同于其他系統的特性。通過分析，筆者發現推薦系統變性的內容包括以下幾個方面：

a）應用不同。一方面是應用領域的不同，推薦系統在許多領域都得到了應用，如電影、音樂、新聞、零售等；另一方面是應用場合不同，如對登錄客戶和非登錄客戶的推薦，對選購商品和未選購商品的客戶的推薦等。

b）推薦算法不同。推薦算法是推薦系統的核心，目前存在各種不同的推薦算法，如協同過濾推薦、基于內容的推薦、基于案例的推薦、基于規則的推薦等。每種推薦技術都有其局限性，于是還有一些改進的推薦算法和混合推薦算法。隨著推薦算法的進一步研究，還會有更多的推薦算法產生，以滿足各種不同的推薦應用。

c）用戶模型的表示不同。因為幾乎所有的技術都以一種私有形式來表示知識，使得每種表示形式僅能夠被具體類型的系統所運用[12]。目前用戶模型表示方法有基于向量空間模型的表示、基于神經網絡的表示、基于用戶—項目評價矩陣的表示、基于案例的表示以及基于本體論的表示等。

d）數據源不同。有許多不同的數據源可供推薦系統使用，其中包括產品數據庫、交易數據庫、日志數據庫和客戶數據庫等。發掘新的數據源來擴大推薦系統的信息來源，也是目前研究的一個熱點。

3.2 電子商務推薦系統的柔性分析

在領域分析的基礎上可以確定系統柔點。通過對電子商務推薦系統的共性和個性分析發現，柔性電子商務推薦系統必須滿足以下幾點要求：能夠在不同的應用領域方便地移植；能夠隨著企業的商業策略進行調整；能夠方便地更新推薦技術；能夠利用多種不同的數據源。為此，柔性推薦系統必須具備：

1）結構柔性 a）構建松散耦合的多層架構體系。在傳統的推薦系統設計中，緊耦合產生僵化的難以移植和維護的密集體。要使系統具有一定的結構柔性，必須降低系統各模塊間的耦合度，使之松散耦合。多層體系架構能夠將模塊的修改和擴展限制在一個層的內部，使之不會跨層傳播，一定程度上降低了系統的耦合性。同時能夠較方便地實現數據庫與業務模型分離、業務模型與用戶視圖分離，這樣就可以使它們可以各自獨立地改變和復用，提高系統的靈活性。b）采用組件技術封裝各個模塊，這樣就能像搭積木似的構建系統。c）封裝推薦算法和模型，可以在需要的時候對算法和模型進行添加、刪除和更新。

2）數據柔性 能夠利用多種不同形式的數據源，如文本、XML文本、Excel表、數據庫等；能夠集成多種ETL工具來進行數據處理，產生滿足推薦需求的數據集。

3）業務流程柔性 這是柔性推薦系統的核心，體現出系統整體柔性所在。針對不同的應用需求，通過簡便的業務流程調整便能夠滿足推薦需求。本文采用構建一個策略模塊的方式實現，通過配置推薦策略來滿足推薦需求。傳統的推薦系統推薦策略是在設計時定義好了，推薦需求發生變化將會導致修改整個系統。本文中策略模塊將負責推薦需求到推薦實現之間的映射。當需求發生變化時，只要修改策略文件，便能夠很好地滿足需求，而不用重新規劃整個系統。策略模塊承擔著反映推薦變化的角色，并指揮推薦系統滿足這個變化。結構柔性和數據柔性都是為這一部分服務的，構建一個基礎框架，在這個框架基礎上可以方便地添加數據集、算法和模型來響應不同的推薦策略。

4 柔性電子商務推薦系統的模型

在上文分析的基礎上，采用多agent技術，本文構建的柔性電子商務推薦系統如圖2所示。該系統運行的基本流程如下：用戶agent識別用戶推薦需求，并向推薦引擎agent請求推薦；推薦引擎agent向推薦策略agent請求推薦策略，然后依據策略驅動推薦agent群協同完成推薦任務，并返回推薦結果。推薦agent工作時會從用戶模型agent和數據庫agent中調用相應的模型和相關數據，協同完成推薦過程。除了圖2中的主要模塊外，系統中還應該有一個綜合管理agent負責數據、數據清理工具、模型、算法、策略的添加、刪除和更新等管理工作。本系統實現柔性的核心在于推薦策略agent、推薦引擎agent和推薦agent群之間配合。推薦策略agent的角色類似于參謀系統，提供建議；推薦引擎agent類似于指揮系統，主要功能是協調指揮；推薦agent群類似于執行系統，完成推薦任務。各部分功能詳細描述如下：

a）用戶agent。負責隨時捕獲登錄網站的客戶信息，并依據客戶的瀏覽或購買行為向推薦引擎agent發送推薦請求；接收來自推薦引擎的推薦結果，并格式化返回給商務系統；同時將收集的用戶相關信息提交給數據庫agent，以更新數據庫用戶信息。

b）推薦引擎agent。負責接收用戶agent發出的推薦請求，從推薦策略agent那里查詢推薦策略；然后根據推薦策略驅動推薦agent群為其服務得到推薦結果，再將得到的結果返回給用戶agent。

c）推薦策略agent。負責接收推薦引擎agent的查詢策略請求，識別策略類型，返回相應的策略。推薦策略agent的內部結構如圖3所示。推理機負責分析用戶的策略類型并存放在用戶策略庫中；推薦引擎請求推薦策略時由控制模塊在用戶策略庫查詢策略類型，然后再從推薦策略庫中取出相應策略。

客戶策略庫存放的是客戶ID和通過一些計算得到的推薦策略類型，當推薦策略agent接收推薦引擎agent的策略查詢請求時，在該數據庫中查詢相應的策略類型。每個客戶都指定一種推薦類型。

推薦策略庫存放一系列推薦策略，這些策略根據推薦的需求去定制，它提供推薦模型、推薦算法和商業策略的合理配置，推薦策略庫中有一個缺省策略用來處理缺省情況。圖4給出推薦策略的兩個案例。

商業策略S1：處理存放時間過長的商品。推薦策略：給存放時間過長的商品一個較高的等級，以便優先推薦。

商業策略S2：針對價格敏感的客戶。推薦策略：結合常用的個性化推薦算法，然后把一系列比較便宜的商品和目前推銷的商品推薦給客戶。

d）推薦agent群。它是由協調agent和多個推薦agent組成的一個微社會系統，其邏輯結構如圖5所示。推薦agent一般包含一種推薦算法，可以完成具體的推薦工作，它會向用戶模型agent和數據庫agent請求用戶模型及相關數據以聯合完成一項推薦任務。協調agent按照推薦策略的指示協調多個推薦agent聯合完成推薦任務。

推薦agent總體上可以分為兩類：一類推薦agent包含的是常用的推薦算法，如協同過濾、基于內容推薦、貝葉斯網絡等，用于完成主要的推薦計算；另一類推薦agent包含的是輔助算法，主要是用于完成輔助功能，實現一定的推薦策略。通過分析，在本系統中采用三類輔助算法：

(a)過濾算法。從推薦列表中進一步過濾掉不符合推薦期望的商品，把符合推薦期望的商品推薦給用戶。比如把新進的商品優先推薦給具有體驗心強的青少年用戶。

(b)混合算法。綜合不同推薦技術的推薦結果，這樣可以改善推薦結果，提高推薦精度。比如可以綜合基于項目的協同過濾推薦結果和基于用戶的協同過濾推薦結果，以改善推薦質量。實現混合器的方式有混合、轉換、層疊、特征增量等。

(c)分類算法。按照類型、價格等調整推薦結果，把符合公司策略的商品優先推薦給客戶。比如在利用協同過濾推薦技術產生的推薦列表的基礎上，通過分類將價格低廉的商品推薦給價格敏感型客戶。

隨著研究的深入，大量的數據挖掘算法可以添加到該推薦系統中，以輔助推薦過程，提供更好的推薦服務。

e）用戶模型agent。負責接受推薦agent的調用請求，調用相關模型，完成推薦功能。其內部含有用戶模型算法庫，以供必要時調用算法動態生成模型，滿足推薦請求。

f）數據庫agent。負責接收用戶agent收集的用戶信息，格式化存放到數據庫中。同時接受推薦agent和用戶模型agent的數據請求。

g）數據庫。存放了相關數據庫，如產品數據庫、交易數據庫、日志數據庫、客戶數據庫等。這些數據庫為推薦提供資源。

h）除了圖2中的主要模塊外，模型中還包括一個綜合管理agent，負責對數據庫、數據庫agent、用戶模型agent、推薦agent、用戶策略agent、推薦引擎agent進行管理。負責數據、數據清理工具、用戶模型、算法、策略的添加、刪除和更新等管理操作。

5 柔性推薦系統的業務流程

客戶甲和乙登錄某個Web站點，用戶agent首先獲取客戶信息，并向推薦引擎agent提出推薦請求；推薦引擎agent向策略agent查詢推薦策略。經過查詢，識別出客戶甲是普通客戶，采取的是存放時間過長的商品優先推薦的策略S1；客戶乙是價格敏感性客戶，采取的是將價格比較低的商品和目前推銷的商品優先推薦的策略S2。然后推薦引擎agent驅動推薦agent群分別為甲、乙客戶服務。推薦agent群中的協調agent接收到推薦引擎agent執行策略S1的指令后，首先運行基于內容的推薦agent，得到一個推薦結果R1；然后將R1傳遞給分類agent，它給存放時間過長的商品一個較高的排序等級；再重新排序得到推薦結果R1*，返回給推薦引擎agent；推薦引擎agent將結果交給客戶agent格式化顯示給客戶甲。推薦agent群中的協調agent接收執行策略S2時，首先運行基于內容的推薦agent和協同過濾推薦agent，分別得到推薦結果R21和R22；然后將R21、R22傳遞給混合agent處理得到推薦結果R2；R2再被傳遞給過濾agent，將推銷商品過濾出來優先推薦