淺談協(xié)同過濾技術在智能搜索引擎中的應用

摘要:協(xié)同過濾技術的核心思想是用戶會傾向于利用具有相似意向的用戶群的產(chǎn)品，在智能搜索引擎中起著重要作用。協(xié)同過濾推薦系統(tǒng)使用統(tǒng)計技術搜索目標用戶的若干最近鄰居，然后根據(jù)最近鄰居對項目的評分預測目標用戶對項目的評分，產(chǎn)生對應的推薦列表。本文針對智能搜索引擎重的協(xié)同過濾技術進行分析和設計，提出協(xié)同過濾分析的推薦方法和相關算法。

關鍵詞:智能搜索 電子商務 協(xié)同過濾

0 引言

隨著電子商務的發(fā)展，多種多樣的電子商務平臺迅速發(fā)展起來，為用戶提供了更大的可選擇的范圍，已經(jīng)成為傳統(tǒng)商品零售之外，顧客搜尋和購買商品的另一種重要渠道。隨著用戶數(shù)和商品數(shù)的急劇增加，網(wǎng)絡上的海量商品信息也給我們帶來了很多不便，使得如何及時地發(fā)現(xiàn)所需要的商品已經(jīng)變得越來越困難。而智能搜索引擎則成了解決這一問題的手段之一。因為用戶的興趣愛好的不同，職業(yè)背景的不同，對查詢結果的需求也不同。智能的個性化搜索引擎就是搜集和分析用戶的信息，根據(jù)這些信息向用戶返回更準確的查詢結果。

縱觀幾種常用的技術，協(xié)同過濾技術具有很大的優(yōu)勢，最適合在網(wǎng)絡購物系統(tǒng)中應用。協(xié)同過濾又叫社會過濾，它通過分析用戶的興趣，在用戶群中找到特定用戶的相似用戶，綜合這些相似用戶對某一信息的評價來形成對指定用戶對此信息的喜好程度的預測。它的核心思想是用戶會傾向于利用具有相似意向的用戶群的產(chǎn)品。因此，它在預測某個用戶的利用傾向時是根據(jù)一個用戶群的情況而決定的。

1 協(xié)同過濾推薦的主要方法

協(xié)同過濾推薦技術在實際應用中，可以采用多種方法實現(xiàn)，目前采用的主要包括下列幾種:

基于用戶的協(xié)同過濾推薦法，該方法是在已有信息基礎上尋找相似用戶，每次預測都要計算所有用戶之間相似度，而且隨著用戶數(shù)據(jù)庫的增大，信息項目的增多，計算所有用戶之間相似度資源消耗太大，不能對推薦結果提供很好的解釋。

基于模型的協(xié)同過濾方法該方法是在已有的信息基礎上建立用戶評價級別模型，根據(jù)該模型并使用一定的技術去識別信息項目之間的關系，然后利用這些關系去進行用戶喜好程度預測。

基于項目評分預測的協(xié)同過濾推薦法在大型系統(tǒng)中，用戶評分數(shù)據(jù)的極端稀疏，導致推薦系統(tǒng)推薦質(zhì)量急劇下降。針對用戶評分數(shù)據(jù)的極端稀疏性，基于項目評分預測的協(xié)同過濾推薦算法通過計算項之間的相似性，預測用戶對未評分項的評分，然后采用一種相似性度量方法計算用戶的最近鄰居。實驗結果表明，基于項目評分預測的協(xié)同過濾推薦算法可以顯著提高推薦系統(tǒng)的推薦質(zhì)量。

以上幾種方法，基于用戶的協(xié)同過濾推薦的優(yōu)勢是很明顯的。首先，它能夠通過用戶間的相互協(xié)助、根據(jù)用戶對項目的評價的相似性對用戶進行分類，所得到的推薦結果是比較精確的。

2 協(xié)同過濾技術的算法分析

基于用戶的協(xié)同過濾是個性化推薦中應用最為廣泛的方法，它是基于鄰居用戶的興趣愛好預測目標用戶的興趣偏好，利用了其他用戶的已有經(jīng)驗。算法先使用統(tǒng)計技術尋找與目標用戶有相同喜好的鄰居，然后根據(jù)目標用戶的鄰居的偏好產(chǎn)生向目標用戶的推薦。

2.1 過濾算法 協(xié)同過濾的推薦系統(tǒng)的算法主要可分成三個步驟:①輸入資料表示:將用戶過去的利用行為及興趣用一個m×n的矩陣R來表示(如下表1所示)，n是用戶數(shù)，m是搜索結果的項目數(shù)，矩陣元素Sij則表示第i個用戶對第j個結果的評價值。②相似社群的建立:是協(xié)同過濾推薦系統(tǒng)中最重要的一個步驟，可以計算出用戶間的相似程度，以作為將來推薦的依據(jù)。③產(chǎn)生推薦:從社群成員中衍生出對目標用戶的前n項推薦產(chǎn)品。

評價值即可以是0，1這種二進制數(shù)，也可以是0-9這種分級。本文中采用的評價值是0-9的分級方法。

2.2 確定鄰居 基于用戶的協(xié)同過濾技術實現(xiàn)的推薦系統(tǒng)的核心是為一個需要推薦服務的目標用戶尋找最相似的“最近鄰居”集(Nearest-neighbor)，即:對一個用戶，圖1表示了基于用戶的協(xié)同過濾中鄰居的一種形成過程:通過計算目標用戶0和其他用戶之間的相似性(比如計算歐幾里得距離)，以點0為中心的k=5個最近用戶被選擇為鄰居。用戶之間的相似性的計算可采Pearson相關度方法和目前常用的向量空間相似度計算方法等。一般地說，鄰居用戶的確定有兩種方法:①根據(jù)預先確定的相似性閾值，選擇相關性大于閾值的作為鄰居用戶;②根據(jù)預先確定的鄰居數(shù)N，選擇相關性最大的前N個用戶作為鄰居用戶。

2.3 產(chǎn)生推薦結果 產(chǎn)生推薦:目標用戶的“最近鄰居”集產(chǎn)生后，可計算兩類結果:用戶對任意項的興趣度的預測值和Top-N形式的推薦集。

2.4 興趣度計算 傳統(tǒng)的數(shù)據(jù)挖掘應用關聯(lián)規(guī)則可以分析客戶對項目的選擇，但關聯(lián)規(guī)則還有一些缺陷:①會產(chǎn)生大量的規(guī)則，而其中的大部分是顯而易見或不相關的;②沒有充分利用管理者的領域知識和職業(yè)直覺;③沒有提供好的規(guī)則度量感興趣程度方法，從數(shù)據(jù)中發(fā)現(xiàn)令人感興趣的目標。

首先把事件依賴性的統(tǒng)計定義擴展到規(guī)則興趣度定義上來Piatetsky-Shapiro首先把事件依賴性的統(tǒng)計定義擴展到規(guī)則興趣度定義上來，提出了PS方法，他把關聯(lián)規(guī)則A→B

式中的N，│AB│，│A│，│B│分別表示數(shù)據(jù)集D中元組的總數(shù)，同時滿足A和B的元組數(shù)，滿足A的元組數(shù)，滿足B的元組數(shù)。

同時也給出了一個感興趣的規(guī)則的定義并引入了模板的概念:如果一個規(guī)則匹配一個包含的模板(Inclusive template)則被認為是令人感興趣的;如果一個規(guī)則匹配一個限制的模板(Restrictive template)則被認為是缺乏興趣的。

3 存在問題及解決辦法

目前，基于用戶的協(xié)同推薦的也存在著稀疏問題和冷開始問題這兩種情況的缺陷:

很多情況下，每個用戶都只會對其中很少的項目作出評價，整個用戶與項目矩陣是非常稀疏的，一般都在1%以下。在這種情況下，導致用戶間的相似性計算不準確，得到的鄰居用戶也就不可靠，這就是稀疏問題。

冷開始問題從某種意義上可以看成是稀疏問題的極端情況。在一個新的項目首次出現(xiàn)的時候，因為沒有用戶對它作過評價，由于在新項目出現(xiàn)早期，用戶評價較少，推薦的準確性也比較差。

對于以上問題，本系統(tǒng)采用以下解決方法:稀疏問題:因為用戶只對少數(shù)的搜索結果感興趣評價低于10%的進行簡化，約簡掉。關于冷開始問題:在系統(tǒng)的早期并不進行推薦，每個用戶都必須對若干個搜索詞進行搜索后，并且給予頁面的價值評價。這是入場信息，當用戶數(shù)目200以上的時候開始。

參考文獻:

[1]姜麗紅，徐博藝，張海燕.一種協(xié)同過濾方法及其在信息推薦系統(tǒng)中的實現(xiàn)[J].情報學報.2005.(6):21-24.

[2]陳振洲，李磊，姚正安.基于SVM的特征加權KNN算法[J].中山大學學報.2005(4).

[3]王霞，劉琴.協(xié)同過濾技術在推薦研究中的應用研究[J].計算機系統(tǒng)應用.2005.(4):36-38.

[4]Konstan J，Miller B，Maltz D，etal.Group lens:App lying collabo rative filtering to usenet news[J].Communicat ions of the ACM， 1997，(3):77-87.

[5]黃坤，林旭云.基于個性化信息服務技術的研究[J].大眾科技.2006.(2):38-39.