基于智能Agent的個性化搜索引擎模型研究

連雁平 (武夷學院數學與計算機系,福建武夷山354300)

1 搜索引擎

搜索引擎 (Search Engine)技術是近10年來隨著Web應用的迅猛發展、網絡信息資源的迅速增加而發展起來的,并得到廣泛應用。搜索引擎是利用機器自動化的收集網絡信息并有序化的一種技術,能夠自動對Internet上的信息資源進行分析處理,是通過查詢為用戶返回匹配資源的典型的網絡信息檢索系統。它一般是互聯網上的一個網站,主要任務是在互聯網上主動搜索web服務信息并將其自動索引,索引內容存儲于可供用戶查詢的大型數據庫中。

搜索引擎的工作原理大致可以分為3個步驟[1]:①搜集信息。搜索引擎的信息搜集基本都是自動的。搜索引擎利用稱為網絡蜘蛛 (spider)的自動搜索機器人程序來連上每一個網頁上的超鏈接。②整理信息。搜索引擎整理信息的過程稱為 “建立索引”。搜索引擎不僅要保存搜集起來的信息,還要將它們按照一定的規則進行編排。③接受查詢。用戶向搜索引擎發出查詢,搜索引擎接受查詢并向用戶返回資料。搜索引擎每時每刻都要接到來自大量用戶的幾乎是同時發出的查詢,它按照每個用戶的要求檢查自己的索引,在極短時間內找到用戶需要的資料,并返回給用戶。

隨著網絡用戶的增加,Internet的信息日益膨脹,搜索引擎已成為人們獲取網絡資源信息必不可少的工具。當前Internet上的搜索引擎很多,但大部分搜索引擎存在以下幾方面的不足[2]:

1)搜索引擎不能滿足用戶個性化興趣需求 傳統搜索引擎系統通常是一種大型的服務器程序,它要同時響應很多個用戶的搜索請求,這樣更多考慮的是并發性能及響應用戶的效率,而提供給普通用戶可以使用的個性化方式和功能卻極為有限。因而用戶只能被動地接受搜索引擎提供給他們的用戶界面、檢索方法規范、信息分類方法、對關鍵詞的理解,而自己的文化程度、行業背景、使用習慣等不能得到充分的照顧。傳統搜索引擎提供給用戶的用戶接口一般非常類似而又簡單:一個關鍵詞文本輸入框、幾個有限的邏輯運算符和可以由它們組成邏輯關系表達式的機制,用戶用此來表達對所需要的文檔的描述。檢索工作是用戶驅動的,即由用戶顯式地提出檢索請求,系統給出響應,因此不能夠根據用戶個性化興趣需求來定制檢索結果。此外,傳統搜索引擎系統并不具有對Web信息進行監控并在出現用戶感興趣的新信息時主動通知用戶的功能?，F有廣泛使用的搜索引擎多數還只能提供對文本信息的查詢,沒有對復雜對象如視頻、音頻、圖像等的查詢方法,也沒有為它們提供任何接口。

2)檢索結果使用戶資源迷向 傳統搜索引擎所使用的全文檢索如今已成為一種比較成熟的技術,它能夠解決對網頁細節的檢索問題。從理論上說,只要一個網頁上出現了某個關鍵詞,全文檢索就能采用關鍵詞匹配把該網頁查出來。但實際上對用戶來說結果返回得太多了,因用戶畢竟精力和時間有限,需要的有用信息只在其中占很小一部分,絕大部分檢索結果都是查非所要的。

3)檢索結果存在信息丟失 傳統搜索引擎的搜索過程實際上是對關鍵詞進行匹配的過程,而這個匹配卻是機械式的匹配,即只是從字形上來識別匹配關鍵詞,卻不能從詞所表達的具體含義上來識別匹配。

2 智能Agent

Agent技術起源于20世紀70年代的人工智能 (A rtificial Intelligence,A I)領域,20世紀80年代中后期人工智能技術與分布式計算技術相結合,出現了分布式人工智能 (Distributed A rtificial Intelligence,DAI)研究。由于DAI突破了長期以來人工智能研究進展不大的局面,因此備受人們的重視和青睞。Agent融入了主流計算機的各個領域,產生了一系列新的思路、方法和技術,各種類型的軟件Agent大量用于信息處理、辦公自動化、交通管理、私人助手等[3]。

Agent的基本功能就是與外界環境交互,獲取信息,并對信息進行處理然后作用于環境。Agent作為一種代理,代替用戶進行工作。Agent要能正確完成復雜的任務,必須能通過交流充分了解用戶目的,對一些含糊的部分,Agent也能有足夠的知識來理解和實現。因此,Agent必須提供一個能充分表達用戶目的的機制,在許多情況下,這些目的的表達可能是含糊的或不精確的,這就需要Agent擁有一定智能和知識,使Agent能準確理解用戶的真正需要。此外Agent還應知道向用戶提交結果的時間、相關信息源的位置以及獲得相關數據的方法。

3 多Agent系統

多Agent系統 (Multi-Agent System,MAS)是指由多個Agent組成的一個松散耦合的多Agent聯邦,其成員Agent之間相互協同,相互服務,共同完成一個任務[2]。各Agent成員的活動是自治和獨立的,其自身的目標和行為不受其他Agent成員的限制,它們通過競爭或者談判的方式解決Agent的目標和行為之間的矛盾和沖突。MAS的數據和資源是分散的,每個成員Agent對于所要完成的任務擁有不完全的信息或者能力,不存在全局的控制系統,任務的執行和計算是異步的。MAS的主要研究內容是一組自治的Agent之間智能行為的協調 (Coordination)和協作 (Cooperation)[3]。這是因為單個Agent的能力通常受到其所擁有的知識、資源和視野的限制,因此有必要將多個Agent組織起來,通過Agent之間的協商、協作、談判甚至競爭共同完成單個A gent無法勝任的任務。

4 模 型

系統的設計思想是設計一個集主動搜索和元搜索于一體的基于智能Agent的個性化搜索引擎模型,采用主動搜索和元搜索相互補充的方法提高系統的查詢準確率和完整性,整個系統模型采用多Agent之間的協商、合作來完成。模型結構如圖1所示。

系統分成用戶Agent、查找Agent、反饋 Agent、元搜索 Agent、主動搜索 Agent、索引Agent和數據庫7個部分。

1)用戶Agent 用戶A gent的功能主要是提供搜索信息和獲取搜索反饋信息,即提供給用戶良好的互操作界面。一方面實現信息引導,幫助用戶確定自己需要的信息所在的范圍,細化和規范查詢要求,另一方面提供用戶相關信息反饋窗口,記錄用戶對查找結果的意見。

2)查找Agent 查找A gent的功能是根據用戶界面的請求實現對數據庫的查找,并將查找結果反饋給用戶界面。單純的關鍵詞匹配查找是不夠的,容易造成返回結果過多或定位不準的結果?？赏ㄟ^關鍵詞擴展技術擴展查找的目標,關鍵詞擴展主要是指語義相近詞的擴展,查找Agent可以根據用戶提供的關鍵詞及擴展了的近義詞作多次匹配查詢。當返回結果過多時,采用交互式提示界面,提示界面應是原關鍵詞的細化,用戶可以再次精確定位。當返回多項結果時,應能給用戶指示出不同結果的匹配度和聚類表示,從而更好地引導用戶進一步獲取結果。

3)元搜索Agent 元搜索A gent是直接與信息源進行連接并獲取信息的代理,可以在現有網絡通信協議TCP/IP基礎上實現。它根據用戶偏好對用戶查詢詞條進行擴充,合理調用各個獨立的成員搜索引擎,并將擴充后的用戶查詢請求轉化成符合所對應的獨立搜索引擎語法的查詢請求并發送出去,對各個獨立搜索引擎所返回的信息進行分析處理以此來提高用戶完成下達搜索請求的效率。

4)反饋Agent 反饋A gent和用戶Agent以及數據庫相連,接受并存儲用戶Agent的反饋意見,能對用戶反饋意見進行統計分析,并能按一定的規則對索引數據庫的部分信息索引進行修改。

5)主動搜索Agent 主動搜索Agent的主要功能是完成網上信息的自動獲取,增加和更新中心索引數據庫的內容。主動搜索Agent的目標可以是直接網絡站點搜尋,也可以是借助于已有搜索引擎進行,使用后者的長處在于主動搜索Agent不必直接面向全網搜索,只需與若干引擎連接,獲取已有搜索結果,在實現上得以簡化,不足點在于搜索范圍受搜索引擎制約。

6)索引Agent 管理系統中的本地數據庫,完成各種數據表格、歷史紀錄的維護以及各種文檔信息的統計處理、報表生成等工作。

7)數據庫 數據庫的建立是為了使搜索更加便捷。數據庫的內容是對Internet范圍某種信息的中間索引,數據庫的結構同樣依據相關信息的分類知識來建立,根據不同的信息內容建立分布式的數據庫。

5 結 語

搜索引擎是萬維網迅猛發展、信息網絡資源迅速增加的產物。筆者主要闡述如何將智能Agent技術應用于搜索引擎當中,借助多Agent系統成員的相互協調合作,結合用戶個性化需求特性設計個性化智能搜索引擎模型。Agent技術是近些年人工智能發展的產物之一,已經慢慢融入到主流計算機的各個領域,包括信息安全、網絡技術、交通運輸管理、辦公自動化OA技術、電子商務等,今后將注重于智能Agent技術在電子商務系統網站中的具體應用。

[1]鄧俊濤.基于多Agent協作的智能搜索引擎的研究 [D].武漢:武漢理工大學,2007.

[2]李益.基于多Agent的智能搜索引擎系統研究[D].哈爾濱:哈爾濱工程大學,2004.

[3]劉翀,曹陽.基于移動Agen t的智能搜索引擎的設計與實現 [J].計算機工程,2002,28(10):105～110.