搜索引擎評價研究方法綜述

〔摘 要〕通過ISI Web of Science和中國期刊網查找有關搜索引擎評價研究的文章，本文對搜索引擎評價研究的相關文獻進行了梳理，并對研究方法進行了總結。搜索引擎評價研究方法主要有實驗法、調查法、觀察法、數據分析法、綜述和評論等。對比國內外相關研究，國內搜索引擎評價研究數據支撐較為缺乏，科學分析和論證也明顯不足。本文旨在提升國內搜索引擎評價研究的科學性。

〔關鍵詞〕搜索引擎；評價；研究方法；綜述

ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１００８－０８２１．２０１０．１２．０４５

〔中圖分類號〕Ｇ３５４ 〔文獻標識碼〕Ａ 〔文章編號〕１００８－０８２１（２０１０）１２－０１６３－０５

Overview of the Methods of Evaluation on Search EngineFei Wei

（Suzhou Library，Suzhou 215002，China）

〔Ａｂｓｔｒａｃｔ〕The paper reviewd the documents related to the evaluation of search engines based on the ISI Web of Science and CNKI.The methods of these studies were concluded，which were experimentation，survey，observation，data analysis，and review.According to the comparison between domestic and overseas correlational research，the research on the evaluation of search engines was lack of data，as well as scientific analysis and verification.The aim of this paper was to improve the scientificity of the evaluation of search engine in China.

〔Ｋｅｙｗｏｒｄｓ〕search engines;evaluation;research method;overview

搜索引擎評價研究涉及很多學科，如計算機科學、圖書情報科學、統計學、認知科學、電子通訊、機械工程、自動化和控制系統等。ISI Web of Science數據中搜索引擎評價研究涉及到的學科及其分支學科有236個之多（檢索時間：2010年10月9日），可見搜索引擎評價研究具有很強的跨學科性質，因而搜索引擎評價的研究方法也不免具有跨學科的特點。Louise提到搜索引擎評價研究方法之一的自然觀察法（Naturalistic studies）［１］被心理學家、行為學家和社會學家采用，用來觀察其研究對象的自然習慣。Orland總結的縱向研究法（longitudinal studies）［２］，被普遍應用于醫學觀察，常用于觀察某一疾病出現的征兆和癥狀。還有一些其他的方法被應用于各個領域的研究和實踐之中，這些研究方法可以很好地與搜索引擎評價研究相結合，不斷充實該領域的研究，也逐步加強搜索引擎評價研究的嚴謹性和科學性。

１ 搜索引擎評價研究方法

Louise歸納出搜索引擎評價的研究方法有評論法（Review）、試驗法（Experiments）、自然觀察法（Naturalistic studies）、調查法（Survey）等。Orland綜合了可視化檢索系統的評價方法：觀察法（Inspection Methods）、實驗室研究法（Laboratory studies）、現場實驗法（Field Trials）、縱向研究法（Longitudinal Studies）以及系統和日志分析法（Instrumentation and log analysis）等。國內的研究人員也對搜索引擎評價方法進行了歸納總結，如比較分析法和測試實驗法［３］，如以描述為主的搜索引擎評價方式，以查詢結果的命中個數作為評價標準等［４］。

綜合國內外關于搜索引擎評價研究，筆者將搜索引擎評價研究方法分為以下幾種。

１.１ 實驗方法

實驗方法越來越多地被應用于搜索引擎評價的研究，研究人員根據其研究課題，力圖探明現象與結果之間的關系。在實驗中，研究者首先要提出有關研究目的的問題或假設，并定義變量與自變量，從實驗中獲取相關數據，通過數據分析來給出問題的答案或論證假設是否成立。實驗方法有較強的可控性和操作性，其可控性體現為對實驗中變量和自變量的定義以及數據采集的標準和數據量的大小等方面。操作性則體現為研究人員按照科學的實驗方法，結合研究課題本身的需求，對實驗步驟進行科學合理的設計，規范數據采集的標準并依此標準收集和采集數據，并應用科學的工具對采集的數據進行分析。

Jansen等在搜索引擎檢索電子商務信息的性能評價研究中提出了3個假設，分別定義了變量和自變量，通過檢索實例收集了相關數據，并應用方差分析法、Tukeys HSD檢驗以及回歸分析法等分析了實驗數據［５］。通過實驗研究表明，相較于全文檢索，基于概念的檢索能顯著提升檢準率，越多的語義因素加入檢索式中，檢準率就越高［６］。搜索引擎評價研究越來越重視實驗方法，也越來越多地采取實驗的研究方法。如研究用戶個性對信息檢索系統心理模型的影響的評價研究［７］，PageRank檢索學術信息能力的評價研究［８］，語言及檢索任務對相關性評價的影響研究［９］，網頁是否含有元數據對網頁被搜索引擎檢索的影響研究［１０］，用戶在強化主題詞檢索環境下檢索式擴張行為的研究等［１１］。

實驗方法極大地促進了搜索引擎評價研究的發展，研究人員針對搜索引擎的各個方面展開評價研究，并取得了一系列的成果。實驗方法具有較強的針對性、可控性和操作性，不過這也從某種程度上說明實驗方法具有一定的主觀性，在實驗設計、標準制定、數據采集等步驟中難免融入了研究人員的主觀因素，這或多或少會對搜索引擎評價的客觀性造成影響。因此，用實驗的方法進行搜索引擎評價研究需要盡量減少實驗過程中的主觀性因素，這就對實驗設計、標準制定以及數據采集等各方面提出了更高的要求。

２０１０年１２月第３０卷第１２期搜索引擎評價研究方法綜述Ｄｅｃ.，２０１０Ｖｏｌ.３０ Ｎｏ.１２１.２ 調查方法

在搜索引擎的評價研究中，研究人員會針對利用搜索引擎的行為用戶進行調研，包括用戶的背景，如性別、職業、學歷等，用戶選擇搜索引擎的原因，如用戶慣性、搜索引擎性能、搜索引擎口碑等，用戶利用搜索引擎的行為，如檢索詞的選擇、檢索式的構造、檢索時間的長短、對檢索結果的處理等。這些信息對搜索引擎的評價研究具有重要的意義，其數據直接反映了用戶利用搜索引擎的各方面信息，很具參考價值，對搜索引擎的設計和優化研究尤為重要。調查方法首先要設計切實可行的調查問卷，保證問卷的邏輯性，必須圍繞研究問題進行有針對性地設計。

Amanda等對Excite搜索引擎的用戶特征與檢索行為之間的關系進行了研究，其數據收集主要包括用戶背景、檢索主題、檢索詞和檢索式、連續檢索行為等。研究結果顯示大多數用戶的檢索式比較簡短，很多用戶的檢索行為具有持續性，并依次遞進，但是搜索引擎在其檢索策略的透明度方面還顯得不夠［１２］。Kruschwitz和Al-Bakour研究了用戶對搜索引擎檢索幫助系統的要求，并對基于任務的檢索結果進行了評價。在研究中，作者根據TREC-9交互軌跡（Interact Track）的調查問卷設計了針對其研究目的的調查問卷，包括輸入（Entry）、后檢索（Postsearch）、后系統（Postsystem）和輸出（Exit）4個分問卷。結合問卷數據和檢索任務的數據分析，研究結果顯示，相比于標準的搜索引擎只提供排序的檢索結果，用戶更傾向于利用提供檢索式修正的搜索引擎，即使在某些方面這些搜索引擎并沒有那些標準的搜索引擎做得更好［１３］。由于調查方法能客觀反映用戶利用搜索引擎的行為習慣和特點，從數據中可以分析獲知當前搜索引擎的流行度、檢索性能的滿意度、用戶的檢索行為等，所以一直深受研究人員的青睞。如針對用戶利用搜索引擎經驗的調查，結果顯示檢索經驗對用戶選擇搜索引擎具有重要影響，而且關鍵詞搜索引擎比目錄式搜索引擎更受歡迎等［１４］。對全球搜索引擎利用情況的調查，發現搜索引擎的使用具有很強的政治、文化和地域色彩。而且，相比于其他因素，搜索引擎的結果、檢準率、檢全率和可靠性對用戶而言更為重要［１５］。還有對搜索引擎檢索式翻譯功能效果的調查研究［１６］，結果描述對相關性影響的研究［１７］，用戶的品牌意識對其利用搜索引擎的影響等［１８］。

通過以上研究實例不難看出，搜索引擎評價研究采用調查的方法多是從用戶角度來分析搜索引擎的使用情況，從客觀上展示了當前用戶利用搜索引擎的情況，如不同性別、年齡、職業、學歷的用戶群使用搜索引擎的行為特征，搜索引擎的滿意度，不同類型搜索引擎的用戶群，搜索引擎功能的實際性能等。在搜索引擎評價研究的過程中需要注意的是，用戶的行為特征固然具有很大的參考價值，但不能過分倚重用戶的經驗。因為用戶的經驗反映的是用戶利用搜索引擎的習慣，并不能完全說明搜索引擎發展的趨勢。一些研究表明，用戶利用搜索引擎的行為和檢索策略還略顯簡單，有關機構和單位需要對用戶利用搜索引擎進行必要的培訓和采取積極的引導［１９－２１］。

１.３ 數據分析法

數據分析是指收集、處理和轉化數據的一個過程，以突出效用信息、提出結論并支持決策。數據分析具有多方面、多途徑和多技術的特點，在商業、自然科學和社會科學等領域有不同的術語表達方式。如數據挖掘就是典型的數據分析方法，通過建模和知識發掘來發現規律和實現預測，而不僅僅對信息和數據進行描述。

相較于實驗方法和調查方法，數據分析方法的數據來源要略顯快捷，不用設計實驗步驟和調查問卷，而是從公開的渠道獲取有關搜索引擎的數據和信息進行分析研究。其主要數據和信息來源于有關搜索引擎研究的信息機構、有搜索引擎的網站以及專業搜索引擎網站，Internet Usage World Stats（http:∥internetworldstats.com）、Pew（http:∥pewinternet.org/）、中國互聯網絡中心（http:∥www.cnnic.net.cn）、iResearch公司（http:∥www.iresearch.com.cn）、Search Engine Watch（http:∥searchenginewatch.com）等機構會不定期公布有關搜索引擎的統計數據，如中國互聯網絡中心發布的《2008年中國搜索引擎市場廣告主調查報告》以及《2008年中國搜索引擎用戶行為研究報告》等。一些具有搜索引擎功能的熱門網站，其搜索數據也是進行搜索引擎評價的研究人員較為關注的，如BBC網站的搜索日志［２２］，美國猶他州政府網站的檢索日志等［２３］。不少專業搜索引擎網站也會不定期公布其日志，如Excite、Altavista、Alltheweb、搜狗、天網等。

搜索引擎研究機構公布的數據多為描述性的信息，對其數據進行深度分析的意義不大。數據分析方法在搜索引擎評價研究中的應用，主要還是對搜索日志中海量信息的析取和提煉。如Martin Whittle等對Excite 1天中的1 025 910個檢索式進行分析研究，并從日志的研究分析中獲知用戶的檢索習慣［２４］。Bernard J.Jansen等分析了元搜索引擎Dogpile.com的檢索日志，對2005年5月6日534 507名用戶的2 465 145次檢索行為進行了研究，從中分析了用戶的檢索式長短和檢索時間的長短等［２５］。David Nicholas等對Blackwell網站500000條用戶檢索記錄、OhioLINK的2 250 000條用戶記錄以及Oxford Scholarship Online（OSO）的4 240條用戶記錄進行了分析，對在數字環境下學生查詢信息的行為進行了研究，比較分析了學生群體與其他學術團體查詢信息的行為特征［２６］。

數據分析法主要應用在對大數據和大信息量的用戶檢索日志的解析，從中發掘用戶利用搜索引擎的行為習慣等有價值信息，據此對搜索引擎的設計、改進和完善提出積極的策略，并對用戶利用搜索引擎的行為缺陷提出修補建議。研究人員或編寫程序對數據進行分析，或利用科學的統計軟件（如SPSS、SAS等）從數據中發掘規律性的信息。與實驗方法和調查法相比，數據分析更為客觀。各檢索系統和搜索引擎網站的檢索日志直接來源于用戶真實的信息檢索行為，并且這些數據以海量呈現，所以通過數據分析得出的結論能較為客觀地反映出用戶的行為特征和搜索引擎的性能。

１.４ 觀察法

觀察法是指研究人員觀察用戶利用搜索引擎這一現象，借助一定的技術手段記錄用戶檢索行為和搜索引擎工作狀況。在觀察的過程中，研究人員只記錄相關的數據和信息，并不進行人工干預。研究人員應用觀察法進行搜索引擎評價研究時會根據其預設的問題，挑選合適的觀察對象，分配一定的檢索任務。在觀察對象利用搜索引擎完成檢索任務的過程中，研究人員直接觀察或者用電腦屏幕視頻軟件記錄觀察對象的檢索行為。通過觀察，研究人員能直觀地了解觀察對象的行為特征，如檢索式的構造、檢索策略的選擇、點擊結果數量、查詢頁數、檢索過程中不同階段的檢索效率等。

一些研究人員通過觀察研究性別與檢索行為之間的關系，如Large等通過觀察學生的檢索行為發現，男生和女生在使用搜索引擎時具有明顯的區別，男生使用較少的檢索詞，瀏覽單個結果頁面的時間要短，單位時間內點擊的網頁數量要多，男生的檢索行為表現的更為積極［２７］。Roy和Chi根據檢索結果的反饋，發現男生傾向于選擇與女生不同的檢索模式，但檢索模式對檢索結果的選擇沒有決定性的影響［２８］。Lori Lorigo等觀察發現，性別對檢索模式和檢索結果的選擇具有明顯的影響，女性會查閱更多的結果文摘［２９］。還有對特定人群的檢索行為的研究，如Ian Rowlands等對所謂Google一代（Google generation，1993以后出生的人群）的信息獲取行為進行研究，結果顯示現代通訊技術的作用被夸大了，這些技術并不能有效地提升信息檢索、獲取和評價的能力［３０］。Andrew等對兒童使用搜索引擎行為的觀察研究，研究人員給15名兒童分配了檢索任務，觀察其檢索行為，結果顯示檢索經歷、指導、適應虛擬環境能力等對其檢索效率具有明顯的影響［３１］。還有其他的一些搜索引擎評價研究通過觀察法來實施［３２－３４］。

與實驗方法相比，觀察法獲取的數據量可能不大，但是實驗方法只能獲取用戶的檢索判斷及其產生的檢索結果，不能通過檢索過程獲知用戶如何做出檢索判斷。觀察法不僅可以分析檢索結果，更為重要的是可以通過觀察和記錄對象的檢索行為，對搜索引擎的檢索性能進行定性研究。但是使用觀察法的不足之處表現為搜索引擎的選取、觀察對象的選取和檢索任務的分配都受研究人員的主觀想法的影響。同時，研究人員在觀察記錄的時候，雖然記錄的是客觀現象，但在記錄的過程中難免會有主觀判斷和選擇。上述這些因素都會影響到評價研究的客觀性。因此如何盡量客觀地實施實驗和記錄觀察到的現象，減少人為因素的干擾，是在應用觀察法時需要特別注意的。

１.５ 綜述和評論

綜述和評論也是搜索引擎評價研究中常用的方法，專門的綜述和評論，其目的在于理清某一階段搜索引擎評價研究某一方面的狀況，揭示研究的不足并總結出發展的趨勢。如Konstantina對網絡信息檢索行為的研究進行了總結，認為要從用戶利用搜索引擎的各個方面進行整體研究，要充分考慮用戶的經歷、信息需求、個性、社會以及文化背景等［３５］。Manoj和Elizabeth概述了各種元搜索引擎的功能、工作機制、數量增長、演進和普及程度等方面的研究現［３６］。秦喜艷、陸偉等對搜索引擎檢索結果相關性的研究成果進行了比較分析，包括相關性的判斷、檢索系統的評價指標、評價方法等［３７］。還有對外國搜索引擎檢索結果研究的綜述［３８］，元搜索引擎研究綜述［３９］，元搜索引擎排序技術研究綜述等［４０］。與專題研究相結合的綜述和評價研究，其目的與專門的綜述和評價研究相異，一方面在于為研究人員的專題研究提供參考資料，另一方面也闡述了進行研究的必要性和可行性。此類綜述和評論常見于期刊和會議論文中的相關章節，如文獻評述（literature review）、相關研究（related studies/research）、相關論著（related work）、前人研究（previous research）等。綜述和評論是搜索引擎評價研究必不可少的研究環節。研究人員只有認識和熟知了研究現狀，包括科學的研究方法、已有的研究成果等，并充分認識到研究的不足之處后，才能進一步開展相關研究。

２ 結 論

搜索引擎研究的評價方法并非單獨存在，而是被綜合應用。綜述是研究的基礎，實驗、調查和觀察等方法開展研究的保障，科學的數據分析方法和謹慎的論證則是提高研究質量的保證。比照中外研究，國內搜索引擎評價研究的方法較為單一，多為描述性評價，缺乏數據的支撐和科學的分析論證。因此，本文的目的也旨在通過對研究方法的總結和歸納來促進我國搜索引擎評價研究的科學化發展。

參考文獻

［１］Su，L.T.A Comprehensive and Systematic Model of User Evaluation of Web Search Engines:I.Theory and Background［Ｊ］.Journal of the American Society for Information Science and Technology，2008，(13)：1175-1192.

［２］Orland Hoeber.User Evaluation Methods for Visual Web Search Interfaces.Proceedings of the 2009 13th International Conference Information Visualisation，2009：139-145.

［３］陳海龍.搜索引擎的評價標準及其方法研究［Ｊ］.情報雜志，2001，(9)：50-51.

［４］趙華.一種搜索引擎性能的簡便評價方法和案例［Ｊ］.圖書館理論與實踐，2005，(6)：114-115.

［５］Bernard J.Jansen，Paulo R.Molina.The Effectiveness of Web Search Engines for Retrieving Relevant Ecommerce Links［Ｊ］.Information Processing and Management，2006，(4)：1075-1098.

［６］Moskovitch R，Martins SB，Behiri E，Weiss A，Shahar Y.A Comparative Evaluation of Full-text，Concept-based，and Context-sensitive Search［Ｊ］.Journal of the American Medical Informatics Association，2007，(2)：164-174.

［７］Zhang，X.M，Chignell，M.Assessment of the Effects of User Characteristics on Mental Models of Information Retrieval Systems［Ｊ］.Journal of the American Society for Information Science and Technology，2001，(6)：445-459.

［８］Mike Thelwall.Can Googles PageRank be Used to Find the most Important Academic Web Pages?［Ｊ］.Journal of Documentation，2003，(2)：205-217.

［９］Preben Hanse，Jussi Karlgren.Effects of Foreign Language and Task Scenario on Relevance Assessment［Ｊ］.Journal of Documentation，200，(5)：623-639.

［１０］Zhang，J.，Dimitroff，A.The Impact of Metadata Implementation on Webpage Visibility in Search Engine Results(Part Ⅱ)［Ｊ］.Information Processing and Management，2005，(3)：691-715.

［１１］Shiri，A.，Revie，Crawford.Query Expansion Behavior Within a Thesaurus-Enhanced Search Environment:A User-Centered Evaluation［Ｊ］.Journal of the American Society for Information Science and Technology，2006，(4)：462-478.

［１２］Spink，A.，Bateman，J.and Jansen，B.J.Searching the Web:survey of Excite users［Ｊ］.Internet Research:Electronic Networking Applications and Policy，1999，(2)：117-128.

［１３］Kruschwitz，U.，Al-Bakour，H.Users Want More Sophisticated Search Assistants:Results of a Task-Based Evaluation［Ｊ］.Journal of the American Society for the Information Science and Technology，2005，(13)：1377-1393.

［１４］Liaw，S.，Huang，H.M.Information Retrieval from the World Wide Web:a User-focused Approach based on Individual Experience with Search Engines［Ｊ］.Computers in Human Behavior，2006，(3)：501-517.

［１５］Dudek，D.，Mastora，A.，Landoni，M.Is Google the answer?A Study into Usability of Search Engines［Ｊ］.Library Review，2006，(3)：224-233.

［１６］Airio，E.Who Benefits from CLIR in Web Retrieval?［Ｊ］.Journal of Documentation，2008，(5)：760-778.

［１７］Lewandowski，D.The Retrieval Effectiveness of Web Search Engines:Considering Results Descriptions［Ｊ］.Journal of Documentation，2008，(6)：915-937.

［１８］Jansen，B.J.，Zhang，M.M.，Zhang，Y.The Effect of Brand Awareness of the Evaluation of Search Engine Results.CHI07 Extended Abstracts on Human Factors in Computing Systems，2007：2471-2476.

［１９］Kleinberg，J.(1999).Hubs，authorities and communities.ACM Computing Surveys，31(4)［ＥＢ］.http:∥www.cs.brown.edu/memex/ACMHypertextTestbed/papers/10.html，2010-10-09．

［２０］Bilal，D.Childrens Use of the Yahooligans!Web Search Engine.III.Cognitive and Physical Behaviors on Fully Self-Generated Search Tasks［Ｊ］.Journal of American Society for Information Science and Technology，2002，(13)：1170-1183.

［２１］Al-Ansari，H.Internet use by the faculty members of Kuwait University［Ｊ］.The Electronic Library，2006，(6)：791-803.

［２２］Huntington，P.，Nicholas，D.，Jamali，H.R.Employing Log Metrics to Evaluate Search Behavior and Success:Case Study BBC Search Engine［Ｊ］.Journal of Information Science，2007，(5)：584-597.

［２３］Chau，M.，Fang，X.，Sheng，O.R.L.Analysis of the Query Logs of a Web Site Search Engine［Ｊ］.Journal of the American Society for Information Science and Technology，2005，(3)：1363-1376．

［２４］Whittle，M.，Eaglestone，B.，Ford，N.，Gillet，V.J.，Madden，A.Data Mining of Search Engine Logs［Ｊ］.Journal of the American Society for Information Science and Technology，2007，(14)：2382-2400.

［２５］Jansen，B.J.，Spink，A.，Blakely，C.，Koshman，S.Defining a Session on Web Search Engines［Ｊ］.Journal of the American Society for Information Science and Technology，2007，(6)：862-871.

［２６］Nicholas，D.，Huntington，P.，etc.Student Digital Information-seeking Behaviour in Context［Ｊ］.Journal of Documentation，2009，(1)：106-132.

［２７］Large，A.，Beheshti，J.，Rahman，T.Gender Differences in Collaborative Web Searching Behavior:an Elementary School Study［Ｊ］.Information Processing and Management，2002，(3)：427-443.

［２８］Roy， M.，Chi，M.T.H.Gender Differences in Patterns of Searching the Web［Ｊ］.Journal of Educational Computing Research，2003，(3)：335-348.

［２９］Lorigo，L.，Pan，B.，Hernbrooke，H.，Joachims，T.，Granka，L.， Gay，G.The Influence of Task and Gender on Search and Evaluation Behavior Using Google［Ｊ］.Information Processing and Management，2006，(4)：1123-1131.

［３０］Rowlands，I.，Nicholas，D.，Williams，P.，etc.The Google Generation:the Information Behaviour of the Researcher of the Future［Ｊ］.Aslib Proceedings:New Information Perspectives，2008，(4)：290-310.

［３１］Madden，A.D.，Ford，N.J.，Miller，D.，Levy，P.Childrens Use of the in Ternet for Information-seeking［Ｊ］.Journal of Documentation，2006，(6)：744-761.

［３２］Spink，A.and Ozmutlu，H.C.Characteristics of Question Format Web Queries:an Exploratory Study［Ｊ］.Information Processing Management，2002，(4)：453-71.

［３３］Spink，A.，Xu，J.L.Selected Results from a Large Study of Web Searching:the Excite Study.Information Research，2000，(1)［ＥＢ］.http:∥InformationR.net/ir/6-1/paper90.html，2010-10-09．

［３４］Broder，A.A taxonomy of web search.ACM SIGIR Forum，2002，(2)［ＥＢ］.www.acm.org/sigir/forum/F2002/broder.pdf，2010-10-09．

［３５］Martzoukou，K.A Review of Web Information Seeking Research:Considerations of Method and Foci of Interest.Information Research，2005，(2)［ＥＢ］.http:∥informationr.net/ir/10-2/infres102.html，2010-10-09．

［３６］Manoj M.，Jacob，E.Information Retrieval on Internet Using Meta-search Engines:A Review［Ｊ］.Journal of Scientific and Industrial Research，2008，(10)：739-746.

［３７］秦喜艷，陸偉，姜捷璞.信息檢索中的相關性判斷和系統評價述評［Ｊ］.圖書情報知識，2009，(7)：89-94.

［３８］曹超.2002-2007年國外對搜索引擎檢索結果研究綜述［Ｊ］.圖書情報知識，2009，(1)：90-96.

［３９］吳小蘭，汪琪.元搜索引擎研究綜述［Ｊ］.圖書情報工作，2009，(5)：46-49.

［４０］曹林，韓立新，吳勝利.元搜索引擎排序技術綜述［Ｊ］.計算機應用研究，2009，(2)：411-414.