基于日志的用戶搜索行為分析

王淼 宋子豪

摘要：該文以Sogou搜索引擎為例，對其查詢?nèi)罩緮?shù)據(jù)庫內(nèi)約一個月內(nèi)的兩千萬條查詢?nèi)罩具M行分析，以期揭示其用戶搜索行為。研究采用 Jansen提出的包含數(shù)據(jù)采集、數(shù)據(jù)處理和數(shù)據(jù)分析三階段的分析框架，在數(shù)據(jù)分析階段又對關鍵詞、查詢式和搜索會話這三個方面進行了分析。研究結果顯示：用戶輸入查詢式的長度度比較短，接近1.45，高頻查詢詞中和圖片相關的居多。

關鍵詞：搜索日志;Python

中圖分類號：TP311? ? ? ?文獻標識碼：A? ? ? 文章編號：1009-3044（2018）31-0016-04

An Analysis of User Behavior Based on Log– A Case Study with Sogou

WANG Miao， SONG Zi-hao

（Chengdu College of University of Electronic Science and Technology of China， Chengdu 610000， China）

Abstract： Taking Sogou search engine as an example， this paper analyzes 20 million query logs in its query log database within about one month in order to reveal its user search behavior. The research adopts Jansen's analysis framework which includes three stages of data acquisition， data processing and data analysis. In the data analysis stage， it analyzes the three aspects of keywords， query and search session. The results show that the length of user input query is relatively short， approaching 1.45， and most of the high-frequency query words are related to pictures.

Key words： Search Log; Python

1 引言

隨著互聯(lián)網(wǎng)的高速發(fā)展，搜索引擎已成為人們生活中的必需品[1]。搜索引擎獲取信息方便，抓取能力強大，抓取內(nèi)容已經(jīng)覆蓋了全網(wǎng)百分之二十左右的網(wǎng)頁。Google（谷歌）的網(wǎng)頁覆蓋量有60億左右，百度也達到10億。Google被譽為互聯(lián)網(wǎng)最偉大的公司，百度成為中國第二大互聯(lián)網(wǎng)公司，這都宣告著搜索時代的大發(fā)展，搜索引擎給在互聯(lián)網(wǎng)遨游的人們帶來了巨大的方便。

為了提高搜索準確度，為用戶提供個性化推薦等目的，每個搜索引擎在使用過程中都會記錄用戶的使用行為、點擊情況、搜索歷史等。這部分信息就是日志，日志中存儲了用戶輸入的查詢式、查詢時間、查詢IP、操作系統(tǒng)和瀏覽器信息等等，其目的是了解用戶的使用行為。在本篇研究中，基于Jansen[2]的研究框架，重點分析日志數(shù)據(jù)中的關鍵詞、查詢式。其中關鍵詞部分（英文中用空格隔開的單個詞，中文中分詞之后的單個詞）的分析重點是高頻關鍵詞，因為高頻查詢詞在一定程度上可以反映出頻繁查詢的話題，搜索引擎可以建立緩存，加快查詢速度，提升用戶體驗。查詢式部分（用戶輸入的完整查詢詞）的分析重點分析查詢式長度、高頻查詢式等等。高頻查詢式可以幫助搜索引擎鎖定熱門搜索領域，而查詢式長度的分析可以幫助搜索引擎了解用戶輸入習慣，便于引擎為用戶提供自動補全服務。

搜索引擎的普及，使得本課題的研究具有一定的社會意義。本課題的研究可以幫助搜索引擎了解用戶使用行為，從而不斷優(yōu)化和完善搜索引擎，主要變現(xiàn)在以下幾個方面，（1）拉新，新用戶的加入可以增加搜索引擎的點擊量。（2）轉化，對于特定類型網(wǎng)站，例如電商，注重訂單轉化率也可以通過日志分析來進行研究。（3）促活，通過日志中反映出來的用戶行為，不斷優(yōu)化產(chǎn)品本身，從而用戶更經(jīng)常使用我們的產(chǎn)品。（4）留存，日志分析也可以幫助我們提前發(fā)現(xiàn)可能流失用戶，降低用戶的流失率。（5）變現(xiàn)，發(fā)現(xiàn)潛在高價值用戶，提高銷售效率，實現(xiàn)增收。

2 文獻綜述

針對通用網(wǎng)絡搜索引擎的用戶基本行為研究始于H?lscher對德文搜索引擎Fireball的日志分析，該研究主要關注查詢式結構[3]。緊隨其后的是Silverstein等的Alta Vista研究和Jansen等的Excite研究，關鍵詞、查詢式、搜索會話三個層次在基于這兩個搜索引擎的日志分析中得以不同程度的體現(xiàn)，并且?guī)砹溯^為相似的結果[4][5]。這些早期的開拓性研究揭示了搜索引擎發(fā)展初期的用戶行為特征，其中普遍存在的特征包括：查詢式長度很短、布爾邏輯算符使用比例很低、查詢式改進不太常見、且查看結果頁面數(shù)量很少。此外，AltaVista研究還發(fā)現(xiàn)高度相關的關鍵詞通常都是固定搭配短語的組成部分，Excite研究則顯示關鍵詞使用頻率呈高度偏態(tài)分布，搜索主題呈現(xiàn)出多樣化特點，其中與性相關的主題較為突出。

幾年后Jansen等再次采集并分析了AltaVista的日志數(shù)據(jù)，通過對比以上的AltaVista研究反映出用戶搜索行為的變化[6]：會話和查詢式長度都有所增加，表明用戶與系統(tǒng)之間的交互增強;盡管交互頻率增長，但是大多數(shù)的搜索會話時長都不超過5分鐘;高頻關鍵詞所占的比例不足1%，說明用戶的信息需求變得更為廣泛。

在搜索日志分析方法論確立的同時，Jansen和Spink對9項搜索引擎日志研究的結果進行了元分析（Meta-analysis），這些研究開展的時間差距長達5年，其中涉及來自美國和歐洲的5個搜索引擎[7]。他們對比了這些研究所報告的搜索會話長度和查詢式長度，發(fā)現(xiàn)各搜索引擎差別不大，且未隨時間發(fā)生明顯變化。然而在查詢式復雜度和結果頁面查看這兩個方面趨勢較為明顯，即查詢式高級算符的使用增加了，而針對每個查詢式查看結果頁面的數(shù)量減少了，同時美國搜索引擎的用戶比歐洲搜索引擎的用戶更常使用算符。查詢式主題分析表明，人名、地名、事件、商業(yè)、旅游、就業(yè)、經(jīng)濟等相關主題的查詢式所占比例穩(wěn)步提升。

隨后Jansen等將目光轉向了元搜索引擎（Metasearch engines）[8]，這種新型的搜索系統(tǒng)幫助用戶同時搜索多個來源搜索引擎，增強了結果的多樣性和相關度，避免了冗余操作。該研究分析了Dogpile元搜索引擎的日志數(shù)據(jù)，結果顯示其用戶的搜索行為與普通搜索用戶相比表現(xiàn)出更強的交互性，他們的查詢式更長，而搜索會話時長卻更短，半數(shù)以上的會話不到一分鐘，不過元搜索所涉及的主題范圍與普通搜索類似。

相對于元搜索，多媒體搜索（主要包括圖片、音頻和視頻搜索）受到了更多關注，但基于不同搜索引擎的日志分析研究所得到結論卻大不相同。在Excite中，多媒體查詢式長度比非多媒體查詢式更長，其中音頻查詢式比圖片或視頻查詢式更多[9]。而在AltaVista中，多媒體搜索比一般的文字性搜索要更加復雜，用戶與搜索引擎之間的交互更明顯，表現(xiàn)為更長的查詢式和會話、更多的點進，但是查詢式算符的使用率仍然較低[10]。在Dogpile中，圖片搜索是多媒體搜索最主要的類型，多媒體搜索會話的時長很短，使用到的關鍵詞很少[11]。此外有一項圖片搜索日志分析研究發(fā)現(xiàn)，描述性的和專題性的查詢式比較普遍，布爾邏輯算符的使用很頻繁，但并不是太有效，以至于用戶需要改進查詢式，而改進策略卻顯得不太成熟，大多都是試驗性質(zhì)的[12]。

以上所提及的搜索引擎，除Fireball外均為英文搜索引擎。在非英文搜索引擎研究中，基于中文搜索引擎Timway的日志分析非常具有代表性，因為除了常見的搜索會話、查詢式、主題分析外，該研究還引入了針對中文的字符分析。分析所得到的會話長度與英文搜索引擎研究結果相當，但是中文查詢式所包含字符的個數(shù)遠高于英文查詢式所包含關鍵詞的個數(shù)，而整個數(shù)據(jù)集中的獨立中文字符卻遠少于英文查詢式中獨立關鍵詞，這些差別可能來自中英文詞匯構成方式的不同。中文查詢式中布爾邏輯算符的使用很少見，這可能與中文是表意文字有關[13]。另一項大規(guī)模的非英文搜索引擎研究分析了韓文搜索引擎NAVER的日志數(shù)據(jù)。該研究結果顯示用戶在搜索時比較被動，很少會去更改系統(tǒng)的默認搜索設置;用戶的搜索行為也很簡單，查詢式很短，查看的結果頁面很少，不常使用高級搜索功能;在改進查詢式的時候，他們往往不會在原有查詢式的基礎上增加或刪除關鍵詞，而是改成完全不同的查詢式[14]。在2015年，姜婷婷等人對武漢大學OPAC系統(tǒng)的日志進行分析，研究結果發(fā)現(xiàn)，查詢式長度接近2.9。高頻查詢在數(shù)學、經(jīng)濟學、管理學領域較多。一個搜索會話持續(xù)時間平均是10分鐘。在搜索會話長度方面，中文和非中文有較大不同[15]。

3 關鍵技術（中文分詞）

3.1 中文分詞的困難

中文語句不同于英文語句，英文的每個單詞之間有標點符號分割，中文的單詞和單詞之間是連接在一起的。中文單個字沒有意義，只有和相鄰的字組成詞匯時，才有意義[4]。例如語句：

中國是一個偉大的國家，中國共產(chǎn)黨是一個偉大的政黨。

每個字表達的含義沒有意義，只有組合成詞匯，才能理解其中的含義。中文博大精深，不同的字有不同的組合方式，在不同的語境下，詞的長度也不一樣。人類能夠快速地分析出這句話所包含的詞：

中國 是 一個 偉大 的 國家 中國共產(chǎn)黨 是 一個 偉大 的 政黨

兩句話中的中國，在前一句中是單獨一個詞，在后一句中要和之后的共產(chǎn)黨組成一個詞。

3.2 中英文混合日志

針對包含中文的日志，比如：

message：登錄成功

其中冒號是中文冒號，配置的分詞字符是空格。如果只采用分詞符號的方式分詞，那么得到的詞有：

message：登錄成功

無法單獨搜索登錄或成功，只有完整的輸入message：登錄成功才能搜索到日志。那么對于我們搜集日志中的信息并不能全面，后期對于數(shù)據(jù)的統(tǒng)計也是不全的。

3.3 智能化中文分詞

為了解決中文的分詞問題，我們引入了智能化的分詞算法，如圖1所示：

3.4中文搜索效果

為了更方便地展示出智能化的分詞系統(tǒng)，圖2為分詞系統(tǒng)中的中文搜索效果圖。

4 結果分析

4.1 日志結構

本文采用的搜索引擎日志來源于Sogou實驗室公布的搜索日志，日志原始格式為filter格式，數(shù)據(jù)大約為2千萬條，部分原始數(shù)據(jù)如圖3所示。用于分析的搜狗日志由一系列查詢需求組成，表1展示了這些字段的內(nèi)容和實例。

我們可以從第一行從左往右一次分析，第一條日志記錄表示：在00：00：00時刻用戶 2982199073774412 查詢了“360安全衛(wèi)士”，該網(wǎng)址在返回中的排名為8，用戶在所有結果選中點擊了第三個，該網(wǎng)址為：download.it.com.cn/softweb/software/firewall/antivirus/20067/17938.html。

利用用戶點擊結果頁面的信息我們能得到用戶的點擊習慣，而通過查詢詞、用戶點擊頁面的點擊流，可以分析提取出用戶提交查詢式的特征，例如長短、頻度等等。本研究主要是建立在對大量的用戶需求特征進行統(tǒng)計的基礎上進行的宏觀分析，目的是找尋用戶需求中的熱點、詞頻分布規(guī)律、查詢行為特點等，進而對搜索引擎的系統(tǒng)結構和算法設計提出改進意見。

4.2 查詢式分析

本次使用的日志是Sogou實驗室公開的31天所有的查詢?nèi)罩尽Ｆ渲蟹强詹樵児灿?0021205個，含重復查詢共1960174個。對于用戶輸入的關鍵詞進行統(tǒng)計分析發(fā)現(xiàn)，純英文字符查詢次數(shù)為2382654，中英文混合查詢次數(shù)為1527013，其余全部為中文查詢，次數(shù)為16111538。各類型占比如圖4所示：

根據(jù)統(tǒng)計結果，純中文查詢占比度最高且比例為百分之八十，目前對于Sogou搜索引擎，用戶輸入的查詢式還是以中文為主。在英文的查詢中，大多數(shù)是某些名稱的縮寫，或者是某些品牌的英文名稱，例如：HTML、Sony、Nokia等。

4.3 基于分詞的查詢長度

查詢的長度主要是指用戶提交的查詢字符串中包含幾個詞或詞（空格分隔），由于英文語言的特征，單詞和單詞之間需要用空格分開，所以獲取字符串中詞語的個數(shù)比較容易。分析結果顯示，查詢長度不超過3個詞的查詢占查詢總數(shù)的95.23%，平均長度是1.45個字，這意味著用戶輸入的查詢通常比較短。平均長度短于Craig Silverstein等人分析的文本查詢長度的2.35個字。這表明中文搜索引擎的用戶需求信息較少，需要更多的用戶需求分析和體驗才能更準確地返回用戶請求的信息[4]。

但是，對于中文，用戶在書寫字符串時并不會將關鍵詞用空格隔開。因此，統(tǒng)計英文的分析的方式是不合適中文的，為了消減這樣的差異，本文首先對用戶輸入的字符串進行預處理，然后使用基于Python的jieba庫對其進行分詞，最后再進行統(tǒng)計分析，使其和第一次的統(tǒng)計分析進行對比。得到了如表2所示：

從表2可以看出，分詞之后的統(tǒng)計結果與分詞之前存在較大差異。分詞前平均長度不超過3個字的查詢占總查詢書的95.2%，平均長度為1.45個字。而分詞之后，長度不超過3個字的查詢占查詢總數(shù)的82.81%，平均長度也變?yōu)?.25個字，與英文搜索研究結果中的平均查詢長度2.35非常接近。數(shù)據(jù)分析的結果也驗證了將中文分詞技術引入查詢字符串長度分析的必要性。后面對數(shù)據(jù)的統(tǒng)計分析一致采用分詞后的數(shù)據(jù)進行統(tǒng)計分析。

4.4 查詢的頻度

查詢的頻度是指在所有網(wǎng)絡搜索日志中，該查詢一共被提交過多少次。對于出現(xiàn)次數(shù)最多的前120個查詢，我們將其出現(xiàn)次數(shù)及排名繪成圖5所示：

從圖中可以看出，很多高頻查詢詞出現(xiàn)了很多次，分析結果顯示超過100次的查詢總數(shù)為14234次，占非重復次數(shù)總數(shù)的1.2%，但其總的出現(xiàn)次數(shù)為20054210，占查詢總數(shù)的將近70%。這表明每天由搜索引擎接收到的查詢中，很多都會重復，并且一小部分查詢就可以解決大部分用戶的需求。如果搜索引擎可以通過特定方式提高少數(shù)頻繁出現(xiàn)的查詢式的查詢質(zhì)量，則可以提高整體搜索引擎的搜索質(zhì)量。同時也說明在搜索引擎設計中引入緩存機制或人為干預的必要性。并且在查詢術語（用戶提交的查詢中的單個單詞或單詞由空格分隔）的統(tǒng)計中，發(fā)現(xiàn)出現(xiàn)次數(shù)最多的12個術語（全部大于250，000個術語），有50%的查詢與圖片有關，這表明人們對圖片信息的需求正在增加。因此，搜索引擎應該關注與圖片搜索有關的相關功能。

4.5 中文分詞對rank的影響

不同用戶群體搜索時展現(xiàn)的用戶行為特征是不同的。例如，有的用戶習慣點擊搜索引擎返回的第一頁結果，有的用戶習慣提交包含英語的查詢，有的用戶習慣使用高級搜索，有的用戶習慣直接輸入URL地址作為查詢詞等等。

在搜索引擎的設計中，考慮搜索結果的排名對用戶的搜索過程至關重要。而搜索引擎中采取的各種排序算法各有優(yōu)缺點，到底哪一種才是能更好滿足用戶需求的，不能一概而論。本文分析出的用戶搜索點擊行為，統(tǒng)計得出的結論對搜索引擎的設計有很好的指導意義。

中文分詞可以減少句子的歧義。我們從搜索日志中抽取了一個隨機樣本，用中文關鍵字提取1，000個搜索詞，排序值小于或等于10，分割關鍵詞之后，將這些關鍵詞用于搜索，分析對其分詞之后對排名的影響。

第一次實驗的結果顯示，1000個搜索記錄的排名值為4.6，分詞后的平均值為4.5。這與我們分析的結果有所偏差。為了進一步解釋，我們又進行了三次，結果顯示在表3中。

從表格中我們可以看到，分詞對搜索結果排名的影響非常小，這與我們的預期有所偏差。分析原因，可能有以下幾點 ：

· 分詞工具的問題。 使用基于Python的jieba庫。分詞不準確可能是一個原因。

· 搜索引擎采用的排序算法問題。搜索引擎可能對頁面或標題采用簡單的關鍵字匹配方法，導致分詞是否對搜索結果排名沒有太大影響。如果后續(xù)可以引入語義分析的方法，那么搜索結果的排序準確性將得到進一步提高。

5 討論與總結

本篇文章分析了搜狗搜索引擎在一個月內(nèi)的真實查詢?nèi)罩尽＝Y果顯示，對于85%的查詢，用戶只查看搜索引擎返回結果的第一頁。對于中文搜索，用戶表現(xiàn)出的行為與英文搜索用戶有一些不同。例如，中文搜索用戶只有0.73%使用高級搜索功能，而英文用戶提交的查詢中有20%會使用高級搜索功能，表明中文搜索用戶更關注搜索引擎的便利性和簡潔性。另外，中文搜索用戶提交的查詢重復頻率比英文搜索用戶高得多。即在少數(shù)幾個查詢中出現(xiàn)的查詢總數(shù)占查詢總數(shù)的大部分。這表明在中文搜索算法中使用緩存機制和人為干預是十分必要的。這些結果都體現(xiàn)了中文搜索用戶的行為特征，分析結果對提高中文搜索算法和評估標準起著重要指導作用。

搜索引擎中的技術和方法在不斷改進，但無論如何，最終目標是向用戶呈現(xiàn)最符合他們需求的結果，日志可以一定程度上反映用戶的行為習慣和需求，因此分析搜索日志非常重要。

參考文獻：

[1]第41次中國互聯(lián)網(wǎng)網(wǎng)絡發(fā)展狀況統(tǒng)計報告，中國互聯(lián)網(wǎng)信息中心（CNNIC），2018年1月

[2]Jansen B J.Understanding user-web interactions via web analytics[J].Synthesis Lectures on Information Concepts， Retrieval， and Services，2009，1（1）：1-102

[3]H?lscher C. How Internet experts search for information on the Web[C]// Proceedings of the World Conference of the World Wide Web， Internet， and Intranet， 1998.

[4]Silverstein C， Henzinger M， Marais H， Moricz M. Analysis of a very large Web search engine query log[J]. SIGIR Forum， 1999， 33（1）：6–12.

[5]Jansen B J， Spink A， Saracevic T. Real life， real users， and real needs： A study and analysis of user queries on the web[J]. Information Processing & Management， 2000， 36（2）：207-227.

[6]Jansen B J， Spink A， Pedersen J. A temporal comparison of AltaVista Web searching[J]. Journal of the American Society for Information Science and Technology， 2005， 56（6）：559-570.

[7]Jansen B J， Spink A. How are we searching the World Wide Web？ A comparison of nine search engine transaction logs[J]. Information Processing & Management， 2006， 42（1）：248-263.

[8]Jansen B J， Spink A， Koshman S. Web searcher interaction with the Dogpile. com metasearch engine[J]. Journal of the American Society for Information Science and Technology， 2007， 58（5）：744-755.

[9]Ozmutlu S， Spink A， Ozmutlu H C. Multimedia Web searching trends： 1997–2001[J]. Information Processing & Management， 2003， 39（4）：611-621.

[10]Jansen B J， Spink A， Pedersen J O. The Effect of Specialized Multimedia Collections on Web Searching[J]. Journal of Web Engineering， 2004， 3（3-4）：182-199.

[11]Tjondronegoro D， Spink A， Jansen B J. A study and comparison of multimedia Web searching： 1997–2006[J]. Journal of the American Society for Information Science and Technology， 2009， 60（9）：1756-1768.

[12]J?rgensen C， J?rgensen P. Image querying by image professionals[J]. Journal of the American Society for Information Science and Technology， 2005， 56（12）：1346-1359.

[13]Chau M， Fang X， Yang C C. Web searching in Chinese： A study of a search engine in Hong Kong[J]. Journal of the American Society for Information Science and Technology， 2007， 58（7）：1044-1054.

[14]Park S， Ho Lee J， Jin Bae H. End user searching： A Web log analysis of NAVER， a Korean Web search engine[J]. Library & Information Science Research， 2005， 27（2）：203-221.

[15]姜婷婷，王淼，高慧琴. OPAC系統(tǒng)用戶搜索行為日志分析——以武漢大學圖書館為例[J].圖書情報知識，2015（5）：46-56