網絡信息抓取技術大揭秘

程田

雖然已經上映有一段時日了，《美國隊長3》仍然是大家熱搜的焦點。當你在百度搜索里輸入“美國隊長3”時，會發現百度為你找到了約有272000個相關結果。而當你想要搜索最新加入的蜘蛛俠，只要輸入“美國隊長3 蜘蛛俠”，百度就會為你找到約3470000個相關結果。在浩如星海的網絡信息中，究竟是什么技術幫助我們抓住了真正需要的信息呢？

網絡搜索靠“神馬”

還記得影片中蜘蛛俠為了能夠迎戰強大的美國隊長，而接受了鋼鐵俠提供的最新技術裝備嗎？搜索引擎，就是人們在網絡時代抓取信息時的必備技術裝備。這套裝備也是在相應的條件下不斷進步的。據統計，截至2015年，中國網頁數量已經突破了2000億，人們通過互聯網一個一個查找信息的手段已經OUT。說得再深入一些，你會發現身邊人們的消費方式也發生了巨大的改變。那些知名的企業為了推廣品牌，紛紛加入了網絡推廣的大軍，就像知名的漫威公司，在營銷自己的電影時也有一套網絡推廣方案。而搜索引擎，正是網絡推廣中最廉價、最高效的方式。因此，由于時代的召喚和大眾的需求，搜索引擎自然成為了網絡搜索中人們的首選。

其實用一句話來說，搜索引擎就是以一定的策略在互聯網中搜集發現信息，同時對信息進行理解、提取、組織和處理，并為用戶提供檢索服務的一種方式。

搜索引擎主要有兩種基本的類型：一類是利用全文檢索的技術型搜索引擎，像大家熟悉的百度、谷歌等。這一類搜索引擎利用數據挖掘提取技術收集網絡信息，并根據相應的算法建立數據庫索引供用戶查詢。這種類型的搜索引擎是最常用的。

而另一類則被稱為分類目錄，這種搜索引擎是通過人工編輯網絡信息，利用關鍵字和描述信息進行信息檢索，并將符合條件的結果人工錄入數據庫，能夠形成有針對性的逐級查詢。不過也有一個缺點，就是對網站要求特別高，有時即使登錄多次，也不一定會成功。而大家最熟悉的例子大概就是巨難登錄的超級引擎YAHOO了。

搜索引擎的基本構造

就像蜘蛛俠的裝備覆蓋了頭、身、手、腳，搜索引擎也從四個基本的部分武裝和完善了信息抓取的技術，它們就是：Spider、索引模塊、信息檢索和用戶接口。

Spider

也就是網絡爬蟲，它是搜索引擎數據收集的關鍵技術，也是網絡抓取技術的重要手段（對于最關鍵的這點，我們還會在下面說得更詳細）。

索引模塊

利用索引分析器對Spider獲得的信息進行分析和處理，過濾掉無效以及冗余的信息，并把信息表示成一種便于建立索引的方式，建立索引數據庫，便于用戶查詢信息。

信息檢索

根據用戶查詢的關鍵詞從索引數據庫中快速查找相應的文檔，并進行相關度的計算，然后將結果根據相關度排序反饋給用戶。

用戶接口

用戶接口作為用戶與搜索引擎交互的窗口，將接受的關鍵字或相關的重要信息輸入到系統之中，并反饋用戶的查詢結果。

Spider—信息抓取關鍵者

如果說，蜘蛛俠裝備的核心技術是能夠噴射大網，并能逮捕敵人的蛛絲發射器。那么Spider也可以說是搜索引擎中最關鍵的一環了。

和蛛絲發射器的用法差不多，搜索引擎利用Spider尋找網絡內容的基本工作流程，也就是說將網絡上的HTML文檔使用超鏈接鏈接起來，織成一張大網，然后Spider就像蜘蛛一樣沿著這張網把相應的網頁信息抓取下來，并抽取相應的超鏈接作為下一步爬行的線索（請自行腦補蜘蛛俠不停發射蛛絲并前進的畫面）。當搜索完成后，建立相應的索引數據庫。最后，利用算法對搜索結果進行處理和排序。當然了，由于網絡更新速度快，需要定期地多次爬取以更新相應的網絡信息，避免死鏈接和無效鏈接。

就像超級英雄們在行動之前都會制定相應的行動方針，Spider在網絡中的移動也需要遵循一定的方法和策略。通常的網頁分析方法包括基于網絡拓撲結構、網頁內容以及用戶的訪問行為等分析方法。基于網絡拓撲結構的方法主要利用網絡結構的特性，即相應網絡節點中的出入度，權值或節點粒度，進行相應的優先度（重要性）分析?；诰W頁內容的分析方法主要利用了文本檢索的技術，對網頁進行快速有效的分類和聚類。基于用戶訪問行為的分析主要根據用戶行為的上下文信息對網絡路徑進行預測。

而說到搜索策略，Spider主要有兩種搜索方法：廣度優先遍歷法和深度優先遍歷法。這就相當于超級英雄們的作戰策略了。

廣度優先用于網絡搜索法則，是指Spider會先抓取起始網頁中鏈接的所有網頁，然后再選擇其中的一個鏈接網頁，繼續抓取在此網頁中鏈接的所有網頁。比如在瀏覽網頁時，先打開你要瀏覽的全部內容，像體育板塊，新聞板塊、論壇板塊、財經板塊等等，在選擇其中一個板塊后以之前相同的方式向下瀏覽，例如你選擇了體育版塊，再打開籃球版塊，然后再接著打開籃球中的科比新聞，以這樣方式循環向下瀏覽。

深度優先用于網絡搜索法則是指網絡爬蟲會從起始頁開始，一個一個鏈接跟蹤下去，處理完這條線路之后再轉入下一個起始頁繼續跟蹤鏈接。換句話說，就是指把一種內容看完后再更換其他內容，比如瀏覽網頁時，先看體育版塊，在瀏覽體育版塊中的籃球區，籃球區看完后去看足球區，等所有在體育板塊中我想看完的內容都看完后，我再選擇其他版塊進行觀看。

雖然從目前的基本工作流程來看，Spider能夠很輕易地實現搜索，但隨著互聯網技術的不斷發展，網絡抓取技術還會面臨新的挑戰。網頁數量爆發式的增長，意味著在一定時間之內，只能抓取其中的一部分。為了更好地抓取信息，Spider不僅需要能夠完成基本的工作流程，還需要研發者們提供更好的爬取策略。當信息抓取技術進一步提升時，就能幫你把想要的信息一網打盡了。