網絡蜘蛛搜索算法在垂直搜索引擎中的應用

摘 要：隨著當前互聯網技術的發展，網絡無處不在，博客、網站中充斥著大量的網頁信息，對于這些網頁信息，如何才能被人們通過搜索引擎獲取，這就要得益于網頁搜索的功勞了。以下本篇淺析了在垂直搜索引擎中應用網絡蜘蛛搜索算法的策略。

關鍵詞：垂直搜索引擎;搜索算法;網絡蜘蛛搜索算法

0 引言

隨著我國當前網絡信息技術的發展，人們對互聯網搜索引擎的需求有所提升。對于互聯網其不僅是一個有著海量網頁信息數據的載體，也是一個擁有海量有用數據資源的倉庫，在垂直搜索引擎中應用網絡蜘蛛算法，有助于有效利用這些網絡中的信息，滿足垂直搜索引擎用戶個性化的搜索服務，發揮積極影響。

1 網絡蜘蛛搜索算法

在Internet上，“蜘蛛”（Spider）是一種功能強大的網絡搜索程序[1]。網絡蜘蛛搜索算法，需要一個初始鏈接，但在網絡搜索中，蜘蛛算法對于此后的計算運行情況[2]，就由蜘蛛算法來決定，在進行網頁搜索中，網絡蜘蛛程序針對一個頁面，可以先去掃描頁面中所包含的鏈接內容，并直接訪問其鏈接頁面信息，根據網絡蜘蛛搜索算法，分析統計其追蹤頁面中所包含的鏈接信息，經過蜘蛛搜索算法計算后，將最終頁面返回到搜索引擎中。

2 垂直搜索引擎中應用網絡蜘蛛搜索算法的意義

2.1 垂直搜索引擎定義 關于垂直搜索引擎，其在網絡應用中，就是可以指針對某一行業、某一種類的信息進行專業搜索服務，其是基于傳統搜索引擎服務的細分和延伸，同時也是對網頁中一類專有信息的整合[3];垂直搜索引擎，可以定向的分字段抽取出網頁中的需求數據，將數據進行處理之后再以某種形式返回給用戶。

2.2 意義分析 對于當前網絡搜索中的垂直搜索，在其實際應用中，不僅搜索結果的信息量大，且具有查詢不準確、深度不夠的問題;故此，可以在其設計中應用網絡蜘蛛搜索算法，可以使得垂直搜索系統盡可能多的去抓取同特定主題有相關內容的網頁，同時，也最大限度減少對無關網頁內容的抓取，以便能夠有序化搜索海量信息，使垂直搜索引擎性能得到提升。

3 垂直搜索引擎中應用網絡蜘蛛搜索算法的策略

針對垂直搜索引擎中，應用網絡搜索算法，可以發揮引擎搜索能力，產生積極影響。以針對垂直搜索引擎實例，分析在實際中應用網絡蜘蛛搜索算法的策略。

3.1 解析 HTML "在網絡蜘蛛搜索算法，運用C#語言，首先，可以創建垂直搜索實例，將搜索類中函數Source的屬性設置成為可以解析的HTML頁面信息，其表示如下：

Parse HTML parse= New Parse HTML （ ） ; // 選定頁面

Parse.Source = \" Hello ！Hello！\" ; // 解析頁面的內容

并且在解析之后，可利用While循環的方式，去依次檢查HTML文檔頁面之中所包含的文本以及其標記信息。

While （ ！ parse. Eof（ ） ）{

char ch = parse.Parse （ ）

} ;

并注意在循環結束后，可返回在HTML文檔中包含的字符對象。在實際垂直搜索引擎中，網絡蜘蛛搜索算法就是要借助C#索引功能找出各個HREF屬性。例如：

Attribute HreF = Tag [ \"HREF\" ] ; "http:// 屬性

String link = Href .Value ; "http:// 屬性對象獲取

在該算法中，當獲得Attribute對象后，應用Attribute.Value命令，獲得這個屬性所代表的值。

3.2 優化HTML頁面垂直搜索引擎信息 在網絡蜘蛛搜索算法中，通過C#提供的HttpWebRequest類先下載HTML頁面，從request創建一個stream流。假設針對HTML頁面文件進行搜索，那么此時頁面已經被下載并保存在一個字符串內，通過這個字符串，就可以解析出HTML網頁中的鏈接信息，并且還可以將HTML頁面信息保存到磁盤中，用以分析頁面內容。

3.3 執行垂直搜索引擎命令 對于垂直搜索引擎中，應用網絡蜘蛛搜索算法，就可以運用run（）函數方法，使該方法執行獨立搜索的線程。在進行垂直搜索的過程中，也可以先去判斷對于入口站點中的信息，分析其是由Web引用還是外部頁面，然后，就可以確認出入口站點的代表符號，運行重置網頁統計計算，并同時調用searchWeb（）函數，進行頁面信息搜索：

Public void run （）{

Default TreeModel "treeModel= （ DefaultTreeModel） searchTree.getModel （） ;

String "urllc = startSite .ToLower Case （）; // 設置字符串

If

（ ！urllc. startsWith （\"http： //……\"） "http:// 網址信息算法比較

{{ startSite = \"http：// ……\" + startSite; // Tack on http：// ……}

Public "static "String fixHref （ String href）

{ String newhref = href.replace（'＼＼'， '/'）;

if（ lastslash gt; lastdot）

{if（newhref .charAt（newhref.length（）-1） ！= '/'）newhref = newhref+\"/\"; }

Return "Newhre; "http://返回結果

}

使用網絡蜘蛛搜索算法，跟蹤記錄垂直搜索引擎進展以及其訪問過的站點，應用網絡蜘蛛搜索算法，可以提高垂直搜索引擎對網頁抓取的準確率，改進了網頁搜索待爬行隊列URL優先權值，使垂直搜索引擎搜索性能得到提升，滿足網絡搜索用戶的需求。

4 結論

綜上所述，在垂直搜索引擎中應用網絡蜘蛛搜索算法，可以更好的控制用戶網頁界面，通過跟蹤蜘蛛記錄訪問過站點，可以有效顯示出網頁搜索進展，不僅可以提升搜索引擎搜索能力，也發了揮實際應用價值。

參考文獻：

[1]張曉龍.網絡蜘蛛垂直搜索算法的改進與實現[D].哈爾濱工程大學，2008.

[2]劉相琴，孟繁疆.大豆垂直搜索引擎的研究與設計[J].農機化研究，2013（5）：200-203.

[3]王靜，劉偉峰，汪偉，等.面向旅游信息的垂直搜索引擎的設計與實現[J].信息系統工程，2014（3）：29-31.