基于BP神經網絡的主題爬蟲研究

黃利斌 陳慧

摘要：主題爬蟲已經成為當下信息采集的重要方式。傳統的主題爬蟲技術，主題詞與其相關性權重是固定不變的，因此，存在隨著爬取頁面的增加而爬準率下降，錯誤率上升的問題。本文采用的主題爬蟲技術，運用BP神經網絡，根據下載網頁的特征，動態更新主題詞與其相關性權重，從而實現隨著爬取頁面的增加而爬準率上升，錯誤率下降。基于BP神經網絡的主題爬蟲技術，能提高信息采集的效率，降低因采集錯誤而產生的損失。

關鍵詞：主題爬蟲；BP神經網絡；信息采集；主題詞表

中圖分類號：TP391 文獻標識碼：A 文章編號：1009-3044（2019）04-0160-03

Abstract：Theme crawler has been an important way of obtaining modern information. For traditional theme crawler technology， the theme words and its relevance weights are fixed， which is a problem that the crawl rate decreases and the error rate increases as the number of crawling pages increases. Therefore， we propose a theme crawler technology based on BP neural network， which can dynamically update keywords and their relevance weights according to the characteristics of the downloaded webpage.Intelligent thematic crawler technology based on BP neural network can improve the efficiency of information collection and reduce the loss caused by the acquisition error.

Key words：Theme crawler； BP neural network； Information Collection； Thesaurus

1 引言

互聯網具有豐富龐大的數據，為了充分有效地利用互聯網的信息資源，并快速構建專業知識庫和數據庫，應用爬蟲技術來采集信息是一種方便、快捷和有效的方式[1]。主題爬蟲是一種能在一定時間內運用較少的計算資源、網絡資源和存儲資源來盡可能采集更多與主題相關的網頁文檔的特殊爬蟲技術[2]，它能更好地滿足特地用戶的特地目的。主題爬蟲在抓取頁面之后進行解析，判斷這些頁面是否與主題相關，從而決定是否采集，并且根據相關性制定采集的優先順序，可以減少采集的數量，增加網頁文檔與主題的相關性，提高信息采集的效率，降低信息采集的錯誤率[3]。傳統的主題爬蟲技術主要基于鏈接地址和主題詞來解析、爬取，其關鍵詞的權重是固定不變的，因此，會隨著爬取頁面的增加，爬準率下降和錯誤率上升[4]。

BP（back propagation）神經網絡是目前研究最為成熟、應用最為廣泛的人工神經網絡模型之一[5]。由于具有較強的非線性模擬能力、強大的自學習和自適應能力，且結構簡單、可操作性強、具有較好的自學習能力、能夠有效地解決非線性目標函數的逼近問題等優點，因此被廣泛應用于自動控制、模式識別、圖像識別、信號處理、預測、函數擬合、系統仿真等學科和領域中[6]。

本文基于BP神經網絡的主題爬蟲，主要通過計算網頁中的關鍵字與主題的相關性，來判斷此網頁是否符合這個主題。如果符合，下載并放入數據庫中，作為BP神經網絡計算主題詞權重的資源。傳統的主題爬蟲技術運用關鍵詞來判斷網頁權重，其關鍵詞的權重是固定不變的。而本文采用BP神經網絡算法，動態更新關鍵詞的權重，因此，他不僅不會隨著爬取頁面數量的增加而降低查準率，反而會隨著網頁數據庫中頁面的增加而增加查準率，降低錯誤率，實現信息采集效率的提高，降低因采集錯誤而產生的損失。

2 系統設計

本文采用的系統設計，在傳統的爬蟲技術上增加了詞匯權重處理模塊，動態更新主題詞與其相關性權重。詞匯權重處理模塊運用優化后的BP神經網絡算法和改進后的TF-IDF算法，判斷網頁中的關鍵詞與主題的相關度[7]，篩選出一部分與主題密切相關的關鍵詞，作為主題詞，從而建立主題詞表。再判斷網頁中的詞匯與詞表中的詞匯是否相同，如果相同，給予它相應的權重，所有主題詞權重之和就是網頁與主題相關性的權重。網頁權重如果大于設置的閾值，下載并保存到數據庫中，否則，拋棄網頁。

如圖1所示，具體流程如下：

1）通過關鍵詞爬取部分網頁，放入網頁數據庫中；

2）運用BP神經網絡算法，計算出與主題相關詞匯的權值；

3）選取權值大于閾值的關鍵詞，作為主題詞，構建主題詞表；

4）運用主題爬蟲，爬取下一個頁面，找到網頁中與主題詞表相同的關鍵詞，如果大于閾值，則下載到網頁數據庫中，否則丟棄；

5）重復上述步驟，達到需要爬取的數量。

3 詞匯處理模塊

3.1 爬取數據的來源

網頁是由HTML（Hypertext Markup Language）的標記語言，用于組織和標準化其在瀏覽器上的顯示效果[8]。HTML主要運用一些預定義的文檔、標簽來標記文檔的標題、頁面結構和頁面關系等元素，這些元素共同修飾了網頁內容的顯示效果。

在數據爬取過程中，爬蟲程序無法直接判斷網頁與主題的相關性。因此，采取與瀏覽器處理網頁文檔類似的方式，來了解文檔的價值。瀏覽器系統直接處理的是以HTML標簽為主的網頁源碼，通過這些源碼，來處理網頁中的內容。這些半結構化的網頁標簽為本文獲得網頁相關信息提供了良好的定位，通過了解標簽以及其屬性的含義，可以從中了解到這網頁內容所涉及的主題[9]。網頁，通常可以分為三部分，第一部分是標簽所影響的頭部區域，它一般是對這個頁面的概述，以及說明編碼等狀態信息；第二部分是標簽所影響的主體部分，它主要顯示網頁的正文；第三部分是標簽所影響的腳注部分，它主要顯示該頁面的所有權以及建立時間等關聯信息。本文選擇擁有網頁主要信息的頭部區域作為主題相關性判斷的依據。

頭部區域具有三個描述網頁文檔信息的重要元素