基于網絡爬蟲的森林經營知識采集系統研建

劉建成，吳保國，陳 棟

（北京林業大學 信 息學院，北京100083）

基于網絡爬蟲的森林經營知識采集系統研建

劉建成，吳保國，陳 棟

（北京林業大學 信 息學院，北京100083）

針對如何在互聯網上準確獲取森林經營知識的問題，提出研建森林經營知識采集系統來解決這一問題。在分析森林經營知識采集問題的基礎上，設計系統流程、系統模塊、數據庫，改進網絡爬蟲規則并加以限定，論述爬蟲工作流程和算法。該系統總結分析了森林經營主題網頁的特點，通過建立森林經營特征向量對采集內容進行識別，并對森林經營知識去噪處理，智能匹配規則提取知識，使用歐氏距離識別指紋去除重復的森林經營知識。實驗結果表明，該系統采集的森林經營知識具有高主題相關度、高準確率、低重復度的特點，滿足服務于森林經營決策支持系統的要求。圖7表1參13

森林經理學；森林經營知識；知識庫；知識采集；網絡爬蟲

決策支持系統［1］處理問題能力由知識庫的知識豐富度決定，如何提升知識豐富度是一個難題。通過網絡爬蟲采集信息，識別其中的森林經營知識，并進行評價、提取、去重，可以解決這一問題。傳統的搜索引擎有強大的網絡爬蟲，覆蓋面廣，但分類專業性較差，信息搜索結果不盡如人意［2］，不能準確理解林業詞匯。以林業常用名詞 “小班”為例，百度檢索出來的結果絕大多數是幼兒園小班有關的結果，不能滿足林業用戶的信息檢索需求。林業關于信息采集的研究大部分集中在林業主題搜索引擎的研究上，重點研究林業主題搜索引擎的設計、主題爬蟲算法、信息源發現方法等算法優化問題［3－7］，但對森林經營知識識別、提取等涉及較少。作者通過對主要的森林經營網站進行分析，設計了森林經營知識采集系統的基本工作流程、系統功能模塊和數據庫，改進了網絡爬蟲規則，研究森林經營主題爬蟲算法、森林經營網頁去噪、森林經營知識智能匹配、森林經營知識去重等。

1 森林經營知識采集系統設計

1.1 系統的設計目標與功能

森林經營知識采集系統服務于森林經營決策支持系統，系統目標是通過網絡爬蟲抓取互聯網上與森林經營知識有關的數據，并進行去噪、識別、提取、評價、去重，找出其中可信的森林經營知識，豐富森林經營知識庫，提升森林經營決策支持系統的問題處理能力。該系統的建立將提升森林經營決策支持系統的知識豐富度，使森林經營決策支持系統的知識更新與互聯網的信息更新同步進行，解決通過人工進行知識獲取與整理的效率低、速度慢、信息舊等問題。

森林經營知識采集系統包括初始化模塊、存儲模塊、地址隊列生成模塊、網頁抓取模塊、解析模塊、森林經營知識過濾模塊、森林經營知識提取模塊、森林經營知識格式化處理模塊等。模塊之間協同工作，組成了一個有機的整體，實現了爬蟲地址隊列生成、網頁信息抓取、森林經營知識去噪、森林經營知識識別、森林經營知識提取、森林經營知識評價、森林經營知識去重、森林經營知識存儲等功能。

1.2 基本工作流程設計

森林經營知識采集系統的基本工作流程如圖1：①網絡爬蟲從森林經營主題地址庫中獲取地址，形成工作隊列；②根據爬蟲獲取到的地址隊列抓取地址對應的HTML（hyper textmarkup language，超文本標記語言）源碼文檔，并進行森林經營知識去噪；③根據源碼特征智能匹配規則，抽取文本信息特征，建立目標網頁向量，抽取鏈接地址并將相同的地址合并，添加到爬蟲工作隊列；④將目標網頁向量與森林經營特征向量進行計算，識別與森林經營知識無關的網頁并過濾；⑤森林經營知識抽取，對抽取的知識進行指紋相似度計算，去除重復知識，對知識進行森林經營主題相關性評價，輸出符合要求的森林經營知識存入知識庫；⑥對數據庫的數據使用森林經營詞庫進行分詞處理，創建索引庫，方便檢索。

圖1 系統基本工作流程圖Figure 1 Basic working flow chart of the system

1.3 系統功能模塊

森林經營知識采集系統包括以下模塊：①初始化模塊。讀取原始地址庫中的地址數據，將初始地址數據進行過濾和合并，將初始化數據提交給存儲模塊進行存儲。②存儲模塊。存儲初始化數據、地址隊列數據、網頁解析數據、提取后的地址數據、提取后的森林經營知識數據。③地址隊列生成模塊。計算地址數據的權重得分，根據權重得分對地址數據進行處理，生成地址隊列。④網頁抓取模塊。根據爬蟲工作的地址隊列，利用多線程技術抓取地址在互聯網上的對應網頁，獲取網頁文檔。⑤解析模塊。根據HTTP協議，將抓取到的網頁轉譯為HTML源碼，識別源碼中的噪音信息并去除，提交給存儲模塊。⑥森林經營知識過濾模塊。根據解析后的網頁源碼建立向量，與系統中的森林經營知識特征向量進行Pearson相關系數計算。判別計算結果與閾值的關系，過濾掉與森林經營主題無關的網頁。⑦森林經營知識提取模塊。識別網頁的源碼特征，根據源碼特征智能匹配提取規則，提取其中的知識數據和地址數據。⑧格式化處理模塊。按照森林經營決策支持系統知識庫的知識格式，根據屬性分類提取森林經營知識數據并進行格式化處理，創建知識庫索引。森林經營知識采集系統功能模塊圖如圖2所示。

1.4 數據庫設計

考慮到數據實體間的關系，本研究設計了管理員表、爬蟲表、網站表、規則表、結果表、知識表等6個數據表。實體間的聯系如圖3所示。

圖2 系統功能模塊圖Figure 2 system functionalmodules diagram

圖3 實體-聯系圖Figure 3 Entity-relationship diagram

2 森林經營主題爬蟲算法

2.1 網絡爬蟲規則改進

普通網絡爬蟲是一個自動提取網頁的程序［8］，它提供了一種信息獲取的方法。普通網絡爬蟲一般以一個或多個初始的URL（uniform resource locator，統一資源定位符）作為入口，重復提取目標網頁源碼中的URL形成隊列，并將新的URL補充到待爬取的URL隊列，直至滿足系統停止條件為止。普通爬蟲并不對內容進行識別，不對鏈接進行過濾，也不對內容進行分類，僅僅只是寬泛地爬取鏈接，并獲得鏈接對應的網頁內容。森林經營主題爬蟲則根據森林經營網頁識別算法，過濾與森林經營主題無關的鏈接，保留與森林經營主題相關的鏈接，再形成爬蟲的待爬取URL隊列。在抓取的過程中，爬蟲對抓取內容進行存儲、提取并識別內容是否符合森林經營主題，根據內容辨識從屬的分類，并建立索引方便檢索。此外，森林經營主題爬蟲還根據行政等級劃分對網站進行Rank評級，保證了內容可信度；添加森林經營專有詞庫，準確識別森林經營專有名詞；建立森林經營特征向量過濾抓取內容。

2.2 森林經營主題爬蟲

2.2.1 爬蟲限定規則 本研究按照網絡爬蟲［9］的一般系統結構和實現技術，結合森林經營管理知識的特點和網絡爬蟲模塊的設計需要，采用常用主題爬蟲技術與深度優先爬蟲進行結合，并增加了爬蟲抓取的限定規則。森林經營知識具有一定的專業性，對信息來源可信度要求較高。中國林業承擔的公益性任務居多，林業發展和林業研究主要依靠政府的財政投入和政策引導。就林業行業的整體權威性來說，政府、科研單位、高校高于企業和社會機構，中央單位高于地方單位。因此，本研究以權威性作為依據，爬蟲并不寬泛對互聯網的數據進行爬取，按照國家、省（自治區或直轄市）、市、縣（區）的行政等級劃分對網站進行排隊評級，行政等級越高的單位，網站權重越高，可信度越大。在網絡爬蟲的設計上，充分考慮到森林經營知識的可靠性要求，只對地址庫中存儲的主機名內的鏈接進行處理。在工作過程中，系統對采集鏈接的錨文本進行主題相關度計算，只有符合主題需求的鏈接才會添加到工作隊列。此外，爬蟲根據網站的排隊評級確定地址得分，通過得分確定工作隊列的采集順序。本研究采用PanGuAnalyzer作為系統切詞器，對網站的頁面信息進行處理。在非林業行業網頁中，都可以發現一些林業相關詞匯的廣告信息，如幼兒園小班面授、幼兒園小班授課等，但是林業網站中常常會有如：林小班、造林小班、森林經營管理小班等詞匯。如果不對這類詞匯進行區分，賦予其森林經營領域的特定含義進行識別，爬蟲可能會識別為廣告信息進行過濾。本研究在系統詞庫的基礎上，添加了林業專有詞匯，如造林模式、宜林地、跡地撥交、小班、林班、細班、林相圖、褐斑病等近2 000條以滿足需要。涵蓋了森林培育與管護、森林經營與決策、森林病蟲害、造林樹種、林木收獲利用等方面的常用詞匯。為了避免樹種拉丁名信息被當成普通英文字母或者語法錯誤、拼寫錯誤的英文單詞，本研究還在詞庫中添加了中國主要造林樹種的拉丁學名。

2.2.2 網絡爬蟲算法 本研究的網絡爬蟲工作流程如圖4所示。其算法如下：第1步，預讀數據，對URL隊列進行優先級得分計算。第2步，根據URL優先級得分，重新排序。第3步根據URL獲取對應網頁源碼文檔。第4步提取網頁源碼文檔URL鏈接組進入Todo工作隊列。第5步，獲取Todo工作隊列的第i條數據的URL即Todo［i－1］.Url，判別URL是否是在URL索引庫的主機名范圍內。第6步如果是，提取頁面信息并對信息進行格式化處理等進一步操作，i＋＝1，執行第3步；如果否，跳過頁面信息處理，i＋＝1，執行第5步。第7步，判斷Todo隊列是否還有URL未處理，如果有，i＋＝1，執行第5步；如果沒有，執行跳轉到第8步。第8步工作結束。通過只對站內鏈接處理的方法，保證了信息的采集來源都是索引數據庫中提供的網站，提高了信息來源的可靠性。

2.2.3 抓取內容過濾 一個森林經營主題網頁通常由樹種信息、林學知識、作業模式信息、經營模式信息、技術措施信息和森林病蟲害信息這幾類構成，而這些信息一般混合了種名、拉丁名、樹種類型、樹種特性、經營作業技術、病害信息、蟲害信息等特性。爬蟲采集到的數據不一定是森林經營知識，因此要對爬蟲采集的知識進行過濾，只保留森林經營相關知識。本研究根據VSM（vector spacemodel，向量空間模型）建立森林經營n維特征向量（種名，拉丁名，樹種類型，特性，采種技術，…）來辨別目標網頁是否與森林經營知識有主題關聯，特征向量記為 VT＝［（t1，ω1），（t2，ω2），…， （tn，ωn）］，其中ωi（i＝1，2，3，…，n）表示不同屬性對應的權值，由TF-IDF［10］方法確定。

圖4 爬蟲算法流程圖Figure 4 Flow chart of the crawler algorithm

3 系統實現關鍵技術

3.1 森林經營網頁去噪

對主要的林業行業網站進行分析可以發現，一個森林經營主題網頁的HTML源碼通常包含head和body等2個部分。網絡爬蟲對地址隊列進行采集處理，通過.NET的Stream類和WebClient類的實例化操作來獲取地址隊列對應的森林經營網頁文檔的HTML源碼。對爬蟲采集到的森林經營主題網頁繪制樹形節點結構，其樹形節點結構如圖5所示。頁面樹形結構可表示為（htm l（head（meta（title，keywords，description），style，script）），（body（table（tr（td（text）））），（div（ul（li（a）），（span（text））），script…）。

圖5 森林經營主題網頁樹形結構Figure 5 Tree structure of forestmanagement theme page

森林經營主題網頁的視覺特征一般體現在字體、背景顏色、段落劃分等方面；語義信息一般表現為頁面內容的類型，如文本、多媒體或超鏈接等［11］。根據樹形表示，能夠發現森林經營主題網頁的視覺特征節點和頁面內容節點。head部分的title，keywords，description是直接對頁面或者森林經營知識的描述，與網頁內容的符合度很高，可以用來辨別是否與森林經營主題相關。在森林經營主題網頁中，style和script部分體現的是視覺特征，對森林經營知識采集形成了干擾，全部當做噪聲處理。森林經營知識一般隱藏在表格＜td＞＜/ td＞，＜span＞＜/span＞，＜b＞＜/b＞，＜h1＞＜/h1＞等文本標記標簽內，需要在匹配之后再進行提純，獲得知識。而＜ul＞＜/ul＞，＜li＞＜/li＞等標記可以用來定位地址并獲得錨文本信息。錨文本信息計算辨別是否與森林經營知識主題相關后，可以判定地址是否加入爬行隊列。除此之外的其他標記部分絕大多數都是對森林經營知識采集構成干擾的噪聲。

3.2 經營知識智能匹配

森林經營知識采集需要進行知識抽取，從森林經營主題網頁中包含的無結構或半結構信息中識別出與森林經營知識相關的數據，并轉化為結構和語義更為清晰的格式［12］。在本研究中，采用基于HTML結構的方法實現森林經營知識抽取。這種抽取方法需要用正則表達式實現。通常，系統的正則表達式都是固定不變的，但是本研究中除了系統規則庫中所包含的知識采集正則表達式外，還支持用戶為特定頁面指定HTML標簽規則，并智能為其生成正則表達式。支持自定義規則的除了內容部分，還有頁面屬性（其中包括title，keywords，description等meta信息），地址，文章標題，發布時間，信息來源等。自定義的規則使系統的匹配可以滿足用戶的多樣性要求。爬蟲需要對森林經營網頁源碼進行分析，獲得頁面包含的地址組，形成工作隊列。假定抽取頁面全部鏈接的正則表達式為z1，z1的表示如式（1）所示：

在根據用戶輸入的URL特征，進行特征URL抽取中，假設待生成的正則表達式為z2，z2表示如式（2）所示：

根據生成的正則表達式，系統會分析爬蟲采集到的頁面源碼，然后抽取待采集的地址隊列。正則表達式并非一成不變的，在定義的過程中考慮了多種情況進行處理。①假設森林經營知識的標題使用了＜h1＞＜/h1＞標記，但是頁面中可能有多個相同標記，在此標記中，特征方法并不唯一，因此抽取全部的＜h1＞＜/h1＞標記內容，再進一步分析。在處理時，使用正則表達式的幾種通配符，如（.+?）和（*）來進行通配處理。假設抽取標題內容的正則表達式為z3，z3表示如式（3）所示：

在取得全部的標簽隊列之后，再分析隊列各條記錄的特征信息，如id，class等標記內容，根據不同網站的特征屬性，提取森林經營知識信息。②相對于地址抽取和標題抽取來說，正文的抽取規則更復雜。正文抽取不但要求精準，還需要保留適當的換行格式等，方便直接在決策支持系統中應用。假設抽取正文的正則表達式為z4，z4表示如式（4）所示：

抽取獲得正文后，再甄別內容，去掉與森林經營知識無關的視覺特征標簽，保留部分換行標簽，如＜hr/＞，＜br/＞等。在式（2）式（3）式（4）中，s1，s2，s3均表示用戶輸入的標簽字符串，split［i］表示字符串被split（）方法切分后的字符串數組在下標為i處的值。

3.3 森林經營知識去重

爬蟲在采集之前，首先要查找地址庫，查看是否已經采集了這條地址。如果沒有重復，再進行頁面采集。在經過主題過濾、抽取形成知識后，還要檢測是否有重復的知識。知識重復檢測的總體思想是為每個采集到的森林經營知識生成一個指紋，采用基于字符串比較的方法［13］計算2個指紋的相似性。若2個知識的指紋相似性大于某個閾值，則認為這2個知識重復。歐氏距離是空間中常用的計算2個n維向量距離的方法。歐式距離值越大，向量距離越遠，文檔相似程度越低；而歐式距離越小，向量距離越近，文檔相似程度越高。將要對比的森林經營知識使用TF-IDF建立向量Vq和向量Vd，再使用式（5）計算。

求得的值越小，則知識相似度越高；值越大，則知識相似度越低。若值不在約定域內，將此頁的地址和處理后的森林經營知識存入數據庫。

4 實驗分析

4.1 采集結果對比

本研究選擇中國林業網的主站及其站群等權威網站作為主要測試網站，設定抓取時間為1.0 h，共計采集鏈接樣本數據2.32 M，約有2.5萬條鏈接數據。其中2/3的數據作為訓練樣本，1/3的數據作為測試樣本。爬蟲將抓取的數據進行處理，形成結果（表1）。實驗結果表明：本系統采用的知識采集方式雖然在保存的總鏈接數目上少于普通爬蟲方式，但采集到的符合森林經營知識主題的鏈接數比普通爬蟲更多，符合主題的鏈接數所占百分比遠遠大于普通爬蟲方式。

表1 采集結果對比表Table 1 Comparison table of acquisition results

4.2 采集數據質量對比

本研究針對普通爬蟲模擬工具抓取數據和森林經營知識采集系統所采集的知識數據質量進行了對比實驗。2種方式對抓取的鏈接地址進行處理后的結果分別如圖6和圖7所示（以 “http://eucalypt.forestry. gov.cn/lzzmas/16043.jhtm l”為例）。由結果可知：普通爬蟲只對頁面進行了粗略的去HTML標簽處理，將頁面所有文本保留，不進行精確的內容抽取和內容格式化處理，不能形成森林經營知識。

森林經營知識采集系統通過智能規則匹配對頁面信息進行格式化處理和精確的內容處理，使得信息被分割成各個屬性，包括知識標題、發布時間、知識來源、知識內容等方面。系統還對知識進行可信度評價，以直接存儲到知識庫，在森林經營決策支持系統中進行應用。

5 結論與討論

知識豐富度決定了決策支持系統的問題處理能力。本研究研建的森林經營知識采集系統解決了在互聯網上獲取森林經營知識的問題，提升了森林經營決策支持系統的知識豐富度。

本研究在分析森林經營知識采集問題的基礎上，建立林業專有詞庫，改進網絡爬蟲規則，并利用森林經營主題爬蟲算法、森林經營網頁去噪、森林經營知識智能匹配、森林經營知識去重等技術，設計并實現了森林經營知識采集系統。本研究分析了森林經營主題網站的特點，建立了森林經營特征向量對采集內容進行過濾，使用歐氏距離進行森林經營知識指紋識別，獲得了高相關度、高準確率、低重復度的森林經營知識。

圖6 普通爬蟲模擬工具抓取結果Figure 6 Grab result of common crawler simulation tool

圖7 系統知識抽取結果Figure 7 Knowledge extract result of the system

該系統已應用在國家高技術研究發展計劃項目 “數字化森林與牧場經營管理關鍵技術研究”中，長期為森林經營決策支持系統提供知識采集服務。

［1］ 吳保國，李成贊，馬馳，等.森林培育專家決策支持系統的研究［J］.北京林業大學學報，2009，31（增刊2）：1－8.

WU Baoguo,LIChengzan,MA Chi,et al.An expert decision support system for silviculture［J］.JBeijing For Univ, 2009,31（supp 2）:1－8.

［2］ 張戩慧.專業智能搜索系統在動物醫學領域中的應用［J］.東北農業大學學報，2009，40（9）：141－144.

ZHANG Jianhui.Application of professional intelligent search system in veterinary medicine［J］.JNortheast Agric Univ,2009,40（9）:141－144.

［3］ 申晉.基于Lucene和Nutch的林業垂直搜索引擎的研建［J］.農業網絡信息，2008（4）：16－18.

SHEN Jin.Study and implementation of forest vertical search engine based on Lucene and Nutch［J］.Agric Network Inf,2008（4）:16－18.

［4］ 袁津生，郭艷芬.林業主題爬蟲的算法研究與設計［J］.計算機工程與設計，2011，32（6）：2003－2006.

YUAN Jinsheng,GUO Yanfen.Algorithm research and design of forestry focused web crawler［J］.Comput Eng Des, 2011,32（6）:2003－2006.

［5］ 張麗莎，張貴，龍朝夕，等.林業專題動態信息的搜索與集成［J］.中南林業科技大學學報，2013，33（5）：47－51.

ZHANG Lisha,ZHANG Gui,LONG Chaoxi,et al.Search and integration of thematic dynamic information on forestry［J］.JCent South Univ For Technol,2013,33（5）:47－51.

［6］ 李嘉，徐前，王梓，等.基于語義的林產品貿易Web信息抽取算法［J］.計算機工程與應用，2014，50（19）：199－204.

LI Jia,XU Qian,WANG Zi,et al.Forest products trading Webmessages extraction algorithm based on semantic［J］. Comput Eng Appl,2014,50（19）:199－204.

［7］ 鄧厚平，武剛.基于爬蟲和網站分類的主題信息源發現方法［J］.計算機工程與應用，2016，52（3）：59－65.

DENG Houping,WU Gang.Discovery of topic-specific information source based on web crawler and website classification［J］.Comput Eng Appl,2016,52（3）:59－65.

［8］ 劉金紅，陸余良.主題網絡爬蟲研究綜述［J］.計算機應用研究，2007，24（10）：26－29.

LIU Jinhong,LU Yuliang.Survey on topic-focused Web crawler［J］.Appl Res Comput,2007,24（10）:26－29.

［9］ 王娟，吳金鵬.網絡爬蟲的設計與實現［J］.軟件導刊，2012，11（4）：136－137.

WANG Juan,WU Jinpeng.The design and implementation ofWeb crawler［J］.Software Guide,2012,11（4）:136－137.

［10］ 龔炳江，黃彥欣，賈海鑫.礦山設備領域主題爬蟲研究與設計［J］.計算機應用與軟件，2014，31（11）：122－124.

GONG Bingjiang,HUANG Yanxin,JIA Haixin.Studying and designing topic crawler for mining equipments field［J］.Comput Appl Software,2014,31（11）:122－124.

［11］ 丁寶瓊，謝遠平，吳瓊.基于改進DOM樹的網頁去噪聲方法［J］.計算機應用，2009，29（增刊1）：175－177.

DING Baoqiong,XIE Yuanping,WU Qiong.Noise elimination method in Web page based on improved DOM tree［J］.JComput Appl,2009,29（supp 1）:175－177.

［12］ 金岳富，范劍英，馮揚.分布式Web信息采集系統的設計與實現［J］.哈爾濱理工大學學報，2010，15（1）：

116－119. JIN Yuefu,FAN Jianying,FENG Yang.Design and realization of distributed Web crawler［J］.JHarbin Univ Sci Technol,2010,15（1）:116-119.

［13］ 秦杰，閆付亮，朱海豐，等.基于鏈接信息的網頁分類算法［J］.微電子學與計算機，2012，29（6）：108－112.

QIN Jie,YAN Fuliang,ZHU Haifeng,et al.A webpage classification algorithm based on link information［J］.Microelectron Comput,2012,29（6）:108－112.

Research and construction ofweb crawler based forestmanagement knowledge collection system

LIU Jiancheng,WU Baoguo,CHEN Dong（School of Information Science and Technology,Beijing Forestry University,Beijing 100083,China）

Accurate Internet access to forestmanagement information can be obtained through the construction of a data collection system for forestmanagement.Based on an analysis of the data collection,system process, system module and database were designed,rules governing web crawlers were improved and delimited,and workflow and algorithm ofweb crawlerswere explored.This system summarized and analyzed the characteristics observed from webpages featuring forestmanagement,and served to identify those collected data contents with an eigenvector of forestmanagement.Information about forestmanagement was also denoised by this system; information was extracted through intelligencematch,and repeated information about forestmanagementwas eliminated through fingerprint recognition by Euclidean distance.The experiment results indicated that this data collection system for forestmanagement featured high subject relevance,high accuracy,and low repetition rate. Therefore,it can satisfy the need of the forestmanagement decision support system.［Ch,7 fig.1 tab.13 ref.］

forest management;forest management knowledge;knowledge base;knowledge collection;web crawler

S750

A

2095-0756（2017）04-0743-08

10.11833/j.issn.2095-0756.2017.04.022

2016-07-14；

2016-11-04

“十二五”國家高技術研究發展計劃（“863”計劃）項目（2012AA102003）

劉建成，博士研究生，從事林業決策支持系統與信息技術研究。E-mail：liujiancheng1018@163. com。 通信作者：吳保國，教授、博士生導師，從事林業信息技術研究。E-mail：wubg@bjfu.edu.cn