網站資源信息自動采集技術

馬浩銘

(新疆質信通工程檢測技術有限公司，新疆 烏魯木齊 830011)

1 信息采集器

1.1 Index程序的參數設置

-n number 索引指定數目的文檔后退出。注意：在運行index-n number后，運行index-D程序。如果用戶使用多線程，索引的文檔數目會比預定的值高一些。

-N number 設置運行索引線程的數量。只有對多個網站進行索引時，多線程索引才有意義。兩個線程或多個線程不能同時對同一站點進行索引。

-R number 運行解析進程的數目。默認是線程數/5+1。如果用戶的服務器解析慢的時候，用戶需要增加默認值。

1.2 重新索引控制參數設置

-a 重新索引所有的文檔，并忽略文檔的失效狀態。默認情況下，只有比Period時間早的文檔才被重新索引。

-m 存儲文檔中詞和超鏈接，忽略文檔的修改狀態。沒有這個參數時，只有修改的文檔才會被重新索引。

-o 優先抓深度淺的文檔。這里的跳躍指的是文檔的深度值。

-M繼續索引先前索引任務的URLs。這些URLs會被存儲在臨時MySQL數據庫中，這常用于調試目的。

1.3 實時數據庫索引選項

-T URL索引URL到實時數據庫中，需要注意的是，用戶不能增加太多的文檔到實時數據庫中，否則檢索實時數據庫會非常地慢。實際上實時數據庫文檔的限制是依賴于硬件的，大約1000個urls，效果會比較好。實時數據庫的文檔歸并到主數據庫的命令是index-D。這個參數選項在重新索引經常需要改變的網頁時候非常有用。用戶可以及時地看到結果，用戶可以使用-A參數一起使用。

1.4 清理數據庫

-C清理數據庫。用戶可以控制參數來限制清理數據庫的范圍。……