一種基于狀態(tài)轉(zhuǎn)換圖的Ajax爬行算法
2009-12-31 00:00:00郭浩陸余良劉金紅
計算機應(yīng)用研究 2009年11期
摘要：傳統(tǒng)web爬蟲無法解決爬行Ajax應(yīng)用所面臨的Javascript執(zhí)行、狀態(tài)識別與切換、重復狀態(tài)檢測等問題。為此，首先定義Ajax應(yīng)用的狀態(tài)轉(zhuǎn)換圖，并設(shè)計了一種基于狀態(tài)轉(zhuǎn)換圖的Ajax爬行算法，通過該算法可以獲取Ajax用狀態(tài)信息和后臺De印Web資源。為了提高Ajax爬行的準確性、減少待爬行的狀態(tài)數(shù)目，使用Ajax指紋識別、DOM結(jié)構(gòu)過濾等方法改進上述算法。實驗結(jié)果表明了算法的有效性和性能。
關(guān)鍵詞：Ajax爬蟲；狀態(tài)轉(zhuǎn)換圖；Weh爬蟲；DeepWeb
中圖分類號：TP393
文獻標志碼：A
文章編號：1001—3695(2009)11—4266—04
