社區(qū)網(wǎng)絡(luò)爬蟲的設(shè)計(jì)與實(shí)現(xiàn)

郭濤　黃銘鈞

摘要： 社區(qū)互聯(lián)網(wǎng)是以用戶創(chuàng)造內(nèi)容為主的新型互聯(lián)網(wǎng)，具有很高的統(tǒng)計(jì)價(jià)值， 由于權(quán)限和數(shù)據(jù)更新頻繁等限制，傳統(tǒng)的網(wǎng)絡(luò)爬蟲很難獲取這一部分?jǐn)?shù)據(jù)，設(shè)計(jì)并實(shí)現(xiàn)了一種可以自動(dòng)登錄并可以根據(jù)更新頻率快慢智能抓取數(shù)據(jù)的爬蟲，不同于以往爬蟲以頁(yè)面為粒度，該爬蟲以人為最小粒度，并以人與人之間的關(guān)系為抓取依據(jù)，在獲取這類數(shù)據(jù)上有很好的性能。

關(guān)鍵詞：

中圖分類號(hào)：TP31文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：2095-2163（2012）04-0065-03