基于Java的新浪微博爬蟲研究與實現

2017-09-19 07:18:30藍鼎棟柯文德黎樹俊鄧文天

計算機技術與發展 2017年9期

關鍵詞：頁面用戶信息

陳珂，藍鼎棟，柯文德，黎樹俊，鄧文天

(廣東石油化工學院計算機與電子信息學院，廣東茂名 525000)

基于Java的新浪微博爬蟲研究與實現

陳珂，藍鼎棟，柯文德，黎樹俊，鄧文天

(廣東石油化工學院計算機與電子信息學院，廣東茂名 525000)

為了高效獲取更多的微博數據，針對調用微博API和網頁版(com版)等傳統微博爬蟲在數據采集中所存在的問題，設計開發了一個基于Java的采集新浪微博Weibo.cn站點的網絡爬蟲系統。該系統通過廣度遍歷結合組拼URL的方式采集網頁源碼，使網頁源碼更加簡潔，純凈度更高，降低了網絡傳輸壓力并減少了HTML源碼解析時間。主要實現了微博模擬登陸、微博網頁爬取、微博頁面數據提取和任務調度控制，并對爬取數據進行了分析，在爬蟲中添加了主題微博篩選功能。為驗證該系統的有效性和可行性，與其他傳統方法進行了分析對比。實驗驗結果表明，所提出的系統爬取效率更高，實現代碼更簡便。

新浪微博；網絡爬蟲；Java；數據挖掘

0 引言

隨著計算機與網絡技術的快速發展，社交網絡平臺是人們喜愛的網絡社交方式。目前廣為流行的微博系統，對人們的生活方式影響巨大。伴隨著微博使用人數的急劇上升，產生了巨大的數據量，由此可以從中挖掘出大量的有用信息，而基于微博的數據挖掘研究已成為當今社會科學和計算機科學研究的重點。微博(Weibo)是一種通過關注機制分享簡短實時信息的廣播式的社交網絡平臺，也是一個基于用戶關系的信息分享、傳播以及獲取的平臺[1]。用戶可以通過WEB、WAP等各種客戶端組建個人社區，以140字(包括標點符號)的文字更新信息，并實現即時分享。微博的關注機制分為可單向、可雙向兩種。微博作為一種分享和交流平臺，其更注重時效性和隨意性。

比較知名的微博系統是2006年推出的Twitter，人們對它進行了一系列的研究與數據分析，特別是利用數據挖掘技術從中獲取了大量有用信息。2009年新浪微博系統推出，它提供的微博API的使用限制很多，最大的問題是調用次數少，測試授權單個IP每小時只能請求1 000次，而且每次調用時都是獲取一個用戶的某個數據集，雖然利于獲取單個用戶的大量數據集，但不利于廣度抓取全網用戶的最新信息。當然傳統爬蟲有廣度爬取頁面的能力，但是微博需要用戶進行登錄驗證才有權限訪問大量的微博頁面，并且傳統爬蟲獲取新URL的方式一般是通過HTML源碼中提取[2-4]。所構建的微博爬蟲是通過用戶ID獲取，可以進行URL組拼，數據是動態加載的，要判斷是否存在下一頁。所以，為了更快速獲取大量更有用的微博數據，必須編寫特定需求的微博網絡爬蟲系統。目前基于weibo.cn數據采集方面的研究較少，針對調用微博API、傳統爬蟲、網頁版(com版)微博爬蟲存在的問題，設計開發了一個基于Java新浪微博weibo.cn站點的網絡爬蟲系統[5-6]。

1 微博爬蟲設計

1.1微博爬蟲的主要結構與流程

所用的開源工具包或組件有：org.seleniumhq.selenium-java-2.45.0組件(內含htmlunit-2.15.jar，java頁面分析工具包)，org.apache.httpcomponents-httpclient-4.3.5(內含httpclient-4.3.5.jar，支持HTTP協議的客戶端編程工具包)，org.htmlparser-2.1(內含htmlparser-2.1.jar，html解析工具包)；輔助工具有瀏覽器Firefox和它的網站調試工具Firebug。

微博爬蟲主要功能流程(見圖1)說明如下：

圖1 微博爬蟲主要功能流程圖

(1)通過htmlunit模擬登陸weibo.cn站點，登陸成功后會獲取到名為gsid_CTandWM的cookie字段；

(2)把所有返回的cookie字段存入httpclient的http代理(相當于一個瀏覽器)；

(3)從種子URL開始爬取，從微博服務器中請求URL對應的html源碼；

(4)交給html源碼解釋程序模塊，調用htmlparser里面的功能函數和正則表達式進行URL和微博數據的提取與入庫。

在這個過程中，要維護一個待爬隊列和一個近期已爬取過的URL的已爬隊列，新爬取的URL如果都不在這兩個隊列中，就把它存進待爬隊列，已爬取過的URL存放進已爬隊列，并且根據存放時間決定是否釋放掉[7-8]。

1.2微博模擬登陸

現在微博的無限制訪問需要用戶進行驗證登錄，有兩種新浪微博服務器可供選擇，一種是爬取weibo.cn服務器(以下簡稱cn版微博)，另一種是爬取weibo.com服務器(以下簡稱com版微博)。cn版微博的頁面相對com版的頁面更加簡潔，網頁源碼更少，登陸賬號密碼都不加密，而且所需信息全面。電腦版模擬登陸需要對用戶名和用戶密碼進行加密傳輸，而且JavaScript和廣告圖代碼很多，會降低HTML源碼分析效率和增加網絡傳輸壓力[9]。因此，主要采用手機版模擬登陸方式和抓取手機版微博頁面。

1.2.1 com版微博的模擬登陸

通過Firefox和Firebug分析了微博網頁版登陸方式，其主要登陸步驟為：

(1)瀏覽器向微博服務器發送一個Get請求，服務器返回名為servertime數值和名為nonce的隨機生成的字符串，每次登陸前隨機生成傳回給客戶端加密用戶密碼；

(2)根據步驟1返回的字段值，使用BASE64算法加密賬號名，用RSA算法對servertime加上nonce再加上用戶密碼這三個值組成的字符串進行加密，得到加密后的用戶密碼，向服務器發送包含加密過的用戶名和用戶密碼的Post請求的登陸URL[10]；

(3)微博服務器收到登陸請求后進行登陸驗證，如果驗證成功就返回一個重定向的URL給客戶端，瀏覽器解析該URL后，進入登陸成功頁面并把該登陸標志寫入本地Cookies中。

1.2.2 cn版微博的模擬登陸

同樣通過Firefox和Firebug來分析手機版的登陸方式，步驟為：

(1)打開手機版登陸URL：login.weibo.cn，服務器返回一個帶有名為“mobile”用于輸入用戶名輸入框和名為“password_4位隨機數字”密碼輸入框的頁面；

(2)向微博服務器登陸URL發送一個包含明文形式的用戶名和密碼的Post請求；

(3)微博服務器對收到的登陸請求進行驗證，登陸成功后向客戶端返回一個重定向URL，并且cookie中包含gsid_CTandWM字段，瀏覽器解析該跳轉URL進入登陸成功頁面并把所有cookie字段寫入本地Cookies中[11]。

以下是通過開發包httpunit獲取手機版微博登陸cookie的Java代碼實現：

import org.openqa.selenium.Cookie;

import org.openqa.selenium.WebElement;

import org.openqa.selenium.htmlunit.HtmlUnitDriver;

(1)HtmlUnitDriver hud=new HtmlUnitDriver(); //打開HtmlUnit瀏覽器

(2)hud.setJavascriptEnabled(true); //默認執行JS，如果不執行JS，則可能登錄失敗，因為用戶名密碼框需要JS代碼來繪制

(3)hud.get(“http://login.weibo.cn/login/”);//請求進入登陸頁面

(4)WebElement mobile=hud.findElementByCssSelector("input[name=mobile]");//獲取用戶名輸入框

(5)mobile.sendKeys(new CharSequence[] {username});//輸入用戶名

(6)WebElement pwd=hud.findElementByCssSelector("input[name^=password]");//獲取密碼輸入框，名字以“password_”開頭后面拼接4位隨機數字

(7)pwd.sendKeys(new CharSequence[] {password});//輸入密碼

(8)submit.click(); //點擊按鈕提交輸入

(9)Set cookieSet=hud.manage().getCookies();return cookieSet; //登陸成功后得到的cookie集合

1.3爬取手機版微博網頁

1.3.1 瀏覽器中注入cookie

在請求微博網頁方面，在啟動httpclient瀏覽器代理時，把1.2節通過html獲取到的cookieSet注入進去。htmlunit底層也是實現httpclient的，所以直接通過httpclient請求頁面，方便而高效。

代碼功能流程是，循環迭代出cookieSet集合中所有cookie鍵值對，并把它用BasicClientCookie對象包裝后存進CookieStore對象中，最后在創建httpclient瀏覽器時把CookieStore對象添加進去。

import org.openqa.selenium.Cookie;

import org.apache.http.impl.client.BasicCookieStore;

Cookie cookie;

BasicClientCookie bcCookie;

CookieStore cookieStore=new BasicCookieStore();

for (Iterator iterator=cookieSet.iterator(); iterator.hasNext(); ){

cookie=(Cookie) iterator.next();

bcCookie=new BasicClientCookie(cookie.getName(), cookie.getValue());

bcCookie.setVersion(0);

bcCookie.setDomain(".weibo.cn");

bcCookie.setPath("/");

cookieStore.addCookie(bcCookie);

}

CloseableHttpClient httpClient=HttpClients.custom().setDefaultCookieStore(cookieStore).build();

1.3.2 獲取微博頁面源代碼

要想進行數據提取，必須從微博服務器中獲取到具體的網頁源代碼。通過httpclient獲取微博HTML源代碼的具體流程是：把要訪問的URL傳給要執行的Get請求(因為單純訪問簡短URL，用Get請求更合適)；然后執行Get請求，服務器返回一個響應對象，通過該對象獲取到具體的HTML源碼htmlSource。

import org.apache.http.client.methods.HttpGet;

import org.apache.http.HttpEntity;

import org.apache.http.client.methods.CloseableHttpResponse;

HttpGet httpGet.setURI(new URI(URL));

CloseableHttpResponse httpResponse=httpClient.execute(httpGet);

HttpEntity httpEntity=httpResponse.getEntity();

String htmlSource=htmlSource=EntityUtils.toString(httpEntity);

1.4主題關鍵詞匹配

通過某一個主題的關鍵詞來匹配相關微博，如果合適的就加入該主題的數據庫表中，并返回該條微博包含的關鍵詞字符串[12]。篩選出與蚊子叮咬傳播疾病有關的微博，所設置的關鍵詞有登革熱、瘧疾、虐原蟲、乙腦、乙型腦炎、絲蟲。

如果獲取到的跟主題相關的微博數量太少，可以通過組拼http://weibo.cn/search/mblog?keyword=‘關鍵詞’&page=n，來獲取指定關鍵詞按照發布時間排序的微博。

public string getKeywords(String weiboContent){

String[] keywords={‘登革熱’,‘瘧疾’,‘虐原蟲’,‘乙腦’,‘乙型腦炎’,‘絲蟲病’};

String containsKeyword=new String(“”);

for(int i=0;i

if(weiboContent.contains(keywords[i]))

containsKeyword+=keywords[i]+“;”;

}

return containsKeyword;

}

1.5任務調度控制

1.5.1 URL隊列

在存放URL的隊列中，必須要維護待爬隊列和已爬隊列。待爬隊列是存放尚未爬取過的新URL。已爬隊列存放已經爬取過的URL。已爬隊列的作用主要是去重處理，當有新URL準備添加進待爬隊列前，判斷該URL是否存在于在其中一個，如果已存在，則把該新URL不加進待爬隊列。初始化待爬隊列，添加微博名人堂URL作為種子URL開始爬取[13]。

(1)待爬隊列。

采用Berkeley Database(BDB)構建待爬隊列，因為從源碼中提取的待爬URL數量太大，而且數據又簡單，使用URL的MD5的值的十六進制字符串作為BDB的key，而value則使用待爬URL(CrawlURL.java)的對象。

URL對象字段至少應包括：

private String oriURL; //原始URL的值，主機部分是域名

private int layer; //爬取的層次，從種子開始，依次為第0層，第1層…

待爬隊列中提供的使用接口：

public CrawlURL getNext();//獲取下一條鏈接并把它從隊列中移除

public boolean putURL(CrawlURL url);//往隊列中添加一條URL

(2)已爬隊列。

在企業級搜索引擎中，常用一個稱為Bloom Filter(BF)的算法實現對已抓取過的URL進行去重處理。

BF會根據大概要存儲的數據量，建立一個java.util.BitSet對象(一個很長的二進制常量)，并將所有位設置為0。對每個URL，用k個不同的隨機數產生器(F1,F2,…,Fk)產生k個信息指紋(f1,f2,…,fk)。再用一個隨機數產生器G(把信息指紋變成一個0到BitSet大小的隨機數)把這k個信息指紋映射到BitSet對象中對應的k個自然數g1,g2,…,gk?，F在把這k個位置的二進制位全部置為1。

1.5.2 爬取過程控制

(1)爬取頻率控制。

新浪微博除了對微博API的調用次數進行了限制，同樣對用戶正常訪問也進行了訪問限制。實際操作中，如果微博爬蟲訪問過于頻繁，微博賬號或者網絡IP會被進行封停操作，降低抓取頻率，時間設置長一些，訪問時間采用隨機數，所以要控制好單個IP的訪問頻率。

(2)URL權重控制。

因為微博URL是動態更新的，對已經爬取過的URL，一段時間后，頁面的數據會發生變化，所以已爬取過的URL不能一直存放于已爬隊列中，而且已爬隊列是采用內存結構存儲的布隆過濾器，如果不定期清理部分URL，內存會產生溢出。根據計算機內存的大小控制好已爬隊列URL的數量，一旦數量過多，應該清理等待釋放時間最短的那部分URL。根據URL類型，判斷重要性，比如：粉絲量大、新聞類微博、明星等這些用戶較為重要，對每個URL設置一個權值，權值越大，設置在已爬隊列中的存放時間越短，并把它添加進一個特殊的URL隊列中。因為這些URL中的微博是更多人閱讀和關注的，成為熱門微博的可能性更大，所以定期對其進行訪問，不錯失第一時間抓取這類微博的機會。爬取用戶前多少頁微博或者判斷發布時間，如果發布時間過于久遠，就停止爬取該用戶的微博。同時爬取被關注的用戶，用戶的粉絲，也指定爬取前多少頁。