基于微博數(shù)據(jù)采集的Web信息集成系統(tǒng)研究

摘 要： 使用模塊化構(gòu)建了一種特定領(lǐng)域的Web信息集成系統(tǒng)，設(shè)計(jì)實(shí)現(xiàn)一種基于領(lǐng)域關(guān)鍵詞的新聞、微博數(shù)據(jù)采集處理系統(tǒng)，通過用戶提供的關(guān)鍵詞，結(jié)合人工篩選進(jìn)行關(guān)鍵詞擴(kuò)展，對(duì)全網(wǎng)相關(guān)新聞、微博數(shù)據(jù)進(jìn)行采集與抽取。設(shè)計(jì)實(shí)現(xiàn)了一種基于關(guān)鍵詞和轉(zhuǎn)發(fā)數(shù)的新聞排序方法，對(duì)特定領(lǐng)域采集的新聞數(shù)據(jù)進(jìn)行處理排序，遴選重要信息進(jìn)行定向推送。以氣候變化領(lǐng)域?yàn)槔O(shè)計(jì)了Web信息集成系統(tǒng)。

關(guān)鍵詞： Web信息集成； 微博數(shù)據(jù)采集； 氣候變化； 信息推送

中圖分類號(hào)： TN919?34； TM417 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2016）11?0125?04

Abstract： A Web information integration system for a specific field was constructed with modularization. A data acquisition and processing system of news and microblog based on field keywords was designed and implemented， which can acquire and extract the related news of the whole network and microblog data in combination with the keywords provided by the user and keywords extension with manual screening. A news sorting method based on keywords and forwarding quantity was designed and implemented to sort the news data acquired in a specific field and select the important information for pushing directionally. The Web information integration system was designed by taking the field of climate change as an example.

Keywords： Web information integration； microblog data acquisition； climate change； information push

0 引 言

近幾年，伴隨著Web信息的急劇膨脹，Web信息集成技術(shù)引起研究者的研究興趣，在Web信息集成上進(jìn)行了大量研究工作，取得了一定成果，但是Web信息集成仍然處于發(fā)展階段，在設(shè)計(jì)實(shí)現(xiàn)自動(dòng)化程度高、智能化Web信息集成系統(tǒng)上仍有很多關(guān)鍵困難沒有克服。本文研究的特定領(lǐng)域Web信息集成系統(tǒng)是針對(duì)某一領(lǐng)域Web信息的深度挖掘，將Web領(lǐng)域相關(guān)的新聞、微博數(shù)據(jù)采集下來進(jìn)行集成，為領(lǐng)域?qū)W者、用戶提供信息支持。

1 特定領(lǐng)域的Web信息集成系統(tǒng)設(shè)計(jì)

1.1 特定領(lǐng)域的Web信息集成系統(tǒng)

Web信息集成系統(tǒng)將Web上分散、異構(gòu)、自治站點(diǎn)上的數(shù)據(jù)信息綜合在一起，屏蔽一切數(shù)據(jù)源細(xì)節(jié)，只將用戶查詢的信息以統(tǒng)一格式返回給用戶。

在設(shè)計(jì)特定領(lǐng)域Web信息集成系統(tǒng)時(shí)，首先要分析用戶對(duì)信息集成系統(tǒng)需求。用戶關(guān)注某一領(lǐng)域，掌握這一領(lǐng)域內(nèi)比較重要的Web站點(diǎn)，同時(shí)基于對(duì)該領(lǐng)域的研究，用戶能夠用一些領(lǐng)域本體關(guān)鍵詞來描述這一領(lǐng)域的研究重點(diǎn)、新聞焦點(diǎn)、微博熱點(diǎn)等。圖1描述了用戶與特定領(lǐng)域Web信息集成系統(tǒng)的相互需求關(guān)系。

再進(jìn)一步提煉Web信息集成系統(tǒng)內(nèi)部的方法流程，輸入關(guān)鍵詞與目標(biāo)站點(diǎn)，輸出則為三種方式的信息推送，具體方法流程如圖2所示。

1.2 系統(tǒng)結(jié)構(gòu)

本文在構(gòu)建特定領(lǐng)域Web信息集成系統(tǒng)時(shí)，為降低系統(tǒng)設(shè)計(jì)的復(fù)雜性，采用模塊化程序設(shè)計(jì)思想。特定領(lǐng)域Web信息集成系統(tǒng)采用基于上述模塊化程序設(shè)計(jì)思想進(jìn)行設(shè)計(jì)，將整個(gè)系統(tǒng)劃分為四個(gè)子模塊：用戶模塊、系統(tǒng)預(yù)處理模塊、數(shù)據(jù)采集與處理模塊、展示推送模塊。根據(jù)各個(gè)模塊功能不同，每個(gè)模塊又包含一個(gè)或多個(gè)子流程。其詳細(xì)系統(tǒng)功能結(jié)構(gòu)如圖3所示。

2 關(guān)鍵技術(shù)

2.1 新聞?lì)怶eb信息數(shù)據(jù)采集

領(lǐng)域相關(guān)的新聞?lì)愋畔?shù)據(jù)主要來自由用戶提供的目標(biāo)Web站點(diǎn)，以基于關(guān)鍵詞的全網(wǎng)新聞采集系統(tǒng)采集的新聞為增量輔助數(shù)據(jù)。特定領(lǐng)域Web信息集成系統(tǒng)的爬蟲負(fù)責(zé)下載領(lǐng)域相關(guān)的新聞網(wǎng)頁(yè)源碼。主要是從系統(tǒng)維護(hù)的URL序列中有序取出URL，獲取相應(yīng)網(wǎng)頁(yè)HTML源碼，抽取其中的有用信息并存入數(shù)據(jù)庫(kù)。

2.2 Web微博信息數(shù)據(jù)的采集處理

通過對(duì)國(guó)內(nèi)微博平臺(tái)調(diào)研，選取了市場(chǎng)占有率最大的新浪微博作為特定領(lǐng)域Web信息集成系統(tǒng)的微博中文數(shù)據(jù)源，國(guó)外微博輿情則選定Twitter。圖4以新浪微博為例闡述本文提出的信息數(shù)據(jù)采集抽取方法。

2.3 數(shù)據(jù)處理

（1） 數(shù)據(jù)去重處理

由于面對(duì)全網(wǎng)信息采集，不可避免遇到數(shù)據(jù)重復(fù)問題。分析重復(fù)信息得出主要重復(fù)數(shù)據(jù)來源：一是同一新聞存在同一站點(diǎn)的不同板塊，采集系統(tǒng)下載兩次或兩次以上；二是相同新聞內(nèi)容在不同Web站點(diǎn)均有發(fā)布或轉(zhuǎn)載，而且新聞內(nèi)容變化不大。

針對(duì)上述情況設(shè)計(jì)了系統(tǒng)采集時(shí)去重和采集后離線數(shù)據(jù)去重兩個(gè)模塊。采集時(shí)去重模塊主要是針對(duì)相同新聞且URL地址也相同的情況。針對(duì)第二種情況，在系統(tǒng)實(shí)現(xiàn)上采用基于句子的Simhash去重算法。

（2） 數(shù)據(jù)過濾處理

在數(shù)據(jù)處理時(shí)需要對(duì)已經(jīng)保存在數(shù)據(jù)庫(kù)中的信息進(jìn)行過濾處理，去除無關(guān)信息。過濾方法對(duì)于微博內(nèi)容中包含用戶領(lǐng)域關(guān)鍵詞，則認(rèn)為是領(lǐng)域相關(guān)的微博，如果不包含，則刪除該條微博信息。

（3） 數(shù)據(jù)排序處理

新聞?lì)怶eb信息數(shù)據(jù)排序原則是按照新聞內(nèi)容領(lǐng)域相關(guān)性、時(shí)效性、內(nèi)容重要性進(jìn)行的綜合排序。

① 計(jì)算該條新聞內(nèi)容的領(lǐng)域相關(guān)性權(quán)值。在數(shù)據(jù)處理前，對(duì)領(lǐng)域關(guān)鍵詞賦予相應(yīng)的權(quán)值然后對(duì)新聞內(nèi)容進(jìn)行分詞，并與領(lǐng)域關(guān)鍵詞進(jìn)行匹配，統(tǒng)計(jì)匹配領(lǐng)域關(guān)鍵詞及其頻率計(jì)算內(nèi)容相關(guān)性權(quán)值：

② 以該條新聞轉(zhuǎn)發(fā)數(shù)為重要依據(jù)，計(jì)算新聞重要性權(quán)值。

③ 經(jīng)過以上兩步獲得了每一條新聞相關(guān)性、重要性權(quán)值，再結(jié)合新聞時(shí)效性便可以對(duì)數(shù)據(jù)庫(kù)中新聞數(shù)據(jù)進(jìn)行很好的排序。

針對(duì)微博信息熱點(diǎn)推薦，設(shè)計(jì)并實(shí)現(xiàn)了一種改進(jìn)的短文本主題發(fā)現(xiàn)方法。該方法滿足大量微博數(shù)據(jù)的處理以及微博的傳播特性，首先基于馬爾科夫模型（Hideen Markov Model）進(jìn)行新詞發(fā)現(xiàn)。然后利用新詞發(fā)現(xiàn)結(jié)果構(gòu)建LDA模型，實(shí)現(xiàn)微博熱點(diǎn)挖掘，最后結(jié)合微博發(fā)布時(shí)間、轉(zhuǎn)發(fā)數(shù)、評(píng)論數(shù)進(jìn)行排序推薦。

2.4 特定領(lǐng)域信息的監(jiān)控與自動(dòng)更新模塊

為應(yīng)對(duì)新聞?lì)惥W(wǎng)頁(yè)動(dòng)態(tài)性較強(qiáng)，數(shù)據(jù)更新頻率不固定這一問題，設(shè)計(jì)實(shí)現(xiàn)了新聞?wù)军c(diǎn)監(jiān)控與自動(dòng)更新模塊。通過監(jiān)聽目標(biāo)網(wǎng)址，建立該網(wǎng)址信息快照，設(shè)置更新間隔及增益、下次更新時(shí)間，具體流程信息如下：

Step1：對(duì)目標(biāo)新聞網(wǎng)站索引頁(yè)，從數(shù)據(jù)庫(kù)中讀取其網(wǎng)頁(yè)快照更新間隔增益下次更新時(shí)間

Step2：通過對(duì)比系統(tǒng)當(dāng)前時(shí)間與索引頁(yè)下次更新時(shí)間決定是否對(duì)索引頁(yè)進(jìn)行更新檢查。如果系統(tǒng)當(dāng)前時(shí)間未到索引頁(yè)下次更新時(shí)間則忽略該Web站點(diǎn)的更新檢查；如果當(dāng)前時(shí)間已過下次更新時(shí)間則調(diào)用系統(tǒng)Web爬蟲，下載該索引頁(yè)網(wǎng)頁(yè)信息，獲取其當(dāng)前網(wǎng)頁(yè)快照。

Step3：對(duì)比當(dāng)前網(wǎng)頁(yè)快照與數(shù)據(jù)庫(kù)中網(wǎng)頁(yè)快照，判斷該網(wǎng)頁(yè)是否更新。將第2步獲取的索引頁(yè)網(wǎng)頁(yè)快照與從數(shù)據(jù)庫(kù)讀出的上次網(wǎng)頁(yè)快照進(jìn)行對(duì)比，如果兩個(gè)網(wǎng)頁(yè)快照完全一致，則說明該Web站點(diǎn)信息沒有更新；如果兩者不相同則說明該Web站點(diǎn)新聞信息已經(jīng)更新，系統(tǒng)自動(dòng)調(diào)用Web爬蟲將更新數(shù)據(jù)下載到數(shù)據(jù)庫(kù)中。

Step4：經(jīng)過第3步，可以判斷出網(wǎng)頁(yè)索引頁(yè)信息是否更新，之后需要把對(duì)應(yīng)的更新時(shí)間間隔進(jìn)行修正，并計(jì)算下次更新時(shí)間。對(duì)于沒有任何更新的Web站點(diǎn)，需要?jiǎng)討B(tài)增大更新間隔下次更新時(shí)間采用下述表達(dá)式：

上述監(jiān)控程序每隔一段時(shí)間訪問更新時(shí)間在當(dāng)前時(shí)間之前的網(wǎng)址，與網(wǎng)頁(yè)快照比較判斷是否更新。采用對(duì)更新間隔時(shí)間進(jìn)行動(dòng)態(tài)增減值，能保證數(shù)據(jù)庫(kù)中更新時(shí)間間隔動(dòng)態(tài)逼近真實(shí)的Web站點(diǎn)更新間隔，計(jì)算出的下次更新時(shí)間在其真實(shí)更新時(shí)間上下浮動(dòng)。這樣Web信息集成系統(tǒng)可以按照預(yù)期的網(wǎng)站更新時(shí)間進(jìn)行數(shù)據(jù)采集，合理利用有限資源，避免大量無關(guān)檢索操作，提高采集效率。

2.5 特定領(lǐng)域的可視化及推送

（1） 動(dòng)態(tài)網(wǎng)站展示及郵件推送。通過網(wǎng)站展示，用戶可以直觀獲取集成后自己所需的新聞內(nèi)容或感興趣的微博信息，但也存在局限性，用戶一旦離開PC，就難以獲取系統(tǒng)集成的信息。

（2） 微信公眾號(hào)信息推送。微信公眾平臺(tái)在公眾號(hào)開發(fā)菜單的高級(jí)功能中為移動(dòng)開發(fā)者提供了兩種微信公眾號(hào)模式：編輯模式和開發(fā)模式。啟用編輯模式的微信公眾號(hào)，管理員可以綜合用戶關(guān)心的問題及自身服務(wù)內(nèi)容，進(jìn)行對(duì)應(yīng)的公眾號(hào)信息庫(kù)配置。開發(fā)模式則是騰訊推出的采用第三方服務(wù)器響應(yīng)用戶請(qǐng)求的微信公眾號(hào)開發(fā)方式。

3 Web信息集成系統(tǒng)實(shí)現(xiàn)及分析

3.1 氣候變化Web信息集成系統(tǒng)

氣候變化Web信息集成系統(tǒng)能夠根據(jù)用戶設(shè)置一組Web新聞?wù)军c(diǎn)的索引頁(yè)URL及氣候變化領(lǐng)域相關(guān)的關(guān)鍵詞詞集，系統(tǒng)能自動(dòng)將目標(biāo)站點(diǎn)的全部新聞信息下載并抽取出正文等信息，同時(shí)基于領(lǐng)域關(guān)鍵詞抓取微博上相關(guān)輿情信息，將這些氣候變化領(lǐng)域相關(guān)新聞、輿情信息存入本地?cái)?shù)據(jù)庫(kù)，通過進(jìn)一步數(shù)據(jù)分析處理，實(shí)現(xiàn)網(wǎng)站展示、郵件推送、微信公眾號(hào)推送。

3.2 氣候變化Web信息集成系統(tǒng)設(shè)計(jì)及實(shí)現(xiàn)

（1） 用戶模塊

氣候變化Web信息集成系統(tǒng)的用戶模塊主要是氣候變化領(lǐng)域?qū)＜摇W(xué)者提供一些目標(biāo)網(wǎng)站的新聞索引頁(yè)。使有與氣候變化領(lǐng)域直接相關(guān)的Web數(shù)據(jù)源，確保抓取信息的準(zhǔn)確性，避免了大量的Web信息判斷，領(lǐng)域?qū)＜彝瑫r(shí)提供一個(gè)氣候變化領(lǐng)域相關(guān)的關(guān)鍵詞詞集。

（2） 預(yù)處理模塊

在用戶模塊中專家提供的新聞索引頁(yè)、氣候變化領(lǐng)域關(guān)鍵詞詞集均為配置文件，系統(tǒng)在預(yù)處理模塊中將這些配置文件載入系統(tǒng)，同時(shí)初始化數(shù)據(jù)庫(kù)、網(wǎng)站展示、郵件推送訂閱用戶列表等。在預(yù)處理階段，依據(jù)用戶提供的關(guān)鍵詞和用戶需求，可以針對(duì)性地?cái)U(kuò)大領(lǐng)域關(guān)鍵詞詞集，為后續(xù)數(shù)據(jù)采集與處理提供支持。

（3） 數(shù)據(jù)采集與處理模塊

① Web 數(shù)據(jù)采集模塊

氣候變化領(lǐng)域Web信息集成系統(tǒng)數(shù)據(jù)源分為新聞?lì)悢?shù)據(jù)源和微博數(shù)據(jù)源，其中新聞?lì)怶eb數(shù)據(jù)源主要采用用戶定制方式指定領(lǐng)域相關(guān)的Web新聞?wù)军c(diǎn)，這樣保證新聞準(zhǔn)確性、相關(guān)性。微博數(shù)據(jù)主要來源是新浪微博、Twitter，并將基于微博搜索引擎獲取的騰訊微博、搜狐微博作為微博數(shù)據(jù)補(bǔ)充。

系統(tǒng)數(shù)據(jù)信息采集模塊包括了領(lǐng)域新聞采集、微博輿情信息采集模塊。其中領(lǐng)域新聞信息采集分為基于氣候變化領(lǐng)域相關(guān)的新聞Web 站點(diǎn)索引頁(yè)的新聞信息采集和基于氣候變化領(lǐng)域關(guān)鍵詞的全網(wǎng)新聞信息采集，通過索引頁(yè)識(shí)別和網(wǎng)頁(yè)翻頁(yè)模塊，采集抽取出新聞?lì)惥W(wǎng)頁(yè)鏈接地址URLs，然后采取正文抽取方法進(jìn)行正文信息采集，再生成正文Simhash指紋，并與數(shù)據(jù)庫(kù)中已下載數(shù)據(jù)Simhash指紋進(jìn)行比較，判斷該新聞數(shù)據(jù)是否存在，如不存在則存入數(shù)據(jù)庫(kù)中。兩者主要區(qū)別是Web站點(diǎn)信息源不同，前者有學(xué)者、專家指定氣候變化領(lǐng)域新聞網(wǎng)站，后者依賴搜索引擎對(duì)氣候變化領(lǐng)域內(nèi)的新聞信息進(jìn)行全網(wǎng)檢索。后者主要作為前者信息的補(bǔ)充，同時(shí)通過關(guān)鍵詞擴(kuò)展，對(duì)于新聞事件檢索有較好的效果。兩者在Web爬蟲采集過程中對(duì)新聞進(jìn)行URL去重，過濾到重復(fù)的新聞信息。

② Web 數(shù)據(jù)處理模塊

信息集成系統(tǒng)采集模塊采集大量氣候變化領(lǐng)域相關(guān)新聞、微博數(shù)據(jù)，存儲(chǔ)在本地?cái)?shù)據(jù)庫(kù)中。雖然經(jīng)過采集過程中URL去重和Simhash指紋算法去重，這些數(shù)據(jù)仍然需要進(jìn)一步綜合處理，才能交于展示推送模塊，推送給用戶。氣候變化領(lǐng)域Web信息集成系統(tǒng)數(shù)據(jù)處理模塊包含的幾個(gè)子模塊如圖5所示。

③ 領(lǐng)域信息的監(jiān)控與自動(dòng)更新模塊

Web上站點(diǎn)信息更新時(shí)間各不相同，通過監(jiān)控與自動(dòng)更新模塊，可以使系統(tǒng)調(diào)用采集模塊進(jìn)行Web站點(diǎn)信息采集時(shí)間在對(duì)應(yīng)站點(diǎn)信息更新時(shí)間的上下浮動(dòng)，避免在目標(biāo)站點(diǎn)更新周期內(nèi)過于頻繁進(jìn)行采集操作，造成不必要資源浪費(fèi)。氣候變化領(lǐng)域Web信息集成系統(tǒng)運(yùn)行以后，監(jiān)控與自動(dòng)更新模塊在采集某一Web站點(diǎn)的索引頁(yè)時(shí)，為其建立網(wǎng)頁(yè)快照，并設(shè)置默認(rèn)更新間隔T、增益K，同時(shí)根據(jù)當(dāng)前時(shí)間和更新間隔計(jì)算出下次S，并將這些數(shù)據(jù)保存到庫(kù)下載任務(wù)表中。

（4） 展示推送模塊

為更好適應(yīng)現(xiàn)代工作生活節(jié)奏，氣候變化領(lǐng)域Web信息集成系統(tǒng)在展示推送模塊設(shè)計(jì)上，采取多樣性展示推送方式。

前臺(tái)網(wǎng)站展示，數(shù)據(jù)由本系統(tǒng)數(shù)據(jù)采集與處理模塊支持。網(wǎng)站將數(shù)據(jù)庫(kù)中信息，特別是新聞?lì)愋畔⒁勒辗诸惸K計(jì)算出的類別分版塊進(jìn)行展示，適用PC用戶，方便獲取各種氣候變化領(lǐng)域信息。

4 結(jié) 論

本文設(shè)計(jì)了一種模塊化可定制可移植的特定領(lǐng)域Web信息集成系統(tǒng)框架，通過目標(biāo)Web站點(diǎn)索引頁(yè)、領(lǐng)域關(guān)鍵詞等信息對(duì)系統(tǒng)進(jìn)行定制，方便將系統(tǒng)遷移到不同領(lǐng)域，滿足不同用戶需求。在采集用戶設(shè)置目標(biāo)站點(diǎn)的同時(shí)，系統(tǒng)能夠?qū)θW(wǎng)領(lǐng)域相關(guān)新聞、微博數(shù)據(jù)進(jìn)行采集與處理，將相關(guān)信息存入數(shù)據(jù)庫(kù)中，供展示推送模塊調(diào)用。在介紹系統(tǒng)設(shè)計(jì)的同時(shí)，闡述了各模塊實(shí)現(xiàn)技術(shù)及功能，并針對(duì)其中關(guān)鍵技術(shù)進(jìn)行了研究，提出基于XPath的索引頁(yè)翻頁(yè)方法、一種通用新聞?lì)惥W(wǎng)頁(yè)正文方法以及一種基于關(guān)鍵詞領(lǐng)域新聞數(shù)據(jù)、微博輿情信息的采集系統(tǒng)等。

參考文獻(xiàn)

[1] 吳斌杰，徐子瑋，虞飛華.基于 API 的微博信息采集系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].電腦知識(shí)與技術(shù)，2013，9（17）：4005?4008.

[2] 孫青云，王俊峰，趙宗渠，等.一種基于模擬登錄的微博數(shù)據(jù)采集方案[J].計(jì)算機(jī)技術(shù)與發(fā)展，2014，24（3）：6?10.

[3] 張彥超，劉云，李勇，等.基于自動(dòng)生成模板的Web信息抽取技術(shù)研究[J].北京交通大學(xué)學(xué)報(bào)，2009，33（5）：40?45.

[4] 歐健文，董守斌，蔡斌.模板化網(wǎng)頁(yè)主題信息的提取方法[J].清華大學(xué)學(xué)報(bào)（自然科學(xué)版），2005，45（z1）：1743?1747.

[5] 趙欣欣，索紅光，劉玉樹.基于標(biāo)記窗的網(wǎng)頁(yè)正文信息提取方法[J].計(jì)算機(jī)應(yīng)用研究，2007，24（3）：144?145.

[30] CAI D， YU S P， WEN J R， et al. VIPS： a vision?based page segmentation algorithm [R]. Redmond： Microsoft Corporation， 2003.

[6] LAENDER A H F， RIBEIRO?NETO B A， DA SILVA A S， et al. A brief survey of Web data extraction tools [J]. ACM SIGMOD record， 2002， 31（2）： 84?93.

[7] FLESCA S， MANCO G， MASCIARI E， et al. Web wrapper induction： a brief survey [J]. AI communications， 2004， 17（2）： 57?61.