網(wǎng)絡(luò)事件熱度分析系統(tǒng)研究

王佳寧

（浙江傳媒學(xué)院新媒體學(xué)院，浙江杭州，310018）

網(wǎng)絡(luò)事件熱度分析系統(tǒng)研究

王佳寧

（浙江傳媒學(xué)院新媒體學(xué)院，浙江杭州，310018）

走入21世紀(jì)，網(wǎng)絡(luò)成為反映社會(huì)輿論情況的最主要手段。每一個(gè)社會(huì)問題都可能會(huì)引起廣大民眾的反響，對(duì)社會(huì)的影響也是一觸即發(fā)，所以一個(gè)對(duì)網(wǎng)絡(luò)事件進(jìn)行監(jiān)測(cè)、度量分析的智能化，體制化和全面的系統(tǒng)是十分必要的。網(wǎng)絡(luò)事件熱度分析系統(tǒng)可根據(jù)配置，對(duì)各種網(wǎng)絡(luò)輿情事件的熱度和數(shù)據(jù)源進(jìn)行分析。為相關(guān)政府機(jī)構(gòu)進(jìn)行網(wǎng)絡(luò)輿情事件的監(jiān)測(cè)和分析提供決策參考。該系統(tǒng)將會(huì)使互聯(lián)網(wǎng)可以及時(shí)掌握各種評(píng)論等信息走向，為建設(shè)健康互聯(lián)網(wǎng)社會(huì)埋下重要的鋪墊。

網(wǎng)絡(luò)事件；信息采集；輿情

0 引言

如今互聯(lián)網(wǎng)發(fā)展的態(tài)勢(shì)簡(jiǎn)直是出乎人的意料，網(wǎng)絡(luò)媒體甚至超過了報(bào)社，電視臺(tái)等主要傳統(tǒng)行業(yè)衍生的媒體，例如報(bào)紙，電視節(jié)目等。互聯(lián)網(wǎng)已經(jīng)成為體現(xiàn)這個(gè)社會(huì)的真實(shí)寫照的一個(gè)載體。

網(wǎng)絡(luò)的信息來源主要有，百度貼吧，各種門戶的論壇（例如天涯論壇、貓撲論壇、新浪論壇，ACFUN等），因此也就造就了網(wǎng)絡(luò)的復(fù)雜性，信息量可以說是十分巨大，一些比較庸俗等不好的文字言論也就比比皆是，要人工處理起來確實(shí)不是一個(gè)可行的辦法。因此，引入這套網(wǎng)絡(luò)事件熱度分析系統(tǒng)就能使網(wǎng)絡(luò)環(huán)境健康的發(fā)展。

1 相關(guān)技術(shù)分析

爬蟲的主要原理是抓取html的內(nèi)容，大部分目前常見的語言都有相關(guān)的網(wǎng)絡(luò)編程API，都能實(shí)現(xiàn)網(wǎng)絡(luò)爬蟲。比如說Java,Python, C++, C#, PHP, Perl等語言都可以。而比較熱門的當(dāng)屬Java和Python。而在Java語言當(dāng)中，市場(chǎng)上比較著名的爬蟲框架是nutch，webmagic等，而比較熱門的采集技術(shù)當(dāng)屬httpclient和jsoup等。HttpClient 是 Apache 下的項(xiàng)目，他包裝了很多有關(guān)http協(xié)議的工具，可以讓開發(fā)者用戶簡(jiǎn)單上手。目前，httpclient最新版本為httpclient4.6。 Gson 是Google 開發(fā)的早 JavaBean 對(duì)象和 JSON 之間進(jìn)行轉(zhuǎn)換的工具類。方便開發(fā)者使用它進(jìn)行javabean跟json之間的快速轉(zhuǎn)換。Gson的主要特點(diǎn)有快速、支持范圍廣、沒有依賴其他類庫。

2 網(wǎng)絡(luò)事件熱點(diǎn)分析系統(tǒng)設(shè)計(jì)

本系統(tǒng)以360搜索（https://www.so.com/?）為采集信息來源，使用JAVA語言為基礎(chǔ)設(shè)計(jì)了一套采集并且監(jiān)測(cè)分析的系統(tǒng)。通過每一個(gè)監(jiān)測(cè)任務(wù)進(jìn)行管理以及對(duì)每一個(gè)熱點(diǎn)關(guān)鍵詞采集到的數(shù)據(jù)進(jìn)行可視化分析。該系統(tǒng)分為5大模塊：分別是管理平臺(tái)、數(shù)據(jù)采集器、輿情指數(shù)分析器、分析平臺(tái)。

2.1 系統(tǒng)功能結(jié)構(gòu)設(shè)計(jì)

圖1 系統(tǒng)功能結(jié)構(gòu)

針對(duì)網(wǎng)絡(luò)事件影響范圍和深度的分析，要開發(fā)一套面向網(wǎng)路事件熱度分析系統(tǒng)，系統(tǒng)的主要功能如圖1所示。其中包括管理平臺(tái)、數(shù)據(jù)采集器、輿情指數(shù)分析器、分析平臺(tái)和數(shù)據(jù)庫。管理平臺(tái)主要是對(duì)數(shù)據(jù)采集器、輿情指數(shù)分析器等進(jìn)行集中管理和控制，主要功能包括網(wǎng)絡(luò)輿情事件管理、輿情狀態(tài)和輿情分類等屬性進(jìn)行配置等；數(shù)據(jù)采集器是根據(jù)配置，定時(shí)（如每隔5分鐘）通過360搜索引擎，檢索等待分析的輿情事件報(bào)道內(nèi)容，自動(dòng)采集檢索結(jié)果網(wǎng)絡(luò)，對(duì)網(wǎng)頁內(nèi)容進(jìn)行智能解析，自動(dòng)去重、去噪，抽取相關(guān)信息內(nèi)容，轉(zhuǎn)換成結(jié)構(gòu)化數(shù)據(jù)，存儲(chǔ)到數(shù)據(jù)庫進(jìn)行分析，供輿情指數(shù)分析器調(diào)用；輿情指數(shù)分析器是根據(jù)網(wǎng)路輿情事件的熱度計(jì)算模型，定時(shí)（如每隔5分鐘）對(duì)數(shù)據(jù)庫中的輿情事件數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，并將計(jì)算結(jié)果提供給分析平臺(tái)使用；分析平臺(tái)主要是對(duì)網(wǎng)絡(luò)輿情事件的熱度和數(shù)據(jù)源進(jìn)行可視化分析，熱度以指數(shù)形式進(jìn)行顯示。

2.2 數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)

本系統(tǒng)設(shè)計(jì)的數(shù)據(jù)庫名為POA，數(shù)據(jù)庫中存在多張數(shù)據(jù)表用來存儲(chǔ)相關(guān)信息。如圖2。

3 系統(tǒng)實(shí)現(xiàn)與測(cè)試

3.1 系統(tǒng)實(shí)現(xiàn)

（1）通過httpclient的工具類獲取到的HTML源碼，利用正則表達(dá)式來解析相關(guān)的信息。而匹配類hhm.neha.control.WebScanPattern的關(guān)鍵代碼如下:

public class WebScanPattern {

public static final String SO_CONTENT_NOT_FIND =“抱歉，未找到和.*?相關(guān)的新聞內(nèi)容。”;

public static final String SO_CONTENT_COUNT =“找到相關(guān)新聞約(.*?)個(gè)”;

public static final String SO_CONTENT_LI = “”;

public static final String SO_CONTENT_LI_URL =“”;

public static final String SO_CONTENT_LI_TITLE =“target=”_blank”>(.*?)”;

public static final String SO_CONTENT_LI_COUNT =“class=”same”.*?>\[相關(guān)新聞：(\d+)\]”;

圖2 數(shù)據(jù)庫表結(jié)構(gòu)

@Deprecated

public static final String SO_CONTENT_LI_DATE =“(\d+-\d+-\d+ \d+:\d+:\d+)”;

public static final String SO_CONTENT_LI_DATETIME =“data.pdate=”(\d+)”>”;

public static final String[] DATE_FORMATS = {“yyyy-MM-dd HH:mm:ss” }; }

（2）實(shí)時(shí)輿情指數(shù)分析線程，該類hhm.neha.process .Even tRealTimePointAnalysisThread的源代碼如下：

@Override

public void run() {

int event_index = 0;

while (flag) {

try {

sleep(5000L);

event = erpaControl.getNextEventList(event_index);

random = new Random(System.currentTimeMillis());

if (event == null) {

event_index = 0;

LOG.info(context.getMessage(“point.event.null”, null, Locale.CHINA));

try {

sleep(5000L);

} catch (InterruptedException e) {

// TODO Auto-generated catch block

e.printStackTrace(); }

} else {

if(event.getEventStatus().intValue() != 10){

this.analysis(); }

event_index = event.getEventId().intValue();

LOG.info(“ Analysis event[“ + event_index + “]real time point finish, wait for next event...”); }

} catch (InterruptedException e) {

// TODO Auto-generated catch block

e.printStackTrace();

} catch (JDBCConnectionException e) {

LOG.error(“ Connection database fail: “ +e.getMessage()); }

（3）通過struts框架來設(shè)計(jì)服務(wù)端，struts配置文件包括authorize,version,error,event, point, search, category，其中event代碼如下：

events[d+].creat_at,events[d+].exp,events[d+].i d,e v e n t s[d+].t i t l e,e v e n t s[d+].top,next,total,time

false

events[d+].creat_at,events[d+].exp,events[d+].i d,e v e n t s[d+].t i t l e,e v e n t s[d+].top,next,total,time

false

events[d+].creat_at,events[d+].exp,events[d+].id,events[d+].title,events[d+].top,category.id,category.name,next,total,time

false

3.2 系統(tǒng)測(cè)試

（1）測(cè)試環(huán)境

表1 系統(tǒng)軟硬件環(huán)境

（2）測(cè)試用例

表2 系統(tǒng)測(cè)試用例

（3）測(cè)試結(jié)果

2分鐘內(nèi)采集完整微博信息896條。采集微博信息圖如圖3所示。

4 結(jié)論

在消息極度豐富的時(shí)代，本系統(tǒng)能夠在廣大數(shù)據(jù)信息中采集我們所需要的信息，及時(shí)了解網(wǎng)絡(luò)輿情的走向，保障網(wǎng)絡(luò)環(huán)境能夠健康的發(fā)展。本系統(tǒng)管理平臺(tái)是對(duì)待監(jiān)測(cè)和分析的網(wǎng)絡(luò)輿情事件進(jìn)行配置和管理，主要包括輿情事件管理和輿情狀態(tài)配置等功能；分析平臺(tái)主要是對(duì)網(wǎng)絡(luò)輿情事件的熱度和數(shù)據(jù)源進(jìn)行可視化分析，熱度以指數(shù)形式進(jìn)行顯示；數(shù)據(jù)采集器是通過360搜索引擎，檢索各待分析的輿情事件報(bào)道內(nèi)容，自動(dòng)采集檢索結(jié)果并轉(zhuǎn)換成結(jié)構(gòu)化數(shù)據(jù)，存儲(chǔ)到數(shù)據(jù)庫進(jìn)行分析；輿情指數(shù)分析器是根據(jù)網(wǎng)路輿情事件的熱度計(jì)算模型，對(duì)數(shù)據(jù)庫中的輿情事件數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，并將計(jì)算結(jié)果提供給分析平臺(tái)。實(shí)踐證明，本系統(tǒng)可以采集所需數(shù)據(jù)，具有實(shí)時(shí)數(shù)據(jù)采集處理能力。

圖3 采集微博信息圖

[1]齊新力,郭亞莎,鄒振宇.基于Struts2框架數(shù)據(jù)校驗(yàn)的分析與應(yīng)用[J].儀器儀表用戶,2011,18(5):48-49.

[2]武寶珠,梁聲灼,牛德雄.基于Struts2+Spring+Hibernate架構(gòu)構(gòu)建Web應(yīng)用系統(tǒng) [J].計(jì)算機(jī)與現(xiàn)代化,2009,8:43-46.

[3]唐克超.網(wǎng)絡(luò)輿論對(duì)國家安全影響問題探析[J].中國軟科學(xué).2008(06).

[4]吳峴輝,張暉,趙旭劍,李波,楊春明.基于用戶行為網(wǎng)絡(luò)的微博意見領(lǐng)袖挖掘算法[J].計(jì)算機(jī)應(yīng)用研究.2015(09).

[5]Chang Sup Park. Does Twitter motivate involvement in politics? Tweeting, opinion leadership, and political engagement[J].Computers in Human Behavior.2013(4).

RESEARCH ON NETWORK EVENTS HEAT ANALYSIS SYSTEM

Wang Jianing
（New Media College of Zhejiang University of Media and Communications，Hangzhou Zhejiang,310018）

Into the 21st century, the Internet has become the most principal means to reflect the social opinion. Each social problem is likely to cause the public response and the impact on society is at any moment, so an intelligent, systematic and comprehensive system which can monitor, measure and analyze network events is very necessary. The network event heat analysis system can analyze the heat and data sources of various network public opinion events according to the configuration. This can provide decisionmaking reference for the monitoring and analysis of online public opinion events by the relevant government agencies. This system will enable the Internet to timely control various comments and other information trends, and build an important foreshadowing for building a healthy Internet society.

Network events; Information collection; Public sentiment