網絡事件熱度分析系統研究

王佳寧

（浙江傳媒學院新媒體學院，浙江杭州，310018）

網絡事件熱度分析系統研究

王佳寧

（浙江傳媒學院新媒體學院，浙江杭州，310018）

走入21世紀，網絡成為反映社會輿論情況的最主要手段。每一個社會問題都可能會引起廣大民眾的反響，對社會的影響也是一觸即發，所以一個對網絡事件進行監測、度量分析的智能化，體制化和全面的系統是十分必要的。網絡事件熱度分析系統可根據配置，對各種網絡輿情事件的熱度和數據源進行分析。為相關政府機構進行網絡輿情事件的監測和分析提供決策參考。該系統將會使互聯網可以及時掌握各種評論等信息走向，為建設健康互聯網社會埋下重要的鋪墊。

網絡事件；信息采集；輿情

0 引言

如今互聯網發展的態勢簡直是出乎人的意料，網絡媒體甚至超過了報社，電視臺等主要傳統行業衍生的媒體，例如報紙，電視節目等。互聯網已經成為體現這個社會的真實寫照的一個載體。

網絡的信息來源主要有，百度貼吧，各種門戶的論壇（例如天涯論壇、貓撲論壇、新浪論壇，ACFUN等），因此也就造就了網絡的復雜性，信息量可以說是十分巨大，一些比較庸俗等不好的文字言論也就比比皆是，要人工處理起來確實不是一個可行的辦法。因此，引入這套網絡事件熱度分析系統就能使網絡環境健康的發展。

1 相關技術分析

爬蟲的主要原理是抓取html的內容，大部分目前常見的語言都有相關的網絡編程API，都能實現網絡爬蟲。比如說Java,Python, C++, C#, PHP, Perl等語言都可以。而比較熱門的當屬Java和Python。而在Java語言當中，市場上比較著名的爬蟲框架是nutch，webmagic等，而比較熱門的采集技術當屬httpclient和jsoup等。HttpClient 是 Apache 下的項目，他包裝了很多有關http協議的工具，可以讓開發者用戶簡單上手。目前，httpclient最新版本為httpclient4.6。 Gson 是Google 開發的早 JavaBean 對象和 JSON 之間進行轉換的工具類。方便開發者使用它進行javabean跟json之間的快速轉換。Gson的主要特點有快速、支持范圍廣、沒有依賴其他類庫。

2 網絡事件熱點分析系統設計

本系統以360搜索（https://www.so.com/?）為采集信息來源，使用JAVA語言為基礎設計了一套采集并且監測分析的系統。通過每一個監測任務進行管理以及對每一個熱點關鍵詞采集到的數據進行可視化分析。該系統分為5大模塊：分別是管理平臺、數據采集器、輿情指數分析器、分析平臺。

2.1 系統功能結構設計

圖1 系統功能結構

針對網絡事件影響范圍和深度的分析，要開發一套面向網路事件熱度分析系統，系統的主要功能如圖1所示。其中包括管理平臺、數據采集器、輿情指數分析器、分析平臺和數據庫。管理平臺主要是對數據采集器、輿情指數分析器等進行集中管理和控制，主要功能包括網絡輿情事件管理、輿情狀態和輿情分類等屬性進行配置等；數據采集器是根據配置，定時（如每隔5分鐘）通過360搜索引擎，檢索等待分析的輿情事件報道內容，自動采集檢索結果網絡，對網頁內容進行智能解析，自動去重、去噪，抽取相關信息內容，轉換成結構化數據，存儲到數據庫進行分析，供輿情指數分析器調用；輿情指數分析器是根據網路輿情事件的熱度計算模型，定時（如每隔5分鐘）對數據庫中的輿情事件數據進行統計分析，并將計算結果提供給分析平臺使用；分析平臺主要是對網絡輿情事件的熱度和數據源進行可視化分析，熱度以指數形式進行顯示。

2.2 數據結構設計

本系統設計的數據庫名為POA，數據庫中存在多張數據表用來存儲相關信息。如圖2。

3 系統實現與測試

3.1 系統實現

（1）通過httpclient的工具類獲取到的HTML源碼，利用正則表達式來解析相關的信息。而匹配類hhm.neha.control.WebScanPattern的關鍵代碼如下:

public class WebScanPattern {

public static final String SO_CONTENT_NOT_FIND =“抱歉，未找到和.*?相關的新聞內容。”;

public static final String SO_CONTENT_COUNT =“找到相關新聞約(.*?)個”;

public static final String SO_CONTENT_LI = “”;

public static final String SO_CONTENT_LI_URL =“”;

public static final String SO_CONTENT_LI_TITLE =“target=”_blank”>(.*?)”;

public static final String SO_CONTENT_LI_COUNT =“class=”same”.*?>\[相關新聞：(\d+)\]”;

圖2 數據庫表結構

@Deprecated

public static final String SO_CONTENT_LI_DATE =“(\d+-\d+-\d+ \d+:\d+:\d+)”;

public static final String SO_CONTENT_LI_DATETIME =“data.pdate=”(\d+)”>”;

public static final String[] DATE_FORMATS = {“yyyy-MM-dd HH:mm:ss” }; }

（2）實時輿情指數分析線程，該類hhm.neha.process .Even tRealTimePointAnalysisThread的源代碼如下：

@Override

public void run() {

int event_index = 0;

while (flag) {

try {

sleep(5000L);

event = erpaControl.getNextEventList(event_index);

random = new Random(System.currentTimeMillis());

if (event == null) {

event_index = 0;

LOG.info(context.getMessage(“point.event.null”, null, Locale.CHINA));

try {

sleep(5000L);

} catch (InterruptedException e) {

// TODO Auto-generated catch block

e.printStackTrace(); }

} else {

if(event.getEventStatus().intValue() != 10){

this.analysis(); }

event_index = event.getEventId().intValue();

LOG.info(“ Analysis event[“ + event_index + “]real time point finish, wait for next event...”); }

} catch (InterruptedException e) {

// TODO Auto-generated catch block

e.printStackTrace();

} catch (JDBCConnectionException e) {

LOG.error(“ Connection database fail: “ +e.getMessage()); }

（3）通過struts框架來設計服務端，struts配置文件包括authorize,version,error,event, point, search, category，其中event代碼如下：

events[d+].creat_at,events[d+].exp,events[d+].i d,e v e n t s[d+].t i t l e,e v e n t s[d+].top,next,total,time

false

events[d+].creat_at,events[d+].exp,events[d+].i d,e v e n t s[d+].t i t l e,e v e n t s[d+].top,next,total,time

false

events[d+].creat_at,events[d+].exp,events[d+].id,events[d+].title,events[d+].top,category.id,category.name,next,total,time

false

3.2 系統測試

（1）測試環境

表1 系統軟硬件環境

（2）測試用例

表2 系統測試用例

（3）測試結果

2分鐘內采集完整微博信息896條。采集微博信息圖如圖3所示。

4 結論

在消息極度豐富的時代，本系統能夠在廣大數據信息中采集我們所需要的信息，及時了解網絡輿情的走向，保障網絡環境能夠健康的發展。本系統管理平臺是對待監測和分析的網絡輿情事件進行配置和管理，主要包括輿情事件管理和輿情狀態配置等功能；分析平臺主要是對網絡輿情事件的熱度和數據源進行可視化分析，熱度以指數形式進行顯示；數據采集器是通過360搜索引擎，檢索各待分析的輿情事件報道內容，自動采集檢索結果并轉換成結構化數據，存儲到數據庫進行分析；輿情指數分析器是根據網路輿情事件的熱度計算模型，對數據庫中的輿情事件數據進行統計分析，并將計算結果提供給分析平臺。實踐證明，本系統可以采集所需數據，具有實時數據采集處理能力。

圖3 采集微博信息圖

[1]齊新力,郭亞莎,鄒振宇.基于Struts2框架數據校驗的分析與應用[J].儀器儀表用戶,2011,18(5):48-49.

[2]武寶珠,梁聲灼,牛德雄.基于Struts2+Spring+Hibernate架構構建Web應用系統 [J].計算機與現代化,2009,8:43-46.

[3]唐克超.網絡輿論對國家安全影響問題探析[J].中國軟科學.2008(06).

[4]吳峴輝,張暉,趙旭劍,李波,楊春明.基于用戶行為網絡的微博意見領袖挖掘算法[J].計算機應用研究.2015(09).

[5]Chang Sup Park. Does Twitter motivate involvement in politics? Tweeting, opinion leadership, and political engagement[J].Computers in Human Behavior.2013(4).

RESEARCH ON NETWORK EVENTS HEAT ANALYSIS SYSTEM

Wang Jianing
（New Media College of Zhejiang University of Media and Communications，Hangzhou Zhejiang,310018）

Into the 21st century, the Internet has become the most principal means to reflect the social opinion. Each social problem is likely to cause the public response and the impact on society is at any moment, so an intelligent, systematic and comprehensive system which can monitor, measure and analyze network events is very necessary. The network event heat analysis system can analyze the heat and data sources of various network public opinion events according to the configuration. This can provide decisionmaking reference for the monitoring and analysis of online public opinion events by the relevant government agencies. This system will enable the Internet to timely control various comments and other information trends, and build an important foreshadowing for building a healthy Internet society.

Network events; Information collection; Public sentiment