大數據在突發公共事件網絡輿情信息工作中的應用

張寧熙

(廣西壯族自治區人民政府辦公廳電子政務中心，廣西?南寧 530013)

·理論探索·

大數據在突發公共事件網絡輿情信息工作中的應用

張寧熙

(廣西壯族自治區人民政府辦公廳電子政務中心，廣西?南寧 530013)

〔摘要〕大數據既是新技術也是方法論，大數據側重于挖掘有價值的信息，將大數據應用到網絡輿情信息工作中，是新形勢新環境下突發公共事件應對的新需求。本文分析了大數據時代網絡輿情的現狀和特點，以及當前網絡輿情信息工作存在的問題，通過對大數據的概念和特性及其主要技術的研究，結合突發公共事件的特點，探討如何將大數據應用到突發公共事件網絡輿情信息工作中，為網絡輿情信息工作提供技術解決參考和方法論支持。

〔關鍵詞〕大數據；Hadoop；MapReduce；輿情分析

近年來，我國各類突發公共事件頻繁發生，給人民生命財產和經濟社會發展造成了重大損失。隨著近年來我國網民數量的激增和移動智能設備的普及，社交網絡等新媒體工具逐漸滲透到人們的生活當中，突發公共事件在網上傳播的速度越來越快，人們對突發公共事件的關注度越來越高。發生突發公共事件，相關職能部門如何迅速收集網絡輿情信息，跟蹤事態變化，及時向有關部門通報，是新形勢和新環境下亟待解決的問題[1]。新時期的網絡輿情是錯綜復雜的，因此，做好網絡輿情信息工作關乎國家政治穩定和社會安全。

在大數據時代，網絡承載的信息數據規模越來越巨大，給網絡輿情信息工作帶來了挑戰也帶來了機遇，借助大數據技術的優勢，輿情信息工作部門可以從網上海量的、多樣的信息數據中迅速分析、挖掘出有價值的輿情信息，大數據將在突發公共事件網絡輿情信息工作中發揮重要的作用。

1　大數據時代網絡輿情現狀及特點

1.1大數據的產生及其特征

大數據時代的到來，從信息技術發展史上看，是有必然性的。首先，信息基礎設施持續完善，網絡規模不斷擴大，存儲設備性能不斷提高，是大數據產生的物質基礎；其次，物聯網與移動智能終端持續不斷的產生大量數據，數據類型多樣化，是大數據產生的重要來源。隨著信息技術的發展，大數據理論變得越來越豐富，其特征可概括為4個方面[2]：一是容量( Volume)，數據容量大，“體積”從TB～PB甚至到EB級；二是速度(Velocity)，能持續、實時的產生數據，且要求處理速度快；三是多樣(Variety)，數據類型多樣，包括結構化、非結構化和半結構化的數據；四是價值(Value)，具有對數據的預測分析能力，能挖掘有用的數據價值。這些特征使得大數據與傳統數據區別開來，強調了大數據是高度分散的、結構松散的、形式復雜的、有利用價值的信息資源。

1.2大數據時代網絡輿情現狀

根據中國互聯網信息中心(CNNIC)《第34次中國互聯網絡發展狀況統計報告》顯示[3]：截至2014年6月，我國網民規模已達6.32億，其中手機網民5.27億，手機上網比例(83.4%)首次超越傳統PC上網比例(80.9%)。可見，隨著移動互聯技術的發展，移動智能終端應用迅速推廣普及，我國已邁向全面網絡化的“大數據時代”。

作為自媒體較集中的區域，社交網絡平臺一直是突發公共事件網絡輿情監測的重點區域，加上近年來農村地區上網普及工作取得成效，城鄉間互聯網普及差距逐步縮小，網絡的話語權不再局限于城市里的年輕一代，一些農村地區和城鄉結合部的網民開始直接通過網絡反映民情民意以及社會問題，表達對一些事件的認識和看法，網上各種真實的、虛假的、理性的、非理性的言論相互疊加，混淆視聽，給互聯網監管工作和網絡輿情監測帶來了挑戰。

1.3大數據時代網絡輿論的特點

與過去傳統媒體輿論傳播相比，大數據時代的網絡輿論主要有以下幾個特點：

1.3.1輿論信息相對開放

社交網絡服務(SNS)使網民掌握越來越多的話語權，網民在自然狀態下直接表達個人情緒，發表言論觀點，各種意見來自四面八方，打破了主流媒體“統一聲音”的格局，網絡輿論進入自由開放的“自媒體時代”。

1.3.2輿論信息傳播迅速

突發公共事件時，在事件現場的網民即可通過手機在社交網絡“爆料”，事件在網絡上迅速傳開，從事件發生到信息傳播蔓延，從個體意見產生到群體意見匯集，從意見綜合到輿論形成，在大數據時代，幾乎就是一個“核裂變”式的“蝴蝶效應”過程[4]。

1.3.3輿論信息豐富多樣

在大數據時代，網絡信息是海量的、多樣的：在內容上，網絡輿論包羅萬象，既有積極健康的言論，也有缺乏理性的言論和個性化的情緒表達[5]；在傳播形式上，播客(broadcasting)與微博(weibo)相結合的音視頻社交網絡應用異軍突起，微博、微信等社交網絡工具不再局限于純文本格式交流應用，而是整合了拍照、攝像、網絡對講、播客等形式的多媒體音視頻網絡應用，使網絡輿論信息在傳播形式上更加多元化。

1.3.4輿論信息有傾向性

由于事件發生時，事件現場的手機網民受某些情緒化因素影響，對事件的認識、看法和言論存在愛憎偏好的傾向性，抓拍的照片可能并非事件全貌，有的事件本身信息源的可信度就不高，但在網絡上某些“活躍分子”們的作用下，一些缺乏理性的網絡言論被層層轉發，迅速蔓延，有的甚至被加工、演變成謠言，給政府突發事件應對與處置造成極大被動。

2　當前網絡輿情信息工作存在的問題

網絡輿情信息工作，是相關信息工作部門和人員對特定時期或特定事件的網上言論和意見等輿情信息進行收集、分析和整理形成報送材料，為決策者提供決策依據的工作[6]。網絡輿情與突發公共事件是密切相關的，結合大數據時代網絡輿論的新特點，當前網絡輿情信息工作主要存在以下幾個問題，這些問題的存在既有主觀因素也有客觀因素。

2.1輿情分析不足，信息質量不高

網絡環境下收集獲取的事件信息有的是不可靠的，一些部門的輿情信息報送仍停留在類似事件日志和工作動態形式的報送上，對事件背景和事件反映的具體問題沒有及時深入的分析研究，信息的情報價值作用和參謀服務作用不夠明顯。

2.2輿情監測的工具和方法滯后

網絡輿情監測關鍵在于及時發現，目前大多數單位對網絡輿情監測仍停留在以人工網頁瀏覽和搜索為主的階段，由于人工監測方式的頻度及范圍相當有限，難免出現遺漏和疏忽，一些網上事件難以及時發現。

2.3輿情分析研判不準，事件預警能力不強

網絡輿情信息的情報價值只有通過及時準確的分析研判才得以體現，然而目前大多數單位的信息工作人員輿情分析專業化程度有限，對事件隱含的信息缺少掌握，一些事件沒有按照突發公共事件分類分級標準明確，對輿情信息跟蹤分析的靈敏度不高，輿情的分析研判能力和事件預警能力需要進一步加強。

3　大數據為網絡輿情信息工作提供重要的技術支撐

網絡輿情信息工作要主動適應大數據時代的新特點和新變化，將大數據和突發公共事件應對緊密結合起來，充分發揮大數據對網絡輿情信息工作的重要技術支撐作用，推進互聯網治理現代化，提高政府突發公共事件應急處置能力。

大數據技術有很多，目前應用較成熟的是Apache軟件基金會提出的Hadoop分布式計算系統基礎框架[7]，該框架由多個大數據技術開源項目組成，相關核心技術主要是：分布式計算模型MapReduce、分布式文件系統HDFS(Hadoop Distributed File System)、數據倉庫工具Hive和分布式數據庫Hbase，其中，MapReduce分布式計算模型對大數據網絡輿情分析起著關鍵作用。Hadoop的工作機制是通過分布式計算模型MapReduce實現對網絡輿情的重點監測、數據分析、趨勢分析和跟蹤預警，提供高效率的數據挖掘與分析能力，通過分布式文件系統HDFS實現硬件資源和存儲資源的有效利用與管理，提供高吞吐量的數據存取能力，通過數據倉庫工具Hive加快數據查詢，數據挖掘和建立索引，使用基于非結構化數據存儲的數據庫Hbase實現不同類型數據的兼容和分布式存儲。

面對傳統輿情監管工具、方法和流程難以處理大數據，基于Hadoop的大數據技術具有處理速度快、存取效率高、平臺應用靈活、硬件系統通用等良好的性能，能在大數據環境下完成輿情信息搜索采集、輿情信息數據加工處理、輿情分析及事件預警支持、輿情信息報告等工作，滿足突發公共事件網絡輿情信息工作的高標準和高要求。

4　大數據在突發公共事件網絡輿情信息工作中的應用

大數據既是新技術也是方法論，網絡輿情信息工作要結合當前突發公共事件的特點，用大數據作為加強與創新網絡輿情信息工作的重要手段。一是輿情監測與信息搜集，對論壇、博客等網絡平臺，尤其是對微博、微信等社交網絡輿情的重點監測和信息搜集；二是輿情信息數據處理，利用大數據技術實現信息數據的兼容、分類、去重、轉換、建立索引等數據整理；三是輿情分析及事件趨勢預警，從輿情數據中快速定位、識別有價值的信息，分析事件的背景和特征，分析事件的關聯性、背后隱藏的規律和發展趨勢，提供突發公共事件預警支持；四是強化網絡輿情信息報送效果，將輿情信息用圖表方式直觀化，拓寬報送及發布渠道，利用移動互聯技術實現輿情信息集納和推送。

4.1大數據輿情監測及信息搜集

傳統網絡輿情信息的搜索采集主要依靠人工監測采集和網頁定時抓取方式實現，搜索采集效率低，事件的一些動態情況難以及時掌握。大數據網絡輿情信息搜集可采用定向站點網頁信息抓取、RSS(聚合內容)摘要搜集、社交網站信息搜集、全文檢索系統等搜集技術與傳統人工監測采集相結合的方式進行。

(1)定向站點網頁信息抓取主要是利用網頁爬蟲程序對輿情信息最活躍、反映問題較突出的綜合性論壇網站的網頁信息抓取，如天涯論壇地方版塊、紅豆社區等反映地方社情民意的網絡論壇。

(2)RSS(聚合內容)摘要搜集主要對新聞類和博客類網站開放的RSS摘要信息進行搜索采集，對某事件密切相關的上千個RSS Feed(種子)進行聚合，能快速的、全面的了解突發事件的動態情況。

(3)社交網絡信息搜集主要對微博等提供社交網絡服務(SNS)平臺的信息進行實時監測和搜集。目前，國內主流的社交網站為便于信息資源交換和共享，提供了支持單點登錄的開放式社交網絡服務API，如新浪WeiboAPI和騰訊微博OpenAPI(見表1)，利用分布式微博爬蟲程序可調用社交網絡服務API進行信息抓取，對用戶標簽(Tags)和事件話題(如“#XX事件話題調查#”)等內容進行搜索采集。

表1　國內主流社交網絡提供的API(部分)

(4)全文檢索系統是使用全文搜索引擎通過特定的協議接口直接對網站的數據庫或非結構化數據進行信息采集和檢索。基于大數據技術的全文檢索系統能夠利用特定的協議接口，如SQL Server的Microsoft Search服務和MySQL的InnoDB引擎等，建立動態的全文檢索中間庫，滿足海量的結構化數據和非結構化數據的采集檢索需求。一般情況下，全文檢索系統主要應用于文獻檢索，當突發公共事件在網上傳播時，通過其強大的搜索功能直接對網站的數據庫和文件進行掃描、搜索和抓取，實現更有效的突發公共事件網絡輿情信息搜集。

4.2大數據輿情信息的數據處理

大數據對海量信息數據進行搜索采集，這些信息數據的種類和來源是多樣化的，有結構化數據、非結構化數據，也有半結構化數據，需要對搜集的信息數據進行分類、聚類、信息去重、數據轉換、建立索引等數據處理工作，便于下一步數據挖掘、輿情分析和研判。

大數據信息處理的技術實現是在HDFS存儲的支持下通過數據倉庫工具Hive和非關系型分布式數據庫HBase完成，HDFS作為面向大數據應用的分布式文件系統，在底層提供高性能的硬件資源管理和存儲管理支持，實現輿情大數據的高效存取和交換。Hive作為建立數據倉庫模型的ETL工具，對信息數據進行提取(Extract)、轉換(Transform)、加載(Load)等處理過程，形成數據索引和輿情詞匯庫，建立輿情數據倉庫，將這些信息數據加載到Hbase數據庫中，Hbase采用面向列的稀疏存儲模式，以非關系型數據庫NoSQL替代傳統關系型數據庫，解決當前Web2.0社交網絡大規模、高并發的數據處理問題。

4.3大數據輿情分析及事件預警支持

網絡輿情分析首先要對突發公共事件進行科學的特征分析和類型界定，突發公共事件通常具有突發性、不確定性、社會性、易擴散和周期性等特征，按類型主要分為自然災害、事故災難、公共衛生和社會安全4類事件。

輿情分析的數據輸入輸出、特征參數設置和數據分析框架可依據國家、本地區或本行業突發公共事件分類分級標準設計，通過大數據輿情分析，不但能夠掌握事件所處的階段(如潛伏期、引發期、發展期、高潮期、處理期和平緩期等不同階段)，還能夠通過數據分析提供對突發公共事件的預警支持[8](如表2示例)，更重要的是能夠反映出事件的背景、概況與發展趨勢，公眾對事件的主要態度與情緒，對公共部門形象的影響，對社會安全的危害程度，法律法規和制度是否存在缺漏等問題。

表2　某地公共衛生事件數據分析及事件預警示例

MapReduce分布式計算模型是實現大數據背景下突發公共事件輿情分析及事件預警支持的關鍵技術。MapReduce的工作機制是將大數據量的、雜亂無章的事件信息數據按照某些特征組織起來，將信息數據歸納處理得到最終分析結果。MapReduce計算分為Map(映射)過程和Reduce(歸約)過程，原始信息由Map輸入，信息初始是雜亂無章的，每條信息數據之間看似毫無關系，經過Map的映射和解析，從中提取出key(關鍵字)和value(值)，從而分析出信息數據的特征，經過MapReduce的Reduce過程的歸約和化簡，就能得出已經歸納好的信息數據。MapReduce對大批量數據集的計算處理有更高的執行效率，能更好地滿足突發公共事件輿情監測的需求，實現突發公共事件輿情分析及事件趨勢預警支持。

4.4大數據輿情信息報告

使用大數據強化網絡輿情信息報送效果，將輿情監測、輿情分析、趨勢預警等信息以直觀的圖表方式展現出來，使輿情信息報告直觀化。輿情信息報告的基本要求是報告要符合客觀實際，數據要真實可靠，語言要簡明、準確和易懂，在報告中運用圖表能夠清晰、直觀的表現事件的輿情，大數據輿情信息報告可在信息報送簡明、準確和易懂的文字基礎上，科學選擇能夠直觀反映事件情況的圖表示意呈現，如事件趨勢圖、觀點百分比餅圖、頻率分布網狀圖、負面輿情度直方圖等豐富的圖表工具，為更進一步的輿情分析和研判提供更直觀的決策參考。在輿情信息的報送發布渠道上，充分發揮大數據將各種網絡媒體融合的技術優勢，在確保安全保密的前提下，利用移動互聯技術以電子郵件、Web、App客戶端等報送方式實現輿情信息報告的集納和推送，使決策者便于及時跟蹤事件動態和輿情影響，更好地發揮網絡輿情信息工作的參謀服務作用。

5　結　語

大數據不僅僅是一種信息技術，更是一種方法論，它帶來了一場全新的信息技術革命，代表著一個新時代的到來。從大數據的特性和應用目標來看，大數據追求的不只是信息容量和處理速度，更重要的是信息的價值，將大數據應用到網絡輿情信息工作中，是新形勢新環境下突發公共事件應對的新需求。本文分析了大數據時代的網絡輿情現狀和輿論特點，對當前網絡輿情信息工作存在的問題提出了看法，通過對大數據的概念和特性及其主要技術的研究，結合突發公共事件網絡輿論的新特點，對如何將大數據應用到突發公共事件網絡輿情信息工作中進行了探討和研究，為網絡輿情信息工作提供技術解決參考和方法論支持。

參考文獻

[1]閆利平,陶衛江,韓曉虎，等.政府網絡輿情監測分析及預警[J].現代情報,2011,31(4):46．

[2]馬建光,姜巍.大數據的概念、特征及其應用[J].國防科技,2013,(2):12．

[3]中國互聯網絡信息中心.第34次中國互聯網絡發展狀況統計報告[EB/OL].http:∥www.cnnic.net.cn/hlwfzyj/hlwxzbg/hlwtjbg/201407/t20140721-47437.htm,2014-07-21．

[4]喬夏陽.公眾網絡參與中的“蝴蝶效應”[J].理論探索,2013,(4):71．

[5]姜勝洪.網絡輿情的內涵及主要特點[J].理論界,2010,(3):152．

[6]王小蘭.輿情信息工作的實踐困境及現實建構[J].福建行政學院學報,2012,(2):70-71．

[7]尹培培.大數據時代的網絡輿情分析系統[J].廣播與電視技術,2013,(7):44．

[8]張倩.大數據在突發事件政府決策中的應用[J].東北農業大學學報：社會科學版,2013,11(6):75．

(本文責任編輯：孫國雷)

Application of Big Data in Network Public Opinion Information Work of Public Emergency

Zhang Ningxi

(The General Office of Guangxi Government，E-government Center，Nanning 530013，China)

〔Abstract〕Big data is both new technologies and methodologies,big data focused on valuable information mining,the application of big data in network public opinion information work is a new requirements of public emergency response which under the new situation and new environment.This article analyzed the present situation and characteristics of network public opinion in the era of big data,and problems existing in the network public opinion information work,based on the study of the concept and characteristics of big data and its main technologies,combining with the characteristics of public emergency,explored how to apply big data to network public opinion information work in public emergency,to provide technical solution to reference and methodological support for network public opinion information work.

〔Key words〕big data;Hadoop;MapReduce;public opinion analysis

〔中圖分類號〕C912.6

〔文獻標識碼〕A

〔文章編號〕1008-0821(2015)06-0038-05

DOI：10．3969/j．issn．1008-0821．2015．06．008

作者簡介：張寧熙(1981-)，男，碩士，研究方向：電子政務、安全保密管理。

收稿日期：2014-12-02