大數據環境下的突發事件網絡輿情動態監測與預警研究

于 茜

（大連科技學院 信息科學學院，遼寧 大連 116052）

突發事件網絡輿情是指以突發事件為核心內容的網絡輿情，包括已發生或未發生的自然災害、事故災難、公共衛生事件及社會安全事件等。經過不正當的過分渲染將變成有害輿論，并迅速傳播擴大，危及社會公共安全，突發事件網絡輿情已然成為影響社會持續、穩定、和諧發展的重要因素。近年來突發事件網絡輿情受到政府密切關注。

然而隨著大數據時代來臨，數據量巨大，數據形式不統一，結構化、半結構化和非結構化數據充斥網絡，給數據分析處理帶來困難，也給網絡輿情工作帶來了挑戰。以往的網絡輿情監測和預警方法、手段在大數據環境下難以發揮其應有的效用[1-6]。本文研究的大數據環境下突發事件網絡輿情動態監測與預警系統的體系架構能夠解決上述問題。

1 系統體系架構

大數據環境下的突發事件網絡輿情動態監控和預測系統架構分為4層，分別是數據采集層、數據處理層、網絡輿情動態監測層、自動預警層。

1.1 第一層數據采集層

數據采集層完成大數據環境下網絡輿情信息的收集。大數據環境下網絡輿情信息主要來源有新聞評論、社區論壇、社交網絡、博客、微博、微信、郵件、維基WIKI、聚合新聞（Really Simple Syndication，RSS）、聊天工具網站數據庫等，針對不同數據來源采用不同的數據采集方式。采用網頁爬蟲方法收集綜合性論壇信息，采用RSS摘要收集方式對新聞和博客類網站進行數據收集，應用社交網絡服務平臺SNS采集微博等社交網絡數據，應用全文檢索系統實現對網站數據庫的直接檢索[7]，Web挖掘方法適用于大數據環境下所有類型網絡數據采集，包括結構化數據、半結構化數據和非結構化數據。

1.2 第二層數據處理層

數據處理層完成大數據環境下數據的分類、轉換等處理工作。大數據環境下突發事件網絡輿情數據的特點是數據量巨大，結構差異大，數據常常包含結構化數據、半結構化數據和非結構化數據，為分析處理增加了難度。本層實現按照信息內容的數據分類、聚類；實現信息去重，降低數據處理量；實現數據轉換，將非結構化和半結構化數據轉換成結構化數據進行分析；最后為數據建立索引，加快訪問速度。

1.3 第三層網絡輿情動態監測層

網絡輿情動態監測層通過大數據分析、知識匹配實現自然災害、事故災難、公共衛生事件及社會安全事件四大類突發事件網絡輿情信息的動態監測。動態監測過程是通過大數據輿情分析子系統實現的，輿情分析子系統將信息量已達到標準的突發事件網絡輿情實時數據構建成知識模型與知識庫中的已發生突發事件模型進行動態匹配，成功則確認其已經達到發布預警程度，交由自動預警層處理；匹配不成功則繼續監控不斷匹配，直到信息量降到標準以下，認為其威脅已經消失。

1.4 第四層智能預警層

智能預警層評定預警級別，通過動態監測分析結果自動向有關部門發布預警，并產生報告供領導決策。確定預警的各項指標，建立科學合理的預警級別；接收監測層的監測結果與各級預警指標智能比對確定預警級別向相關政府部門、人員發布預警，并提供詳盡的級別評定報告和數據供管理者決策。

以上是大數據環境下的突發事件網絡輿情動態監控和預測系統4層架構，其中大數據輿情分析子系統和突發事件知識庫是本系統的核心，下面討論大數據分析子系統的核心實現過程及突發事件知識庫的構建過程。

2 基于MapReduce的大數據處理

MapReduce是面向大數據分析和處理的并行計算模型，是實現大數據背景下突發事件網絡輿情分析的工具。MapReduce把計算過程分解為兩個主要階段，即Map階段和Reduce階段。Map函數處理鍵值對，產生一系列的中間鍵值對，Reduce函數用來合并所有具有相同Key值的中間鍵值對，計算最終結果[8]。Map和Reduce是兩個可定義函數，定義了任務本身，在此基礎上MapReduce才能并行計算。通過Map和Reduce函數的定義使得網絡輿情中雜亂無章的數據得到有效整理，得到含有突發事件屬性及屬性值列表的有效數據，使之可以與突發事件知識庫中的知識進行匹配，匹配一旦成功則向有關部門發布預警，等待處理。

3 突發事件知識庫構建

基于大數據的知識計算是大數據分析的基礎。要對數據進行高端分析，就需要從大數據中先抽取出有價值的知識，并把它構建成可支持查詢、分析和計算知識庫。當前各領域成型知識庫已有50多種，但在突發事件領域還未構建出知識庫，由于突發事件具有其獨特的特性，與其他領域知識概念完全不同，所以該領域的知識庫需要單獨構建。

采用手工構建和半監督自動構建相結合的方法構建突發事件知識庫。首先依據突發事件實際情況，賦予概念模型中屬性的具體涵義；其次依據部分真實發生的突發事件手工構建基礎概念模型，即種子；然后依據種子，進行半監督自動構建，逐步形成知識庫。

4 基于Web服務的大數據分析

基于Web服務的大數據分析過程，是采用Web服務中的請求和響應來描述大數據分析過程。即從整理后的網絡輿情大數據中得到一個突發事件高頻熱詞，將其和屬性封裝為一個Web服務請求發送到服務器，服務器將其與知識庫中的知識進行匹配，并給出響應，從而分析出該高頻熱詞是否屬突發公共安全事件，是否需要關注或預警。（1）Web服務定義，將網絡輿情大數據封裝成Web服務。服務由若干輸入構成，輸入是大數據屬性和類型的序對。（2）Web服務約減,由于網絡輿情中數據量過大，產生的服務過多，影響計算速度，所以在正是計算之前先進行服務約減從而得到最簡化的服務隊列。（3）Web服務匹配，是將服務參數值和知識庫中的知識屬性值進行匹配，初步匹配基于可變精度的分級偏序粗糙集進行分類劃分，得到局部分類，然后再按照等價劃分進行精確匹配（允許空值出現）。通過以上方法網絡輿情中的大數據實現了與知識庫中突發事件知識的匹配，從而得知哪些大數據是需要關注和預警的。

5 結語

大數據環境下網絡輿情信息形式發生了巨大變化，半結構化和非結構化數據為網絡輿情信息監控、分析帶來了困難，本文提出的大數據環境下突發事件網絡輿情動態監測和預警系統體系架構，能對突發事件網絡輿情數據進行采集和預處理；能實現大數據處理；構建了突發事件知識庫；建立了突發事件網絡輿情知識模型；并實現了知識模型和知識庫的匹配和智能預警，實現了大數據環境下突發事件網絡輿情分析。