一種基于地理空間大數據的網絡輿情監測軟件架構

楊宗亮，張玉茜，李建飛

(1. 武漢大學國際軟件學院，湖北 武漢 430079； 2. 深圳市數字城市工程研究中心，廣東 深圳 518034；3. 西安交通大學新聞與新媒體學院，陜西 西安 710049)

一種基于地理空間大數據的網絡輿情監測軟件架構

楊宗亮1，張玉茜2，李建飛3

(1. 武漢大學國際軟件學院，湖北 武漢 430079； 2. 深圳市數字城市工程研究中心，廣東 深圳 518034；3. 西安交通大學新聞與新媒體學院，陜西 西安 710049)

在梳理網絡輿情大數據相關理論的基礎上，對網絡輿情監測軟件的發展現狀作了全面分析，結合輿情監測系統對地理空間信息的需求和現有的不足，提出了一種基于地理空間大數據環境的網絡輿情監測系統的軟件架構，實現地理空間數據環境下網絡輿情的數據采集及處理、地理空間專題網絡輿情的可視化、地理空間深層次的數據挖掘、網絡輿情的時空關聯性分析等功能。研究已得到一定的實踐檢驗，結合地理空間數據可提高網絡輿情監測和管理的高效性，能有效監測網絡熱點事件，做到科學輔助決策。

網絡輿情監測；體系結構；地理空間大數據

網絡輿情[1- 3]是社會輿情在互聯網空間的映射，成為社會輿情動態的實時晴雨表，其產生、形成、傳播和影響一般經過多步驟的變化，持續發酵，最終產生強大的網絡輿論壓力，進而影響政府決策[4- 5]。

網絡輿情傳播速度快，影響范圍廣，既能產生正面作用，也能產生負面作用。網絡輿情在虛擬的網絡中產生并迅速傳播，影響著在地理空間位置分布各異的社會個體。社會個體(包括網民、社會團體等)可能來自不同的地域，網絡輿情事件也由地理空間信息中的點狀信息，迅速通過網絡傳播，變成線狀信息或面狀信息，甚至多點、多線、多面信息的集合。網絡輿情的產生與發展中也有與之相伴的區域環境、社會人文等密切相關信息。結合地理空間信息對網絡輿情的空間分布特征進行描述，有利于相關部門對網絡輿情的產生、傳播等動態發展進行監控與分析，并提出有效的決策及處理措施。

各級行政機關、企事業單位和教育科研機構都越來越重視互聯網輿情的收集、分析、研究和引導工作。如何獲取、分析網絡輿情數據，挖掘潛在信息才能更好地服務科學決策，已引起越來越多的重視。

1 網絡輿情監測軟件的比較分析

網絡輿情監測，是指通過對網絡各類信息匯集、分類、整合、篩選等技術處理，研判網絡熱點、動態、網民意見等，簡言之，即對網絡輿論情況的收集、分析。隨著網絡輿情重要性的凸顯，政府和企事業對網絡輿情監測的需求不斷上升，這推動了輿情監測軟件的發展。目前輿情監測市場存在著多個輿情監測系統軟件產品，但由于軟件開發者的關注角度不同，處理的業務和關注點也存在差異，因此網絡輿情監測系統軟件評價的指標和側重點也不盡相同。

國內主要的網絡輿情監測軟件[6]各具特色，所實現的功能有較大差異，表現形式各有不同。大部分軟件能夠完成對網絡輿情數據的采集，并對采集的網絡輿情數據進行內容分析、信息提取、分類，實現對各大搜索引擎、門戶網站、博客、貼吧、論壇等多種網絡載體的監控，監測重大事件(如重大災害、重大事故)、突發事件、危機事件(如敏感性話題)、民眾訴求(如網民政治意見)、正面報道等，分析輿情主題和輿情趨勢，提供輿情預警、輿情分析報告。

大多數軟件利用搜索引擎、文本數據挖掘、自然語言處理等技術可實現對網絡輿情數據的獲取、分析，但在對網絡輿情事件的地理空間位置、影響區域范圍、同類事件的多地域關聯性等的分析方面表現較弱。因此，結合地理空間大數據分析網絡輿情、地理空間專題網絡輿情的可視化、網絡輿情的地理空間深層次的數據挖掘、網絡輿情與地理空間信息的關聯性分析等有待加強。

2 網絡輿情監測對地理空間數據的需求

通過網民的日常網絡訪問產生的海量數據[7]，獲取到網民的日常行為、關注點和興趣點等一系列有價值的網絡輿情信息。把網絡輿情IP等數據映射到地理空間中，從地理學角度分析網絡輿情，借助GIS可視化及空間分析技術來分析和挖掘網絡輿情的時空特性。利用地理空間大數據可以真實反映地理空間特征下的網絡輿情，分析輿情起源的地理位置、輿情的集散地、傳播區域，或對同一地區的不同輿情進行比較，對不同地區的輿情進行對比，對不同時期的同一區域同類事件進行研究，深層次挖掘在統計時段內所研究輿情在地理特征下有價值的信息。

大數據時代為網絡輿情監測提供了更好的數據源[8- 9]，但同時也為網絡輿情數據的處理、分析和應用帶來了挑戰。①海量非結構化數據，分析難度大。大數據時代數據的結構正在發生變化，包括網頁數據、文檔數據、圖片數據、音頻數據和視頻數據在內的非結構化數據的增長遠遠超過結構化數據。傳統的數據挖掘算法多是基于封閉的結構化數據進行挖掘，對于半結構化或非結構化數據無能為力，難以在宏觀和微觀上把控輿情整體規律、變化趨勢。②數據中心是大數據采集、處理、分析的核心部位，輿情管理離不開數據中心的支撐，但建設大數據中心的成本高昂。③隨著微博、微信、新聞客戶端等基于移動互聯網技術開發的應用的普及，輿情傳播速度更快，已經進入秒傳播時代。這就對及時捕捉和發現輿情提出了更高的要求。④利用大數據進行輿情分析、研判、預警需要專家知識支持，對人們解讀和運用數據的能力要求更高。

利用地理空間大數據[10]可以全面觀察輿情的整體態勢；可以對網絡輿情個案進行數據采集、數據分析；還可以通過大數據不斷增強關聯輿情信息的分析和預測，并對輿情進行深入研判拓展，通過對同類型輿情事件歷史數據及影響輿情演進變化的其他因素進行大數據分析，提煉出相關輿情的規律和特點，分析出危機可能產生的各種條件和因素，增強對同類型輿情事件的認知和理解，幫助我們更加精準地預測未來。通過網絡數據采集、大數據挖掘和分析技術，整合外部互聯網數據，通過數據的融合，進行多維數據的關聯分析，進行多角度、多維度數據的深度分析和挖掘，迅速發現網絡輿情關鍵要素，實現專業的數據應用，達到基于數據驅動的科學決策與科學治理，正確引導和把握輿情發展方向，有針對性地解決社會治理難題。

3 基于地理空間大數據的軟件架構

通過分析國內主要的網絡輿情監測軟件的優缺點，為了更好地發揮基于地理空間特征大數據的優勢，筆者結合實際工作，完善地理空間大數據的分析、地理空間專題網絡輿情的可視化、地理空間深層次的數據挖掘、網絡輿情的時空關聯性分析等功能，構建了一種基于地理空間大數據的網絡輿情監測軟件體系結構，如圖1所示，該架構可分為5層：數據采集及處理、計算存儲、數據挖掘分析、應用支撐和決策服務[11]。

數據采集及處理是網絡輿情監測的基礎，主要對網絡上的輿情信息進行采集，通過搜索引擎、網絡爬蟲等對網絡熱點、輿情相關信息進行抓取，并對獲取的網絡輿情數據進行處理，如預處理、數據清洗、數據校核、數據治理、數據匹配，甚至需要語義分析，在完成關鍵詞提取、全文索引建立、重復信息去除、結構化轉換、分區存儲等工作之后，存入數據庫。網絡輿情數據采集的深度、廣度、范圍視不同的輿情關注點可設置搜索范圍及信息訪問深度。根據各項指標綜合計算輿情熱點、負面信息、專題分析等，實現自動文本分類、內容聚類分析、觀點傾向性識別、主題檢測與跟蹤、自動摘要等，并在大數據分析基礎上實現海量數據中自動推送用戶真正關心的輿情線索。在實施過程中可通過對訓練集進行特征提取及向量表示，生成向量空間模型，然后與預處理文本進行比對，從而得出預處理文本的關鍵信息。

圖1 基于地理空間大數據的網絡輿情監測的技術架構

計算存儲主要為了提高大數據分析處理響應速度，可采用分布式存儲，并利用并行計算、集群等高性能計算模式為網絡輿情監測提供性能支持。

數據挖掘分析[12- 13]主要側重建立網絡輿情分析所用的模型庫、方法庫，并利用常用的數據挖掘分析工具對網絡輿情數據進行深度分析，結合應用統計學理論、空間分析和統計方法，對網絡輿情進行地理空間大數據分析、地理空間專題網絡輿情分析、探究網絡輿情的地理空間特征、網絡輿情地理空間關聯性分析[14]。

應用支撐主要提供平臺通用組件，如可視化、用戶管理、權限管理、OLAP、報表管理、日志管理[15]、地理空間信息支持的GIS組件等，為系統功能的運行提供支持。

決策服務為用戶提供輿情監測、輿情分析報告、專題輿情報告、輿情地理空間分析、輿情時空關聯性分析，包括熱點搜索、關鍵詞搜索、匯總統計、自動推薦關鍵詞及生成各類用戶需要的統計報表等。

在架構的各層次中，各層的側重點不同。其中，對于數據挖掘分析層，為了提高用戶使用的方便性、輿情監測的智能化，可根據用戶需要完善模型庫、方法庫，并利用數據挖掘技術提高輿情監測的準確性和高效性。在實施過程中，需要建立專業的方法庫、模型庫。其中方法庫利用系統動力學、數理統計學、數據挖掘技術等；模型庫利用網絡輿情主題詞識別、研判、評價等技術進行實現，涉及的關鍵技術主要有敏感詞識別技術、輿情熱點分析技術、輿情主題深度分析技術。

敏感詞識別技術針對為逃避計算機的自動識別，經常通過變化形式出現的敏感詞匯，進行多模式模糊匹配的敏感規則過濾算法可將字型拆分和拼音轉換分成兩步處理，并加上了屏蔽字串集以應對無效字符的干擾，以達到模糊匹配的效果。

輿情熱點分析技術針對互聯網中每天出現的網絡輿情，基于時間和網頁重要性等綜合因素的輿情主題的評價策略，通過該評價策略對輿情主題進行排序、合并、調整和淘汰，實現針對持續互聯網輿情信息流中熱點輿情主題的有效檢測。衡量網絡輿情主題的重要性，應考慮多種因素：①輿情主題相關的新聞報道的篇數；②輿情主題新聞網頁發布位置的權威性；③輿情主題新聞網頁被點擊和跟帖情況；④隨著時間的推移，新聞重要性應慢慢減弱。因此，可結合時間衰減和網頁原始權重相結合的方法來計算輿情主題的權重。

輿情主題深度分析技術包括輿情主題傳播分析技術、輿情主題演化分析技術、輿情主題關聯性分析技術。傳播分析需要對同一輿情主題的輿情信息進行時間識別并按時間排序，形成一個由老到新的序列；然后依次檢查該序列中的每條輿情信息，判斷其是否與其前面的各輿情信息構成傳播關系，并以拓撲圖的方式來描述這種傳播關系。輿情主題隨著時間不斷發展變化且通常是有一定規律的。分析輿情主題的發展演化規律有利于動態掌握輿情狀況和發展趨勢，以便在必要的時候進行輿情預警和引導應對。對多個網絡輿情主題進行關聯性分析，可更好地提供決策支持和數據服務。

4 應用驗證

在實際應用中，系統可進行網絡輿情監測，統計分析形成輿情分析報表，包括常規的輿情分析報表、專題輿情報表等。報表格式有多種，如某時間段內的熱點輿情事件排名表，其格式見表1，其中地理位置和地理空間大數據結合，可以更好地分析網絡輿情熱點事件的發生地和輻射區域；某年不同輿情領域壓力指數，其格式見表2，該表可對網絡輿情進行分類統計，如社會矛盾、公共安全、吏治反腐等各類事件的相關參數，其中輻射區域可更方便地看出輿情事件的受關注或受影響的區域，結合GIS可進行輿情事件影響的空間分析，即區域疊置分析并進行“并”操作，形成新的面狀地物，即輿情波及區域；也可進行時空關聯性分析，即對某個或某類網絡輿情多時間點、多地點多區域的數據進行時間序列上的空間關聯性分析，形成動態時序圖，更好地展示網絡輿情發展的時間、地點的變化情況。

表1 輿情事件熱度排名格式

表2 某年不同輿情領域壓力指數統計格式

在對網絡輿情進行地理空間分析時，可對特定的或同類的網絡輿情事件進行過濾，并對其在地圖上進行展示。對網絡輿情事件進行監測分析，可通過散點圖、熱力圖、柱狀圖、餅圖、時間序列圖等多種方式進行展示。

對于網絡輿情熱點事件多個分布點，可以將點狀地物和底圖(包括線狀、面狀地物)進行疊置分析，并形成輿情事件關注點分布圖(可用常規的空間分析工具完成)，反映出網絡輿情事件的分布情況及影響范圍。對網絡輿情數據關注熱度進行分析，可對點集采用K- Means、層次聚類的完全鏈接法等方法進行空間聚類分析[17](借助統計分析工具SPSS、R及相關軟件包)[18- 19]，將聚類分析結果疊加到地圖顯示，如圖2所示，反映出不同地理區域對網絡輿情事件的關注程度。

對多地點或多地域的網絡輿情事件進行時空關聯性分析[20- 21]時，根據位置相似性和屬性相似性的匹配情況進行測度，利用空間關聯指數，如Moran’s I[22]、Geary’s C、Getis- Ord G分析評價全局或局部事件之間的關聯性。對同一或同類網絡輿情事件的多時間點數據，結合事件的屬性信息，可進一步在地理空間數據的基礎上作時空關聯性分析。

圖2 特定區域網絡輿情事件關注熱力

5 結 語

本文通過分析現有國內主要網絡輿情監測軟件的優缺點，找出了現有軟件的不足，結合實際應用，利用大數據技術建立了大數據環境下的網絡輿情監測系統的軟件架構；在該架構下利用敏感詞識別技術、熱點分析技術、輿情主題深度分析技術，并建立了深層次數據挖掘所需的方法庫、模型庫，結合空間分析、空間統計、數據挖掘等專業分析工具，實現了網絡輿情的數據采集及處理、輿情地理空間大數據分析、地理空間專題網絡輿情的可視化、輿情時空關聯性分析等功能。該軟件架構在實際項目中得到了應用，得到了初步驗證，通過結合地理空間數據提高網絡輿情監測和管理的高效性，有效監測網絡熱點事件，做到科學輔助決策。

[1] 王青,成穎,巢乃鵬.網絡輿情監測及預警指標體系研究綜述[J].情報科學,2011(7)：1104- 1108.

[2] 陳新杰,呼雨,蘭月新.網絡輿情監測指標體系構建研究[J].現代情報,2012(5):4- 8.

[3] 白雅琴,張銀川.網絡輿情監測系統在社會輿情分析中的作用[J].網絡與信息工程，2014(S0)：73- 74.

[4] 朱恒民,蘇新寧,張相斌.互聯網輿情演化的動態網絡模型研究[J].情報理論與實踐,2010,33(10):75- 78.

[5] 談國新,方一.突發公共事件網絡輿情監測指標體系研究[J].華中師范大學學報(人文社會科學版),2010,49(3):66- 70.

[6] 國內輿情監測系統特點比較(2015年)[EB/OL].2015- 07- 25. http:∥www.doc88.com/p- 7157706904649.html.

[7] 孟小峰,慈祥.大數據管理:概念、技術與挑戰[J].計算機研究與發展,2013,50(1):146- 169.

[8] Big Processing of Geospatial Data[EB/OL].[2016- 03- 15]. http:∥www.opengeospatial.org/blog/1866.

[9] 唐濤.基于大數據的網絡輿情分析方法研究[J].現代情報,2014,24(3):3- 11.

[10] Geospatial Analysis- A Comprehensive Guide[EB/OL].[2016- 03- 15]. http:∥www.spatialanalysisonline.com/HTML/index.html.

[11] 李奕.大數據應用方式:從數據服務、信息服務到知識服務[N].中國計算機報,2012- 07- 09(24).

[12] The R Project for Statistical Computing[EB/OL].[2016- 03- 15].https:∥www.r- project.org/.

[13] OYANA T J,MARGAI F M. Spatial Analysis: Statistics, Visualization, and Computational Methods[M].[S.l.]：CRC Press,2015.

[14] HAN J. Data Mining: Concepts and Techniques[M].3rd ed.[S.l.]：Morgan Kaufmann,2011.

[15] 鄧雙祥.一種搜索引擎日志分析的網絡輿情監測探究[J].網絡安全，2014(7):178- 179.

[16] IBM SPSS Software[EB/OL].[2016- 03- 15]. http:∥www.ibm.com/analytics/us/en/technology/spss/.

[17] BRIAN S. Everitt, Cluster Analysis[M]. 5th ed.[S.l.]：WILEY Press，2011.

[18] KABACOFF R I. R in Action[M].2nd ed.[S.l.]：Manning Press，2015.

[19] ROBBINS N B. Creating More Effective Graphs[M].[S.l.]： Chart House，2013.

[20] Esri.Spatial Analyst 工具箱概述[EB/OL].[2016- 03- 15].http:∥pro.arcgis.com/zh- cn/pro- app/tool- reference/spatial- analyst/an- overview- of- the- spatial- analyst- toolbox.htm.

[21] Esri.空間統計工具箱概述[EB/OL].[2016- 03- 15].http:∥pro.arcgis.com/zh- cn/pro- app/tool- reference/spatial- statistics/an- overview- of- the- spatial- statistics- toolbox.htm.

[22] Moran’s Autocorrelation Coefficient in Comparative Methods[EB/OL].[2016- 03- 15]. https:∥cran.r- project.org/web/packages/ape/vignettes/MoranI.pdf.

An Architecture of Public Sentiment Monitoring Based on Geospatial Big Data

YANG Zongliang1,ZHANG Yuqian2,LI Jianfei3

(1. International School of Software, Wuhan University, Wuhan 430079, China; 2. Shenzhen Research Center of Digital City Engineering,Shenzhen 518034, China; 3. School of Journalism and New Media, Xi’an Jiaotong University, Xi’an 710049, China)

Several popular software of Internet public sentiment monitoring were compared and their advantages and shortcomings were comprehensively analyzed. A software architecture for Internet public sentiment monitoring based on geospatial big data was proposed. It has been tested with data acquisition, data processing, visualization of thematic networks with public sentiment, geospatial thematic map on public sentiment, geospatial spatio- temporal correlation analysis and other functions. The research has been applied to the actual project. The reslut improved the efficiency of the public sentiment monitoring system. It can be effectively used to monitor network hot events and to make a scientific decision.

Internet public sentiment monitoring；software architecture；geospatial big data

2016- 05- 11;

2016- 06- 07 作者簡介： 楊宗亮(1975—)，博士，主要從事空間分析與建模、空間統計、空間大數據分析、移動地理信息服務等方面的研究。E- mail：YangZL@whu.edu.cn

張玉茜

楊宗亮，張玉茜，李建飛.一種基于地理空間大數據的網絡輿情監測軟件架構[J].測繪通報，2017(3)：96- 100.

10.13474/j.cnki.11- 2246.2017.0093.

P208

A

0494- 0911(2017)03- 0096- 05