基于主動監(jiān)測引擎和大數(shù)據(jù)的網(wǎng)絡(luò)輿情烈度演化分析系統(tǒng)

楊森 王黎 李超

摘要：隨著互聯(lián)網(wǎng)技術(shù)和應(yīng)用的發(fā)展，網(wǎng)絡(luò)輿情在數(shù)據(jù)體量、復(fù)雜性和產(chǎn)生速度等方面發(fā)生巨大變化。因此本文提出網(wǎng)絡(luò)輿情烈度演化分析必須在大數(shù)據(jù)分析的思維下應(yīng)用主動監(jiān)測引擎這一創(chuàng)新方式進(jìn)行。

Abstract： With the development of Internet technology and applications， network public opinion has undergone tremendous changes in terms of data volume， complexity， and speed of production. Therefore， this paper proposes that the evolutionary analysis of network public opinion intensity must use the innovative method of active monitoring engine under the thinking of big data analysis.

關(guān)鍵詞：主動監(jiān)測引擎;大數(shù)據(jù);網(wǎng)絡(luò)輿情

Key words： active monitoring engine;big data;online public opinion

中圖分類號：G206 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識碼：A ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文章編號：1006-4311（2020）17-0201-03

1 ?目的和意義

1.1 與項目研究內(nèi)容緊密相關(guān)的公司實際生產(chǎn)力水平和今后的發(fā)展方向

目前公司輿情管理工作已經(jīng)實現(xiàn)了對網(wǎng)絡(luò)輿論信息的主動監(jiān)測和輿情信息的流程化處置，工作質(zhì)量和效率已經(jīng)大幅度提高。通過主動監(jiān)測引擎按照關(guān)鍵詞在網(wǎng)絡(luò)上進(jìn)行定向元監(jiān)測和全網(wǎng)監(jiān)測，將公司關(guān)心的社會熱點、行業(yè)熱點、行業(yè)資訊和輿情等信息在不同的模塊中進(jìn)行展示。

總體上來說，輿情的全過程閉環(huán)管理分為五個階段，分別為輿情監(jiān)測、輿情研判、調(diào)查落實、處置引導(dǎo)、輿情歸檔。現(xiàn)階段已經(jīng)基本上可以全面、準(zhǔn)確的監(jiān)測網(wǎng)上出現(xiàn)的輿論信息，然而，輿論信息在網(wǎng)上出現(xiàn)后不是一成不變的。

一是作為監(jiān)測手段，及時了解和掌握網(wǎng)絡(luò)輿情信息的發(fā)展?fàn)顩r以及是否有擴大蔓延的苗頭性的隱患。運用網(wǎng)絡(luò)爬蟲、大數(shù)據(jù)、人工智能等技術(shù)手段。

二是提高工作效率。人工手段對輿情信息烈度演化的分析方法，需要手動對輿情信息進(jìn)行檢索、統(tǒng)計與分析等各項操作，效率低下，難以適應(yīng)新時代網(wǎng)絡(luò)輿情工作。

三是受關(guān)注程度高。近年來互聯(lián)網(wǎng)飛速發(fā)展，民眾尤其關(guān)注政府及關(guān)系國計民生的重點企業(yè)的舉動，因此有效的輿情監(jiān)測和處置應(yīng)對策略具有非常重要的意義。

1.2 項目成果對該現(xiàn)狀和技術(shù)發(fā)展的作用

輿情信息烈度演化的過程，與源發(fā)媒體、話題類型、首發(fā)時間、跟帖量、轉(zhuǎn)帖量、是否被大V關(guān)注、是否被主流媒體轉(zhuǎn)載、是否和當(dāng)前社會熱點關(guān)聯(lián)等因素有著極大的關(guān)系，需要通過監(jiān)測分析手段的不斷完善和預(yù)警能力的不斷提高。

1.3 成果應(yīng)用和推廣的途徑

基于主動監(jiān)測引擎，實時監(jiān)測網(wǎng)絡(luò)輿論發(fā)展態(tài)勢，建立輿情烈度演化大數(shù)據(jù)分析模型和預(yù)警機制，規(guī)范接入分析模型的各項因素，包括源發(fā)媒體、話題類型、首發(fā)時間、跟帖量、轉(zhuǎn)帖量等信息。

①大數(shù)據(jù)應(yīng)用：社會綜治作為政府社會綜合治理服務(wù)平臺的一部分，應(yīng)用主動監(jiān)測和大數(shù)據(jù)分析，及時全面掌握互聯(lián)網(wǎng)上出現(xiàn)的與本地區(qū)相關(guān)的輿情信息，形成“一口采集、多口使用”、“一方采集、多方使用”的信息采集與資源共享機制。

②信用建設(shè)：建設(shè)以大數(shù)據(jù)為支撐的信用分析技術(shù)平臺，覆蓋數(shù)據(jù)采集、整理、存儲、數(shù)據(jù)挖掘和征信應(yīng)用全生態(tài)，通過企業(yè)口碑監(jiān)測實現(xiàn)企業(yè)信用評估。

③智慧政務(wù)：智慧政務(wù)管理平臺對與各級政府轄區(qū)、各部門職責(zé)范圍相關(guān)的各類互聯(lián)網(wǎng)信息進(jìn)行全面采集，一方面對敏感的、有害的輿情進(jìn)行定性分析，做到“重要信息早發(fā)現(xiàn)”;另一方面對輿情事件進(jìn)行定量分析，刻畫發(fā)展態(tài)勢、傳播特點、核心節(jié)點、網(wǎng)民觀點等。

1.4 成果推廣后的直接和間接效益

①可以實現(xiàn)對與輿情信息發(fā)展態(tài)勢有關(guān)的關(guān)鍵因素的實時監(jiān)控，結(jié)合烈度演化大數(shù)據(jù)分析模型，按照數(shù)據(jù)接入規(guī)范，將各項關(guān)鍵因素數(shù)據(jù)接入分析模型，提前預(yù)判可能會出現(xiàn)的異常情況，指導(dǎo)工作人員有效的防止輿情擴大化。

②可以實現(xiàn)為公司各部門提供精準(zhǔn)的網(wǎng)絡(luò)輿論信息、情報信息和政策導(dǎo)向信息，比如為發(fā)展部提供新能源類的社會資訊信息和政策信息，為經(jīng)法部提供電力體制改革的政策信息，以及重大決策發(fā)布后，民眾對決策的評價。

③可以大幅度提高工作人員的生產(chǎn)效率，人工分析輿情信息的烈度演化，受搜索引擎、計算機水平和工作時間等因素影響較大，難以對輿情信息的烈度演化開展7*24小時的實時監(jiān)測，工作效率相對較低。

2 ?國內(nèi)外研究水平綜述

2.1 與項目研究內(nèi)容緊密相關(guān)的技術(shù)發(fā)展歷史的簡要回顧

隨著互聯(lián)網(wǎng)的發(fā)展壯大，人們獲取信息的途徑逐漸被網(wǎng)絡(luò)所替代。互聯(lián)網(wǎng)發(fā)展初期，人們主要通過瀏覽門戶網(wǎng)站的方式獲取所需信息，但是隨著Web的急劇發(fā)展，用這種方式尋找自己所需信息變得越來越困難。

2.2 國內(nèi)外研究水平的現(xiàn)狀和發(fā)展趨勢

中國互聯(lián)網(wǎng)絡(luò)信息中心（CNNIC）發(fā)布第45次《中國互聯(lián)網(wǎng)絡(luò)發(fā)展?fàn)顩r統(tǒng)計報告》，報告顯示，截至2020年3月，我國網(wǎng)民規(guī)模為9.04億，互聯(lián)網(wǎng)普及率達(dá)64.5%，超全球平均水平。微信月活用戶突破10億，微博月活躍用戶達(dá)5.16億，龐大的網(wǎng)民構(gòu)成了最重要的網(wǎng)絡(luò)輿論場。

2.3 介紹國外研究機構(gòu)或者公司對本項目的研究情況

輿情是中國獨特政治社會背景和輿論生態(tài)環(huán)境的產(chǎn)物。網(wǎng)絡(luò)輿情是極具現(xiàn)階段中國政治與社會特色研究領(lǐng)域。國外網(wǎng)絡(luò)媒體在反映社情民意方面的作用不及我國，研究相對較少，國外較多的關(guān)注網(wǎng)民進(jìn)行網(wǎng)絡(luò)內(nèi)容創(chuàng)作、編輯與篩選。

2.4 介紹國內(nèi)其他研究單位對本項目的研究情況

校企合作是網(wǎng)絡(luò)輿情研究的特點，典型的如“中國人民大學(xué)-百度”中國社會輿情研究中心、“南京大學(xué)-谷尼”網(wǎng)絡(luò)輿情監(jiān)測與分析實驗室、“清華大學(xué)-優(yōu)訊”輿情實驗室，促進(jìn)了研究成果實踐價值的展現(xiàn)。二是網(wǎng)絡(luò)媒體，如人民網(wǎng)、新華網(wǎng)、中青網(wǎng)、天涯社區(qū)等知名網(wǎng)絡(luò)媒體，紛紛建立輿情研究團隊。三是商業(yè)部門，主要為政府和企業(yè)提供網(wǎng)絡(luò)輿情監(jiān)測服務(wù)的軟件公司，從事工作包括網(wǎng)絡(luò)輿情監(jiān)測預(yù)警和輿情管理研究。

3 ?項目的理論和實踐依據(jù)

3.1 項目的理論

在公司現(xiàn)有的主動監(jiān)測引擎基礎(chǔ)上，運用網(wǎng)絡(luò)爬蟲、文本聚類、NLP等技術(shù)。對出現(xiàn)的負(fù)面輿情信息的源發(fā)媒體、首發(fā)時間、話題類別、跟帖量、轉(zhuǎn)帖量、是否被大V關(guān)注、是否被主流媒體轉(zhuǎn)載、是否和當(dāng)前社會熱點關(guān)聯(lián)、原有相似輿情是否引起輿情事件等影響輿情烈度演化的因素進(jìn)行深度監(jiān)測分析。

3.2 實踐依據(jù)

①主動監(jiān)測引擎現(xiàn)狀：公司主動監(jiān)測引擎是以網(wǎng)絡(luò)爬蟲為核心的輿論大數(shù)據(jù)監(jiān)測系統(tǒng)，部署在特定機房中，通過9臺高性能服務(wù)器支撐運行，每天對外監(jiān)測并采集的數(shù)據(jù)超過60條萬。（圖1）

②技術(shù)實現(xiàn)路線：實現(xiàn)研究內(nèi)容的技術(shù)有多種多樣，例如JavaEE、.NET、PHP等，由于主動監(jiān)測引擎和外聯(lián)品牌業(yè)務(wù)系統(tǒng)都是基于JavaEE技術(shù)建設(shè)的，為了保持和原有項目同樣的技術(shù)架構(gòu)，提高研究的成功性，因此技術(shù)實現(xiàn)路線采取JavaEE技術(shù)。

③與公司外聯(lián)品牌業(yè)務(wù)信息系統(tǒng)的集成：遵循模塊化、可復(fù)用和面向?qū)ο蟮脑O(shè)計原則，借助可視化呈現(xiàn)和Echarts、HTML5等圖形庫技術(shù)，以時間軸圖的方式展示輿情信息烈度在網(wǎng)絡(luò)上演化傳播的路徑。

3.3 關(guān)鍵點和難點

文本語義分析和傳播路徑的追蹤是本項目研究的關(guān)鍵點，單條輿情的轉(zhuǎn)發(fā)關(guān)系會構(gòu)成一棵樹形結(jié)構(gòu)，同一話題輿情的轉(zhuǎn)發(fā)關(guān)系則會構(gòu)成森林結(jié)構(gòu)。利用網(wǎng)絡(luò)爬蟲、語義分析和文本聚類等技術(shù)，在網(wǎng)絡(luò)中監(jiān)測并采集與某一話題相關(guān)的所有信息，包括直接轉(zhuǎn)發(fā)的、同義不同語法和不同詞匯組成的。

4 ?項目研究內(nèi)容和實施方案

輿情信息的研判和處置，與源發(fā)媒體、話題類型、首發(fā)時間、跟帖量、轉(zhuǎn)帖量、是否被大V關(guān)注、是否被主流媒體轉(zhuǎn)載、是否和當(dāng)前社會熱點關(guān)聯(lián)等因素有著極大的關(guān)系。

4.1 主動監(jiān)測引擎技術(shù)研究

精確、有效的關(guān)鍵因素數(shù)據(jù)是關(guān)鍵：

①依據(jù)輿情信息烈度演化分析模型需要的關(guān)鍵因素數(shù)據(jù)，需要對源發(fā)媒體、話題類型、首發(fā)時間、跟帖量、轉(zhuǎn)帖量、是否被大V關(guān)注、是否被主流媒體轉(zhuǎn)載、是否和當(dāng)前社會熱點關(guān)聯(lián)進(jìn)行監(jiān)測和采集。

②能夠?qū)ΡO(jiān)測到的網(wǎng)絡(luò)輿論數(shù)據(jù)進(jìn)行相似度分析，保證文義相同的數(shù)據(jù)（同一個事情），但是詞匯、語法不同的輿情信息可以有效的歸集在一起，精確度必須大約95%。

③具有地域識別和分析功能，精準(zhǔn)度必須大約80%。

4.2 外聯(lián)品牌業(yè)務(wù)系統(tǒng)研究

①運用josn和restAPI技術(shù)實現(xiàn)主動監(jiān)測引擎的數(shù)據(jù)接口，需達(dá)到7*24小時不間斷運行的狀態(tài)。②通過軟件算法、接口業(yè)務(wù)數(shù)據(jù)和Echarts、HTML5等圖形庫技術(shù)，實現(xiàn)輿情信息烈度在網(wǎng)絡(luò)上演化傳播的路徑以及標(biāo)準(zhǔn)范圍對比雷達(dá)分析圖的可視化呈現(xiàn)。③通過java技術(shù)將網(wǎng)絡(luò)上演化傳播的路徑以及標(biāo)準(zhǔn)范圍對比雷達(dá)分析圖內(nèi)置在輿情研判和輿情處置環(huán)節(jié)的各個關(guān)鍵流程點。

4.3 負(fù)面輿情信息時間-烈度演化可控范圍標(biāo)準(zhǔn)及分析模型

可控范圍標(biāo)準(zhǔn)是指導(dǎo)輿情研判和屬地單位調(diào)查處置輿情依據(jù)。①過對近幾年積累的海量輿論信息數(shù)據(jù)的結(jié)構(gòu)化分析，結(jié)合ETL和大數(shù)據(jù)技術(shù)，研究源發(fā)媒體、話題類型、首發(fā)時間、跟帖量、轉(zhuǎn)帖量、是否被大V關(guān)注。②運用軟件算法，實現(xiàn)輿情信息時間-烈度演化分析模型，準(zhǔn)確率需達(dá)到75%以上。③借助山東電力品牌短信通知，實現(xiàn)信息的預(yù)警提醒。

參考文獻(xiàn)：

[1]董悅，王夢.基于情感分析與LDA模型的網(wǎng)絡(luò)輿情案例研究[J].價值工程，2019，38（34）：169-172.

[2]孫靖超.基于優(yōu)化深度雙向自編碼網(wǎng)絡(luò)的輿情情感識別研究[J/OL].情報雜志：1-6[2020-03-26].

[3]李傳兵，馬海瑞.貴州省中國特色社會主義理論體系研究中心省社科聯(lián)基地.疫情防控中的網(wǎng)絡(luò)輿情治理[N].貴州日報，2020-03-25（007）.