網絡輿情監測系統關鍵技術進展

王輝，劉蕾，沈黃金，田鑫宇，朱大洲

摘? 要： 在網絡輿情監測中，面對大量的網絡信息，須借助先進的信息技術來實現網絡輿情監測的自動化和智能化。對輿情監測系統中的主題爬蟲技術、話題跟蹤與檢測技術、情感分類技術等關鍵技術的應用現狀進行了梳理，可為輿情監測系統開發應用提供參考。

關鍵詞： 輿情監測; 主題爬蟲; 話題跟蹤與檢測; 情感分類

中圖分類號：TP181? ? ? ? ? 文獻標識碼：A? ? ?文章編號：1006-8228（2022）06-49-05

Progress in key technologies of network public opinion monitoring system

Wang Hui1， Liu Lei1， Shen Huangjin1， Tian Xinyu1， Zhu Dazhou1，2

（1. Heilongjiang Bayi Agricultural University， Daqing， Heilongjiang 163316， China;

2. Institute of Food and Nutrition Development， Ministry of Agriculture and Rural Affairs）

Abstract： In the monitoring of network public opinion， facing a large amount of network information， it is necessary to use advanced information technology to realize the automation and intelligence of network public opinion monitoring. The application status of key technologies such as topic crawler technology， topic tracking and detection technology， and sentiment classification technology in the public opinion monitoring system is sorted out， which can provide a reference for the development and application of the public opinion monitoring system.

Key words： public opinion monitoring; topic crawler; topic tracking and detection; sentiment classification

0 引言

隨著互聯網技術高速發展和廣泛應用，網絡媒體成為重要的信息傳播、交流平臺，網絡媒體逐漸成為反映民意、民情和情感交流的主要窗口，同時也是現代網絡輿情傳播的重要載體。網絡輿情通常由突發的社會公共事件所觸發，反映人們對公共事件的認知、態度、情感和傾向性，其主要通過網絡新聞、微博、論壇、貼吧和博客博文等網絡媒體傳播。

對于這種網絡輿情，需要使用專業先進輿情信息收集方法，采用目前先進的互聯網搜索技術，對新聞媒體、網站、博客、微博、微信公眾號和論壇等平臺持續監測，第一時間發現并抓取輿情信息，并對其進行數據分析、判斷趨勢，發出預警，撰寫輿情分析報告，配合有關單位及時做出反應，實現對大眾的正確引導和科學處置[1]。

網絡輿情監測系統早期為輿情分析軟件，其功能十分有限，如今各種智能識別技術以及數據分析挖掘技術迅速發展，輿情監測系統也早已告別了人工檢測，篩選，分析與預測的階段，已經發展成了具備完整功能以及先進算法的網絡輿情監測系統，其主要涉及網絡信息采集技術、話題檢測與跟蹤技術、文本情感分析技術等技術[2]。而網絡輿情監測系統監測分析效果的好壞，與上述關鍵技術的研究與應用有著很大的關系，這些技術種類繁多，本文重點介紹網絡信息采集技術中的主題爬蟲、話題檢測，以及跟蹤技術中的文本聚類和文本分類算法、情感分析技術中的情感分類。希望本文的綜述此舉對于網絡輿情監測系統的研究與實現有著參考意義。

1 主題爬蟲

主題爬蟲主要由三個關鍵模塊組成：網頁分析模塊、鏈接分析模塊、爬行模塊。與通用爬蟲不同的是，主題爬蟲在爬行開始前需要就某個主題對樣本網頁信息進行學習和訓練，建立相應主題相似度模型。在啟動爬行后，首先從起始URL開始爬行，按照設定的搜索策略來搜索網頁，對于所獲取的網頁，首先進行網頁相關性分析，去除與主題不相關的網頁;然后對所提取的 URL進行鏈接相關性分析，設置該URL的優先級并存入URL隊列。當滿足停止條件時，爬行過程結束。可見，存入網頁文本庫中的網頁都是與主題相關的網頁[3]。

在輿情監測系統中，使用主題爬蟲可以爬取某一專業領域的輿情信息，此方面的研究與應用較為廣泛。楊國俊[4]（2009）提出了一種改進的、用于BBS的精確主題爬蟲設計方法，該方法是針對BBS的主題特性，而且不需要對連接內容進行分析評估;陳旭[5]（2010）在研究基于社會網絡的Web輿情系統的過程中，引入基于多網關出口的分布式主題輿情爬蟲，此舉能有效解決數據的來源問題;張長利[6]（2011）提出基于綜合價值具有增量特性的主題爬蟲，提高了爬全率、爬準率及爬行效率;黃煒[7]等（2012）通過研究網絡輿情的特征和演化機制，在主題選擇時引入了時間維和空間維，成功實現了獲取網絡輿情信息的主題爬蟲;任海果[8]（2012）在設計基于主題事件的輿情分析系統時，提出基于站內搜索的分布式主題爬蟲設計方案，并設計了高效、簡易的主題爬蟲系統;朱丹[9]（2015）提出自適應更改抓取時間的抓取控制方法，定制和優化爬蟲URL處理鏈，并且提出了按照新聞標題計算主題相關度的方法;吳強強[10]（2016）在進行基于主題爬蟲的食品安全網絡輿情分析方法研究與監測系統開發中，建立了一種基于HTML代碼解析和文字密度相結合的正文抽取方法和一種降維VSM的多參考因素的相似度計算方法;丁晟春[11]（2016）針對南海問題，構建了多語種有關于南海的輿情監測基本本體，并且在這些本體的基礎上實現了主題爬蟲對輿情信息的采集;王杰[12]（2017）針對含有對民航構成安全隱患的恐怖威脅信息，采用主題網絡爬蟲技術獲取相關信息，并應用到民航安保微博輿情監測系統的設計中;為了密切關注“三農”網絡輿情，郭志杰[13]（2018）等人采用主題爬蟲技術實現了輿情數據采集功能，在搜索中只對與三農相關的頁面進行選擇和訪問;翁俊河[14]等（2019）提出構建基于大數據挖掘的網絡輿情智能分析系統，系統通過使用主題爬蟲技術進行輿情數據采集，并采用文本過濾把相似的數據來進行合并;以建設一套廣電輿情監測系統，許揚[15]等（2019）利用主題爬蟲來獲取信息，從而強化網絡綠色生態環境治理;曾德偉[1]（2020）研發出基于主題爬蟲的網絡輿情系統，此系統能采集到有關政府關注的網絡輿情，降低了非輿情信息的干擾，從而讓政府更好的進行網絡輿情管理。

2 話題檢測與跟蹤技術

話題檢測與跟蹤（TDT）的研究最初由美國國防高級研究計劃署（DARPA）發起，TDT 技術的最初應用主要是新聞出版領域，用于新聞流的話題檢測和事件跟蹤[16]。后來被擴展到互聯網上，用于檢測和跟蹤把話題詞作為中心的互聯網新聞熱點話題以及流行詞，因此成為網絡輿情分析中的重要技術。對于話題檢測與話題跟蹤來說，涉及到的算法分別是文本聚類算法和文本分類算法。

2.1 文本聚類算法

文本聚類是將無類別標記的文本信息根據不同的特征，將有著各自特征的文本進行分類，使用相似度計算將具有相同屬性或者相似屬性的文本聚類在一起，而且文本聚類技術越來越多的應用于文本話題發現中，文本數據信息通過聚類分析，使得話題發現的精度和效率有了很大的提高。

近年來，文本聚類算法在輿情監測方面的應用頗為廣泛。李若鵬[17]等提出全新的 DK 聚類算法并且基于DK算法構建中文文本聚類模型，對互聯網媒體發布信息進行熱點發現研究;高洪杰[18]等改進了k-means聚類算法，對第n+1輪聚類中心的計算只考慮第n輪中與中心比較接近的若干點，提高了聚類結果的穩定性和準確性;黃美璇[19]提出了一種K-means改進算法，對K-means算法中聚類初始值的選擇和孤立點的剔除進行了改進，用于開發網絡輿情監控系統中主題發現子模塊;吳利華[20]提出了一種基于可信關聯規則的話題發現算法與跟蹤模型，并將其成功應用到實際的輿情項目中;張奇[21]介紹了粒子群算法及一些成熟的改進方法，并將其應用到了KHM聚類的前期優化上，并用此算法進行聚類，實現微博輿情預警系統中的熱點話題功能;張蕾[22]設計出一種基于雙閾值的Single-Pass算法，此算法是偏移建立中間狀態的規范簇類中心向量來減少對輸入順序的依賴性，并將此應用到基于機器學習的網絡輿情采集系統;王旭仁[23]等在基于改進聚類算法的網絡輿情分析系統研究中，提出了一種對向量空間模型VSM改進后的文本聚類算法STCC，此算法靈活性好，實用性高，適用于大規模文本聚類;趙陽陽[24]在深入研究聚類算法的基礎上，提出改進的Birch聚類算法，并將此算法與MapReduce結合，實現了對網絡輿情的并行化聚類;涂慧明[25]通過借用VSM向量空間模型和LDA文檔主題生成模型優化了K-means聚類的性能，優化了初始中心的確立方法和文本相似度的計算公式，由此提升了聚類的準確率;李保國[26]提出K-均值聚類改進算法，用隱藏長評論-最大距離法選初始點，解決了初始點多為離群點的問題，用方差拐點確定K值，解決了預先設定聚類個數的問題;戴龍龍[27]在研究基于Storm分布式食品安全網絡輿情監測方法中，基于自編碼神經網絡對Single-Pass進行改進，使得聚類精度得到提高;馮靖[28]在進行基于Hadoop的微博輿情分析時，提出LKC算法，填補了K-means算法相對于選取初始聚類中心點的敏感性;陳艷紅[29]等在進行網絡輿情相似度分析方法研究中，提出一種基于信息熵和密度改進的K-Means聚類算法，能夠進行網絡熱點和危機事件的聚類和識別;葉瑾玫[30]把密度峰值算法（CFSFDP）與K-means算法相融合，完成了微博文本聚類，應用此算法能更好地挖掘微博輿情熱點話題;李豐男[31]在進行基于Spark的網絡輿情分析方法研究與應用過程中，提出了Single-Pass-SOM組合聚類模型，結合了Single-Pass聚類算法和SOM神經網絡的優點，提高了話題聚類的準確率和召回率。

2.2 文本分類算法

文本分類技術是指在事先定義好的某些主題下，根據文本的屬性、含義或內容對其進行主題抽取，將大量的文本數據歸類到相應的主題中[32]。在機器學習這一領域，分類是在有標注的預定義類別體系下進行，屬于有監督的學習問題[33]。

文本分類在國際上的研究歷史由來已久，最早開始于20世紀中葉。進入到20世紀末，隨著互聯網的興起，文本分類的需求也隨之增加，尤其近年在輿情監測中的應用非常廣泛。侯松[34]在面向網絡輿情態勢分析的文本分類研究中，考慮非平衡數據集下類樣本分布情況，提出了特征詞自動抽樣算法AVGSampling;劉繼勇[35]在研究網絡輿情預警輔助決策支持系統模型中，有效地改進了KNN分類方法并將此用于話題追蹤過程中并加入了時間窗策略;吳娛[36]通過對基于樸素貝葉斯的網頁文本分類技術進行研究，提出了一種基于粗糙集改進的樸素貝葉斯分類方法，并將該方法運用到輿情分析系統的輿情分類中;張長利[6]在研究面向特定領域的互聯網輿情分析技術時，提出了基于無監督聚類的PU文本分類方法，并對已有的PU文本分類算法進行了改進，提高了PU文本分類的準確率;萬源[37]通過基于語義統計分析的網絡輿情挖掘技術研究，提出了基于類別相關度的局部潛在語義分析的算法LR-LSA并應用于文本分類;姜祖新[38]在研究應用于Web的糧食輿情分析關鍵技術時，深入研究支持向量機模型參數的選擇問題，把蟻群算法和支持向量機算法結合起來，得到了ACO-SVM算法;翟琳琳[39]將改進的簡單向量距離算法（Rocchio）和改進的K最近鄰居分類算法（KNN）相結合形成新算法，利用該算法對短文本實現分類并應用到輿情監測系統中;李艾林[40]在針對Web輿情分析中藏文的文本分類算法研究中，結合了藏文的詞性特點，把樸素貝葉斯算法與支持向量機算法融合起來，形成集成學習分類算法;李慧[41]提出Miniter-means算法，用已聚類的簇生成新聚類簇質心的新方法進行計算并在面向商業輿情的網絡智能分析系統上應用;張紅軍[42]針對互聯網輿情分析的迫切需求，提出了一種新的文本分類模型——Featured Possibility（FP）分類模型;冷冰[43]應用Markov邏輯網，提出了把馬爾科夫邏輯網作為基礎從多源域遷移共性知識達到輔助目標域本文分類的方法;杜昌順[44]在研究細分領域中輿情情感分析關鍵技術時，把循環神經網絡作為基礎，然后引入注意力機制，能夠將分類器達到較好的分類效果;張潘頔[45]采用基于CLSTM模型的文本分類方法，將卷積神經網絡與長短時記憶網絡結合起來，克服了先前文本分類方法中存在無法判斷輿情文本主題標簽相關性的缺點，解決了文本多義問題。

3 文本情感分類

文本情感分類是依照文本的內容所體現出用戶意見的情感極性，把含有相同特定情感傾向的文本歸結成為同類[46]。在輿情監測系統中，情感分類必不可少，通過情感的分類判斷輿情的褒貶，能夠掌握輿情發展的態勢。

巨慧慧[47]對網絡輿情中的文本傾向性分析技術做了深入研究，根據網絡輿情語料特性，選取了文本情感傾向性機器學習中的三種模型方法，經過實驗數據對比分析，得到針對網絡輿情最優的分析方法-支持向量機方法;張長利[6]對中文文本進行褒、貶情感傾向性分析，提出了三種情感傾向性分析算法：基于規則及情感詞提取評價四元組的評價挖掘算法和基于unigram+評價短語特征的機器學習評價挖掘算法，基于字符串核函數的評價挖掘算法，基于規則及聚合模型的句子級到篇章級的中文評價挖掘算法;王鐵套[48]提出把語義模式與計算詞匯情感傾向性結合起來，由此推斷出文本的情感傾向性，此法既考慮詞匯情感傾向性，又權衡了語義模式對評論的情感傾向值的影響，可以較為全面分析突發網絡輿情的趨勢;萬源[37]在研究基于語義統計分析的網絡輿情挖掘技術時，提出把情感模式和機器學習結合的方法PMML，并將此方法應用在Web評論文本的情感傾向性分類上;高雄[49]在實現基于論壇的輿情分析系統過程中，提出了基于HowNet和依存句法分析的情感傾向處理技術;楊志國[50]在進行基于WEB挖掘和文本分析的動態網絡輿情預警研究中，提出把模式匹配與基于屬性權重的樸素貝葉斯分類器相結合的情感傾向性分析方法，此法對情感分類的效率有著顯著提高;張俊勇[51]完善了計算情感傾向性定量的方法，而不僅僅是定性的分析，可以讓情感傾向分析更加準確，此舉對于輿情分析方面有著重大意義;王煒[52]在研究針對網絡輿情信息的文本語義傾向性分類算法時，應用了基于隱含馬爾科夫模型的輿情傾向性分析算法;王林[53]在研究輿情監控方面的情感分析算法時，提出了一種優化Hownet判別方法，搭建閾值確定的新框架，并借助義源信息量衍生義項這一方法來動態更新情感詞庫;李天柱[54]在實現高校網絡輿情分析系統時，在傳統的規則和字典方法上，使用Word2vce來擴建情感詞典，彌補了情感基礎詞典在處理新詞上困難的缺陷，使得情感分析精度更加提升;李堅[55]進行核輿情情感分析及預警方法研究時，通過RAE模型傳遞文本特征特性，然后再與Dropout相結合來提高模型泛化性的優勢，提出由此改進后的算法，能提高情感分析模型的泛化能力;李亞軍[56]在進行基于深度學習的食品安全網絡輿情分析時，綜合利用LSTM和CNN深度學習技術，提出了網絡輿情情感傾向性分類算法 C-LSTM;劉純嘉[57]在面向高校輿情的中文文本情感傾向性分析時，提出融合漢字形態學特征和HowNet的文本情感分類方法和種基于注意力膠囊網絡的文本情感分析方法;岳亞南[58]在研究面向輿情文本的情感傾向性分類時，針對現有深度學習方法詞性信息利用不充分問題，提出了一種融合詞性和自注意力機制的情感傾向性分類模型。

4 結束語

綜上所述，隨著現代網絡科技的飛速發展，爬蟲、話題跟蹤與檢測、情感分析等技術從各個方面得到了迅猛發展，其中包含的各種算法也克服以前的不足，逐漸完善，性能顯著提升。在現有的輿情監測系統中，網絡信息爬取技術、話題追蹤/檢測技術、情感分類技術的應用與研究相對較為廣泛且深入，但預測和預警功能研究以及相關應用偏少。在下一階段需要對此進行逐步深入的研究，應用到網絡輿情監測系統中，從而提升網絡輿情監測系統的性能。

參考文獻（References）：

[1] 曾德偉.基于主題爬蟲的網絡輿情系統研究和實現[D].重慶理工大學，2020

[2] 張軍玲.我國網絡輿情信息挖掘研究綜述[J].情報科學，2016，34（11）：167-72

[3] 王桂梅.主題網絡爬蟲關鍵技術研究[D]，哈爾濱工業大學，2009

[4] 楊國俊.基于BBS的輿情預測算法及應用研究 [D].合肥工業大學，2010

[5] 陳旭.基于社會網絡的Web輿情系統的研究與實現[D].電子科技大學，2010

[6] 張長利.面向特定領域的互聯網輿情分析技術研究[D].吉林大學，2011

[7] 黃煒，金雅博，胡昌龍.網絡輿情主題信息采集研究[J].現代圖書情報技術，2012（11）：65-71

[8] 任海果.基于主題事件的輿情分析系統的設計與實現[D].北京郵電大學，2012

[9] 朱丹.面向食品安全新聞輿情的主題爬蟲的設計與實現[D].中山大學，2015

[10] 吳強強.基于主題爬蟲的食品安全網絡輿情分析方法研究與監測系統開發 [D]; 北京化工大學， 2016.

[11] 丁晟春，龔思蘭，周文杰，等.基于知識庫和主題爬蟲的南海輿情實時監測研究[J].情報雜志，2016，35（5）：32-7

[12] 王杰.基于微博大數據的輿情監測系統的設計與實現[D].中國民航大學，2017

[13] 郭志杰，周世平，顧驚璞，等.基于主題爬蟲技術的三農輿情監測管理平臺開發與應用[J].農業工程技術，2018，38（15）：29-34

[14] 翁俊河，李湘麗，林燕斌，等.基于大數據挖掘的網絡輿情智能分析系統關鍵技術研究[J].通訊世界，2019，26（9）：116-8

[15] 許揚，田志廣，李帥.涉廣電輿情監測系統方案設計[C].proceedings of the第18屆全國互聯網與音視頻廣播發展研討會暨第27屆中國數字廣播電視與網絡發展年會，中國浙江嘉興，2019

[16] 陸前.英、漢跨語言話題檢測與跟蹤技術研究 [D].中央民族大學，2013

[17] 李若鵬，李翔，林祥，等.基于DK算法的互聯網熱點主動發現研究與實現[J].計算機技術與發展，2008（9）：1-4

[18] 高洪杰.互聯網輿情監測分析系統實現[D].復旦大學，2009

[19] 黃美璇.基于聚類分析的網絡輿情監控系統的設計[J].寶雞文理學院學報（自然科學版），2011，31（4）： 40-4

[20] 吳利華.基于論壇的話題發現與跟蹤算法研究 [D].北京郵電大學，2013

[21] 張奇.基于PSO-KHM聚類的微博輿情預警系統的研究與實現[D].南京郵電大學，2013

[22] 張蕾.基于機器學習的網絡輿情采集技術研究與設計[D].電子科技大學，2014

[23] 王旭仁，李娜，何發鎂，等.基于改進聚類算法的網絡輿情分析系統研究[J].情報學報，2014，33（5）：530-7

[24] 趙陽陽.基于MapReduce的分布式網絡輿情聚類方法的研究[D].北京交通大學，2015

[25] 涂慧明.互聯網輿情監控系統的關鍵技術研究與實現[D].東華理工大學，2016

[26] 李保國.基于聚類與LDA的新聞評論主題挖掘研究[D].武漢紡織大學，2016

[27] 戴龍龍.基于Storm分布式食品安全網絡輿情監測方法研究[D].北京化工大學，2017

[28] 馮靖.基于Hadoop的微博輿情分析[D].天津理工大學，2018

[29] 陳艷紅，向軍，劉嵩.高校網絡輿情分析的K-Means算法優化研究[J].湖北民族學院學報（自然科學版），2018，36（4）：442-7

[30] 葉瑾玫.基于密度峰值融合K-means聚類算法的微博輿情分析[D].江蘇科技大學，2020

[31] 李豐男.基于Spark的網絡輿情分析方法的研究與應用[D].中國科學院大學（中國科學院沈陽計算技術研究所），2020

[32] 馮志偉.自然語言處理簡明教程[M].上海外語教育出版社，2012

[33] 金佳佳.基于深度學習的短文本分類算法研究及應用[D].浙江工業大學，2020

[34] 侯松.面向網絡輿情態勢分析的文本分類研究 [D].國防科學技術大學，2009

[35] 劉繼勇.網絡輿情預警輔助決策支持系統模型及關鍵技術研究[D].石家莊經濟學院，2010

[36] 吳娛.網絡輿情分析關鍵技術研究與實現[D.電子科技大學，2011

[37] 萬源.基于語義統計分析的網絡輿情挖掘技術研究[D].武漢理工大學，2012

[38] 姜祖新.基于Web的糧食輿情分析關鍵技術研究[D].河南工業大學，2012

[39] 翟琳琳.網絡輿情分析中文本分類和聚類的研究[D].中原工學院，2013

[40] 李艾林.面向Web輿情分析的藏文文本分類算法研究[D].西北民族大學，2014

[41] 李慧.面向商業輿情的網絡智能分析系統研究與實現[D].電子科技大學，2016

[42] 張紅軍.面向網絡輿情的文本分類系統研究與實現[D].電子科技大學，2017

[43] 冷冰.基于Markov邏輯網的網絡輿情文本分類技術研究與實現[D].南京郵電大學，2017

[44] 杜昌順.面向細分領域的輿情情感分析關鍵技術研究[D].北京交通大學，2019

[45] 張潘頔.基于內容分析的網絡輿情監測系統[D].西安電子科技大學，2020

[46] YU N. Exploring Co-Training Strategies for Opinion Detection[J].Journal of the Association for Information Science And Technology，2014，65（10）：2098-110

[47] 巨慧慧.針對網絡輿情的情感傾向性研究[D].哈爾濱工業大學，2010

[48] 王鐵套，王國營，陳越，等.基于語義模式與詞匯情感傾向的輿情態勢研究[J].計算機工程與設計，? 2012，33（1）：74-7

[49] 高雄.基于論壇的輿情分析系統設計與實現 [D].哈爾濱工業大學，2012

[50] 楊志國.基于Web挖掘和文本分析的動態網絡輿情預警研究[D].武漢理工大學，2014

[51] 張俊勇.基于本體的網絡輿情挖掘研究[D].重慶大學，2014

[52] 王煒.面向網絡輿情的文本語義傾向性分類算法研究[D].河北工程大學，2016

[53] 王林，李昀澤.情感傾向分析在輿情監控方面的研究[J].微型機與應用，2017，36（5）：11-3，7

[54] 李天柱.高校網絡輿情分析系統設計與實現 [D].重慶大學，2018

[55] 李堅.核輿情情感分析及預警方法研究[D].南華大學，2018

[56] 李亞軍.基于深度學習的食品安全網絡輿情分析[D].天津科技大學，2018

[57] 劉純嘉.面向高校輿情的中文文本情感傾向性分析[D].江西師范大學，2020

[58] 岳亞南.面向輿情文本的情感傾向性分類研究 [D].重慶郵電大學，2020