基于“互聯(lián)網(wǎng)+”的網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)的設(shè)計與實現(xiàn)

劉小滿 王小輝

摘要：針對目前網(wǎng)民普遍關(guān)注的由互聯(lián)網(wǎng)技術(shù)快速發(fā)展而帶來海量網(wǎng)絡(luò)熱點話題和焦點很容易因誤導(dǎo)或傳播方式不當(dāng)導(dǎo)致網(wǎng)絡(luò)群體事件或突發(fā)事件問題，以“互聯(lián)網(wǎng)+”與網(wǎng)絡(luò)輿情監(jiān)控分析深度融合發(fā)展為切入點，將互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、大數(shù)據(jù)以及云計算等新一代信息技術(shù)應(yīng)用到網(wǎng)絡(luò)輿情監(jiān)控與分析上，設(shè)計實現(xiàn)了基于“互聯(lián)網(wǎng)+”的網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)。該系統(tǒng)主要由輿情數(shù)據(jù)信息采集子系統(tǒng)、輿情數(shù)據(jù)信息預(yù)處理子系統(tǒng)、輿情監(jiān)控分析子系統(tǒng)和輿情應(yīng)用子系統(tǒng)構(gòu)成，通過各個子系統(tǒng)的協(xié)同工作共同完成對網(wǎng)絡(luò)海量輿情數(shù)據(jù)和信息進行實時數(shù)據(jù)采集、輿情識別、輿情預(yù)警及引導(dǎo)治理等，穩(wěn)定社會秩序，為構(gòu)建和諧社會提供支持手段。

關(guān)鍵詞：互聯(lián)網(wǎng)+;輿情監(jiān)控與分析;輿情識別

中圖分類號：TP393 文獻標(biāo)識碼：A

文章編號：1009-3044（2019）31-0037-04

1背景

在這個“人人都是通訊社”的時代，許多社會輿論事件都是始于網(wǎng)絡(luò)，以BBS，論壇社區(qū)，博客，微博為網(wǎng)絡(luò)輿情信息的主要來源，并產(chǎn)生巨大的社會影響。面對不斷發(fā)展的互聯(lián)網(wǎng)、網(wǎng)絡(luò)輿情傳播快、渠道多，網(wǎng)絡(luò)輿情數(shù)據(jù)的異構(gòu)性與復(fù)雜性等特點，也導(dǎo)致了難以控制輿情信息的正確性和傳播范圍，面對熱點話題和焦點的大量關(guān)注很容易導(dǎo)致網(wǎng)絡(luò)群體事件或突發(fā)事件，要實現(xiàn)高效及時的網(wǎng)絡(luò)輿情監(jiān)控變得尤為困難。如何從海量網(wǎng)絡(luò)輿情中快速、準(zhǔn)確發(fā)現(xiàn)有價值的信息，協(xié)助政府管理部門及時發(fā)現(xiàn)網(wǎng)絡(luò)盥.情、引導(dǎo)輿論方向、穩(wěn)定社會情緒，成為建設(shè)和諧社會亟待解決的課題。

隨著我國城市“互聯(lián)網(wǎng)+”等信息技術(shù)的快速發(fā)展，已經(jīng)成為推動網(wǎng)絡(luò)輿情監(jiān)控與分析向智能化方向發(fā)展的重要動力。在目前網(wǎng)絡(luò)輿情的監(jiān)控與分析應(yīng)對面臨諸多困境的背景下，“互聯(lián)網(wǎng)+”與網(wǎng)絡(luò)輿情監(jiān)控與分析的融合發(fā)展將會為這些難題的解決提供新的工具和思路。以“互聯(lián)網(wǎng)+”與網(wǎng)絡(luò)輿情監(jiān)控與分析深度融合發(fā)展為切入點，將互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、大數(shù)據(jù)以及云計算等新一代信息技術(shù)應(yīng)用到網(wǎng)絡(luò)輿情監(jiān)控與分析上，使輿情數(shù)據(jù)的海量存儲與高效并發(fā)處理成為可能嘲。因此提出基于“互聯(lián)網(wǎng)+”的網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)的設(shè)計與實現(xiàn)，具有重要的理論和實踐意義。

2網(wǎng)絡(luò)輿情監(jiān)控相關(guān)技術(shù)介紹

網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)相關(guān)的最關(guān)鍵的技術(shù)包括網(wǎng)絡(luò)信息的分類、分析、識別、跟蹤等計算機文本信息處理技術(shù)。這里主要對網(wǎng)絡(luò)爬蟲技術(shù)和網(wǎng)絡(luò)信息提取與識別技術(shù)進行介紹。

2.1網(wǎng)絡(luò)爬蟲

隨著“互聯(lián)網(wǎng)+”技術(shù)的發(fā)展，人們可以快速地通過網(wǎng)絡(luò)來獲取大量所需要的信息。但隨著互聯(lián)網(wǎng)信息量的不斷增加和擴大，每時每刻都有上千萬的網(wǎng)絡(luò)信息增長量，要從這么復(fù)雜的網(wǎng)絡(luò)信息量中找到自己想要的數(shù)據(jù)信息幾乎變得不現(xiàn)實，而網(wǎng)絡(luò)爬蟲技術(shù)的應(yīng)用正是為了解決這一難題。

在本輿情監(jiān)控系統(tǒng)中，網(wǎng)絡(luò)爬蟲技術(shù)主要進行的是從網(wǎng)絡(luò)上大量的不斷更新的信息數(shù)據(jù)抓取下來，為輿情監(jiān)控提供最原始的網(wǎng)絡(luò)信息，進而用于下一步的分析研究，以壓縮的形式將數(shù)據(jù)存在磁盤上。圖1是常見網(wǎng)絡(luò)爬蟲的架構(gòu)圖。目前所有從互聯(lián)網(wǎng)上快速自動的獲取數(shù)據(jù)信息都用到了網(wǎng)絡(luò)爬蟲技術(shù)。其中應(yīng)用最多的便是各搜索引擎公司的網(wǎng)絡(luò)蜘蛛程序，此外，爬蟲技術(shù)還可以用來檢測網(wǎng)站鏈接是否有效等。

2.2輿情信息的提取與識別

輿情信息的提取與識別技術(shù)主要對前期搜集來的信息做有效信息的分析，如果提取的是網(wǎng)絡(luò)新聞數(shù)據(jù)，則主要從中找出新聞主題的正文信息（標(biāo)題，內(nèi)容，時間等），如果提取的是網(wǎng)絡(luò)論壇數(shù)據(jù)，則主要從中找出用戶的信息（用戶ID、權(quán)威值，回復(fù)用戶ID，回復(fù)數(shù)等），然后將找出的這些關(guān)鍵信息存人設(shè)定的信息數(shù)據(jù)庫中。

輿情信息的提取分析采用的是一種基于模板與自動機器識別相結(jié)合的信息提取方法。該方法先根據(jù)制定好的啟發(fā)式規(guī)則，然后去自動識別網(wǎng)絡(luò)文本中不同屬性輿論信息之間的分隔符，再把它們配置到相應(yīng)模板中，然后根據(jù)模板去識別分析出同一類型的輿論網(wǎng)頁信息，最終以話題線索的方式存下來。話題線索是指對一個網(wǎng)絡(luò)輿論相關(guān)數(shù)據(jù)信息的描述，主要有網(wǎng)頁的點擊率，回復(fù)數(shù)，標(biāo)題與評論等。與傳統(tǒng)的信息提取相比，本技術(shù)能夠快速對多種結(jié)構(gòu)類型的網(wǎng)絡(luò)輿論網(wǎng)頁數(shù)據(jù)信息進行處理;同時在很大程度上能更好地提高輿論信息的準(zhǔn)確率和效率;并且不用修改算法就可以根據(jù)用戶不同的需求，然后自動的動態(tài)提取網(wǎng)絡(luò)輿論相關(guān)數(shù)據(jù)信息，以便更好地滿足研究的需要。具體提取過程如圖2所示。

輿情信息的分析識別主要是對提取到的輿論數(shù)據(jù)信息數(shù)據(jù)庫中的數(shù)據(jù)信息做內(nèi)容上和行為上的識別，并比較判斷是否為所需要的輿情信息，為后續(xù)的更有針對性的輿情數(shù)據(jù)信息分析提供相應(yīng)的參考依據(jù)。

輿情信息內(nèi)容上的識別：主要根據(jù)輿隋數(shù)據(jù)信息的文本屬性特征，首先進行信息的分類和聚類操作，從內(nèi)容上去比較識別該數(shù)據(jù)信息是否屬于所需要的輿情數(shù)據(jù)信息。

輿情信息行為上的識別：根據(jù)輿情數(shù)據(jù)信息的社會傳播屬性，即網(wǎng)絡(luò)輿情數(shù)據(jù)信息的傳播會符合社會網(wǎng)絡(luò)中的很多屬性特征，因此可以使用社會網(wǎng)絡(luò)中的模型來建立輿情數(shù)據(jù)信息網(wǎng)絡(luò)，及時的分析顯示出輿情網(wǎng)絡(luò)信息的形成和進一步的發(fā)展趨勢，同時可以更好地反映相互出網(wǎng)絡(luò)用戶之間的數(shù)據(jù)信息相互交流等。對于那些經(jīng)內(nèi)容上識別后不屬于輿情數(shù)據(jù)信息將會進一步采用行為屬性特征進行識別，如果這些網(wǎng)絡(luò)輿論數(shù)據(jù)信息符合行為上的屬性特征，就可以把這些數(shù)據(jù)信息也歸為所需要的輿情數(shù)據(jù)信息。

3網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)的功能框架設(shè)計

網(wǎng)絡(luò)輿情信息的監(jiān)控功能主要有輿論數(shù)據(jù)信息的采集、數(shù)據(jù)信息的預(yù)處理和分析處理。系統(tǒng)功能應(yīng)具備判斷輿隋數(shù)據(jù)信息正負(fù)面發(fā)展的傾向性和趨勢、傳播方式和途徑、能進行人工設(shè)置重點監(jiān)控特定的輿情信息事件的能力，具有所需輿論話題的自動識別跟蹤、分析和提取以及統(tǒng)計報告等。根據(jù)目前該行業(yè)內(nèi)現(xiàn)行的解決技術(shù)手段和方法方案，對輿論監(jiān)控系統(tǒng)進行更好的更有針對性的整理和歸納，并設(shè)計出更好的方案，獲取“互聯(lián)網(wǎng)+”輿情監(jiān)控分析系統(tǒng)的功能框架設(shè)計的需求。

系統(tǒng)可以分為四個主要模塊：輿情數(shù)據(jù)信息的采集子系統(tǒng)、輿情數(shù)據(jù)信息預(yù)處理子系統(tǒng)、輿情監(jiān)控分析系統(tǒng)和輿情應(yīng)用系統(tǒng)。如圖3所示。

1）輿情信息采集子系統(tǒng)：能夠自動抓取和存儲網(wǎng)絡(luò)上相關(guān)的輿情數(shù)據(jù)等信息。

2）輿情信息預(yù)處理子系統(tǒng)：主要對所抓取到的輿隋數(shù)據(jù)信息進行去重、關(guān)鍵詞篩選與分析等。

3）輿情監(jiān)控分析子系統(tǒng)：主要對輿情數(shù)據(jù)信息進行文本的表示、對存儲在數(shù)據(jù)庫里的數(shù)

據(jù)進行識別分析等，并將識別分析的結(jié)果傳遞到分析庫中。

4）輿情web應(yīng)用系統(tǒng)：實現(xiàn)用戶交互功能。

4網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)功能模塊的詳細(xì)設(shè)計

輿情監(jiān)控系統(tǒng)的工作流即數(shù)據(jù)流主要經(jīng)歷4個環(huán)節(jié)的處理：首先是根據(jù)輿情數(shù)據(jù)采集子功能模塊將采集到的輿情數(shù)據(jù)抓取到本地;接著對抓取回來的原始數(shù)據(jù)進行分析識別加工，即刪除多余的垃圾數(shù)據(jù)，并根據(jù)指定的相應(yīng)數(shù)據(jù)格式對抓取到的輿情數(shù)據(jù)信息建立索引;然后根據(jù)輿情監(jiān)控系統(tǒng)設(shè)置的特定需求對輿情數(shù)據(jù)進行分析處理等，最后將得到的輿情數(shù)據(jù)實時地呈現(xiàn)在客戶端。如圖4所示：

4.1信息采集功能模塊設(shè)計

輿情數(shù)據(jù)主要來源于網(wǎng)站、微博、論壇等國內(nèi)外著名網(wǎng)站，采用API與網(wǎng)頁抽取相結(jié)合的方法，進行關(guān)鍵詞采集、話題語義采集，通過關(guān)鍵詞管理、URL管理、過濾詞典及分類管理等系統(tǒng)管理配置，實現(xiàn)分類歸一管理。將數(shù)據(jù)存于HBase數(shù)據(jù)庫中，其采集過程如圖5所示。通過網(wǎng)絡(luò)爬蟲技術(shù)抓取網(wǎng)絡(luò)輿情數(shù)據(jù)信息，并根據(jù)Dom解析html和提取相應(yīng)的數(shù)據(jù)信息;其中在n個slaver機器上分別運行n個獲取器和爬蟲器，在master機器上運行調(diào)度器。

4.2信息預(yù)處理功能模塊設(shè)計

在已抓取的網(wǎng)絡(luò)輿情數(shù)據(jù)信息中，除了有效的輿情數(shù)據(jù)信息外，還摻雜著大量的其他無效數(shù)據(jù)信息，如：菜單導(dǎo)航、網(wǎng)站版權(quán)、友情鏈接等。與結(jié)構(gòu)化的數(shù)據(jù)信息相比，不同的是網(wǎng)絡(luò)輿情數(shù)據(jù)信息中大多數(shù)為非結(jié)構(gòu)化的數(shù)據(jù)信息，并且數(shù)據(jù)形式復(fù)雜，所以，對這些輿情數(shù)據(jù)信息不能直接進行分析和加工處理，需要在數(shù)據(jù)加工處理前先進行信息的清洗除噪預(yù)處理，并對數(shù)據(jù)信息內(nèi)容以及主要屬性特征等進行分析提取，這就是信息預(yù)處理子功能模塊的主要工作。如圖6所示，即為輿情信息預(yù)處理子功能模塊的工作流程。

4.3輿情分析功能子模塊設(shè)計

輿情分析功能子模塊是輿情監(jiān)控系統(tǒng)中最主要的一個功能模塊，主要采用網(wǎng)絡(luò)信息文本的分類和聚類等技術(shù)，對前期進行過預(yù)處理的網(wǎng)絡(luò)輿情數(shù)據(jù)進行深入分析和識別挖掘，并以此提供“話題發(fā)現(xiàn)”和“熱點跟蹤”。輿情分析功能子模塊的工作流程如圖7所示。

輿情監(jiān)控分析功能子模塊作為系統(tǒng)的主要功能模塊，主要有最新熱點信息話題的發(fā)現(xiàn)與分析、熱點信息話題的追蹤以及社會網(wǎng)絡(luò)分析等。下面只對主要功能進行描述。

4.3.1熱點信息話題的發(fā)現(xiàn)與分析

熱點話題發(fā)現(xiàn)與分析功能是指將輿情數(shù)據(jù)信息內(nèi)容劃分到不同的話題，并在有需求時產(chǎn)生新的與之對應(yīng)的話題;熱點信息話題的追蹤主要對網(wǎng)絡(luò)用戶所感興趣話題的后續(xù)發(fā)展進行追蹤分析。在此主要使用的是文本聚類分析方法。

4.3.2社會網(wǎng)絡(luò)分析

社會網(wǎng)絡(luò)是復(fù)雜網(wǎng)絡(luò)的一種，是復(fù)雜網(wǎng)絡(luò)研究領(lǐng)域中一種特殊的網(wǎng)絡(luò)，和復(fù)雜網(wǎng)絡(luò)之間的關(guān)系是被包容與包容的關(guān)系。以微博為例，輿情監(jiān)控系統(tǒng)所使用的社會網(wǎng)絡(luò)分析方法是對網(wǎng)絡(luò)博主發(fā)布的數(shù)據(jù)信息中粉絲數(shù)以及關(guān)注數(shù)的出入度和聚類系數(shù)進行計算，分別采用n個Map階段和一個Reduce階段，并在分析庫存儲計算的結(jié)果，供客戶端進行可視化調(diào)用。聚類系數(shù)的大小是社會網(wǎng)絡(luò)分析方法中的一個關(guān)鍵參考指標(biāo)，它體現(xiàn)的是網(wǎng)絡(luò)的集團化程度，是一種網(wǎng)絡(luò)內(nèi)聚的反映，它是指社會網(wǎng)絡(luò)中實際存在的邊數(shù)和可能有的邊數(shù)之比嘲。對于社會網(wǎng)絡(luò)分析來說，集團化是一個關(guān)鍵屬性特征，它代表網(wǎng)絡(luò)中的朋友或熟人的凝聚程度，而聚類系數(shù)就是反映這集團化屬性。

4.4輿情展示預(yù)警功能模塊設(shè)計

該功能模塊主要實現(xiàn)系統(tǒng)和管理者之間的各種實時交互操作，將經(jīng)過系統(tǒng)分析后的結(jié)果最終反饋給管理者。該模塊所包含的功能有：敏感話題趨勢、熱點話題排序等。系統(tǒng)交信息互展示，能使管理者對輿情數(shù)據(jù)信息進行及時分析并掌握輿情信息趨勢變化。更重要的是，監(jiān)控系統(tǒng)還能進行輿情信息的自動警示觸發(fā)。該警示的目的在于及時進行輿情信息的反饋和采取防患于未然的措施，輿情預(yù)警主要包括輿情預(yù)警通知和輿情引導(dǎo)。

4.4.1輿情預(yù)警通知

通過網(wǎng)絡(luò)輿情預(yù)警機制的動態(tài)模型確定不同輿情信息的權(quán)重系數(shù)，然后依據(jù)權(quán)重系數(shù)大小確定等級高低。根據(jù)輿情數(shù)據(jù)信息等級的高低不同啟動相應(yīng)的處理機制（見圖8），預(yù)警方式可設(shè)置為短信通知、郵件通知、啟動報警（播放報警聲音）及頁面窗口彈出提示，確保輿情信息的發(fā)生立即被發(fā)現(xiàn)，第一時間做出響應(yīng)，預(yù)防輿隋的擴散傳播，有效實施主動性。

4.4.2輿情引導(dǎo)

根據(jù)網(wǎng)絡(luò)輿情數(shù)據(jù)信息的屬性和傳播方式判斷出輿情數(shù)據(jù)信息對社會生活產(chǎn)生不利影響時，利用輿情的引導(dǎo)策略和技術(shù)，在短期內(nèi)快速生成應(yīng)對不利影響的有效解決合力，使得網(wǎng)絡(luò)輿情信息的發(fā)展朝著期望的方向變化，并以此為目的讓廣大網(wǎng)絡(luò)民眾更快的獲知最真實的數(shù)據(jù)信息，進而尋的社會的穩(wěn)定發(fā)展。輿情引導(dǎo)流程如圖9所示。

5結(jié)束語

將“互聯(lián)網(wǎng)+”技術(shù)應(yīng)用于輿隋監(jiān)控系統(tǒng)實現(xiàn)了云端硬件資源的共享，使得客戶不必購買大量硬件設(shè)備就可進行數(shù)據(jù)挖掘，節(jié)約了設(shè)備的采購及維護費用;同時利用云計算的集群處理能力，完成對云端數(shù)據(jù)的實時高效挖掘。從系統(tǒng)試運行應(yīng)用效果來看，既節(jié)約了管理成本，又提高了工作效率，實現(xiàn)了網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)的實時性、高效性和全面性，可為維護信息時代社會的穩(wěn)定性提供技術(shù)保障。