基于貼吧的高校網絡輿情預警和引導系統研究

來純曉 李艷翠 金松林

摘 要： 隨著移動互聯網的發展和大數據、云計算、網絡爬蟲等技術的成熟，高校師生可以方便地從網上獲取和發布信息。將大學生通過互聯網表達出來的情緒和思想動態綜合起來可以構成高校網絡輿情。本文主要是對高校貼吧的帖子和評論進行采集，提出了一種基于B / S模式的網絡輿情預警和引導系統構建的方法，用來監督高校網絡輿情的狀態，實現了對貼吧輿情信息的預警和引導，為高校網絡輿情危機事件提供決策支持。

關鍵詞： 網絡爬蟲;貼吧;高校網絡輿情;B/S模式

文章編號：2095-2163（2019）04-0016-05?中圖分類號：TP277?文獻標志碼：A

0 引 言

隨著網絡和信息技術的快速發展，互聯網在人們日常生活中發揮越來越重要的作用。人們通過互聯網表達出來的態度、情感和意見共同構成了網絡輿情。在校大學生作為一個特殊的群體，不僅會注意到普通網民所關心的熱點和焦點問題，同時還將接觸到自身知識層面人群所關注的特殊問題，比如各高等院校的百度貼吧[1]、微博[2-3]以及各大媒體正面或負面的網絡輿情。這些信息在一定意義上反映出校園文化的健康程度，形成了高校網絡輿情[4]。

高校網絡輿情是對在校大學生在社會事件上觀點的采集、整理、分析和反饋。輿情可以反映出部分在校生關注的熱門話題，通過對反饋的輿情信息、特別是消極信息進行研究和透徹剖析，對負面信息做出及時預警，可以及時掌握學生的思想動態， 提早開展思想政治教育工作。通過對高校網絡輿情中的敏感詞處理予以引導和控制，有利于維護高校的和諧穩定發展。

加強對高校網絡輿情預警和引導系統研究，對網上言論進行有效及時的監測，對敏感信息進行預警，快速定位不良信息的源頭，避免在輿情危機事件[5]處置工作中陷入被動局面，及時進行網絡輿論的正面引導顯得尤為重要，本次研究具有重要的實踐意義與應用價值。

1 系統分析

1.1 系統導航功能分析

分析可知，系統導航則用于向用戶顯示各種功能的導航入口。為保證系統的功能和質量，系統導航主要實現注冊登錄功能。注冊時，在前端頁面加入驗證，校驗用戶名是否已經注冊，若為“是”，即將用戶信息存入數據庫，對密碼進行算法加密，增強用戶信息的安全性。登錄時，用戶將輸入用戶名和密碼，同時還會設定登錄規則和權限，確保系統操作的安全性。

1.2 輿情信息采集與儲存功能分析

針對設定的目標貼吧，采用Scrapy爬蟲[6-7]和Path構建數據爬取的框架，實現對目標貼吧的數據信息的爬取。信息采集系統能夠方便、及時、有效地對指定貼吧的重要信息進行采集，并將采集到的信息保存到數據庫或本地的儲存設備中。本文的信息采集系統既能給用戶返回一個URL地址，而且還能夠實現對全部內容（發帖人、發帖時間、發帖內容和其它人的回復等）的提取。由于在網絡上采集到的信息內容不盡相同，格式也是多種多樣，本文擬對采集到的信息進行格式規范化整理，使得保存到數據庫的內容更易于識別、以及后續的分析處理。

1.3 輿情熱點功能分析

移動網絡的發展、尤其是Android 系統的智能手機的普及，使得人們可以方便地使用各種工具輕松搜索或發布相關信息。此現象會引起很多不同觀點的交流和碰撞，個人意見在網絡的迅速傳播、并吸引相應人群的關注，就推動了高校網絡輿情的產生、且日趨活躍。輿情熱點功能主要就是按照輿情的熱點進行展示，顯示出當前時間用戶關注度最高的n條數據。

1.4 輿情預警功能分析

按照發帖的時間先后排序，剔除掉當天發帖數量小于一定數目的數據，同時選取最近幾天的所有有效帖子進行數據的情感分析，判斷帖子情感信息是積極、中立還是消極，對內容消極帖子的用戶將發送一個友好提示，起到輿情預警[8-9]的作用。在此基礎上，用戶可以根據關鍵詞搜索，搜索出含有關鍵詞的所有的帖子，包括發帖人、發帖時間、帖子地址等。系統不會僅局限于貼吧，而是適用于各種數據的監測分析，只要在數據處理后、再轉而存儲于數據庫中，就可以進行數據分析及數據展示。

1.5 輿情引導功能分析

網絡的發展使得網絡輿情的傳播越來越迅速，網絡輿情成為了高校不容重視的重要問題，網絡輿情的出現在很大程度上引導著人們的情感變化。因此需要設計有針對性的輿情引導[10-11]系統，從外部獲取輿情信息并將其展示到頁面中，為了實現對輿情信息敏感詞的有效過濾，將輿情信息中的負面影響進行引導處理， 防止負面信息的影響擴散，最終將正確展示所有信息，給網站營造一個良好的環境，從而為高校對于輿情管理的監管控制提供有效的解決方案。

2 系統設計

2.1 系統的總體設計

本次設計將分為高校網絡輿情信息采集處理模塊、網絡輿情預警模塊和網絡輿情引導模塊三個部分進行研究。系統利用 B/ S結構[12]，前端瀏覽器部分主要用于實現輿情數據的呈現以及系統和用戶之間的交互，服務器端負責搜集網絡輿情數據、批量發布輿情引導信息以及響應用戶的執行動作。系統前后端的架構設計如圖1所示。

本文研發的是一套綜合系統，設計層面既包含軟件開發、又包含硬件配置，而且需用到信息發布服務器、數據庫服務器、數據采集抓取服務器以及輿情信息處理服務器，限于目前條件，這些內容都將部署在同一臺服務器上。

2.2 系統功能模塊的設計

結合實際情況，本文設計了高校網絡輿情信息采集處理、高校網絡輿情預警和高校網絡輿情引導三個模塊。系統總體功能模塊設計如圖2所示。對此可做闡釋分述如下。

2.2.1 網絡輿情信息采集處理模塊

本文中界面模塊包括3個按鍵，分別是：搜索框、顯示數據和數據詳情。界面右面的信息框旨在顯示爬取貼吧的主題，界面左面空白框則用于顯示主題的詳細信息和回復的詳細內容。選中左邊帖子信息的主題、再按數據詳情，帖子的詳細內容就在左邊的文本框中顯示出來。采集貼吧信息首先是要分析貼吧網頁的具體內容。剔除廣告和一些雜亂的信息，提取貼吧中發帖的全部內容（發帖人、帖子主題、內容和別人回復等詳細信息）。在網絡上采集到的信息格式是多種多樣的，將采集到的信息進行格式轉換，預處理的首要任務就是把搜集得到的信息進行格式處理，使之成為純文本格式。

網絡輿情信息預處理主要是對采集系統從貼吧獲取到的數據通過去重、去噪、分詞、編碼等操作環節，并提交給分析系統做進一步分析與研究。輿情信息分析系統作為本系統的核心部分，主要任務是完成帖子主題的檢測與追蹤、焦點主題的識別和預警、敏感信息的替換和引導。輿情分析可依據用戶的要求展示各種主題帖子的產生、發展、移除的整個過程周期，同時對分析信息進行析取、轉換和存儲，最終構建出主題信息分析數據庫。

網絡輿情信息分析功能是將所采集的數據進行分類整理，按照對應的類別屬性描述，通過一段時間的積累，系統可以從多角度掌握采集到的初始信息源的狀況，更有利于后續對初始信息的研究分析。分析流程過后，系統展示功能是形成各種規則統計、圖表，并整合為分析報告，經過專家審查合格后，形成最后的結構化信息，提交給對應的管理部門，作為高校網絡輿情分析和最終決策的重要依據。

2.2.2 高校網絡輿情預警模塊

情感分析[13-14]也叫做意見挖掘、傾向性分析等。簡單來說，即是對帶有感情色彩的主觀性文本進行分析、處理、歸納、推理的過程，分析這句話表達的是積極、還是消極的情緒。目前，情感分析方法主要分為2種：基于情感詞典的方法和基于機器學習的方法。本文使用基于情感詞典的方法。需要盡量龐大完備的詞庫，每個詞庫基于不同領域效果是不同的，所以需要找到適用于本系統需求的詞庫，將文本進行分詞處理（本文使用結巴分詞），再根據情感詞典對分詞結果予以評判打分，制定一個標準，使其分類為積極、中立和消極三大類。

提取數據庫中的數據，并對所有帖子的回復進行分詞處理，研究中使用結巴分詞，將使用情感詞典對分詞后的結果做出打分，并計算得分情況，判斷情感為積極、中立或者消極。用戶可以通過此地址進行帖子的查看，以及對消極情緒的帖子采取一定的措施。對發生過的緊急事件，系統還要隨時監測其網絡輿情的發展態勢，并在達到警戒值之前發出預警。同時還要對可能誘發突發事件的因素進行實時監控，探究發現突發事件發生的前兆，進行先兆預警，做到防患于未然。

2.2.3 高校網絡輿情引導模塊

輿情引導系統要具有網站最基本的用戶登錄和注冊功能，能夠查看本系統的人員變化以及權限分配，系統需要對輿情信息中的負面消極信息進行及時引導，因而就要通過相應頁面展示該類信息方便后續的查看。模塊的核心功能是過濾用戶回復，過濾信息時要匹配敏感詞，還要用戶將其添加到數據庫中。當公開發布信息含有敏感詞匯時，就要將該條評論進行替換或者屏蔽的引導處理，確保發布信息的正面性。

調研后分析可知，高校網絡輿情的特點總是依據其所處階段的不同而發生變化，因此應對策略也各有差異。此時，就要依據網絡輿情預警指標的不同，提供差異化的輿情引導。 建立動態專題，添加近段敏感問題專題，擴充信息量，增強此類信息在平臺存在量。及時發布信息，高校師生的微信、貼吧關注度非常高，可以發動廣大師生的群體力量，將其身邊的黨政宣傳工作、尤其是富含正能量的校園信息、甚至是生活趣事進行有選擇的發布，提升發布信息的鮮活度和生命力。

3 系統實現

3.1 系統開發環境

本文系統的開發運行環境詳見表1。

3.2 網絡輿情信息采集處理模塊構建

利用python爬蟲中的request進行請求，爬取百度貼吧，利用Xpath提取感興趣的數據并將其保存在mongodb數據庫中。而在清洗爬蟲采集到的數據過程中，將除去無效的信息內容，接下來開啟數據預處理環節，即將句子拆分為詞語集合，使用正則表達式和中文結巴分詞進行分詞處理，處理后的數據則保存到MySQL數據庫中。信息采集處理流程如圖3所示。

在爬取時，主要采集的是百度貼吧的數據?？紤]到貼吧中數據較多，例如河南科技學院貼吧共有主題數260 316個，帖子數 7 291 694篇，科院精英數218 598，時間從2006年開始，由于針對同一IP爬取數據較多將被封，只爬取了2018年的主題約8 400個。目前共收集了河南的10所高校的數據，主題約80 000個。

經過對所采集數據進行簡單分析后發現，大多數主題是與學生自身利益相關的事項、國內國際重大新聞時事事項、以及各類突發事項。 事件又有一定的特點，對此可概述如下。

（1）與學校主要工作日程相關，如開學新生報到、畢業生離校、期末考試、運動會等大型校園文化活動事項。

（2）與節假日或重大紀念日等相關，如國慶節、勞動節、國家公祭日等。

（3）與各類長期性問題相關，如大學生權益表達與利益訴求問題、校園安全等。

3.3 高校網絡輿情預警模塊構建

研究最初，即為數據準備階段。信息采集處理模塊已經將所需數據準備好存入MySQL數據庫中，結合本文使用的BosonNLP的情感詞典，該字典中包含了大量的社交詞語。這樣就為本系統進行數據分析奠定了良好基礎。因為回復中有大量的空格、圖片、表情等。這類信息是無效的。因此需要進行數據處理。本次研究中，使用正則表達來除去這些無用的空格，從而保障數據分析的準確性。接下來，進行分詞處理時，使用的是結巴分詞。因為采集數據把所有回復放入了同一個字段，就是一個大字典中包括了很多列表，每一個列表就是一條回復。這里將有效遍歷該字典，將每一個列表（每一條回復）進行結巴分詞。對數據庫中的分詞信息和情感詞典運算后進行打分操作，再對打分值做出判斷，由此得到最終的情感分析結果。近10天貼吧數據采集信息數量和情感分析結果分別如圖4和圖5所示。

在使用情感分析進行情感判斷的過程中，基于機器學習的方法比基于詞典的情感分析方法的表現更為客觀，同時還發現用于訓練和測試的數據集分別來自不同領域且本文獲取到的有效信息有限，因此未來將會考慮擴充訓練集以提升準確率。綜上分析可知，情感分析屬于機器學習，需要大量的數據進行機器訓練，因而目前只做了一些簡單的分析，與實際情感表達方向會存在一定的誤差。在簡單處理了數據后，提供數個網頁用來實現數據展示、表達及一定程度的預警， 對負向貼子的地址給出提示，用戶可以根據地址訪問負向帖子。

3.4 高校網絡輿情引導模塊構建

輿情引導模塊由5部分組成，且有1個核心。其中，5個模塊分別是登錄及注冊模塊、帖子及評論展示模塊、發帖模塊、回復模塊、敏感詞添加刪除模塊，而核心則是過濾算法。高校網絡輿情引導系統如圖6所示。文中，對此可得研究論述如下。

登錄及注冊模塊用于用戶的登錄注冊使用，可以詳細地確定用戶是否在登錄狀態;展示模塊用于信息呈現，主要是對帖子的信息進行展示，每一個主題下可以顯示多條回復，對此用戶可做到全面查看;發帖模塊可以讓用戶自己發表話題;回復模塊是由用戶對于帖子來發表評論;敏感詞模塊用于對數據庫的敏感詞進行添加/刪除操作。過濾算法使用Java的HashMap來研發設計，構建敏感詞庫。為此，將掃描文章中的所有字符，當某一個字符匹配到敏感詞的第一個字時，開始檢索下一個字符，如果與敏感詞的第二個字不匹配則退出，開始匹配下一條回復，如果匹配到相同字符，就針對從第一個字符到目前掃描的字符之間的字符串，求其HashMap值，看能否從對應的表中檢出敏感詞，如果檢出就可以展開下一步操作，如果找不到或者超長，就從開始的字符繼續掃描。這樣就實現了敏感詞過濾。在帖子回復頁面中，如果有信息包含數據庫敏感詞時，系統將會自動選擇用戶，將已經存儲在數據庫中的正能量信息或者無關的普通信息發布出來，從而替換這條敏感回復，最終達到了對負面信息的引導消除作用。

4 結束語

高校網絡輿情對建設和諧校園有重要的意義。當前互聯網技術發展迅速，及時地引導校園網絡輿情走向，防止輿情泛濫，將負面影響降至最低，如此才能使學生建立良好的價值觀。本文基于B/S架構的高校網絡輿情監控引導系統，將高校網絡輿情的采集、分析、處理、引導實現了一體化，為高校在網絡輿情引導工作管理和執行上提供技術和決策支持。本文構建的網絡輿情監控與引導系統可為作者院校的正常發展起到保駕護航作用，出現危機情況時可做到及時的預警和正方向引導。但目前本系統尚處于初期起步階段，后期還將面臨科研工作任務，諸如完善系統、優化界面、增加功能等。

參考文獻

[1]趙芬，雷珍臻，楊曉云，等. 基于百度貼吧大學生網絡輿情分析[J]. 電腦知識與技術，2018，14（28）：227-229.

[2]?王杰.?基于微博大數據的輿情監測系統的設計與實現[D]. 天津：中國民航大學，2017.

[3]?羅咪.?基于Python的新浪微博用戶數據獲取技術[J]. 電子世界，2018（5）：138-139.

[4]?陳艷紅，向軍，劉嵩. 高校網絡輿情分析的K-Means算法優化研究[J]. 湖北民族學院學報（自然科學版），2018，36（4）：442-447.

[5]?黃小熳. 高校危機公關中的網絡輿情分析及有效引導[J]. 科教文匯（中旬刊），2019（1）：7-9，39.

[6]?安子建. 基于Scrapy框架的網絡爬蟲實現與數據抓取分析[D]. 長春：吉林大學，2017.

[7]?陳濤，欒禹鑫，譚英杰，等. 基于爬蟲技術的校園網絡輿情分析和監測系統[J]. 網絡安全技術與應用，2018（12）：54-55.

[8]?杜艷，杜華. 新媒體時代高校網絡輿情預警機制構建[J]. 山東工會論壇，2018，24（6）：106-109.

[9]?連芷萱，連增水，張秋波，等. 面向突發事件的網絡衍生輿情預警模型與實證研究[J]. 情報雜志，2019，38（3）：133-140.

[10]朱勝楠，李師，高蓉蓉. 自媒體時代下高校網絡輿情引導研究[J]. 科技經濟導刊，2019，27（9）：180.

[11]李巧芳. 新時代背景下醫學院校網絡輿情引導策略研究[J]. 錦州醫科大學學報（社會科學版），2019，17（2）：29-31.

[12]吳曉珊，曹旭東，王森，等. 基于B/S架構的管理系統軟件開發[J]. 計算機測量與控制，2019，27（2）：123-128.

[13]彭浩，朱望鵬，趙丹丹，等. 面向多源社交網絡輿情的情感分析算法研究[J]. 信息技術，2019（2）：43-48.

[14]張鵬，崔彥琛，蘭月新，等.?基于扎根理論與詞典構建的微博突發事件情感分析與輿情引導策略[J]. 現代情報，2019，39（3）：122-131，143.