基于政務微博數據分析系統的設計與實現

摘要：本文著重介紹了數據分析系統的需求，探討了一種針對政務微博分析的HRCA模型，并對政務微博數據分析系統的設計與實現進行了研究。

關鍵詞：數據分析;HRCA模型;系統需求

目前政務微博內部的賬戶數據越來越多，微博的作用逐漸體現了出來，政府微博目前需要首先解決的問題就是設計并實現數據分析系統，通過該系統來尋找大眾最關心的話題內容，得到大眾的情感傾向，進而在政府微博上推送相關內容，實現微博價值。政務微博數據分析系統本身包含著數據采集子系統、數據分析子系統、數據可視化子系統，它們都可以很好的完成數據收集、儲存、分析工作。本文著重介紹了數據分析系統的需求，探討了一種針對政務微博分析的HRCA模型，并對政務微博數據分析系統的設計與實現進行了研究。

1 系統需求分析

1.1 業務需求

政府微博的主要工作就是為政府部門發布一些政策，通過這種方式訪問民生，拉近群眾和政府之間的關系，群眾可以根據政府微博了解當前的優惠政策，政府也可以利用微博了解群眾心中所想，由此可見政府微博就是政府的另一種形式體現，可以構建出一個親民的政府形象。近幾年來，政府微博越來越被重視，有關政府微博的運營問題也展開了研究，在運營過程中，提高信息處理效率，貼近群眾，提高工作人員工作效率等內容成為運營人員首要考慮的問題。為了實現這些目標，政府微博就需要實現以下其中業務需求[1]。

首先政府微博需要采集政務微博賬戶數據信息，給系統數據分析提供支持，同時還需要提供最少一年以內的微博熱點話題，通過這種方式來了解群眾的心中所想，了解民心，在后續的內容發布過程中也可以據此提供策略依據。政府微博還需要掌握整體的輿論走勢，引導輿論走向更好的方向，改善政府微博的服務質量，同時迎合微博用戶的需求。政府微博還需要按照用戶的訪問時間熱度判斷微博發送的時間，判斷政府微博近期活躍數以及熱門話題等等。在數據分析方面，政府微博需要提供可視化的展示界面，將數據分析所呈現出來的結果變得更加直觀，同時為政府微博發布提供熱門素材信息。

1.2 功能性需求

政務微博的數據分析系統所需要提供的功能可以從數據采集功能、微博話題功能、輿論傾向分析功能、多維度數據分析功能等幾個角度進行分析。政府微博數據分析系統本身需要從采集工作開始，采集的主要內容包括微博網站上的賬戶相關信息，微博評論內容、轉發內容、點贊數量等等，這些具有用戶特征的微博數據是政府微博數據分析系統著重收集的。在收集工作完成之后，就需要將采集到的內容數據進行數據清洗、格式轉化。獲取政務微博熱門微博話題工作主要是從話題的內容出發，主要的目的就是分析微博賬戶一年以內的熱點話題，通過這種方式來掌握群眾所感興趣的內容，然后對原有的熱門話題數據進行有效的分析。同時受到政務微博賬務類型不同的因素影響，很多用戶的訪問時間都是不同的，數據分析工作還可以對用戶的訪問時間進行統計，計算出最佳的政策推送時間并且不斷的更新數據，推送數據。數據分析工作還需要具有數據可視化功能以及系統用戶管理功能，在數據可視化功能中，政府微博運營人員可以通過柱狀圖、餅狀圖等對數據分析結構數據進行可視化展示，給運營人員一種直觀的展示效果[2]。對于系統用戶管理功能來講主要的作用就是對系統用戶的維護工作，配置對應的系統管理員，幫助用戶添加、修改、查詢等工作。

2 面向政務微博熱度和情感分析的HRCA和EDS模型

2.1 政務微博熱度HRCA模型

HRCA模型也是政務微博熱度值模型，所謂微博熱度值主要指的就是目前政務微博賬戶內部的熱門微博，并且在熱門微博中過濾出大眾最為關心、最為重視的微博內容。據專業分析來講，微博的熱度值并不僅僅體現在點贊數和轉發上，更多的應該是微博用戶對其內容的感興趣程度和重視程度。因為微博系統本身設置的關系，在微博中進行瀏覽，轉發和評論等操作都是要麻煩于點贊的，所以轉發和評論所占的重要比例是要高于點贊的。在確定用戶重視程度上主要從用戶評論的長度來考慮，其次轉發人員的影響力也會給政府微博熱度帶來影響，比如如果一個擁有五萬粉絲的用戶轉發并評論了政府微博內容，那么政府微博的熱度值就被很好的帶動了起來。根據HRCA模型所呈現出來的預期效果，政府微博可以采用代碼編程的內容來進行實現，首先在編寫代碼之前需要確定對應的影響關系，HRCA模型本身包含著用戶的操作行為，其中點贊、評論、轉發等權值計算都會對HRCA模型產生影響，具體的代碼如圖1所示[3]。

2.2 政務微博評論情感值EDS模型

在對政府微博評論內容進行調研的過程中可以發現，政府微博評論的文本內容大多都是陳述句以及感嘆句，只有個別的評論是疑問句，表現著對發布內容的疑問，疑問句文本本身就表達出了一種消極態度，而且具有很強的攻擊性。EDS模型就是基于此進行開創的，EDS模型可以對言語表達出來的情感進行探索，主要的工作任務就是優化文本的情感分析。在對評論文本進行分析的過程中，EDS模型可以通過標點來判斷評論內容的歸屬類別，比如感嘆號一般都是代表著對政策的感嘆，而懷有疑問語氣的評論內容大多都是對政策內容存在疑問或者是不滿意的情況。

3 面向政務微博的數據分析系統設計

3.1 系統整體架構設計

政務微博系統整體框架得到了數據分析系統的支持，而采集子系統、數據可視化子系統以及數據分析子系統又成為了支撐數據分析系統運行的關鍵技術。這三種子系統包含著不同的功能，功能的種類也是多種多樣，其中數據采集工作、話題提取工作、情感分析數據分析工作、可視化工作等等。其中數據采集子系統主要的工作目的就是完成政務微博數據采集工作，其中數據采集工作包括對政務微博的網頁記錄、評論內容的字段提取、微博數據清洗以及政務微博數據格式化等等。在采集的過程中，采集的數據一般都會儲存在MongoDB數據庫中，在該數據庫中，數據采集系統本身就是分布式集群，數據存放的形式是用單一存放的方法，通過這樣處理來方便后期進行數據分析工作。數字分析子系統本身可以根據運營人員的具體需求來進行數據分析，在分析的過程中還需要進行微博熱門話題提出工作、微博評論情感分析工作、政務微博多維度數據分析以及獲取發布素材功能[4]。數據分析子系統本身通過Spark分布式框架實現的，它不僅可以實現獨立字段操作還可以搭建Linux系統，在系統中對數據庫進行分析，方便后續的數據可視化工作。數據可視化子系統本身包含著數據可視化展示功能以及用戶管理功能兩種，在表現形式上一直以柱狀圖、餅狀圖等幾種形式來展現數據，這種形勢也是數據可視化的具體體現。同時為了保證數據內容的可靠性以及安全性，該系統還設定了用戶登錄和用戶維護功能，用戶在登陸之后才能進行相關操作。

3.2 數據采集子系統設計

數據采集子系統的主要工作就是定時采集政務微博相關賬戶的數據信息，并對已經采集到的信息進行“清洗”以及格式轉換，并對相關信息內容進行保存，以此作為整個數據收集系統的數據來源，給其他工作提供數據支持。

政務微博的數據采集工作一般都會對政務微博歷史數據信息、政務微博評論數據信息、政務微博發布素材信息這三種形式。首先政務微博歷史數據信息分析工作主要就是將政務微博賬戶歷史所發布的信息的所有轉發數、點贊數等等進行統一采集。采集的過程大概以一個月為更新時間，主要是為政務微博熱門話題以及政務微博多個維度數據分析功能進行數據統計，統計的內容還包括微博ID、評論ID、用戶性別、用戶粉絲數、評論內容、評論內容的點贊數等等，這些信息都在統計的范圍之內[5]。政務微博評論數據信息本身主要是將系統最近兩天以內的政務微博賬戶發布的所有評論信息以及微博內容進行統計，統計的間隔大約在一個小時左右，數據更新一般都會傾向于政務微博輿論以及情感傾向，主要的字段信息內容以用戶評論的文字為主要標準。第三類采集信息主要指的就是政務微博發布素材信息，這類信息基本上都是來自于政務微博官方賬號和一些政務微博關注的賬號，這些信息本身發布的素材都可以提供數據支持，信息數據大約在十分鐘左右更新一次。

3.3 數據分析子系統設計

數據分析工作是整個數據處理工作中比較重要的工作內容之一，該系統的主要作用也就是處理數據、分析數據，對數據的內容進行更深層次的了解，了解的內容一般都是微博內容、數據清理工作、文本情感分析工作等等，在實際的工作過程中一般都使用Spark分布式框架作為子系統的計算引擎。在子系統設計的過程中一般都使用文本數據預處理、LDA模型訓練等等。其中LDA模型訓練需要從系統工作為開始，對微博數據進行讀取，然后通過hrca模型獲取熱門微博的內容，隨即對微博內容進行數據清洗工作，并添加詞典、分詞、去除停用詞、b特征提取，隨后進行LDA模型訓練，獲取詞語及對應權重，最后將系統處理數據存入到mysql當中[6]。

3.4 數據可視化子系統設計

數據可視化子系統設計它的工作形式就是將數據分析中的數據內容通過圖表的方式向用戶進行展示，讓用戶可以直觀的感受到數據變化。在系統用戶管理功能當中，系統用戶管理部分配有對應的系統管理人員，該管理人員可以通過添加用戶的方法來注冊用戶，如果沒有經過注冊的用戶在訪問系統的時候會被攔截，整個系統的安全性得到了很好的保障。在數據可視化展示功能當中，數據可視化展示功能可以對數據分析子系統中的部分數據分析功能進行一定的展示，在展示的過程中不能通過圖標的方式而是通過一些可視化工具，比如Echarts。在得到了可視化工具之后才可以讀取Mysql數據，最后通過餅狀體、柱狀圖的方式進行數據展示。

4 面向政務微博的數據分析系統實現

4.1 系統實現環境

面向政務微博的數據分析系統實現工作主要分為硬件環境以及軟件環境兩種，其中硬件環境具體指的就是計算機的配置，比如CPU、主頻、內存、硬盤等等。軟件環境主要指的就是給系統提供一定的開發環境和運行環境，軟件環境需要得到硬件環境的支持，在硬件中安裝對應的軟件系統、框架，采取分布式環境的方法完成系統實現[7]。在面向政務微博的數據分析系統時，數據采集子系統以及數據分析子系統都是通過分布式框架才實現的，所以在搭建服務器的過程中需要根據相關技術完成系統設定，以此來實現定時啟動數據分析任務[8]。

4.2 數據采集子系統實現

數據采集子系統的實現本身的作用就是保護系統的安全性，在具體的工作過程中主要使用的方法有反爬蟲手段以及加密字符等等。其中反爬蟲手段就是使用多用戶模擬登陸的方式獲取對應的Cookie值，然后通過代理的方式來完成運行。如果網站人員在識別Cookie用戶的時候需要添加一段加密字符，此時如果某些非法人員經常使用一個Cookie多次的訪問網站，那么根據系統設定會很容易將其判定為爬蟲，最終拒絕該用戶的訪問。在實現數據采集子系統的過程中也會涉及到IP代理池的實現，在實際測試的過程中會為每一個電腦分配對應的IP地址，如果使用單- IP對政務微博進行多次訪問、惡意訪問，那么該IP也會被封禁[9]。

4.3 數據分析子系統實現

數據分析子系統實現主要包括一些熱門主題提取，同時在文本情感分析和多維度數據分析和獲取熱度政務微博發布素材分析中的都有著很好的表現。該程序本身就需要處理大量的數據內容以及設定算法，所以在數據分析子系統中使用的技術都是基于內存的Spark分析框架，并且使用分布式架構加快信息數據分析處理的速度。同時數據分析子系統在文本數據預處理中也有著較好的應用，首先Spark對政務微博賬戶發過的熱門微博進行整合，并取出前百分之二十的微博數據作為熱門微博數據，并且對微博的具體內容進行熱度排序，使用結巴分詞器進行分詞、過濾，最終生成沒有副詞影響的信息數據[10]。

4.4 數據可視化子系統實現

數據可視化子系統實現本身由表現層、業務層以及持久層組成，表現層的功能主要是展示可視化數據以及基本用戶維護操作，而業務層的功能則是使用SpringMVC技術接受前端發出的請求，處理業務邏輯，最終實現各個模塊之間的融合。持久層的功能是將數據保存到關系型數據庫中，為控制層提供訪問和更新數據的權利[11]。

5 結束語

綜上所述，隨著信息化社會的到來，微博等公眾平臺已經發展火熱，目前已經成為傳播政策、推廣消息的重要途徑，因此政務微博現如今已經成為了政府和廣大人民群眾之間聯系的關鍵紐帶。但是在政務微博處理數據的過程中遭遇到了很多的問題，微博運營遇到了很多的阻礙，由此可見，政務微博的財務系統設計工作尤為重要，相關運營人員需要面向政務微博的數據分析系統、數據采集子系統、數據分析子系統、數據可視化子系統進行探討和研究，做好數據分析系統的構建，保證政務微博的可持續發展。

參考文獻

[1]于一，楊俊杰，王太林.基于Android的排球比賽數據統計分 析系統設計與實現[J].科學技術創新，2020 （31）：66-68.

[2]畢祥銀，張輝，大數據分析在用電采集數據分析與智能監測系統的設計與實現[J].電子世界，2020 （19）：136-137.

[3]劉斌.基于Twit ter大數據處理的境外輿情分析系統設計與實現[J].電腦知識與技術，2020，16 （27）：30-3 3+42.

[4]邊倩，王振鐸，庫趙云.基于Python的招聘崗位數據分析系統的設計與實現[J].微型電腦應用，2020，36 （09）：18-19+26.

[5]韓冬，郭浩峰，李林洋，汪菊琴，江森林.基于大數據技術的區域房價與就業數據關聯分析系統的設計與實現[J].電腦知識與技術，2020，16 （25）：89-91.

[6]郭曉乾，武守曉，王承棟，劉思宇.基于大數據的電能質量監測分析系統設計與實現[J].軟件導刊，2020，19 （08）：182-18 5.

[7]游磊，梁穎，韓祺祎，張文，馮江.基于虛擬儀器的動態信號采集與分析系統設計與實現[J].自動化與儀器儀表，2020（07）：144-147.

[8]陳愷.S模式監視數據質量分析系統設計與實現[J].軟件，2020， 41（07）： 228-2 34.

[9]吳磊，歐陽赫明，基于Spark的分布式健康大數據分析系統設計與實現[J].軟件導刊，2020，19 （07）：99-102.

[10]楊輝，基于R語言的北京市醫耗聯動綜合改革數據分析Web應用系統的設計與實現[J].中國數字醫學，2020，15 （07）：22-25.

[11]舒暢，蔣方園.高校畢業生就業大數據分析系統的設計與實現[J].信息通信，2020 （07）：149-150.

作者簡介

鄭榮龍（1984-），男，廣東省江門市人。碩士研究生，計算機高級工程師、公職律師、一級建造師。研究方向為政務服務工作、大數據管理等。