遼寧省水利輿情信息監(jiān)控系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

桑蕊

摘要：隨著新媒體的不斷發(fā)展，對熱點(diǎn)輿情監(jiān)測的需求越來越緊迫，根據(jù)水利部門工作特點(diǎn)和遼寧省水利信息化建設(shè)的實(shí)際情況，開發(fā)了利用搜索引擎技術(shù)、文本處理技術(shù)、知識管理方法，通過對互聯(lián)網(wǎng)海量信息自動獲取、提取、分類、聚類、主題監(jiān)測、專題聚焦，實(shí)現(xiàn)用戶對遼寧水利網(wǎng)絡(luò)輿情監(jiān)測和熱點(diǎn)事件專題追蹤的水利輿情信息監(jiān)控系統(tǒng)。

關(guān)鍵詞：水利輿情；實(shí)時監(jiān)控；搜索引擎

1背景

隨互聯(lián)網(wǎng)技術(shù)不斷發(fā)展，繼報紙、廣播、電視之后網(wǎng)絡(luò)媒體已被公認(rèn)為第四大媒體，更有趕超和替代前者之趨勢成為反映社會輿情的主要載體之一。網(wǎng)絡(luò)輿情形成迅速，傳播范圍廣泛，其中一些輿情帶有網(wǎng)民的主觀性，未經(jīng)驗(yàn)證直接發(fā)布于網(wǎng)絡(luò)上對社會影響巨大。水利部門作為服務(wù)性行業(yè)與大眾生活息息相關(guān)，其新聞一直都是網(wǎng)絡(luò)輿論關(guān)注的焦點(diǎn)，及時發(fā)現(xiàn)并處理好水利輿隋信息是對新時期水利工作的新要求。

本著對國家和人民負(fù)責(zé)的態(tài)度，遼寧省水利輿隋信息監(jiān)控系統(tǒng)應(yīng)運(yùn)而生，以此建立高標(biāo)準(zhǔn)、起點(diǎn)高的全天候全方位網(wǎng)絡(luò)信息監(jiān)控，以先進(jìn)的技術(shù)手段對境內(nèi)外互聯(lián)網(wǎng)網(wǎng)站的內(nèi)容進(jìn)行監(jiān)測，變事后處理為事前控制，為決策層全面掌握輿情動態(tài)，做出正確輿論引導(dǎo)，提供分析依據(jù)。

2系統(tǒng)建設(shè)目標(biāo)

本系統(tǒng)以信息采集為核心，運(yùn)用內(nèi)容管理、知識管理、信息分類，完成水利輿情監(jiān)控和熱點(diǎn)追蹤等功能需求，實(shí)現(xiàn)對互聯(lián)網(wǎng)輿情中遼寧水利方面信息的監(jiān)管、監(jiān)測，即時、實(shí)時發(fā)現(xiàn)信息。

建設(shè)目標(biāo)包含以下幾個方面：

1）監(jiān)測整個互聯(lián)網(wǎng)內(nèi)關(guān)于遼寧水利的相關(guān)報道，及時發(fā)現(xiàn)不良信息。

2）監(jiān)測地方媒體關(guān)于遼寧水利的評論或負(fù)面報道。

3）及時了解掌握最新重大事件。準(zhǔn)確收集關(guān)注需要的輿情信息。

4）借助技術(shù)手段，為早發(fā)現(xiàn)、早知道提供幫助。

5）追溯查詢網(wǎng)絡(luò)重點(diǎn)消息內(nèi)容的傳播途徑。

3系統(tǒng)工作流程

通過系統(tǒng)的采集與分析功能對互聯(lián)網(wǎng)有關(guān)報道或評論遼寧水利的各個方面的新聞或敏感言論做到及時返現(xiàn)、及時處理。

1）信息采集：完成互聯(lián)網(wǎng)中水利輿情的信息實(shí)時監(jiān)測、采集、內(nèi)容提取及排重；

2）信息處理：實(shí)現(xiàn)對從互聯(lián)網(wǎng)中抓取的水利輿情信息進(jìn)行自動分類聚類、主題檢測、專題聚焦等；

3）信息服務(wù)：將采集并分析整理后的輿情信息提供輔助處理信息服務(wù)，如提供輿情信息簡報服務(wù)、追蹤已發(fā)現(xiàn)的輿情焦點(diǎn)等。

系統(tǒng)既支持指定網(wǎng)站新聞、博客、論壇、貼吧的采集監(jiān)控，又支持通過關(guān)鍵詞對整個互聯(lián)網(wǎng)進(jìn)行監(jiān)控。（包括論壇、博客、貼吧）

4系統(tǒng)關(guān)鍵技術(shù)

1）信息抽取技術(shù)

網(wǎng)頁是組成互聯(lián)網(wǎng)的基本數(shù)據(jù)單位元，是各種面向互聯(lián)網(wǎng)的應(yīng)用系統(tǒng)最原始的數(shù)據(jù)源。網(wǎng)頁內(nèi)部含有大量噪音信息，如何從網(wǎng)頁中有效地提取有價值的內(nèi)容成為影響數(shù)據(jù)處理效果的關(guān)鍵。

2）重復(fù)識別技術(shù)

采用動態(tài)詞典，將詞編碼成數(shù)字ID序列，為了控制動態(tài)詞典容易膨脹，又設(shè)計(jì)了詞典溶解技術(shù)，保證很高的訪問效率。

3）內(nèi)存池技術(shù)

采用了內(nèi)存池，先在內(nèi)存中建索引，再寫至磁盤，數(shù)據(jù)在內(nèi)存中進(jìn)行二次壓縮，保證了內(nèi)存新能優(yōu)化。

4）超鏈分析技術(shù)

采集最主要的依據(jù)就是URL，而任何一個網(wǎng)頁中又包含了若干互相的鏈接，這就對URL尋址帶來了很大程度上的干擾性，所以系統(tǒng)采集到第一個頁面后就把相關(guān)的信息進(jìn)行了智能識別。

5）智能化處理技術(shù)

智能化處理技術(shù)要解決的核心問題是計(jì)算機(jī)對信息“內(nèi)容”的理解。

5系統(tǒng)組成結(jié)構(gòu)

整個系統(tǒng)分為四個主要子系統(tǒng)。分別是信息采集系統(tǒng)，智能分析系統(tǒng)，信息檢索系統(tǒng)，數(shù)據(jù)發(fā)布系統(tǒng)。

1）信息采集系統(tǒng)

主要用于實(shí)時監(jiān)控指定互聯(lián)網(wǎng)上各類新聞?wù)军c(diǎn)的敏感信息、以及有害信息的網(wǎng)站。模塊可以自動執(zhí)行，無須人工干預(yù)。根據(jù)網(wǎng)站的特點(diǎn)，將網(wǎng)站分為重點(diǎn)監(jiān)控和普通監(jiān)控，對于重點(diǎn)監(jiān)控系統(tǒng)采取循環(huán)搜索的方式，對于普通監(jiān)控只要在模塊中，設(shè)定好啟動、結(jié)束的時間，時間一到搜索引擎服務(wù)器會自行啟動搜索任務(wù)。搜索引擎將按照多種搜索策略并提供各種方式各種邏輯組合查詢（包含“and”、“or”、“not”、“（”、“）”的組合邏輯關(guān)系及“一”、“%”等通配符）統(tǒng)計(jì)和處理。系統(tǒng)支持簡體和繁體同時查詢系統(tǒng)，提供各種報表打印功能。系統(tǒng)支持新聞、博客、論壇、貼吧的采集及監(jiān)控。

2）智能分析系統(tǒng)

智能分析系統(tǒng)是整個系統(tǒng)的關(guān)鍵組成部分，其主要作用是對信息采集系統(tǒng)采集下來的數(shù)據(jù)，進(jìn)行自動智能分析。自動分析功能包括：自動生成熱點(diǎn)，自動區(qū)分正負(fù)面信息，自動分類，自動標(biāo)記重復(fù)（轉(zhuǎn)載）文章，自動生成統(tǒng)計(jì)圖表等功能。可以根據(jù)發(fā)表內(nèi)容出處權(quán)威度、時間、密集程度等參數(shù)，判斷出給定時間段內(nèi)的熱門話題。使用內(nèi)容主題詞組和回帖數(shù)進(jìn)行綜合語義分析，識別敏感話題。判斷新采集到的文章、帖子的話題是否與已有內(nèi)容相同，根據(jù)文檔內(nèi)容間的相關(guān)程度進(jìn)行分組歸并。

3）信息檢索系統(tǒng)

對采集后的信息進(jìn)行加工處理，按內(nèi)容分類、關(guān)鍵詞（查詢方式又分為標(biāo)題查詢、關(guān)鍵詞查詢、正文查詢），時間范圍進(jìn)行檢索查詢，以便獲取最需要的關(guān)鍵信息。

4）數(shù)據(jù)發(fā)布系統(tǒng)

數(shù)據(jù)發(fā)布系統(tǒng)為整個系統(tǒng)的發(fā)布界面，也就是對智能分析系統(tǒng)生成的數(shù)據(jù)進(jìn)行發(fā)布。主要包括：采集數(shù)據(jù)統(tǒng)計(jì)，領(lǐng)導(dǎo)人（名人）信息，地區(qū)信息，趨勢統(tǒng)計(jì)，熱點(diǎn)新聞，熱點(diǎn)帖子，熱點(diǎn)博客，分類信息，個性化追蹤，簡報系統(tǒng)，文章細(xì)覽頁面，系統(tǒng)管理等等。

6結(jié)束語

本套系統(tǒng)區(qū)別于公眾搜索引擎采用覆蓋所有中文搜索引擎，批量自動更新，系統(tǒng)配備自動過濾功能對海量信息進(jìn)行預(yù)處理，達(dá)到近似用戶所要的內(nèi)容，只需在一個界面中就可以瀏覽自己所需的內(nèi)容，從而對用戶關(guān)心的突發(fā)事件進(jìn)行及時處置，為決策者提供有力的支持，該系統(tǒng)的開發(fā)使用對遼寧省水利輿情監(jiān)管工作具有重要意義。