互聯(lián)網(wǎng)信息監(jiān)測系統(tǒng)的設(shè)計(jì)與應(yīng)用

魏敏 徐欽

摘要：根據(jù)南京市標(biāo)準(zhǔn)化研究院開展的《南京市重點(diǎn)新興行業(yè)信息簡報(bào)》《浦口區(qū)產(chǎn)業(yè)地標(biāo)發(fā)展信息研報(bào)》制作需求，設(shè)計(jì)了一套能夠利用大數(shù)據(jù)采集、存儲(chǔ)、檢索、分析等先進(jìn)技術(shù)對(duì)海量數(shù)據(jù)進(jìn)行全面處理的互聯(lián)網(wǎng)信息監(jiān)測系統(tǒng)。系統(tǒng)能夠檢索相關(guān)行業(yè)政策信息和行業(yè)動(dòng)態(tài)，并對(duì)獲取信息進(jìn)行篩選、分類、統(tǒng)計(jì)，最終形成專業(yè)詳實(shí)的分析報(bào)告，為相關(guān)職能部門、行業(yè)主管部門、相關(guān)企業(yè)進(jìn)行科學(xué)決策提供重要支持。

關(guān)鍵詞：行業(yè) 檢索 設(shè)計(jì) 應(yīng)用

Design and Application of Internet Information Monitoring System

Wei ?Min， Xu Qin（Nanjing Institute of Standardization）

Abstract： According to the requirement of making “Information Briefing of Key Emerging Industries in Nanjing” and “Information Research Report of Industrial Landmark Development in Pukou District”， a system which can comprehensively process massive data was designed and built in Nanjing Institute of Standardization The system uses advanced technologies like big data collection， storage， retrieval and analysis. It can retrieve policy information and news in relevant industry areas， then screen， classify and count the data and finally form a professional analysis report. The report can provide important support for relevant functional departments， industry authorities and relevant enterprises to make scientific decisions.

Key words： industry， search， design， application

1 引言

2017年11月，中共南京市委、南京市人民政府發(fā)布《關(guān)于加快推進(jìn)全市主導(dǎo)產(chǎn)業(yè)優(yōu)化升級(jí)的意見》，指出將7大類14個(gè)戰(zhàn)略性新興產(chǎn)業(yè)優(yōu)化為“4+4+1”主導(dǎo)產(chǎn)業(yè)體系，目標(biāo)到2020年，全市主導(dǎo)產(chǎn)業(yè)主營業(yè)務(wù)收入達(dá)45000億元。智能電網(wǎng)、智能制造裝備、新能源汽車是南京市確定的先進(jìn)制造業(yè)四大主導(dǎo)產(chǎn)業(yè)的重要組成部分，也是原江蘇省質(zhì)監(jiān)局研究確定南京市第一批質(zhì)量提升行業(yè)，對(duì)推動(dòng)南京市制造業(yè)提質(zhì)增效升級(jí)具有示范引領(lǐng)作用。南京市標(biāo)準(zhǔn)化研究院及時(shí)響應(yīng)全市開展的質(zhì)量提升行動(dòng)，通過了前期的調(diào)研和討論，設(shè)計(jì)了一套互聯(lián)網(wǎng)信息監(jiān)測系統(tǒng)，針對(duì)三大質(zhì)量提升行業(yè)進(jìn)行全方位的動(dòng)態(tài)跟蹤，并研究制定了《南京市重點(diǎn)新興行業(yè)信息簡報(bào)》。簡報(bào)從政府、行業(yè)、南京市三個(gè)層次檢索最新動(dòng)態(tài)信息，為相關(guān)職能部門、企業(yè)及時(shí)掌握行業(yè)動(dòng)態(tài)，了解行業(yè)發(fā)展?fàn)顩r提供了有效途徑，對(duì)三大重點(diǎn)行業(yè)的質(zhì)量提升具有積極的意義。

近年來，南京市浦口經(jīng)濟(jì)開發(fā)區(qū)作為浦口區(qū)、江北新區(qū)的重要產(chǎn)業(yè)載體，緊密圍繞南京建設(shè)創(chuàng)新名城、創(chuàng)新名城戰(zhàn)略部署，努力打造新能源汽車和集成電路兩個(gè)千億級(jí)的主導(dǎo)產(chǎn)業(yè)鏈，充分激發(fā)產(chǎn)業(yè)地標(biāo)的新活力與“芯”動(dòng)能。為配合浦口區(qū)搶抓產(chǎn)業(yè)地標(biāo)新發(fā)展機(jī)遇，優(yōu)化產(chǎn)業(yè)布局，南京市標(biāo)準(zhǔn)化研究院應(yīng)用互聯(lián)網(wǎng)信息監(jiān)測系統(tǒng)，為浦口區(qū)市場監(jiān)管局開展主導(dǎo)產(chǎn)業(yè)輿情分析，并定期編纂《浦口區(qū)產(chǎn)業(yè)地標(biāo)發(fā)展信息研報(bào)》。此項(xiàng)工作，為浦口區(qū)相關(guān)職能部門及企業(yè)及時(shí)了解行業(yè)發(fā)展現(xiàn)狀，進(jìn)行科學(xué)決策提供重要支持。

本文設(shè)計(jì)的互聯(lián)網(wǎng)信息監(jiān)測系統(tǒng)以云采集、云存儲(chǔ)、云檢索、云分析等云計(jì)算技術(shù)為基礎(chǔ)的方正智思大數(shù)據(jù)分析處理平臺(tái)為核心，以本地部署的應(yīng)用服務(wù)為基石，為用戶提供獨(dú)立的網(wǎng)絡(luò)信息搜索及分析應(yīng)用服務(wù)，系統(tǒng)通過對(duì)互聯(lián)網(wǎng)海量信息實(shí)時(shí)精確采集和即時(shí)深入地分析，實(shí)現(xiàn)對(duì)新聞、論壇、博客、評(píng)論、微博、微信、移動(dòng)客戶端等的全面監(jiān)測，使用戶在第一時(shí)間掌握網(wǎng)絡(luò)信息動(dòng)態(tài)，并能夠?qū)﹃P(guān)注事件或線索進(jìn)行持續(xù)追蹤和多維分析，輔助用戶全面掌握行業(yè)動(dòng)態(tài)，為相關(guān)部門進(jìn)行科學(xué)決策提供了事實(shí)依據(jù)和參考。

2 系統(tǒng)設(shè)計(jì)

2.1 系統(tǒng)總體架構(gòu)設(shè)計(jì)

互聯(lián)網(wǎng)信息監(jiān)測系統(tǒng)輔助用戶全面掌握行業(yè)動(dòng)態(tài)，系統(tǒng)采用面向服務(wù)的思想，利用松散耦合的分層方式將系統(tǒng)整體上分為5大模塊，各層之間的界限清晰，功能明確而不交叉，具有較高的可配置性和伸縮性。

（1）基礎(chǔ)設(shè)施層

基礎(chǔ)設(shè)施層設(shè)備部署在特定機(jī)房，通過采購相應(yīng)的服務(wù)器和存儲(chǔ)設(shè)備以及共享信息中心網(wǎng)絡(luò)、安全基礎(chǔ)設(shè)備，為整個(gè)系統(tǒng)提供基礎(chǔ)的分布式存儲(chǔ)、分布式計(jì)算和集群等軟硬件支撐，互聯(lián)網(wǎng)出口采用機(jī)房外網(wǎng)出口。

（2）虛擬化技術(shù)

基于方正云服務(wù)中心以傳統(tǒng)的獨(dú)立硬件構(gòu)建為基礎(chǔ)，采用虛擬化技術(shù)對(duì)硬件資源進(jìn)行虛擬化處理，將相關(guān)應(yīng)用服務(wù)部署于虛擬化系統(tǒng)。

（3）大數(shù)據(jù)平臺(tái)系統(tǒng)

以云計(jì)算技術(shù)和分布式技術(shù)為基礎(chǔ)，利用分布式采集系統(tǒng)全面采集各網(wǎng)站發(fā)布的互聯(lián)網(wǎng)信息，搭建海量數(shù)據(jù)存儲(chǔ)、全文檢索和智能分析系統(tǒng)，實(shí)現(xiàn)對(duì)大規(guī)模互聯(lián)網(wǎng)輿情數(shù)據(jù)的存儲(chǔ)、檢索和挖掘。

（4）應(yīng)用層

以輿情大數(shù)據(jù)系統(tǒng)為基礎(chǔ)，系統(tǒng)提供信息搜索、事件訂閱、事件分析、熱點(diǎn)推薦、信息通知、信息編輯、行業(yè)報(bào)告，以及消息管理、系統(tǒng)管理等前后臺(tái)功能。

（5）服務(wù)層

為用戶提供全面的搜索、事件分析、熱點(diǎn)報(bào)告服務(wù)，滿足用戶日常輿情監(jiān)測的工作需求。

2.2 系統(tǒng)技術(shù)支撐

2.2.1 海量信息采集

依托方正智思大數(shù)據(jù)分析處理平臺(tái)分布式架構(gòu)和硬件資源，系統(tǒng)統(tǒng)一調(diào)度采集任務(wù)，充分利用每個(gè)下載機(jī)的資源，提高采集的整體性能。可通過調(diào)整集群的子節(jié)點(diǎn)數(shù)量來提高集群的負(fù)載能力。本地重點(diǎn)采集網(wǎng)站可通過本地部署雷達(dá)采集，保障本地重點(diǎn)網(wǎng)站的實(shí)時(shí)快速采集。

2.2.2 海量級(jí)數(shù)據(jù)存儲(chǔ)

基于方正智思大數(shù)據(jù)分析處理平臺(tái)的Hadoop的分布式存儲(chǔ)框架，采用HBase分布式數(shù)據(jù)庫，構(gòu)建于分布式HDFS之上，使用列存儲(chǔ)技術(shù)，通過線性方式從下到上增加節(jié)點(diǎn)來進(jìn)行擴(kuò)展，將大而稀疏的數(shù)據(jù)表存放到方正大數(shù)據(jù)分析處理平臺(tái)的服務(wù)器集群上，減少用戶對(duì)于數(shù)據(jù)存儲(chǔ)方面的投入，滿足高可靠性、高性能、可伸縮的特性。

2.2.3 分布式檢索

為解決大數(shù)據(jù)快速檢索的問題，監(jiān)測系統(tǒng)利用方正智思大數(shù)據(jù)分析處理平臺(tái)的集群技術(shù)架構(gòu)，通過擴(kuò)展子集群的數(shù)量，提高系統(tǒng)的數(shù)據(jù)規(guī)模負(fù)載能力，以滿足更大的數(shù)據(jù)量需求;通過擴(kuò)展子集群內(nèi)的副本數(shù)量，提高系統(tǒng)的并發(fā)檢索的負(fù)載能力，滿足大量并發(fā)檢索的需求。

2.2.4 多元化數(shù)據(jù)采集

多元化數(shù)據(jù)采集技術(shù)包括定向采集、元搜索采集和漫爬采集。定向采集實(shí)現(xiàn)對(duì)網(wǎng)站內(nèi)容的實(shí)時(shí)監(jiān)控和精準(zhǔn)采集。元搜索采集實(shí)時(shí)調(diào)用多個(gè)大型搜索引擎進(jìn)行信息搜索，并進(jìn)一步采集原始網(wǎng)頁內(nèi)容并抽取關(guān)鍵信息，為用戶提供更為全面的網(wǎng)絡(luò)信息。漫爬采集對(duì)全球網(wǎng)站擴(kuò)散網(wǎng)絡(luò)漫爬，實(shí)現(xiàn)互聯(lián)網(wǎng)數(shù)據(jù)的發(fā)散型大規(guī)模采集。

2.2.5 智能分析

智能分析系統(tǒng)實(shí)現(xiàn)分布式架構(gòu)，可線性擴(kuò)展子節(jié)點(diǎn)數(shù)量，提高系統(tǒng)的數(shù)據(jù)負(fù)載能力，充分并合理地利用分析服務(wù)資源，提高整個(gè)系統(tǒng)的工作效率。智能分析包括精準(zhǔn)的語義分析、全面的智能處理和社會(huì)化媒體信息挖掘分析。

2.2.6 數(shù)據(jù)推送傳輸

依據(jù)業(yè)務(wù)關(guān)注方向，數(shù)據(jù)推送系統(tǒng)對(duì)采集數(shù)據(jù)進(jìn)行篩選加工，定期、及時(shí)將符合要求的數(shù)據(jù)推送至本地。數(shù)據(jù)推送過程中采取各類安全措施，進(jìn)行數(shù)據(jù)的歸并、壓縮和加密，本地獲取數(shù)據(jù)后進(jìn)行對(duì)應(yīng)的解密和解壓縮，最大程度上保證了數(shù)據(jù)推送的安全性。

2.3 系統(tǒng)主要功能

2.3.1 信息采集

信息采集是利用計(jì)算機(jī)軟件技術(shù)針對(duì)定制的目標(biāo)數(shù)據(jù)源實(shí)時(shí)進(jìn)行信息抽取、挖掘，從而為各種信息服務(wù)系統(tǒng)提供數(shù)據(jù)輸入，并按業(yè)務(wù)所需來進(jìn)行數(shù)據(jù)發(fā)布、分析的整個(gè)過程。系統(tǒng)通過跟蹤各類新聞、論壇、貼吧、博客、微博、微信、移動(dòng)客戶端、SNS、電商網(wǎng)站（京東、蘇寧、國美）中的文字、附件、圖片、音視頻等，對(duì)全媒體類型的內(nèi)容進(jìn)行實(shí)時(shí)監(jiān)控和自動(dòng)采集，滿足對(duì)海量互聯(lián)網(wǎng)信息資源的快速獲取需求。對(duì)采集網(wǎng)頁中的標(biāo)題、作者、來源、時(shí)間、發(fā)布鏈接、關(guān)鍵詞等數(shù)據(jù)信息進(jìn)行自動(dòng)歸檔、判別和提取。

2.3.2 全文搜索

全文搜索是對(duì)海量文本數(shù)據(jù)進(jìn)行檢索的重要而基礎(chǔ)的技術(shù)手段。本系統(tǒng)基于系統(tǒng)開發(fā)公司具有自主知識(shí)產(chǎn)權(quán)的中文信息處理技術(shù)，利用字詞混合索引、倒排索引以及分段索引等多種檢索技術(shù)，實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的快速檢索。支持模糊搜索、高級(jí)搜索、以文搜文。同時(shí)，系統(tǒng)還具備高級(jí)搜索及訂閱功能。高級(jí)檢索功能支持通過設(shè)置關(guān)鍵詞，并限定關(guān)鍵詞位置（標(biāo)題、正文）、發(fā)布時(shí)間、信息類型（信源類型）、作者、網(wǎng)站名稱及頻道名稱等來進(jìn)一步搜索目標(biāo)信息。訂閱功能通過設(shè)置訂閱名稱、截止有效期、關(guān)鍵詞設(shè)置及位置、網(wǎng)站分組、預(yù)警間隔時(shí)間、信息增量和敏感詞來確定搜索目標(biāo)信息，通過以上設(shè)置可以直接在該模塊中提前設(shè)置好的行業(yè)中方便快捷地查詢目標(biāo)信息。

2.3.3 信息監(jiān)測

信息監(jiān)測是在信息搜索基礎(chǔ)上自動(dòng)對(duì)各種大型網(wǎng)站信息進(jìn)行持續(xù)24小時(shí)不間斷監(jiān)測，掌握當(dāng)下互聯(lián)網(wǎng)各類行業(yè)信息。在系統(tǒng)中通過關(guān)鍵詞方式定義和配置所需關(guān)注追蹤的行業(yè)，對(duì)需要長期或重點(diǎn)關(guān)注的行業(yè)添加關(guān)注訂閱，系統(tǒng)根據(jù)用戶所處的地域或關(guān)注的新聞網(wǎng)站、移動(dòng)新聞客戶端、企業(yè)、品牌網(wǎng)站、微博人物、微信公眾號(hào)、快速地推送用戶所關(guān)注的上述信息，實(shí)現(xiàn)實(shí)時(shí)從海量數(shù)據(jù)中心識(shí)別和匹配與此相關(guān)的所有互聯(lián)網(wǎng)信息供用戶瀏覽。

2.3.4 關(guān)注信息智能分析

系統(tǒng)為用戶提供了方便快捷的信息訂閱模式，用戶可根據(jù)自身關(guān)注的時(shí)間或聚焦的某些行業(yè)方向進(jìn)行內(nèi)容的訂閱，針對(duì)用戶的每一個(gè)訂閱事件，系統(tǒng)自動(dòng)對(duì)事件進(jìn)行有針對(duì)性的持續(xù)追蹤，以及多維度的精準(zhǔn)挖掘分析，萃取熱點(diǎn)、敏感信息，掌握事件的發(fā)展動(dòng)態(tài)及網(wǎng)民輿論傾向。

2.3.5 報(bào)告生成

報(bào)告生成是通過系統(tǒng)將信息采集的結(jié)果，自行篩選生成圖文并茂的分析報(bào)告。系統(tǒng)支持將采集到的信息及圖表一鍵加入到報(bào)告素材庫，并根據(jù)報(bào)告模板一鍵生成多類型的報(bào)告。報(bào)告簡明、準(zhǔn)確、易懂，報(bào)告形式包括簡報(bào)、日報(bào)、周報(bào)、月報(bào)。同時(shí)輿情專報(bào)可針對(duì)某一突發(fā)事件進(jìn)行專項(xiàng)事件分析報(bào)告，分析內(nèi)容包括媒體報(bào)道情況、網(wǎng)民關(guān)注情況、事件發(fā)展情況等。

3 系統(tǒng)的應(yīng)用

本文主要將互聯(lián)網(wǎng)信息監(jiān)測系統(tǒng)中高級(jí)數(shù)據(jù)搜索、信息訂閱、報(bào)道總趨勢分析、生成報(bào)告共四大功能的應(yīng)用情況做出詳細(xì)介紹。

3.1 高級(jí)數(shù)據(jù)搜索功能的應(yīng)用

高級(jí)數(shù)據(jù)搜索功能通過整合境內(nèi)外新聞、論壇、博客、微博、移動(dòng)客戶端、微信類型數(shù)據(jù)，開放搜索功能，按關(guān)鍵詞、時(shí)間、信息類型和網(wǎng)站分組組合即可一鍵搜索、快速定位關(guān)注信息。本文應(yīng)用高級(jí)數(shù)據(jù)搜索功能，完成對(duì)新能源汽車產(chǎn)業(yè)各級(jí)政府信息、行業(yè)內(nèi)動(dòng)態(tài)信息的搜索。通過設(shè)置關(guān)鍵詞“（新能源汽車） & （江蘇 | 南京） & （！股票 & ！債券 & ！保險(xiǎn)）”、關(guān)鍵詞位置“標(biāo)題或正文”、信息推送時(shí)間“2019-08-01至2019-08-21”、信息類型“新聞、論壇、微博、微信、移動(dòng)客戶端”來進(jìn)行搜索，查詢結(jié)果顯示共有169條信息符合搜索條件。

3.2 信息訂閱功能的應(yīng)用

信息訂閱模塊提供方便快捷信息訂閱服務(wù)，通過配置訂閱規(guī)則實(shí)現(xiàn)對(duì)重點(diǎn)、敏感信息進(jìn)行有針對(duì)性的持續(xù)追蹤。在平臺(tái)中通過關(guān)鍵詞方式定義和配置所關(guān)注追蹤的事件。本文應(yīng)用信息訂閱功能，以集成電路行業(yè)為例，通過設(shè)置訂閱名稱“集成電路”、關(guān)鍵詞“（集成電路） & （！股票 & ！債券 & ！保險(xiǎn)）”、關(guān)鍵詞位置“標(biāo)題和正文”、信息時(shí)間段“最近一月”、通知預(yù)警間隔時(shí)間“每天一次”、預(yù)警通知類型“郵件”對(duì)集成電路產(chǎn)業(yè)進(jìn)行信息訂閱設(shè)置。通過設(shè)置，平臺(tái)自動(dòng)實(shí)時(shí)24小時(shí)不間斷檢測，從海量數(shù)據(jù)中識(shí)別和匹配出近一個(gè)月來與集成電路產(chǎn)業(yè)相關(guān)信息2020條。

3.3 報(bào)道總趨勢分析功能的應(yīng)用

通過特定設(shè)置對(duì)系統(tǒng)進(jìn)行信息搜索后，可針對(duì)搜索結(jié)果進(jìn)行深入的統(tǒng)計(jì)分析。此處的統(tǒng)計(jì)分析是隨著時(shí)間的變化、事件的整體報(bào)道趨勢，即發(fā)布信息在一定時(shí)間段內(nèi)的數(shù)量變化曲線。系統(tǒng)默認(rèn)以折線圖展現(xiàn)，統(tǒng)計(jì)圖橫坐標(biāo)表示時(shí)間，縱坐標(biāo)表示數(shù)量，每條不同顏色的折線代表不同的信息類型。可查看新聞、境內(nèi)新聞、境外新聞、論壇、境內(nèi)論壇、境外論壇、微博、博客、新浪微博、騰訊微博、移動(dòng)客戶端、微信類型信息的發(fā)布趨勢。本文應(yīng)用報(bào)道總趨勢分析功能，對(duì)3.1中新能源汽車產(chǎn)業(yè)信息高級(jí)數(shù)據(jù)搜索功能搜索結(jié)果進(jìn)行報(bào)道總趨勢分析，其功能實(shí)現(xiàn)圖如圖1所示。

3.4 生成報(bào)告功能的應(yīng)用

報(bào)告生成功能即對(duì)高級(jí)數(shù)據(jù)搜索和信息訂閱功能推送的信息進(jìn)行處置，通過設(shè)置報(bào)告類型、報(bào)告名稱、報(bào)告描述和報(bào)告分組，并結(jié)合作者自身觀點(diǎn)，生成的信息分析總結(jié)報(bào)告。生成報(bào)告功能實(shí)現(xiàn)圖如圖2所示。

“南京市重點(diǎn)新興行業(yè)信息簡報(bào)”圍繞智能電網(wǎng)、智能制造、新能源汽車三大行業(yè)，從政府、行業(yè)、南京市三個(gè)層次全方面檢索最新行業(yè)動(dòng)態(tài)信息，并對(duì)信息進(jìn)行分類、統(tǒng)計(jì)和分析。此項(xiàng)工作為南京市各級(jí)政府及企業(yè)及時(shí)掌握行業(yè)動(dòng)態(tài)、了解行業(yè)發(fā)展?fàn)顩r提供了有效途徑，對(duì)三大重點(diǎn)行業(yè)的質(zhì)量提升具有積極的意義。

4 結(jié)束語

本文依托互聯(lián)網(wǎng)信息監(jiān)測系統(tǒng)先進(jìn)的架構(gòu)設(shè)計(jì)與科技化手段，以海量多信源數(shù)據(jù)有效共享和用戶行業(yè)信息監(jiān)測為導(dǎo)向，幫助工作人員從大量的人工搜索及分析工作中解脫出來，實(shí)現(xiàn)對(duì)互聯(lián)網(wǎng)信息動(dòng)態(tài)及時(shí)、準(zhǔn)確、科學(xué)地監(jiān)測，同時(shí)強(qiáng)大的數(shù)據(jù)支撐，也為后續(xù)分析報(bào)告的研判提供了事實(shí)依據(jù)，從而保證了研判的客觀性和準(zhǔn)確性。

參考文獻(xiàn)

[1] 方俊青.論網(wǎng)絡(luò)輿情監(jiān)測分析系統(tǒng)[J].法制與社會(huì)，2013（3）：187-188.

[2] Liu B.Web數(shù)據(jù)挖掘：第2版[M].俞勇， 等譯. 北京：清華大學(xué)出版社，2013.

[3] 張倩倩，趙星漢，高湘飛.軟件測試用例的設(shè)計(jì)方法[J].電子技術(shù)與軟件工程，2018，133（11）：60-61.

[4] 李敏.互聯(lián)網(wǎng)輿情監(jiān)控系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[D].上海：復(fù)旦大學(xué)，2009.