基于爬蟲的數據監控系統①

董 博,李 翀,劉學敏,董科軍

(中國科學院 計算機網絡信息中心,北京 100190)

基于爬蟲的數據監控系統①

董 博,李 翀,劉學敏,董科軍

(中國科學院 計算機網絡信息中心,北京 100190)

近年來,隨著互聯網技術的快速發展,云計算服務開始全面普及,大型互聯網公司以及中小型企業已經開始提供自己的云計算服務,中國科學院也提供了云計算服務平臺——中科院“科技云”.本文針對中國科學院 “科技云”項目的實際需求,參考已有商業云監控系統的功能和運行模式,設計并實現了一種基于爬蟲的數據監控系統.該系統相比商業云監控系統,支持URL(布爾)類型數據監測的同時,增加了對數值類型、文本類型的監測,更好的支持第三方服務的監測,并實現了服務故障警報,監測數據可視化以及監測數據分布式存儲.

數據監控; 網絡爬蟲; 云計算; 分布式; 可視化

隨著信息技術和互聯網產業創新的不斷發展,以云計算為代表的變革性技術正在迅速的普及,互聯網進入了大數據時代,云計算技術得到了廣泛的應用和快速的發展.特別是近幾年來,隨著云基礎服務能力的提升,基于云計算的互聯網輕量級小規模服務不斷增多,大量的微小服務急需第三方支持的松耦合數據監控系統,進行有效的服務監控和提醒[1].

本論文針對中國科學院 “科技云”項目的實際需求,設計并實現了一種基于爬蟲的數據監控系統.此系統為“科技云”項目所所涵蓋的基礎設施服務、平臺服務、軟件即服務等公開發布的數據及服務狀態,提供有效的服務監控和數據匯聚.以滿足服務管理人員對服務進行實時監控、以及用戶對服務狀況進行了解,并提供科技云服務門戶監控服務.

1 研究現狀和相關工作

云計算,是一種基于互聯網的計算方式,通過此種方式,可以按需把共享的軟硬件資源和信息提供給計算機和其他設備.云計算描述了一種基于互聯網的新的IT服務增加、使用和交付模式,其通常涉及通過互聯網來提供動態易擴展且經常是虛擬化的資源[2].

根據美國國家標準和技術院對云計算服務的定義可明確三種服務模式[3]:Software-as-a-Service(SaaS,軟件即服務)、Platform-as-a-Service(PaaS,平臺即服務)及Infrastructure-as-a-Service(IaaS,基礎設施即服務).如今的云計算服務已經非常普及,包括大型互聯網公司提供的公有云服務、中小型企業提供的私有云服務等.他們在提供云服務的同時,還提供負責監控云服務資源的使用情況、健康狀況等信息的云服務監測功能,如大型的云服務提供商Amazon、阿里巴巴、騰訊等都有自己的云服務監控系統.下面簡單介紹一下以上三個云服務監控系統:

Amazon CloudWatch 是一項針對 AWS (Amazon web services)云資源和在AWS上運行的應用程序進行監控的服務.Amazon CloudWatch 能夠監控 Amazon EC2 實例、Amazon DynamoDB 表和 Amazon RDS DB實例等各種AWS資源,同時也能夠監控應用程序和服務生成的定制指標,以及應用程序生成的任何日志文件[4].

阿里云監控是一項針對阿里云資源和互聯網應用進行監控的服務.云監控服務可用于收集獲取阿里云資源的監控指標,探測互聯網服務可用性,以及針對指標設置警報.阿里云監控服務能夠監控云服務ECS、云數據庫RDS和負載均衡等各種云服務資源,同時也能夠通過HTTP、CMP等通用網絡協議監控互聯網應用的可用性[5].

騰訊云監控為騰訊云服務提供全方位監控,借助于騰訊海量數據處理能力能夠對于資源及成本進行智能化的分析,直觀展示各種云服務的資源使用狀況、負載狀況性能及系統健康狀況等[6].

以上公有云服務平臺提供的云監控服務,存在以下兩個方面的缺陷:

(1)以企業自有的公有云服務為出發點.例如阿里云監控主要針對阿里ECS等主機服務提供詳細的云監控服務,依賴于具體主機所提供的內部接口服務.例如主機安全監控服務、網絡流量監控服務等.

(2)針對第三方的監控服務類型有限.例如對于外部的第三方服務,阿里云只能提供URL服務正常率訪問監測等服務,利用分布式站點來實現對第三方端口服務的定期探測,為第三方服務提供服務故障郵件等提醒通知.但是沒有提供文本類型數據和數值類型數據的監測功能.

通過對以上云監控系統的分析可知,目前還沒有一款能夠友好全面支持第三方服務的云監控系統.根據中科院“科技云”的實際需求,在能夠定期監測服務健康率的同時,還需實現對文本類型和數值類型數據的監測功能,因此在已有商業云服務監控系統的功能和運行模式,本課題增加了基于文本類型數據和數值類型數據的監測方法,并對云服務資源和監控系統之間進行解耦,使其能夠友好地支持第三方服務監控,同時滿足對中科院“科技云”云服務的監控.

本文參考阿里云監控等已有商業云服務監控系統的功能和運行模式,結合中科院“科技云”的實際需求,設計并實現了一種基于爬蟲的數據監控平臺.

2 系統架構設計

根據中國科學院科技云服務監控需求,科技云服務監控的類型劃分為以下三種類型:文本類型數據監控、數值類型數據監控以及布爾類型數據監控(URL類型數據監控).其中URL類型數據指傳統的服務可用性監控,通常每次監控為布爾值數據,即 0或 1; 數值類型的數據指具體以浮點類型所監控到的數據,例如某項服務的數據值等; 文本類型數據為字符串類型,每種類型的文本類型數據可自定義解析代碼,在后期進行數據解析、處理和可視化.

根據每種數據類型的特點和網絡爬蟲技術,分別實現對相應數據的爬取; 并為方便服務管理人員和用戶快速聚焦到關注的服務和數據上,而實現了數據的可視化,以及發生故障的報警.系統設計主要分為數據獲取層、數據存儲層及數據訪問層三部分,整體架構圖如圖1所示.

數據獲取層通過爬蟲引擎和相應的適配器獲取各類資源數據,然后按照對應的時間單位 (例如:分鐘,小時,天等)拼接成JSON字符串,每次爬取都會生成一個JSON字符串.把JSON數據傳輸到數據存儲層,通過Cobar中間件交由分布式MySQL數據庫進行存儲.當數據訪問層訪問數據時,直接從數據存儲層拉取對應的JSON數據并解析,對解析出來的數據進行可視化或者提供給接口訪問等.為了方便對數據的處理,這三個模塊之間統一利用JSON數據作為傳輸手段,省去了各模塊之間傳輸數據不一致造成的麻煩.

圖1 系統總體框圖

2.1 數據獲取層

數據獲取層主要實現用戶定制監測項、服務器定時監測指定監測項并爬取監測項數據.根據監測的數據類型,分別利用不同適配器進行監測和爬取數據.適配器主要分為布爾類型、數值類型、文本類型以及數據庫爬取等類型.

布爾類型適配器通過http協議訪問[7],定時探測URL 地址,分為 GET、POST、HEAD 訪問,根據訪問獲取的狀態碼和響應時間判斷監控對象是否能夠正常訪問,然后將其轉換成布爾值并存儲.監測數值類型與文本類型數據的方法相一致,都是通過URL地址去訪問被監測對象的接口[8],兩者利用相同的適配器爬取其中的數據,然后在后臺分析數據所屬類型,并進行相應的存儲.數據庫爬取適配器即根據用戶的數據庫配置信息連接遠程數據庫,從中爬取數據,并根據分析數據的所屬類型進行存儲.

2.2 數據存儲層

數據存儲層主要實現對監測數據的存儲和查詢.由于單節點數據庫無法滿足對大量監測數據的存取,且對服務器的性能要求較高,因此本系統數據存儲層采用分布式數據庫存儲技術[9].分布式數據庫對網絡中各結點計算機配置要求不高,同時提高了系統的可靠性,再者其非常便于擴充[10].

本系統的分布式數據庫將數據表進行水平拆分,均衡地分配給各個數據庫結點,然后利用中間件來管理各個數據庫結點,并將其作為應用層訪問數據庫的統一接口.如圖2所示.

圖2 數據存儲層架構

2.3 數據訪問層

數據訪問層包括接口封裝和訪問、可視化與展示、故障報警.

接口封裝和訪問,是提供給用戶的公共URL訪問接口.接口模塊有兩種用途:第一,用于供用戶訪問并獲取監測的數據.用戶可以通過URL請求,訪問指定監測對象的監測數據,數據以統一的JSON格式展現,支持三種數據類型的數據.第二,用于給可視化模塊提供接口訪問,完成數據的可視化,數據格式的統一,為數據可視化提供很大的便利; 可視化模塊通過訪問對應的接口,利用統一的解析方法對數據進行解析,最終可視化出相應的圖表.

3 數據爬取與統計策略

本監控系統的監控流程為:用戶定制監測項(包括監測時間粒度、監測地址、數據庫配置信息等)、服務器提取監測項配置信息并按照配置進行定時監測、服務器把監測數據持久化、用戶通過系統提供的接口查看監測數據以及對監測數據進行可視化.

本系統支持多類型數據的監測,包括URL探測、對象接口以及DB的爬取.監測不同類型的數據需要實現不同的適配器,且需要在同樣的任務調度邏輯中進行,因此抽取共有的任務調度邏輯聲明為接口job,其中調度方法為call().不同類型數據的適配器通過實現job中的call()方法完成不同的監測邏輯,且共用一致的調度邏輯,這樣任務調度不用關心每種類型監測項的監測邏輯的具體實現,只需執行接口job中的call()方法即可.如圖3所示.

圖3 任務調度架構

3.1 數據爬取策略

本平臺通過爬取不同類型的數據實現對各類云服務的監控.數據類型有文本類型、數值類型、以及布爾類型數據,爬取不同類型數據需要不同的適配器,不同適配器的實現方式包括通過HTTP協議的GET、POST、HEAD請求訪問監控對象,爬取監控對象的接口,直接爬取監控對象數據庫等方式.如圖4所示.

圖4 爬取策略

根據GET、POST、HEAD請求訪問服務器,監測服務器響應時間、狀態碼等數據,并根據以上數據判斷服務是否能夠正常訪問,此類數據歸為布爾類型數據,即用1、0分別表示服務正常與否,主要用來監測云服務的健康度,這也是主流的監控系統所具備的通用功能,如阿里云監控、騰訊云監控等.

爬取數據庫是通過服務器端直接訪問監測對象數據庫,并利用用戶設置的SQL語句直接查詢監測對象的數據庫,并把數據存儲到監控系統中,由于數據庫中存儲著多種類型的數據,包括文本類型、數值類型等,不能把爬取的數據統一歸為某一數據類型,必須對爬取的數據進行解析并判斷所屬類型,然后存儲至相應的數據庫或表中.

爬取監控對象接口是通過訪問監控對象提供的接口獲取數據.服務提供的數據接口主要以JSON數據返回,但是直接將JSON數據存儲到監控系統中無法從中挖掘到監控信息,必須對JSON數據進行解析,從而獲取有價值的數據,并分辨出數據類型,然后把數據存儲至對應的數據庫或表中,供監控系統分析監控對象的狀況.

數據的爬取策略主要目的是通過對爬取到的各類型數據進行統一的解析、過濾,從中挖掘出有價值的數據,并按照對應的類型存儲至相應的數據庫或表中.通過對數據進行統一地處理、存儲,大大降低了監控系統對監測對象數據分析的難度,監控系統只需從數據庫提取數據,并對數值類型、文本類型、布爾類型這三種數據進行處理分析即可,而無需關心數據的來源.此外,接口訪問模塊只需提供這三類數據接口,同時可視化只要針對這三種類型數據進行可視化.數據的爬取策略從整體上減少了各模塊的耦合,降低了開發成本.

以下是爬取的三類數據示例:

(1)該類數據中只有單純的數值,這類數據歸為數值類型數據.

(2)這類數據中除了數值數據外,還有其它文本數據,不能對其進行統一的解析,必須為其實現單獨的解析策略,因此將其歸為文本類型數據.

(3)該類數據是通過http協議訪問URL地址獲取的數據,用來監測服務是否正常,其中health表示服務是否正常(1表示正常),avgReponseTime表示響應時間,該類數據歸為URL監測數據,即布爾類型數據.

3.2 數據統計策略

本系統主要爬取三種類型數據,因此存儲時需對三類數據進行分別存儲,同時為方便對三類監測數據進行訪問以及可視化,需對這些數據分別進行統計,以此滿足系統的需求.

監控系統爬取的數據是以用戶或管理人員配置監測項的時間粒度為單位,以五分鐘、十分鐘、三十分鐘或者一個小時等為時間間隔,每個監測項的時間粒度不一定一致,但為方便數據的統計以及可視化,需要統一這些監測數據的統計單位,例如,全部轉換為以天、周或者月等為單位的監測數據,這樣將極大地簡化后續的數據統計及可視化.本系統采用的統計單位為天,即把各個監測數據最終按天進行統計存儲.

爬取的數據類型不同,統一統計單位時所用的策略也就不同,下面對布爾類型數據和數值類型數據的統計策略進行簡單介紹.

(1)布爾類型數據,其數據內容主要由1、0組成,其代表所監測的服務健康與否.監測的時間粒度一般為一小時以內,但按此時間粒度為單位進行統計,統計的數據偶然性較大且統計單位過小,不利于從大范圍觀察服務一段時間內的整體運行情況.

布爾類型數據按天為單位進行統計時,云服務管理人員和用戶關心的是云服務一天的健康情況,即一天內服務正常運行所在的比率——健康率,因此我們計算一天內服務正常的次數與上一天的監測次數的比值,算出一天的健康率.

(2)數值類型數據,其數據內容為整型或浮點型數據,其通常表示一些服務的注冊人數、登錄人數、資源使用率等情況.

數值類型數據按天為單位統計時,服務管理人員或用戶關心的是服務在一天內增加的個數、峰值、最小值等信息.關注的是某個點的數據,而不是比率數據,因此統計數值類型數據時,主要統計一天內最后監測的值、最大值以及最小值等數據.

4 數據訪問與可視化

4.1 數據訪問

數據訪問通過接口訪問模塊進行,接口訪問模塊主要供用戶獲取監測數據,以及給可視化提供數據來源.本平臺通過對監測數據進行處理、解析、格式化,最終轉換為統一的JSON格式.系統對每種類型的監測數據進行單獨的解析,抽取出對應的關鍵數據,并把這些數據拼接成統一格式的JSON數據,返回給訪問者,這樣極大地簡化了解析通過接口獲取監測數據的過程.

通過上一章可知,系統會對爬取的數據進行統計.系統會在每天凌晨一點對前一天的布爾類型、數值類型及文本類型三類數據按不同邏輯進行統計,并把實時的監測數據和統計的監測數據分開存儲至數據庫中.這樣當訪問統計結果時不用臨時計算,而是直接從數據庫中查詢即可.

對于布爾類型、數值類型及文本類型這三類數據,系統提供了基于JSON的數據訪問方式,并提供了基于標準數據訪問的可視化訪問.用戶通過URL地址訪問系統接口來進行數據訪問和可視化,分別通過以下幾種方式進行訪問(productName為產品名稱、collector-Name為監測項名稱):

(1)最新數據訪問

訪問最新數據時,系統會從數據庫中查詢存放實時監測數據的數據表,查詢出距訪問時間最近的一次監測數據,系統將查詢結果拼接成JSON數據返回給訪問者.因為三種類型的監測數據存儲在不同的數據表中,所以通過發送不同的URL請求進行訪問.

目前，企業文化受到了企業管理者的高度重視，具體是從和諧、發展、利益角度進行規范。在財務管理方面的文化構建還是較少的，中小企業必須要從這方面進行完善。企業文化指導財務管理制度的制定，主要是因為財務管理是企業的核心，同時企業文化需要財務管理作為介質進行體現。企業經營的目的是收益最大化，而財務管理恰恰是有效的控制和計算該目的的工具。企業能否正常經營并得到高效的回報，取決于正確的準則和精神指導，這樣才能加強員工之間的交流合作，為企業創造更多的經濟效益[4]。

http://{hostname}/probe/api/data/{productName}/{c ollectorName},訪問最新數值和文本類型數據;http://{hostname}/probe/api/url/{productName}/{collecto rName},訪問最新布爾類型數據,如下所示:

獲取最新的數據類型數據,其中watchTime是這條數據的獲取時間,data字段是監控值.

(2)統計數據訪問

用戶可訪問最近n天、n月或者n年的統計數據.系統把各類統計數據存放在單獨的數據表中,本系統只存儲以天為單位的統計數據.當用戶訪問統計數據時,系統通過解析URL地址判斷訪問的數據類型,并判斷訪問統計數據的計量單位(天、月、年等).若以天為單位進行訪問,系統直接根據URL中指定的天數,從存放統計數據的表中查詢最近的n天數據; 若按月或者年為單位進行訪問時,系統依然從存放統計數據的表中查詢,由于表中只存放以天為單位的統計數據,因此系統需對查詢的統計數據進行計算,并把結果拼接成JSON數據返回給用戶.

不同類型的數據,其計算方式不同.如上一章所述,若為布爾類型數據,對查詢的最近n月或者n年數據按時間段求平均值; 若為數值類型或文本類型,則查詢最近n月或者n年的數據中每個時間段的最后的監測數據,或者最大值、最小值等數據.

http://{hostname}/probe/api/stats/{productName}/{c ollectorName}?[day|month|year]=value,訪問最近一段時間的監測數據,其中參數“day|month|year”表示“天|月|年”為單位,例如day=30表示之前30天的數值統計.如下所示:

獲取監測項最近5天的統計數據,data中的五組數據為每天的統計結果.

4.2 可視化

布爾類型數據主要展示一個服務的正常率,反映一個網站或服務近期的健康狀態,為用戶維護網站或服務提供參考.監控系統對每個監控對象的監測數據(主要包括狀態碼,響應時間等)進行統計,計算出監控對象每天、每周、每月、每年等不同時間粒度的服務正常率,即對監測數據按不同時間粒度求平均值.該值通過訪問系統的統計數據接口獲得,然后結合時間粒度的數據,組成坐標軸中的X軸、Y軸(平均值為Y軸,時間粒度為X軸),通過折線圖、柱狀圖等形式可視化,以此反映最近一段時間內不同時間粒度下的服務正常率.

數值類型數據的可視化主要是展示一些隨著時間變化、且對用戶有參考價值的數值數據或者展示某一類資源的實時狀態.數值類型數據的可視化由二維數據構成,其中X 軸為一組數據,Y軸為一組數據,通過折線圖或者柱狀圖展示兩者之間的關系.例如,注冊用戶數、網站訪問量、服務器資源利用率、超級計算機的作業數量等都是數值類型數據的可視化.

通過該 URL 地址,http://{hostname}/probe/api/chart/{productName}/{collectorName},訪問監測對象的可視化結果,圖5為某布爾類型數據的可視化結果.

5 系統實現與應用

5.1 系統實現

本監控系統基于Spring MVC框架,利用分布式數據庫存儲服務監測項以及服務監測數據,采用Spring中集成的Quartz——開源作業調度框架實現服務平臺的定時任務功能,借用Echarts——純Javascript的圖表庫,設計并實現監測數據的可視化.

數據訪問層利用Spring MVC框架實現.Spring MVC框架是一個基于驅動的MVC框架,通過實現Model-View-Controller模式很好的將數據、業務與展現進行分離.用戶在視圖層可以配置監測對象信息,在模型層進行任務調度、數據爬取以及存儲邏輯.

數據爬取通過定時執行多種適配器來爬取監測數據,本系統利用Quartz來實現任務調度和定時任務.Quartz是OpenSymphony開源組織在Job scheduling領域的一個開源項目,其開源作業調度框架完全由java編寫,它可以與J2EE和J2SE應用程序相結合也可以單獨使用.Quartz具有很大的靈活性而又不失簡單性,用戶可以通過它來為一個作業創建簡單的或復雜的調度[11].

數據存儲層利用分布式數據庫存儲數據.本系統的分布式數據庫由Cobar中間件和多個MySQL數據庫實例組成.

Cobar是Alibaba開源的MySQL分布式處理中間件,是阿里巴巴B2B前臺應用訪問數據庫的統一入口[12],它可以在分布式的環境下像傳統數據庫一樣提供海量數據服務.Cobar支持將一張表水平拆分成多份并分別放入不同的庫,以此實現表的水平拆分,也支持將不同的表放入不同的庫.本系統主要使用第一種方式,將監測數據表進行水平拆分,均衡地分配到每個數據庫實例中,每個數據庫中保存被分配的數據分片,以及其他數據分片的備份,在保證高性能的同時提高穩定性.

應用層通過Cobar進行數據訪問,Cobar根據解析收到的SQL語句,判斷該語句所涉及的數據分布在哪些分庫上,然后分發到各個分庫執行,Cobar將分庫的執行結果進行合并、處理,最后返回給應用層.

可視化模塊通過百度的Echarts——純Javascript的圖表庫實現,此圖表庫可以流暢的運行在PC和移動端,兼容當前主流瀏覽器 (IE8/9/10/11,Chrome,Firefox,Safari等),底層依賴輕量級的 Canvas類庫 ZRender,提供直觀、生動、可交互、可高度個性化定制的數據可視化圖表.

本系統將Echarts集成到系統中,并基于Echarts實現更多的定制功能,讓其在同一表中實現對多種時間粒度的可視化,并可任意切換.如圖5所示可同時對以日、周、月、年為時間粒度進行可視化.

5.2 應用

目前,本監控系統已部署在服務器上并應用于中科院科技云中,用戶可以根據配置信息定時監控科技云的用戶數據、服務資源利用率、服務健康率等數據.服務管理人員和用戶可以通過監控系統定制監控對象,監控時間粒度來監測關注的服務.該系統除監控科技云服務外,可對第三方服務進行監控,用戶只需正確配置監控對象信息,系統便可執行監控,實現了對布爾類型、數值類型、文本類型的監控.本監控系統除可用于中科院科技云監控外,也可作為企業和公司內部私有云的監控系統.

圖6列出了中科院“科技云”托管的云服務的運行情況.可視化出了各個服務每天的健康運行情況.

圖5 監測對象可視化結果

圖6 服務資源使用情況

圖7和圖8是中科院計算機網絡信息中心下超級計算機中的作業運行情況和資源利用率等信息,包含了中科院內一些研究所利用超級計算機的情況.圖9和圖10是中科院“科技云”下團隊文檔庫的.團隊文檔庫是計算機網絡信息中心對外提供的團隊協作服務,圖中分別列出了團隊文檔庫的月活躍用戶數和日訪問量.

圖7 超級計算機作業運行情況

圖8 超級計算機資源使用情況

圖9 團隊文檔庫月活躍用戶

圖10 團隊文檔庫日訪問量

6 結語

本文根據中科院科技云的實際情況,基于網絡爬蟲技術設計并實現了數據監控系統.結合科技云的服務和數據的特點,重點設計了數據爬取和統計策略、監控和存取邏輯,以適應對多種類型數據的爬取和存儲; 同時,為保證服務正常、高效地運行,設計和實現了對數據的可視化以及故障報警功能.該系統兼容多類型數據的爬取,具備可定制性強、可視化界面簡潔重點突出、實時故障報警等特點,能夠滿足服務管理人員和用戶對科技云服務監控的需求.

1Aceto G,Botta A,DE Donato W,et al.Cloud monitoring:A survey.Computer Networks,2013,57(9):2093–2115.[doi:10.1016/j.comnet.2013.04.001]

2Armbrust M,Fox A,Griffith R,et al.A view of cloud computing.Communications of the ACM,2010,53(4):50–58.[doi:10.1145/1721654]

3Mell P,Grance T.The NIST definition of cloud computing.Communications of the ACM,2010,53(6):50–50.

4Varia J,Mathew S.Overview of amazon web services.Amazon Web Services,2014.

5云監控.http://www.aliyun.com/product/jiankong/.

6基礎監控 BCM.https://www.qcloud.com/product/cm.html#wiki.

7劉繼紅,吳軍華,任明鑫.基于改進的網絡蜘蛛算法抽取Web站點結構的方法.江南大學學報(自然科學版),2009,8(5):555–559.

8徐遠超,劉江華,劉麗珍,等.基于 Web 的網絡爬蟲的設計與實現.微計算機信息,2007,23(21):119–121.[doi:10.3969/j.issn.1008-0570.2007.21.048]

9邵佩英.分布式數據庫系統及其應用.北京:科學出版社,2000.

10龐惠,翟正利.論分布式數據庫.電腦知識與技術,2011,7(2):271–273.

11胡利強,周冬初,王偉.Quartz 調度器與 Web 程序整合的研究和應用.計算機與現代化,2010,(8):98–99,104.

Spider-Based Data Monitor System

DONG Bo,LI Chong,LIU Xue-Min,DONG Ke-Jun

(Computer Network Information Center,Chinese Academy of Sciences,Beijing 100190,China)

In recent years,with the rapid development of Internet technology,cloud computing services begin to widely spread.Large-scale Internet companies,small and medium enterprises have begun to provide their own cloud computing services.The Chinese Academy of Sciences also provides a cloud computing service platform - CAS “science-cloud”.Concerned with the actual needs of the “Science Cloud” project of the Chinese Academy of Sciences,this paper designs and implements a spider-based data monitoring system referencing the function and operation mode of the existing commercial cloud monitoring systems.Compared with the commercial cloud monitoring system,this system supports the monitoring of URL (Boolean)type data,adds the monitoring of numeric types and text types,supports better monitoring of the third party services,and realizes service failure alarm and monitoring data Visualization and monitoring data distributed storage.

data monitor; web crawler; cloud computing; distributed; visualization

董博,李翀,劉學敏,董科軍.基于爬蟲的數據監控系統.計算機系統應用,2017,26(10):53–60.http://www.c-s-a.org.cn/1003-3254/5978.html

中國科學院十二五信息化專項《科研信息化應用推進工程》(XXH12503)

2017-01-10; 采用時間:2017-02-13