基于流處理技術的云計算平臺監控方案的設計與實現

單 莘 祝智崗 張 龍 付長冬 魏書曉

基于流處理技術的云計算平臺監控方案的設計與實現

單 莘1祝智崗1張 龍1付長冬2魏書曉2

1(中國移動通信集團河北有限公司 河北 石家莊 050021)

2(北京郵電大學 北京 100876)

針對目前云計算平臺監控手段實時性差的問題，提出一種基于大數據流處理技術的云計算平臺實時監控方案。該方案采用實時計算系統Storm作為核心，使用iostat、mpstat等工具獲取服務器性能信息，使用Flume和Libvirt獲取全方位的日志信息以及云主機狀態信息。獲取到的信息以數據流的形式傳至Storm，然后進行數據清洗、關鍵詞匹配等實時分析。在模擬生產環境下對該方案進行測試，結果表明：該方案能夠實現對大規模云計算平臺進行實時監控，而且具有高可靠性、高擴展性的的優點，達到研究效果。

云計算 流處理 大數據

0 引 言

隨著云計算時代的到來，越來越多的網絡服務正發生著革命性的變化[1]。尤其當亞馬遜、微軟、谷歌等IT巨頭推出公有云托管服務之后，越來越多的網絡服務都運行于云計算平臺之上，這使得IT正向著集約化、規模化與專業化的道路發展[2]。在云計算消費模式下，用戶在無需了解服務器底層硬件架構、網絡鏈接、存儲方式等的情況下，只需通過簡單的網絡申請即可獲得高效、安全的云計算服務，這在很大程度上降低了用戶的硬件投入并節省了空間[3-5]。同時，采用托管形式的云主機都是通過專業的運維人員進行維護，這無疑提高了系統的安全性并減低了運維成本。

雖然使用Libvirt所提供的API可以實現對云主機進行監控，但是這種方式局限于對云主機操作系統運行/關閉、網絡資源、硬件資源等底層監控。對云主機操作系統以及運行于之上的業務系統軟件機的監控，大多是通過消息隊列的監控實現的[6-9]。隨著大數據分析技術的到來，目前出現了基于大數據批處理技術云計算平臺監控系統[10]。這種系統具有監控全面的優點，但是由于采用批處理，無法滿足實時監控的要求[11,12]。

針對上述不足，本文結合目前主流的監控手段以及當前流行的大數據流處理技術[13-15]，提出了一套云計算平臺實時監控方案。該方案具有以下特點：能夠對云計算平臺底層物理機、云主機的運行信息進行實時監控；能夠對各類型的系統日志信息以及應用軟件日志信息進行實時獲取分析；采用分布式架構實現，具有良好的擴展性。

1 實現方案

1.1 設計思想

本方案是根據目前云計算平臺監控的實際需求以及當前監控系統的不足而設計的，主要目的是為云計算平臺提供一種高效實時的監控方法，其核心定位如下：

1) 基于開源的大數據流處理工具Storm實現監控信息實時分析，每個節點每秒可以分析數十萬條監控信息，實現真正的實時監控；

2) 利用現有監控工具mrtg、iostat、mpstat等對目標進行監控，并通過使用thrift、RPC等將監控信息傳遞至監控平臺；

3) 采用分布式日志采集工具Flume實現服務器日志以及業務日志的全面采集，確保監控的準確性；

4) 結合Libvirt、RabbitMq實現云主機狀態信息獲取；

5) Flume、Storm都是使用分布式架構，便于系統集群擴展。

1.2 實現原理

該方案的核心部分主要包括信息獲取模塊、大數據實時分析模塊兩部分。

1.2.1 監控信息獲取模塊

為了實現對整個云計算平臺的全面監控，需要對構成云計算平臺底層的物理機(云主機物理機)、云主機以及云主機內運行的網絡業務運行信息進行監控，其中底層物理機以及云主機在本方案中統稱為統稱為服務器。

(1) 服務器操作系統狀態信息獲取

圖1 系統狀態信息獲取

Linux操作系統中，可直接使用腳本的形式獲取當前服務器的基本狀態信息。例如使用top命令可以直接獲取當前服務器中CPU使用率、各進程所占用的內存、CPU等。這些操作系統基本狀態信息的獲取過程如圖1所示。

為了實現所獲取的信息能夠以數據流的形式傳遞，首先將所獲取的信息壓入RabbitMq等消息隊列當中，然后再以數據流的形式輸出。

(2) 云主機運行狀態信息

圖2 云主機狀態信息獲取

云主機運行狀態是指KVM、VMware等虛擬工具層上可以獲取到的當前的虛擬云主機的運行狀態，主要包括創建、資源分配情況、開關機情況、網絡鏈接狀況等。云主機運行狀態信息獲取過程如圖2所示。

從圖2當中可以看出，云主機運行狀態信息是通過調用底層物理機的Libvirt的接口實現的。Libvirt為各種虛擬化工具提供一套方便、可靠的編程接口，支持與C、C++、 Ruby、Python等多種主流開發語言的綁定，主流Linux平臺上默認的虛擬化管理工具virt-manager、virt-install等均基于Libvirt開發而成。

(3) 日志采集

Linux操作系統在運行過程當中都會產生大量的日志信息，其中包括操作系統資源日志、網絡日志、用戶操作日志。同時，大部分運行于Linux操作系統的軟件運行過程也會產生各種日志，例如Apache服務器的運行日志和訪問日志、Mysql等數據庫的各種操作日志、Oracle的監聽日志等。這些日志可以全面地反應當前系統或者軟件的運行狀況。

圖3 Flume獲取日志信息過程

由于各種日志的信息量極大，尤其是在公有云平臺上。為了實現對大規模日志采集，使用開源分布式日志采集工具Flume對這些日志信息進行采集。Flume不僅能夠實現對日志的同步采集，還能夠實現日志的聚合和傳輸。Flume支持定制各類數據發送方式，Flume日志采集系統組成如圖3所示。

在圖3當中，Agent運行于采集服務器上，用于日志更新同步。Agent獲取的信息傳遞至收集服務器Collector，然后聚合之后根據指定的參數發送。整個采集過程中，使用Controller服務器對著整個日志采集過程進行控制，其中包括日志采集間隔、輸出方式等。本文中所有采集的日志信息采用數據流輸出，便于實時流處理模塊進行處理。

為了實現更加全面的對操作系統運行狀況進行監控，首先使用腳本的形式調用Linux內核自帶以及云主機預裝的系統監控工具獲取系統當前運行狀態并將這些狀態信息寫入文本當中，然后將這些文本作為日志文件使用Flume獲取。目前使用Flume也可以對一些簡單的監控工具信息進行傳遞，為了實現整個平臺日志采集部分的統一方法以及對所有監控工具的支持，本系統采用文本日志的形式對這類信息進行采集。整個Flume日志采集流程如圖4所示。

在圖4當中，為了方便Hadoop等其它分析工具進行批處理，將日志信息同時寫入到分布式文件系統當中。

1.2.2 信息流處理

操作系統運行過程時始終都會產生狀態信息、日志信息，這些信息只有及時的處理才能夠實現對操作系統有效監控。同時，運行于云主機上的各種業務軟件會產生更多的運行日志，例如用戶量大的Apache、Ngnix服務器每天會產生幾百兆甚至更多的日志信息。為了實現對整個云計算平臺的實時監控，必須能夠對這些信息進行實時分析。

圖5 Storm流處理的拓撲結構

為了確保實現對消息隊列當中所有消息進行百分百處理，現將消息隊列緩存至Memcashed，此時Memcashed作為消息容器，以Storm分析最高速度向其傳遞數據流。首先使用Storm的Spout從信息采集模塊當中RabbitMQ獲取各種隊列信息，并作為流數據的形式傳遞至bolt進行分析處理。整個Storm流處理部分的實現拓撲如圖5所示。

根據實際的需要，在bolt當中可以編寫任意指定的數據分析算法，例如可以實現關鍵字檢索、數據庫、數據ETL。Storm基礎框架支持java、python等各種語言，這極大地的方便了分析算法的開發速度并提高代碼的可移植性。同時由于采用分布式架構，方便后期擴展。

2 實驗測試

為了驗證方案的可靠性，在公有云環境下的規模云計算平臺進行實際測試。測試云平臺當中包括340多臺X86服務器以及運行在這些服務器上3560臺作為Web服務器的云主機及其運行的Apache等應用軟件。

(1) 監控內容

測試過程，選擇云計算平臺的所有服務器操作系統(包括物理機和云主機)wtmp信息、utmp信息、iostat信息等八種系統信息作為操作系統監控信息；選擇云主機上運行的Mysql、Apache、PHP解析器等9種應用軟件日志作為業務監控信息；同時，為了對云主機實時監控，選擇Libvirt的云主機狀態信息作為監控信息。

(2) 硬件配置

系統的硬件設備主要包括信息采集服務器、流處理服務器集群以及Web服務器。各種服務器的硬件配置如表1所示。

表1 服務器硬件配置

Flume和Storm采用分布式架構設計，能夠隨著業務的增長而隨時進行擴展。整個系統服務器拓撲結構如圖6所示。

圖6 服務器拓撲結構

(3) 測試過程

為確保實驗結果的準確性，采用控制變量法的實驗方式進行測試。在其它條件不變的情況下以5節點/次的速度逐漸增加物理機數目，同時運行物理機操作系統當中的所有云主機及其運行的應用軟件。

需要說明的是，在所有云計算平臺物理機當中包含控制節點、網絡節點等支撐節點存在11臺，這些支撐節點不會作為物理機直接支撐云主機運行。平均每個計算節點上會運行10.7云主機(客戶機)，這也就是說云主機以53.5節點/次的速度逐漸增加。

(4) 測試結果

分別對系統狀態信息、云主機狀態信息、云主機應用軟件信息的數據流大小進行了統計分析，統計結果如圖7所示。

從圖7當中可以看出對于系統狀態信息以及云主機狀態信息數據量大小都隨著物理機的增多而呈標準線性增長；日志信息的數據量隨著物理機的增多而波動性增長，但是大體趨勢仍與線性增長相一致。出現這種波動的原因是由于云主機當中運行的各種應用軟件的運行狀況不同造成的，例如當某個Apache服務器訪問量變化很大時，對應的訪問日志信息的產生量也會發生很大的變化。總體上，各種日志信息數據量遠遠大于狀態信息量。

對云計算平臺系統監控信息、云主機狀態信息以及應用軟件日志信息進行監測分析的性能表現如圖8所示。

從圖8當中可以看出隨著物理機的數目逐漸增多，云主機狀態監視延時以及系統狀態監視延時沒有太大的變化，這是由于這類的狀態信息格式明確，分析簡單。從Storm集群負載情況來看，當所有物理節點都添加完成之后，對于全部狀態信息的分析只占用12%左右的系統資源。日志信息分析的延時隨著物理機數量的增多而呈線性增長，這是由于日志信息大多為非結構化數據，需要經過篩選等一系列的分析，所有耗費時間較長，延時大。從圖X可以看出，對全部內容進行分析的時延與只對日志信息進行分析的時延相近。

圖7 監控信息數據流統計 圖8 監控延時統計

3 結 語

本文提出了一種基于大數據流處理技術的云計算平臺實時監控方案。該方案不僅可以實現對云計算平臺底層物理機、云主機狀態的監控，而且還能夠實現對云主機運行的應用軟件的監控。實驗結果表明使用該方案對大規模云計算平臺進行實時監控是可行的，這為提高云計算服務平臺的可靠性提供了基礎。

由于實驗條件的限制，涉及方案只是在小規模的云計算平臺上進行了測試，這與真實的生產環境還有一定的差距，這些差距可能會使得測試結果有一定的偏差。因此，在更大規模的云計算平臺上進行實際測試將是下一步的研究的主要工作。

[1] 李春霖.云計算綜述與移動云計算的應用研究[J].科技創新與應用，2014，24(6)：86-87.

[2] 張潔.云計算環境下的數據存儲保護機制研究與仿真[J].計算機仿真，2013，30(8)：254-258.

[3] 劉嵩，李文蕙.云計算系統中基于邊緣節點和容量的延遲分析[J].計算機應用與軟件，2014，31(4)：35-39,50.

[4] 包鋒.基于云計算的軟件工程專業實訓平臺構建與研究[J].價值工程，2014，13(2)：89-92.

[5] 陳牮華.基于云計算的網絡安全數據傳遞方法研究[J].計算機仿真，2012，29(8)：139-143.

[6] 黃哲學，曹付元，李俊杰，等.面向大數據的海云數據系統關鍵技術研究[J].網絡新媒體技術，2012，1(6)：20-26.

[7] 吳正學，戴牡紅.云計算中基于否定規則的訪問控制技術的研究[J].計算機應用與軟件，2014，31(1)：30 - 33,72．

[8] 王金棟，周良，張磊.分布式數據流處理中的負載分配策略[J].南京航空航天大學學報，2006，38(2)：212-216.

[9] 田杭沛，高德遠，樊曉椏，等.面向實時流處理的多核多線程處理器訪存隊列[J].計算機研究與發展，2009，46(10)：1635-1642.

[10] Friske C A,Ruddy J A,Shibamiya A.Method for estimating the elapsed-time required for a log apply process:U.S.,6535893[P].2003-03-18.

[11] 沈金明.基于系統日志的計算機網絡用戶行為取證分析系統的研究與實現[D].南京：東南大學，2006.

[12] 季根生.計算機系統日志自動分析的實現[J].鐵路計算機應用，2007，16(3)：48-50.

[13] 吳甘沙，連城，鐘翔.低延遲流處理系統的逆襲[J].程序員，2013(10)：97-101.

[14] 劉光敏，陳慶奎.面向大規模數據流處理的偏最小二乘法[J].計算機應用研究，2014，31(4) ：1055-1058.

[15] 孫大為，張廣艷，鄭緯民.大數據流式計算：關鍵技術及系統實例[J].軟件學報，2014，25(4)：839-862.

DESIGN AND REALISATION OF STREAM PROCESSING TECHNOLOGY-BASED CLOUD COMPUTING PLATFORM MONITORING SCHEME

Shan Xin1Zhu Zhigang1Zhang Long1Fu Changdong2Wei Shuxiao2

1(ChinaMobileGroupHebeiCo.Ltd.,Shijiazhuang050021,Hebei,China)2(BeijingUniversityofPostsandTelecommunications,Beijing100876 ,China)

As to the poor real-time performance of monitoring tools on cloud computing platform currently,this paper presents a real-time monitoring scheme for cloud computing platform,which is based on big data stream processing technology.The scheme takes the real-time computing system Storm as the kernel,uses the tools such as iostat,mpstat to obtain server performance information,and employs Flume and Libvirt to get the full range of log files information as well as the cloud host status information.All of the collected information will be sent to Storm in the form of data stream,and real-time analyses including data cleaning,keywords matching,etc.,will be carried out.The test on scheme is conducted in the environment of simulated production.Experimental result shows that the scheme can achieve real-time monitoring on large-scale cloud computing platform,and has the advantages of high reliability and scalability,it reaches the research effect.

Cloud computing Stream processing Big data

2014-10-29。單莘，高工，主研領域：電信核心網云計算技術，大數據技術。祝智崗，工程師。張龍，工程師。付長冬，博士。魏書曉，工程師。

TP39

A

10.3969/j.issn.1000-386x.2016.04.021