基于云平臺的數(shù)據(jù)監(jiān)控管理系統(tǒng)設計

寧帆

摘 要：針對某運營商公司在已有大數(shù)據(jù)平臺增加對外提供數(shù)據(jù)監(jiān)控服務的需求，本文從整體上和功能上進行了基于云平臺的數(shù)據(jù)監(jiān)控管理系統(tǒng)，可對該平臺上的大數(shù)據(jù)的運行狀態(tài)和第三方租戶用戶的服務情況進行監(jiān)控和管理。

關(guān)鍵字：大數(shù)據(jù);監(jiān)控管理;云平臺;租戶服務

中圖分類號：? ? ? ? ? ? ? ? ? 文獻標識碼：? A

0 引言

互聯(lián)網(wǎng)時代，諸多技術(shù)脫穎而出，為人們的生活提供了巨大便捷。云計算是當下較為熱門的技術(shù)，該技術(shù)將處理資源、存儲資源和網(wǎng)絡傳輸資源集成部署到現(xiàn)有的云計算平臺中。同時為了便于以上資源的管理、為資源引入和分配提供靈活性，創(chuàng)建虛擬資源池，并按照實際的需求對資源池體量予以調(diào)整，實現(xiàn)了成本投入和性能需求的平衡[1-2]。近年硬件性能不斷提升，各大企業(yè)面臨著巨大的用戶訪問壓力，開始聚焦于云計算的戰(zhàn)略部署，促進了云計算機的普及與應用[3]。

大數(shù)據(jù)時代誕生了諸多數(shù)據(jù)分析工具，為充分挖掘數(shù)據(jù)蘊含的價值提供了技術(shù)基礎，運營商與其他企業(yè)相比發(fā)展大數(shù)據(jù)產(chǎn)業(yè)有獨特的優(yōu)勢，首先是運營商有大量的用戶群體，能夠捕捉到用戶的上網(wǎng)行為數(shù)據(jù)，深入分析后可以為多項政策開展提供理論支撐，使得運營商的業(yè)務服務更加貼合用戶需求[4]。

某運營商公司大數(shù)據(jù)平臺建設成熟后還向第三方公司提供數(shù)據(jù)存儲管理服務，可以合作進行數(shù)據(jù)的加工，伴隨著基礎硬件平臺性能的不斷提升，業(yè)務數(shù)據(jù)量也逐漸增加，大數(shù)據(jù)平臺也包含了企業(yè)諸多隱私數(shù)據(jù)，因此要建立完備的大數(shù)據(jù)平臺監(jiān)控體系，充分保證數(shù)據(jù)的規(guī)范使用。同時對數(shù)據(jù)集群的運行狀態(tài)進行精準監(jiān)控，并對出現(xiàn)的各種行為實現(xiàn)報警，如果出現(xiàn)異常問題，可以及時的發(fā)現(xiàn)并通知安全維護人員，及時將損失降低到最低[5]。

1 系統(tǒng)整體設計

本數(shù)據(jù)監(jiān)控管理系統(tǒng)的網(wǎng)絡架構(gòu)設計是基于B/S架構(gòu)，由用戶、網(wǎng)關(guān)、服務器組成。用戶類型主要有數(shù)據(jù)監(jiān)控管理員、租戶和系統(tǒng)管理員三類，用戶通過瀏覽器和網(wǎng)絡對系統(tǒng)進行訪問。服務器類型主要有采集服務器、數(shù)據(jù)處理服務器、數(shù)據(jù)存儲服務器和應用服務器四類，完成數(shù)據(jù)的采集、處理、存儲及應用任務。由于某公司數(shù)據(jù)采集量較大，因此設計搭建萬兆專線互連的方式實現(xiàn)大數(shù)據(jù)采集。

在業(yè)務功能方面，本數(shù)據(jù)監(jiān)控管理系統(tǒng)采用的MVC模式，包括表現(xiàn)層、業(yè)務層、數(shù)據(jù)連接層、數(shù)據(jù)存儲層四個層級。表現(xiàn)層是系統(tǒng)與用戶交互的直接窗口，負責本系統(tǒng)的業(yè)務功能進行視圖和數(shù)據(jù)等形式進行展示。業(yè)務層對數(shù)據(jù)進行邏輯處理和解析，并在封裝后推送至數(shù)據(jù)連接層。數(shù)據(jù)連接層負責管理和存儲數(shù)據(jù)，同時定義接口與大數(shù)據(jù)平臺進行對接，實現(xiàn)主機節(jié)點、容器、服務的運行狀態(tài)數(shù)據(jù)。數(shù)據(jù)存儲層存儲系統(tǒng)數(shù)據(jù)和業(yè)務數(shù)據(jù)，這部分數(shù)據(jù)是用Oracle數(shù)據(jù)庫，其他租戶數(shù)據(jù)內(nèi)容均存儲在大數(shù)據(jù)平臺上，主要為HDFS分布式存儲架構(gòu)。通過開發(fā)接口對接和獲取所需數(shù)據(jù)。

2 系統(tǒng)功能設計

數(shù)據(jù)監(jiān)控管理系統(tǒng)用于實現(xiàn)對大數(shù)據(jù)平臺整體資源使用情況進行展現(xiàn)，該系統(tǒng)的功能模塊設計圖如圖1所示：包含的功能模塊有節(jié)點和IP管理模塊、容器管理模塊、服務管理模塊、鏡像管理模塊、多租戶管理模塊以及系統(tǒng)管理模塊。

（1）節(jié)點和IP管理模塊

節(jié)點管理模塊能夠?qū)Υ髷?shù)據(jù)平臺的物理機器資源的運行狀態(tài)和IP地址信息進行監(jiān)控，包括節(jié)點管理子功能和IP管理功能。

（2）容器管理模塊

容器管理模塊顯示平臺中的所有容器以及對于容器宿主機的單獨展示。租戶服務集群會由容器構(gòu)成，容器運行于宿主機之上，本模塊可根據(jù)容器IP、容器所屬服務集群名稱等查詢?nèi)萜鳁l目，展示具體容器資源情況。容器與租戶和服務信息相綁定，租戶可在容器內(nèi)進行程序部署和數(shù)據(jù)應用。容器管理模塊包括容器創(chuàng)建功能、容器查詢功能、宿主機查詢功能。

（3）服務管理模塊

服務可看做容器服務化集群供租戶使用，通過服務管理可以添加、刪除、修改一項服務，并且可以查看各項服務的CPU數(shù)量、內(nèi)存大小、IP和健康狀態(tài)。服務管理模塊包括服務監(jiān)控功能、服務新建功能、服務維護功能。

（4）鏡像管理模塊

為保證容器鏡像安全以及鏡像定制需求的，公司大數(shù)據(jù)平臺設有私有鏡像庫，鏡像管理負責管理平臺私有鏡像庫中的鏡像組件。鏡像管理模塊包括鏡像查看功能、鏡像刪除功能。

（5）多租戶管理模塊

多租戶管理模塊進行租戶權(quán)限管控以及相關(guān)HDFS目錄的資源管控和展示。每個租戶必在平臺上有一個屬于自己的HDFS目錄，對于平臺中的HDFS的監(jiān)控和管理即為租戶的云存儲管理，其HDFS目錄與租戶共存，租戶生成即目錄生成，租戶刪除即會將目錄同步刪除，因此將對于HDFS資源的管控直接放置與租戶管理部分，不單獨新增模塊。租戶管理能顯示某租戶申請的全部資源使用情況，包括服務情況、存儲情況、使用期限等內(nèi)容。租戶在HDFS上具有自己的私有目錄，在創(chuàng)建租戶的同時會在HDFS上生成對應的私有目錄，會對私有目錄進行權(quán)限和配額管理，實現(xiàn)數(shù)據(jù)隔離。多租戶管理模塊 包括HDFS管理功能、租戶新建功能、租戶資源概覽、租戶控制功能。其中租戶資源概覽模塊可單獨供租戶使用查看。

（6）系統(tǒng)管理模塊

系統(tǒng)管理模塊進行用戶權(quán)限管控以及相關(guān)HDFS目錄的資源管控和展示，并進行系統(tǒng)登陸和系統(tǒng)操作過程記錄、管控、存儲和查詢，形成系統(tǒng)登陸查詢?nèi)罩竞拖到y(tǒng)操作查詢?nèi)罩尽?/p>

3 應用及展望

本系統(tǒng)提升分布式集群資源管理框架及容器化管理能力，從應用效果來看，本監(jiān)控系統(tǒng)的上線運行實現(xiàn)整個平臺集群和各個組件的運行狀態(tài)的監(jiān)控，同時實現(xiàn)整個平臺租戶服務的管理。系統(tǒng)對開源組件進行封裝，實現(xiàn)集群資源、權(quán)限的統(tǒng)一管理、租戶服務的部署和監(jiān)控。如通過頁面監(jiān)控平臺或容器狀態(tài)數(shù)據(jù)、控制租戶可用HDFS資源、權(quán)限、服務操作等。

但是目前的數(shù)據(jù)監(jiān)控管理系統(tǒng)在功能和服務方面仍然存在一定程度的局限性。

對于運營商企業(yè)而言，數(shù)據(jù)體量和運維模式?jīng)Q定了其日益增加的數(shù)據(jù)規(guī)模和硬件設備的線性增加，導致日常的監(jiān)控和運維任務增加，數(shù)據(jù)監(jiān)控管理系統(tǒng)的功能和監(jiān)控并發(fā)需求需要進一步增加。

功能方面，目前僅對存儲空間進行了分配，對于第三方租戶而言，往往應用數(shù)據(jù)時需要進行相關(guān)開發(fā)工作，因此運營商公司在提供數(shù)據(jù)服務的同時，需提供軟件開發(fā)環(huán)境和相關(guān)組件的安裝服務，也可作為一個收費項目進行開展。同時，可引入計費管理功能，對不同服務的費用明細向租戶進行展示，做到收費項目透明化。

參考文獻：

[1] 慕善文. 面向聯(lián)通大數(shù)據(jù)的精準營銷算法研究[D].北方工業(yè)大學，2019.

[2] 羅勛. 基于大數(shù)據(jù)系統(tǒng)中國聯(lián)通公司移動互聯(lián)網(wǎng)產(chǎn)品策略研究[D]，廣西大學，2015.

[3] 霍玉嵩， 房秉毅， 陳清金. 開放共享中國聯(lián)通打造沃云大數(shù)據(jù)產(chǎn)業(yè)生態(tài)[J]. 通信世界， 2017（13）：34-37.

[4] 王佳， 金誠， 謝美德. 在通信領域中大數(shù)據(jù)技術(shù)的應用分析[J]. 通訊世界月刊， 2016，43（34）：23-28.

[5] 劉山. 中國聯(lián)通大數(shù)據(jù)應用之路[J]. 信息通信技術(shù)， 2015（6）：13-16.