基于 Prometheus+Grafana 實(shí)現(xiàn)新華全媒新聞服務(wù)平臺(tái)統(tǒng)一運(yùn)維監(jiān)控

鐘盈炯

（新華社通信技術(shù)局，北京 100803）

導(dǎo)語

新華全媒新聞服務(wù)平臺(tái)是按照新華社供稿線路優(yōu)化調(diào)整的總體要求，基于云計(jì)算和微服務(wù)技術(shù)架構(gòu)，重構(gòu)新華社轉(zhuǎn)型發(fā)展時(shí)期的供稿技術(shù)體系，建成包括所有新華社文字、圖片、圖表、視頻、新媒體、多媒體、歷史資料的全媒體供稿平臺(tái)。Docker容器技術(shù)將作為云計(jì)算領(lǐng)域的代表技術(shù)之一，以鏡像方式交付，以容器方式運(yùn)行，使得軟件所依賴的環(huán)境與標(biāo)準(zhǔn)環(huán)境相同，只需要進(jìn)行一次構(gòu)建，即可實(shí)現(xiàn)重復(fù)部署。用微服務(wù)來重新定義架構(gòu)體系已成為業(yè)內(nèi)系統(tǒng)設(shè)計(jì)和技術(shù)實(shí)現(xiàn)的熱門方向和首要選擇。

本文首先對(duì)Docker、Prometheus和Grafana進(jìn)行了介紹，然后說明了基于Docker部署的微服務(wù)架構(gòu)全媒平臺(tái)，提出了其采用的Prometheus+Grafana實(shí)現(xiàn)企業(yè)級(jí)系統(tǒng)監(jiān)控的設(shè)計(jì)方案和實(shí)現(xiàn)過程，最后展示了部分可視化輸出效果。

1.Docker簡(jiǎn)介

Docker是一個(gè)被廣泛使用的開源容器引擎，是一種操作系統(tǒng)級(jí)別的虛擬化技術(shù)，它以一種特殊進(jìn)程的方式運(yùn)行于宿主機(jī)上，它依賴于liunx內(nèi)核特性：namespace（名字空間進(jìn)行資源的隔離）和cgroups（限制、記錄任務(wù)組所使用的物理資源），它也可以對(duì)應(yīng)用程序進(jìn)行打包。Docker是一種基于LXC的輕量級(jí)虛擬化技術(shù)，基于 Go語言開發(fā)，并遵循 Apache2.0協(xié)議。[9]其主要目標(biāo)是“Bulid ，Shop and Run Any App，Anywhere”。即利用Docker容器的特點(diǎn)，對(duì)資源進(jìn)行分割和調(diào)度，主要面向于開發(fā)者與系統(tǒng)管理員，最終實(shí)現(xiàn)一個(gè)分布式平臺(tái)，主要負(fù)責(zé)管理應(yīng)用組件的整個(gè)生命周期。使用Docker容器技術(shù)，可以對(duì)應(yīng)用進(jìn)行高效、敏捷且自動(dòng)化的部署，同時(shí)結(jié)合操作系統(tǒng)內(nèi)核技術(shù)（namespaces，cgroups 等），為 Docker 容器的安全與資源隔離提供了技術(shù)保障。[1]

2. Prometheus與Grafana概述

Prometheus是由SoundCloud開發(fā)的開源監(jiān)控報(bào)警系統(tǒng)和時(shí)序列數(shù)據(jù)庫(kù)（TSDB）。[2]

Prometheus 使 用Go語言開發(fā)，是Google BorgMon監(jiān)控系統(tǒng)的開源版本。 2016年由Google發(fā)起Linux基金會(huì)旗下的原生云基金會(huì)（Cloud Native Computing Foundation），將Prometheus納入其下第二大開源項(xiàng)目。 Prometheus目前在開源社區(qū)相當(dāng)活躍。Prometheus和Heapster（Heapster）是K8S的一個(gè)子項(xiàng)目，用于獲取集群的性能數(shù)據(jù)。相比功能更完善、更全面。Prometheus性能也足夠支撐上萬臺(tái)規(guī)模的集群部署。[2]

Grafana是開源的、炫酷的可視化監(jiān)控、分析利器[3]，擁有快速靈活的客戶端圖表和模塊工具，面板插件有許多不同方式的可視化指標(biāo)和日志，官方庫(kù)中具有豐富的儀表盤插件，比如熱圖、折線圖、圖表等多種展示方式，讓復(fù)雜的數(shù)據(jù)展示得美觀而優(yōu)雅。支持許多不同的時(shí)間序列數(shù)據(jù)庫(kù)作為其數(shù)據(jù)來源的源頭，諸如本文中提及的Prometheus。

3. Prometheus+Grafana設(shè)計(jì)實(shí)現(xiàn)企業(yè)級(jí)系統(tǒng)運(yùn)維監(jiān)控

運(yùn)維監(jiān)控系統(tǒng)的實(shí)現(xiàn)過程是，將基礎(chǔ)平臺(tái)和業(yè)務(wù)系統(tǒng)中所涉及的硬件資源信息、基礎(chǔ)組件信息、應(yīng)用軟件信息等統(tǒng)一納入運(yùn)維監(jiān)控平臺(tái)，并進(jìn)行指標(biāo)的規(guī)范、收集及統(tǒng)一集中存儲(chǔ)。以可用性指標(biāo)為基礎(chǔ)，逐步增加服務(wù)質(zhì)量相關(guān)指標(biāo)。實(shí)現(xiàn)系統(tǒng)運(yùn)維監(jiān)控的規(guī)范化和故障告警處理的智能化。

運(yùn)行監(jiān)控和故障告警是運(yùn)維監(jiān)控系統(tǒng)的兩個(gè)主要功能組成部分。根據(jù)上述實(shí)現(xiàn)思路，統(tǒng)一運(yùn)維監(jiān)控平臺(tái)的實(shí)現(xiàn)架構(gòu)設(shè)計(jì)如圖1所示，劃分為三大組成部分，分別是數(shù)據(jù)采集、數(shù)據(jù)提取（存儲(chǔ)）和數(shù)據(jù)展示及報(bào)警提示。數(shù)據(jù)采集模塊主要是部署Exporter等監(jiān)控工具，獲取各類基礎(chǔ)數(shù)據(jù)，當(dāng)針對(duì)具體的應(yīng)用實(shí)現(xiàn)時(shí)，運(yùn)維人員需要編寫代碼獲取應(yīng)用的監(jiān)控指標(biāo)，并格式化為Prometheus的數(shù)據(jù)格式形式；數(shù)據(jù)提取（儲(chǔ)存）主要是將指標(biāo)數(shù)據(jù)存儲(chǔ)到Prometheus時(shí)序數(shù)據(jù)庫(kù)中，主要用來存儲(chǔ)和查詢監(jiān)控的指標(biāo)數(shù)據(jù)；數(shù)據(jù)展示及報(bào)警提示模式主要是通過運(yùn)用Grafana以及郵件、微信等外圍輸出工具，實(shí)現(xiàn)基礎(chǔ)環(huán)境和業(yè)務(wù)系統(tǒng)監(jiān)控指標(biāo)的可視化展示和告警信息的輸出。

圖1 運(yùn)維監(jiān)控設(shè)計(jì)實(shí)現(xiàn)架構(gòu)圖

4.基于容器微服務(wù)架構(gòu)部署的全媒平臺(tái)系統(tǒng)

4.1 微服務(wù)簡(jiǎn)介

微服務(wù)架構(gòu)是一種面向互聯(lián)網(wǎng)應(yīng)用服務(wù)的軟件開發(fā)架構(gòu)[4]，主要應(yīng)用于互聯(lián)網(wǎng)應(yīng)用服務(wù)的服務(wù)端軟件開發(fā)，由面向服務(wù)架構(gòu) SOA 發(fā)展而來。微服務(wù)架構(gòu)提倡將單體架構(gòu)應(yīng)用劃分成一組小的服務(wù)，服務(wù)之間互相協(xié)調(diào)、互相配合。

4.2 從傳統(tǒng)向微服務(wù)開發(fā)框架轉(zhuǎn)移

筆者所在單位的原有全媒平臺(tái)是基于開源的dubbo框架設(shè)計(jì)搭建而成，龐大而復(fù)雜，此架構(gòu)對(duì)敏捷開發(fā)和迭代優(yōu)化部署較為繁瑣，尤其是在迭代升級(jí)和版本回退時(shí)較為困難。

本文中提及的現(xiàn)有全媒平臺(tái)，由傳統(tǒng)的服務(wù)架構(gòu)向基于Spring Cloud的微服務(wù)架構(gòu)轉(zhuǎn)移，通過調(diào)用本地Consul客戶端Consul服務(wù)器注冊(cè)、發(fā)現(xiàn)和消費(fèi)。向Consul服務(wù)器注冊(cè)時(shí)，發(fā)告知其IP和端口，注冊(cè)后，會(huì)每隔一定時(shí)間發(fā)送健康檢查，當(dāng)需要消費(fèi)時(shí)，先去Consul服務(wù)器上拿到一個(gè)含有IP和端口的臨時(shí)表，再去Get實(shí)際的路由。

圖2 服務(wù)發(fā)現(xiàn)方式

4.3 業(yè)務(wù)服務(wù)部署架構(gòu)

為實(shí)現(xiàn)全球站點(diǎn)部署，在設(shè)計(jì)業(yè)務(wù)的服務(wù)架構(gòu)中充分考慮到業(yè)務(wù)的增減和變更情況。具體有：gateway（應(yīng)用服務(wù)路由網(wǎng)關(guān)）、doc-view（稿件查看）、doc-server（稿件服務(wù)）、auth（用戶認(rèn)證授權(quán)）、management（后臺(tái)資源管理）、consul server（服務(wù)注冊(cè)與發(fā)現(xiàn)）和稿件入庫(kù)等。其業(yè)務(wù)部署架構(gòu)圖如下所示。

圖3 業(yè)務(wù)服務(wù)部署架構(gòu)圖

4.4 容器化部署實(shí)施

在上述對(duì)各個(gè)微服務(wù)模塊進(jìn)行細(xì)分的前提下，實(shí)現(xiàn)服務(wù)模塊化打包、持續(xù)集成持續(xù)交付（CI/CD）的自動(dòng)化運(yùn)維服務(wù)能力。在此，筆者項(xiàng)目組使用Docker，方便地以“容器化”的方式去部署應(yīng)用服務(wù)，它在鏡像中打包了所有應(yīng)用所需要的環(huán)境，正所謂一次構(gòu)建，處處運(yùn)行。為了方便對(duì) Docker容器進(jìn)行規(guī)模化和集群化管理，谷歌公司推出的Kubernetes（簡(jiǎn)稱K8s）的容器集群管理系統(tǒng)。Kubernetes 主要包括容器集群的自動(dòng)化部署、自動(dòng)擴(kuò)縮容、容器維護(hù)管理等功能模塊。[5]在該項(xiàng)目中，使用K8s對(duì)各個(gè)應(yīng)用Docker容器進(jìn)行統(tǒng)一的管理，根據(jù)業(yè)務(wù)所需和訪問情況動(dòng)態(tài)擴(kuò)充，以保證系統(tǒng)服務(wù)的穩(wěn)定性、安全性和可靠性。

5.搭建服務(wù)于全媒平臺(tái)的企業(yè)級(jí)運(yùn)維監(jiān)控平臺(tái)

5.1 功能架構(gòu)

圖4 統(tǒng)一運(yùn)維監(jiān)控平臺(tái)功能架構(gòu)圖

平臺(tái)主要分為指標(biāo)數(shù)據(jù)采集、指標(biāo)存儲(chǔ)、可視化展現(xiàn)、告警管理4個(gè)主要功能模塊。指標(biāo)采集模塊負(fù)責(zé)對(duì)所有的指標(biāo)接口進(jìn)行數(shù)據(jù)采集，并將采集到的時(shí)序指標(biāo)數(shù)據(jù)存入指標(biāo)存儲(chǔ)時(shí)序數(shù)據(jù)庫(kù)中進(jìn)行長(zhǎng)期存儲(chǔ)，可視化展現(xiàn)模塊利用這些時(shí)序數(shù)據(jù)進(jìn)行指標(biāo)的各種展現(xiàn)形式的可視化呈現(xiàn)，告警管理模塊則根據(jù)告警規(guī)則，結(jié)合時(shí)序數(shù)據(jù)進(jìn)行規(guī)則匹配，若觸發(fā)規(guī)則，則在分組去重后進(jìn)行告警通知。

5.2 技術(shù)架構(gòu)及實(shí)現(xiàn)

圖5 運(yùn)維監(jiān)控設(shè)計(jì)實(shí)現(xiàn)架構(gòu)圖

平臺(tái)依托于開源技術(shù)、產(chǎn)品與自主研發(fā)的相關(guān)模塊構(gòu)建。底層依托容器環(huán)境運(yùn)行。

主要開源技術(shù)、產(chǎn)品的選型介紹如下：

Prometheus（詳情請(qǐng)見本文3中簡(jiǎn)述）。

在本系統(tǒng)中作為二級(jí)抓取服務(wù)，由于具有Web UI服務(wù)，所以更方便各二級(jí)抓取負(fù)責(zé)人員進(jìn)行調(diào)試、更新、維護(hù)。

Grafana（詳情請(qǐng)見本文3中簡(jiǎn)述）。

查詢分析時(shí)序數(shù)據(jù)庫(kù)中的時(shí)序數(shù)據(jù)然后進(jìn)行可視化展示。

VictoriaMetrics

VictoriaMetrics套件中的指標(biāo)集中存儲(chǔ)組件，是一個(gè)支持高可用、消耗低、可伸縮的時(shí)序數(shù)據(jù)庫(kù)，用于Prometheus標(biāo)準(zhǔn)時(shí)序指標(biāo)數(shù)據(jù)的長(zhǎng)期存儲(chǔ)。

vmagent

VictoriaMetrics套件中的指標(biāo)采集組件，可以比Prometheus更高效、資源占用更低的采集海量時(shí)序指標(biāo)數(shù)據(jù)。

vmalert

VictoriaMetrics套件中的告警指示組件，其執(zhí)行一系列給定的rule（基于MetricsQL，PromQL的超集），然后發(fā)送告警信息到Alertmanager組件。

Alertmanager

告警通知組件。其接收vmalert發(fā)送的告警信息，并通過各種告警通知渠道發(fā)送告警信息。可以做到告警信息進(jìn)行去重，降噪，分組，策略路由。

lanxin-gateway

藍(lán)信消息網(wǎng)關(guān)組件。接收Alertmanager發(fā)送的告警信息，進(jìn)行預(yù)處理和格式轉(zhuǎn)換后通過調(diào)用藍(lán)信群消息接口將告警消息發(fā)往相應(yīng)藍(lán)信告警群。

5.3 部署架構(gòu)

圖6為運(yùn)維監(jiān)控平臺(tái)部署架構(gòu)示意圖，計(jì)劃在全球四大供稿站點(diǎn)和北京總社部署一臺(tái)或者多臺(tái)服務(wù)器，用于部署相應(yīng)監(jiān)控組件的服務(wù)。具體從功能上分為在4個(gè)應(yīng)用服務(wù)站點(diǎn)部署二級(jí)抓取服務(wù)器，收集本站點(diǎn)的監(jiān)控信息，統(tǒng)一收集后，發(fā)送至總社統(tǒng)一匯總統(tǒng)一管理；在北京總社部署集中指標(biāo)收集服務(wù)器和核心服務(wù)器。

圖6 運(yùn)維監(jiān)控部署架構(gòu)圖

5.3.1 核心服務(wù)層

圖6從上向下看，最上一層為核心服務(wù)層。主要負(fù)責(zé)時(shí)序數(shù)據(jù)的存儲(chǔ)，同時(shí)有告警規(guī)則運(yùn)算服務(wù)alert負(fù)責(zé)告警規(guī)則的匹配運(yùn)算，告警服務(wù)Alertmanager負(fù)責(zé)告警消息分組去重及分發(fā)，可視化展示服務(wù)Grafana提供指標(biāo)展示。具體就是接收數(shù)據(jù)收集層發(fā)來的格式化規(guī)范化的數(shù)據(jù)，進(jìn)行分析篩選，統(tǒng)一存儲(chǔ)至?xí)r序數(shù)據(jù)庫(kù)中，Grafana調(diào)用時(shí)序數(shù)據(jù)庫(kù)中的各類數(shù)據(jù)，選用合適的展示模板供用戶查看，同時(shí)根據(jù)業(yè)務(wù)需要和業(yè)務(wù)要求編寫各類告警規(guī)則，輸出報(bào)警數(shù)據(jù)。

圖6中間一級(jí)抓取層和最下面二級(jí)抓取層主要是收集服務(wù)器主機(jī)的基礎(chǔ)數(shù)據(jù)、基礎(chǔ)組件數(shù)據(jù)和所監(jiān)控應(yīng)用的服務(wù)數(shù)據(jù)等，將所收集到的數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化，提供給Prometheus的服務(wù)采集接口。具體為：

一級(jí)抓取層。負(fù)責(zé)拉取對(duì)應(yīng)區(qū)域所有二級(jí)抓取機(jī)中抓取到的指標(biāo)數(shù)據(jù)，并將這些數(shù)據(jù)存儲(chǔ)到核心服務(wù)器的時(shí)序數(shù)據(jù)庫(kù)中。一級(jí)抓取會(huì)將指標(biāo)數(shù)據(jù)同時(shí)推送到總社的核心服務(wù)器上進(jìn)行存儲(chǔ)，保證數(shù)據(jù)可用性。

二級(jí)抓取層，負(fù)責(zé)抓取所管轄服務(wù)站點(diǎn)內(nèi)的指標(biāo)數(shù)據(jù)。具體抓取的數(shù)據(jù)有：抓取所有站點(diǎn)物理機(jī)和虛擬機(jī)的系統(tǒng)數(shù)據(jù)及基礎(chǔ)組件的指標(biāo)數(shù)據(jù)；全媒平臺(tái)所涉及的4個(gè)站點(diǎn)的重要應(yīng)用服務(wù)接口的指標(biāo)數(shù)據(jù)，所獲取的指標(biāo)數(shù)據(jù)需足以保證足以覆蓋業(yè)務(wù)服務(wù)狀態(tài)的安全、可靠和穩(wěn)定。

5.4 環(huán)境搭建實(shí)現(xiàn)過程

5.4.1 數(shù)據(jù)收集配置過程

在4個(gè)站點(diǎn)和總社匯總點(diǎn)，搭建統(tǒng)一運(yùn)維監(jiān)控集群服務(wù)。分為總社匯總、一級(jí)抓取和二級(jí)抓取。

在各個(gè)站點(diǎn)安裝exporter，實(shí)現(xiàn)基礎(chǔ)數(shù)據(jù)的采集。主要指標(biāo)數(shù)據(jù)分為CPU、內(nèi)存、文件系統(tǒng)、磁盤、網(wǎng)絡(luò)、TCP連接數(shù)等方面。包括CPU 各模式秒數(shù)、5 分鐘平均負(fù)載、內(nèi)存總/空閑/可用字節(jié)數(shù)、文件系統(tǒng)總/可用字節(jié)數(shù)、mysql、mongoDB、Nginx、es、redis等多項(xiàng)關(guān)鍵指標(biāo)。

在各個(gè)站點(diǎn)部署應(yīng)用的指標(biāo)采集程序，安裝白盒黑盒探針及日志分析服務(wù)等，轉(zhuǎn)化為Prometheus可以識(shí)別可以支持的數(shù)據(jù)格式，轉(zhuǎn)換為上一級(jí)可以提取的數(shù)據(jù)格式。

5.4.2 數(shù)據(jù)展示配置過程

登錄總社服務(wù)器，安裝Grafana。（如果查看各個(gè)站點(diǎn)收集數(shù)據(jù)的展示情況，也可在分站點(diǎn)安裝Grafana）。

通過Web服務(wù)連接Grafana，使用管理員賬戶登錄Grafana，配置連接的時(shí)序數(shù)據(jù)庫(kù)數(shù)據(jù)源。

選用合適的展示模塊，如當(dāng)前沒有，從官網(wǎng)獲取相應(yīng)的Json文件或者模塊編號(hào)，將其導(dǎo)入Grafana中。

綜合分析業(yè)務(wù)展示方式和展示效果，選取所需要的各類數(shù)據(jù)，包括基礎(chǔ)數(shù)據(jù)和應(yīng)用服務(wù)指標(biāo)數(shù)據(jù)，將其展示到Grafana的Web界面中。

5.4.3 告警規(guī)則配置過程

Grafana的告警觸發(fā)以panel為基礎(chǔ)，即每個(gè)panel單獨(dú)配置告警信息，包括告警規(guī)則、觸發(fā)條件、告警通知通道及內(nèi)容。

指定所需要修配配置的通道，修改Grafana配置文件（grafana.ini）。

登錄Grafana Web服務(wù)界面，進(jìn)入設(shè)置區(qū)，接收告警的通道，并配置相應(yīng)的閾值。

6.整體界面效果

根據(jù)配置的Granfa服務(wù)地址和端口，登錄Grafana Web服務(wù)，配置連接對(duì)應(yīng)的時(shí)序數(shù)據(jù)庫(kù)，將收集到的格式化數(shù)據(jù)統(tǒng)一展示在運(yùn)維監(jiān)控大屏之中，巧妙選擇不同的顯示顏色和不同的展示方式，將數(shù)據(jù)平面化、圖形化、易讀化，便于運(yùn)維值班人員隨時(shí)查看了解系統(tǒng)賴以運(yùn)行的基礎(chǔ)環(huán)境和網(wǎng)絡(luò)的實(shí)時(shí)工作情況，第一時(shí)間獲取系統(tǒng)運(yùn)行的狀態(tài)信息和報(bào)警信息。

6.1 全媒平臺(tái)監(jiān)控概覽

圖7展示了全媒平臺(tái)業(yè)務(wù)、端口、接口和進(jìn)程的總體情況。如某個(gè)模塊顏色變紅，則說明存在報(bào)警情況，將鼠標(biāo)放置在某一面板左上的超鏈接圖標(biāo)上，即顯示下鉆詳情的超鏈接，點(diǎn)擊可進(jìn)入相應(yīng)的二級(jí)監(jiān)控頁查看詳情。左下部分為新供稿2.0四個(gè)站點(diǎn)的撥測(cè)詳情。如某個(gè)模塊顏色變紅，則說明存在報(bào)警情況，點(diǎn)擊相應(yīng)模塊可進(jìn)入二級(jí)監(jiān)控頁查看詳情。

圖7 全媒平臺(tái)統(tǒng)一監(jiān)控總覽

6.2 全媒平臺(tái)二級(jí)監(jiān)控細(xì)覽

圖8和圖9展示了業(yè)務(wù)系統(tǒng)中涉及的進(jìn)程服務(wù)狀態(tài)和端口服務(wù)狀態(tài)，圖10和圖11展示了業(yè)務(wù)系統(tǒng)中部署的基礎(chǔ)環(huán)境和網(wǎng)絡(luò)環(huán)境的整體情況，下圖的顏色會(huì)變成黃色或者紅色等不同顏色狀態(tài)信息，以方便運(yùn)維人員通過顏色及時(shí)獲知系統(tǒng)的運(yùn)行情況。

圖8 全媒平臺(tái)二級(jí)撥測(cè)詳情

圖9 全媒平臺(tái)二級(jí)端口服務(wù)詳情

圖10 全媒平臺(tái)CPU/內(nèi)存情況

圖11 全媒平臺(tái)網(wǎng)絡(luò)基礎(chǔ)環(huán)境情況

結(jié)語

簡(jiǎn)單而又直觀的監(jiān)控信息展示，是系統(tǒng)運(yùn)維的利器，正確而又及時(shí)地監(jiān)控報(bào)警是服務(wù)穩(wěn)定的基礎(chǔ)。隨著微服務(wù)架構(gòu)設(shè)計(jì)理念應(yīng)用到全媒平臺(tái)的實(shí)際生產(chǎn)應(yīng)用中，開源的Prometheus+Grafana天然組合，因其簡(jiǎn)單、穩(wěn)定、可靠和易擴(kuò)展等特點(diǎn)，成為搭建企業(yè)級(jí)運(yùn)維監(jiān)控平臺(tái)的首選環(huán)節(jié)。筆者在本文中所闡述的設(shè)計(jì)方案和實(shí)施細(xì)節(jié)，有效助力了全媒平臺(tái)運(yùn)維人員的運(yùn)維效率和運(yùn)維能力，從而進(jìn)一步保障了系統(tǒng)的穩(wěn)定可靠運(yùn)行，成為當(dāng)前系統(tǒng)運(yùn)維不可或缺的組成部分。