基于Nightingale的實時監控告警系統在圖書館的應用

摘 要：建設一套能夠實時監控圖書館所有IT基礎設施的告警系統，應用于圖書館網絡，及時發現并解決異常故障，提高故障排查和維護效率。通過方案選型對比測試，選取最佳開源解決方案，實時采集監控IT基礎設施的運行狀態；針對圖書館專用設備，二次開發采集自定義指標；通過微信實現告警信息的實時傳遞和交互；對接Grafana實現監控數據可視化展示。基于Nightingale和微信實現的監控告警系統，大大提高了圖書館IT管理部門的工作效率和服務水平，同時可保證圖書館的正常運營和信息安全。

關鍵詞：Nightingale；開源軟件；監控告警

中圖分類號：TP39 文獻標識碼：A 文章編號：2096-4706（2024）13-0151-05

Application of Real-time Monitoring and Alarm System Based on Nightingale in Libraries

QIU Hui， OU Chen

（Changsha Library， Changsha 414000， China）

Abstract： It constructs a real-time monitoring and alarm system for all IT infrastructures in a library， applied to the library network， to promptly detect and resolve abnormal faults， improving the efficiency of fault diagnosis and maintenance. Through comparative testing of solution selection， the best open-source solution is chosen to collect and monitor the operational status of IT infrastructure in real time. For library-specific equipment， secondary development is carried out to collect custom metrics. Real-time transmission and interaction of alert information is achieved through WeChat， and monitoring data visualization is realized by integrating with Grafana. The monitoring and alert system implemented based on Nightingale and WeChat has greatly improved the work efficiency and service level of the library's IT management department， while ensuring the normal operation and information security of the library.

Keywords： Nightingale; open-source software; monitoring and alarm

0 引 言

圖書館的IT基礎設施涵蓋服務器、網絡設備、數據庫、自助借還書設備以及圖書館自動化管理和活動系統等核心要素[1]。隨著數字化進程的不斷推進，數據中心服務器數量激增，新的自助服務設備也逐漸遍布整個圖書館，同時服務異常的發生頻率也在不斷上升。故障的發現和處理僅僅依賴讀者或工作人員的反饋，導致問題解決的延遲，這不僅效率低下，還會令讀者對圖書館服務質量和系統可用性產生質疑，嚴重影響了圖書館的聲譽和正常運營。因此，圖書館亟須開發一套能夠實時監控IT基礎設施，在發生異常時能夠及時發送告警通知的系統。這一系統能夠提前發出警報，實時檢測故障，并通過電子郵件、短信、微信等多種方式發送告警通知，同時提供詳盡的數據，以幫助相關人員追蹤和定位故障。

在本文中，我們將探討長沙圖書館實時監控告警系統建設方案的選擇過程，分享了基于開源軟件Nightingale和微信的解決方案，結合特定自助服務設備的二次開發，實現了對圖書館IT基礎設施的實時監控和告警。

1 選型思路

監控告警系統的獲得一般有采購商業軟件或服務、利用開源軟件開發、完全自主開發三種方式。對于資金充裕的圖書館，可采購商業軟件，所采購的商業軟件運行穩定，售后有保障，不足之處一是成本較高，商業軟件收費一般按照功能模塊、監控數量授權等多種方式計費，二是商業軟件內部源碼與數據不對外公開，除廠商能夠定制開發之外，使用者無修改權限，而且成本較高，周期較長[2]。

另外，現在基于云計算的云監控服務也越來越普遍，目前提供這類服務的主要有云計算服務提供商（比如騰訊云、阿里云等）和專門提供特定監控服務的監控寶、360網站服務監控等，這類服務對通用Web服務、網站運行的監控效果很好，甚至免費版即可滿足中小型圖書館的需求，缺點是對于圖書館一些特定服務或是不聯外網的圖書館業務服務設備監控不方便。

從經費預算、自動化程度高低、靈活開放程度等方面結合來看，開源軟件有比較明顯的優勢。筆者調研后了解到，市面上使用人數較多、開源社區相對活躍的知名開源解決方案有Zabbix、Nagios、Prometheus、Nightingale。其中Nagios因配置使用比較煩瑣、軟件更新慢、UI界面比較過時等因素而被排除在外，而Prometheus主要應用于容器監控場景。因此通過本地測試對比及筆者單位實際情況，最終決定基于Nightingale搭建本單位的監控告警系統。

監控告警消息的推送通常采用郵件、短信、微信等方式。郵件可能出現接收不及時容易被運維人員擱置的問題，短信平臺的使用及通知會產生額外的費用。微信作為時下最為流行的社交軟件，已成為工作和生活中必不可少的工具，對消息處理的即時性遠超郵件[3]。微信公眾平臺默認具備豐富強大的功能，并且提供完備的接口開發文檔。監控告警系統通過調用微信的接口向微信推送告警消息，使用完全零成本。

2 需求分析

長沙圖書館對實時監控告警設備的需求包括服務器、存儲設備、交換機、無線AP接入點、客流統計攝像頭、自助辦證借還服務（ACS）以及nginx、tomcat等Web組件。這些設備的配備對圖書館的業務運營至關重要，一旦出現故障將對圖書館的正常運營造成直接影響。

另外，許多設施設備自帶管理系統，例如服務器的虛擬化管理平臺、無線控制器的管理后臺、磁盤陣列的控制器等，這些系統大多具備監控告警功能，但是這些系統的告警通知主要是以系統內部消息為主，以郵件推送為輔，且分散不統一。

為了減少重要性較低告警消息對正常工作的干擾，同時又盡可能全面地采集關鍵監控數據，需要針對監控告警情況采取分類配置策略。具體措施包括：

1）根據設備的故障程度和對讀者借閱服務質量的影響程度進行分類和優先級排序。

2）針對不同類別的設備或故障情況，設置不同的監控閾值、告警方式、通知人員等參數。

3）對于一些關鍵設備或服務，采取實時監控和告警以確保及時發現并處理故障。

4）對于一些重要性較低的設備或服務，通過定期巡檢或狀態監測的方式來避免不必要的干擾。

3 系統構建

在這個實時監控告警系統中，設置了不同的監控項和閾值，以便能夠及時發現設備的故障或異常情況。當某個設備出現異常時會立即發送告警信息，同時也會通過微信將告警信息推送給管理員。管理員在接收到告警信息后，可以及時采取相應的措施進行修復和處理。同時，管理員也可將告警系統與數據可視化工具對接，查看實時監控數據、歷史數據和告警信息等。

3.1 監控系統架構

夜鶯監控系統是一套衍生自Open-Falcon的互聯網監控解決方案，融入了滴滴的最佳實踐[4]，由于改動太大，優化太多，產品已經無法與Open-Falcon平滑兼容，故而單開一個項目。上線至今已有上千家商業公司在生產環境中使用，后續將會逐步優化。與Open-Falcon相比，夜鶯監控系統在性能、易用性、可用性方面都做了大幅改進，開源至今已累計迭代100多個版本[5]。筆者于2021年部署調試完畢，下面將介紹基于夜鶯監控v4.0.2版本。

Nightingale主要由Agent、Transfer、TSBD、Index、Judge、Monapi、RDB、Job、AMS九個組件組成，架構圖如圖1所示。

整體看來，夜鶯的核心處理邏輯可以分成四大塊：

1）以Agent為核心的數據采集模塊。

2）以Transfer為核心的相關模塊。負責傳輸、存儲鏈路，同時對外暴露查詢接口，用于查詢索引信息和歷史監控數據。

3）以Judge為核心的告警引擎模塊。依據告警策略對監控數據做閾值判斷，如果監控數據觸發閾值會生成告警事件，推給Redis隊列，由Monapi（Alarm）模塊來消費處理[6]。

4）用戶交互部分。提供Web頁面給終端用戶操作，進行數據查看、告警策略配置、告警采集配置、告警屏蔽配置、告警事件查看等。

3.2 系統工作流程

Agent組件用于采集監控目標數據，可自動采集目標的各種指標數據，默認可采集Linux、Windows、MySQL、Redis、MongoDB、交換機、Nginx、LVS等20個大類共計200多項指標[7]。只要安裝了Agent的機器，就會自動采集各項指標，主動上報給Transfer組件。對于一些非標準的監控指標，它提供了Plugin插件機制，支持用戶使用任意編程語言二次開發采集插件。

Agent采集的數據統一由Transfer組件轉發，TSDB（時序數據庫）和Index組件負責指標數據存儲、索引，提供API接口供用戶進行快速查詢、數據可視化處理等。

Judge組件用于判斷Transfer推送的指標數據是否關聯了告警策略，若觸發了告警，則會生成一個告警事件Event并寫入Redis數據庫中。Monapi（Alarm）則不斷地從Redis中讀取數據，并給告警事件補充信息，然后生成一條真正要通知的告警消息Alert回推給Redis，Redis數據庫后面對接各種各樣的Sender發送模塊，發送模塊可以通過郵件、電話或、微信、釘釘、HTTP回調等方式推送告警消息。

Nginx作為反向代理來代理AMS、Job、RDB、Monapi、Transfer、Index的前端請求，負責用戶管理界面的呈現。RDB、AMS、Job三個組件主要用于與管理員的交互，RDB是用戶資源中心，AMS是資產管理系統，Job是任務執行中心。Agent除了上報監控數據給Transfer之外，還會上報本機信息給AMS，注冊本機信息到資產管理系統，另外就是與Job模塊交互，拉取要執行的任務，上報任務執行結果。Monapi是一個集成了Alarm和Portal模塊的綜合接口，提供API接口給上層應用使用。比如配置告警策略存儲到數據庫中，并通過庫同步到Portal模塊。

3.3 關鍵指標采集

監控告警系統核心之一在于對指標參數的采集，下面重點介紹一些關鍵指標采集情況：

1）圖書館重要數據監控指標。讀者辦證、滯納金繳納等需要依賴圖書館自助設備實現，實時監控證卡消耗、現金存取等數據能及時提醒管理人員對設備作補證和清空錢箱等常規維護。得到數據之后，按照固有的json數據格式進行封裝（監控指標名稱Metric、監控實體Endpoint加多組監控數據和屬性標簽key Value Tags），利用Agent組件的數據接收HTTP接口來獲取數據并推送給服務端。同樣的方式，長沙圖書館根據需求，以同樣的方式將實時借還書數據、無線認證在線量、網站訪問量、機房動環指標等數據分別推送到夜鶯監控系統，完成實時監控。異常告警及恢復推送結果如圖2、圖3所示。

//指標數據json封裝

payload=[{...{"endpoint"：ip，"metric"： "Card"， timestamp"： ts， "step"： 5， "value"： Card_total，

"counterType"： "GAUGE"，"tags"： "card=total"} ] ...

//指標數據以post方式發送至Agent接口，上傳至服務器

requests.post（"http：//ip：port/api/collector/push"， data=json.dumps（payload））

2）網絡交換機狀態監控。網絡交換機通過snmp（簡單網絡管理協議）采集交換機的各項監控信息，并推送到夜鶯監控系統，而snmp協議采集需要對應指標的OID值（對象標識符），根據不同的交換機型號調整采集時所使用的OID值。要監控一臺設備須提前獲取該設備的MIB庫或者是直接聯系售后獲取對應資源的OID值[8]。每個指標對應不同的OID值，獲取OID值就能實時監控各項指標的數據，比如交換機溫度、接口流量、CPU使用率、內存使用率、防火墻連接數，等等。

3）其他指標監控。圖書館部分設備無法通過部署Agent組件進行監控，但又要列入監控項，如攝像頭、數據庫、網站響應及日志分析統計等，為此長沙圖書館利用夜鶯監控系統Prober模塊相對應的ping、MySQL、NET_Response、Nginx等組件采集器來集中采集這些應用。Prober模塊其實是使用Telegraf插件接口封裝而成的，Telegraf是一個開源的采集器，夜鶯監控系統通過Telegraf采集各種中間件配置實現頁面化，直接在頁面上配置，可以同時承載大量采集任務，某個采集器出現故障，也可以自動摘除，有可靠的高可用保障。

3.4 對接微信實現告警消息實時推送

微信公眾平臺通過服務號、訂閱號、小程序、企業微信（原企業號）等產品來滿足各類個體、組織通過微信開展服務的需求。服務號定位側重于提供更為強大的業務服務和用戶管理能力，訂閱號旨在為媒體和個人提供一種新的信息傳播方式，小程序可使開發者快速高效地開發一個小程序[9]，企業微信是專業的辦公管理工具，支持與微信消息互通。訂閱號每天群發1條消息，服務號有每月群發4條消息的限制，無法滿足消息告警數量的限制，故而選擇企業微信來實現。

微信企業號發送監控消息有對應的Chat組件，注冊登錄企業微信后，添加企業應用，生成AgentId和Secret，在Chat配置文件中填入正確的企業微信標識CorpID、AgentId、AgentId，最后在Alarm組件中將IM消息的告警地址指向Chat服務地址即可完成企業服務微信與OpenFalcon告警消息的關聯，運維管理人員使用普通微信關注企業號就可以在微信聊天框中收到告警消息了。

3.5 對接Grafana實現監控數據可視化

在實現監控數據可視化方面，Grafana是一個流行的開源工具，它提供了豐富的數據可視化功能，可以十分輕松地與眾多監控系統對接，夜鶯監控系統提供專門的對接Grafana的數據接口。安裝和配置好Grafana后，即可通過拖拽和放置各種圖表、插件和過濾器的方式來創建自定義監控儀表盤[10]。

4 應用效果評價

自監控系統上線并投入使用以來，我們不僅改變了原來被動的工作狀態，還實現了對整個業務流程的主動監控和有效管理。目前，我們能夠實時監測系統的運行狀態，及時發現并解決潛在的問題，確保了系統的穩定性和可靠性。結合開源可視化工具Grafana，自定義監控可視化監控大盤，可迅速掌握全館重要設備和服務的基本狀態，在網絡突發流量分析、故障快速定位處理等方面極大地提高了運維工作效率，如圖4所示。

得益于企業微信豐富強大的功能，我們將一些常見運維管理系統嵌入微信，這樣不但可以及時收取告警消息，還能在不登錄服務器的情況下進行相關服務操作，如圖5、圖6所示。

5 結 論

綜上所述，基于Nightingale和微信實現的IT基礎設施實時監控告警系統在圖書館具有很高的實用性。該系統不僅能跟隨開源社區進行軟件迭代更新，還能靈活地進行二次開發，以支持未來不斷新增的軟硬件設施設備。這個系統大大提高了圖書館IT管理部門的工作效率和響應速度，提高了圖書館IT基礎設施的可靠性和穩定性，為圖書館的正常運營和信息安全提供有力保障。

參考文獻：

[1] 姚輝.云數據中心安全管理平臺設計及實現 [D].北京：中國科學院大學，2016.

[2] 鄭海山，林俊偉.圖書館數據中心運維中開源軟件的應用 [J].現代圖書情報技術，2014（6）：100-106.

[3] 張小龍.微信十年的產品思考 [EB/OL].[2023-10-18].https：//developers.weixin.qq.com/community/business/doc/000ea481874f281ed59bd4ed854c0d.

[4] 滴滴開源.nightingale（夜鶯）v1.4.0介紹文檔 [EB/OL].[2023-10-18].https：//gitee.com/didiglobal/nightingale-nightingale.

[5] 北京快貓星云科技有限公司.夜鶯項目介紹 [EB/OL].[2023-10-18].https：//flashcat.cloud/docs/content/flashcat-monitor/nightingale/introduction/.

[6] 秦曉輝.開源運維監控系統Nightingale-系列04-架構詳解 [EB/OL].[2023-10-18].https：//www.bilibili.com/video/BV1K54y1R7wS/？spm_id_from=333.999.0.0&vd_source=5e64ee359d4c97a377f4dff2d4b2f123.

[7] 來煒.open-falcon v0.2項目介紹 [EB/OL].[2023-10-18].https：//book.open-falcon.org/zh_0_2/intro/.

[8] 新華三技術有限公司.MIB概述 [EB/OL].[2023-10-18].https：//www.h3c.com/cn/d_202112/1513630_30005_0.htm.

[9] 騰訊公司.微信公眾平臺賬號分類 [EB/OL].[2023-10-18].https：//mp.weixin.qq.com/.

[10] Grafana Labs. About Grafana [EB/OL].[2023-10-18].https：//grafana.com/docs/grafana/latest/introduction/.

作者簡介：邱會（1986—），男，漢族，湖南岳陽人，館員，本科，研究方向：數字圖書館建設。