基于Nagios的銀行集中監控系統的構建與應用

羅奕,陳粵

摘 要： 銀行為了在發生異常時能及時處理，往往會通過監控系統來實現對硬件、網絡、應用系統等的監控和報警。Nagios是一個開源且免費的計算機及網絡系統監控軟件，運行在Linux平臺上，能通過各種插件和SNMP協議，對設備、網絡及各種應用系統進行狀態監控。介紹了Nagios的工作原理和功能，以及在平安銀行成都分行的應用情況。具體應用實踐表明，利用Nagios構建集中監控系統效果非常顯著，為銀行的生產運維提供了有效的監控報警平臺。

關鍵詞： Nagios； 集中監控； SNMP； 報警

中圖分類號：TP319 文獻標志碼：B 文章編號：1006-8228（2013）06-30-04

Construction and application of Nagios-based centralized monitoring system in banks

Luo Yi1， Chen Yue2

（1. Medical information engineering college，Chengdu University of Traditional Chinese Medicine， Chengdu， Sichuan 610075， China；

2. Ping An Bank Chengdu Branch）

Abstract： In order to deal with unexpected abnormal events in time， monitor or alert of devices， networks or applications are realized usually through monitoring systems in banks. Nagios is a free and open-source software running on Linux to monitor computer or networks status. It detects the devices， networks， and applications states by many plug-ins or SNMP protocol. Nagios working principle and primary functions are introduced in this paper， and the actual cases of Ping An Bank Chengdu Branch are analyzed. The practical examples show that constructing centralized monitoring system by using Nagios has good effects and is efficient for bank daily working tasks supporting.

Key words： Nagios； centralized monitoring； SNMP； fault alerting

0 引言

銀行科技部的管理人員最擔心在不知情的情況下發生異常突發事件，比如機房供電異常、設備硬件故障、應用進程終止、網絡通訊中斷等等，而且某些故障發生后，科技人員不能第一時間發現故障，直到出現明顯不良影響，才發現問題，采取補救措施，特別是遇到節假日，這種風險就更大。要使系統能正常穩定運行，管理員就必須時刻關注各個系統的硬件狀況、服務進程、網絡是否正常、CPU、內存使用率是否過高、數據庫可用空間、UPS負載是否合理等等。如果在沒有自動監控工具的幫助下，這些日常必須的檢查工作就需要由人工去做，這樣不僅效率低下，消耗大量的人力資源，而且容易發生漏查、錯查現象。

為改變這種被動局面，銀行往往會引進一些監控系統來實現自動監控功能，用計算機來代替人工進行日常檢查，并在一定的條件下自動報警。目前市場上的網管系統、環境監控系統、服務管理系統等產品都有這些功能，但是，這些產品往往功能單一，比如，網管系統就只監控網絡狀態，環境監控就只對機房環境做出響應，服務管理系統只對進程實施監控。需要同時部署多個系統才能比較全面地實現監控功能，這么多監控系統不僅價格不菲，而且給后期運維帶來不便。能否用一種監控系統，就能實現多種軟硬件平臺、多種業務系統的集中監控報警功能呢？這是銀行真正需要的系統。

經過不懈地尋找與部署，試用各種不同的監控軟件，終于找到了一個符合銀行上述要求的監控軟件——Nagios。通過一年多的實踐使用，利用Nagios構建的監控系統效果非常顯著，為銀行的生產運維管理提供了有效監控報警平臺。

1 Nagios簡介

Nagios是一個監視系統運行狀態和網絡信息的系統，它是一種開源且免費的管理工具，運行在Linux/Unix平臺之上，能監視指定的本地或遠程主機以及服務，提供郵件報警功能以及Web界面，方便系統管理人員查看網絡狀態，各種系統問題，以及事件日志等等。2009年，Nagios被InfoWorld評為最佳開源軟件，同時也是該年度SourceForge社區的系統管理工具最佳選擇。2010年的LinuxCon會上又被選為最受歡迎的IT運維工具。Nagios已被很多世界知名企業用于監控管理，包括AOL、DHL、AT&T、歐萊雅、德州儀器、時代華納有線、Yahoo等。

Nagios由一個主程序（Nagios）、一個插件程序（Nagios-

plugins）和四個可選的擴展應用（NRPE、NSCA、NSClient++和NDOUtils）組成[1]，如圖1所示。

圖1 Nagios架構圖

Nagios和Nagios-plugins是服務器端的必須組件。在四個主要擴展應用中，NRPE和NSClient++分別被部署到被監控的Linux/Unix和Windows主機上以實現Nagios服務器對被監控主機資源的檢測；NSCA用來讓被監控的Linux/Unix主機主動將資源信息發送給Nagios服務器；NDOUtils用來將Nagios的各種事件信息存入數據庫，以實現對這些數據的快速檢索和處理。

Nagios系統具有很好的擴展性，它本身并沒有檢測功能，它所有的檢測都是通過它的各種開源插件來實現的（比如NRPE和NSClient++），所以，我們也可以按照自己的需要來開發和使用各種檢測功能的插件。從圖1中我們還可以發現一個很關鍵的地方，那就是Nagios對SNMP協議的支持，這意味著可以實現對所有支持SNMP協議的主機或者設備的監控，只需要知道監控目標的OID值即可。

以Linux目標機器的監控為例說明Nagios的工作原理：在Nagios服務器上對每一臺被監控主機的各種資源對象進行閥值定義，比如CPU、內存、磁盤的占用率、進程狀態、數據庫表空間大小等等，并指定該監控對象的責任人和郵件地址。在被監控主機上運行一個NRPE后臺進程，Nagios服務器定期向被監控主機的NRPE進程發出指令，要求NRPE進程執行對各種資源對象的查詢腳本，并將查詢結果返回給Nagios服務器。Nagios服務器根據預先定義好的監控閥值對結果進行檢查，一旦發現超出閥值，則立即向管理人員發送報警郵件，其監控原理如圖2所示。

圖2 Nagios監控Linux/Unix主機原理圖

2 Nagios的主要功能

⑴ 監視各種服務狀態 （SMTP、 POP3、 HTTP、 PING、數據庫等）；

⑵ 監視主機資源 （CPU、內存、磁盤、UPS負載、進程、端口等）；

⑶ 簡單的插件設計，使用戶可以自行擴展Nagios的監控功能；

⑷ 監控的對象發生故障，自動發送報警郵件；

⑸ 支持各種操作系統，包括Windows、Linux、UnixWare、SUN、AIX等；

⑹ 可以通過Web方式直觀的查看當前各種監控對象的狀態。

3 平安銀行成都分行的集中監控應用

平安銀行成都分行（以下簡稱分行）目前已利用Nagios系統對行內核心服務器、應用系統、網絡設備和通訊線路、UPS供電等分行IT設備和應用的集中監控管理，共計83臺設備、413個服務狀態。包括支付系統、驗印系統、支票影像系統、代理服務器、郵件系統、OA系統、客戶經理考核系統、各種網絡設備、UPS設備等，系統的監控對象主要包括磁盤空間大小、內存使用率、CPU使用率、服務進程、數據庫表空間等等。所有這些監控目標都可通過一個Web頁面進行集中檢查，當主機或者服務狀態異常時會用黃色或者紅色顯示，讓人一目了然。如圖3所示。

圖3 Nagios集中監控頁面（局部）

3.1 利用PushMail或者QQ郵箱實現免費短信報警

Nagios本身支持通過短信貓或者電話語音卡一類的硬件設備來發送短信或者語音報警，但安裝硬件和配置比較復雜，而且還增加了投入。分行通過實踐和摸索，利用分行自建的郵件服務器和各大通訊運營商推出的免費PushMail功能，在不用增加硬件和復雜配置的情況下成功實現了免費短信報警功能。其原理是：在Nagios服務器上將報警通知設置為管理人員的手機郵箱地址[2]，比如130*****231@wo.com.cn，然后在聯通的Email郵箱中啟用免費的PushMail功能，這樣，一旦該郵箱收到郵件，都將以短信方式將該郵件主題發送到手機上從而實現了短信報警功能。

另外，還有一種更快捷、更全面的微信通知方式。原理和PushMail基本一致，將報警信息發往管理人員的QQ郵箱中，比如359***653@qq.com，再通過微信自動接收QQ郵箱內容。隨著智能手機和3G無線通訊網絡的普及，這種方式更為有效。

3.2 對核心生產應用系統的集中監控

3.2.1 利用NRPE擴展應用監控Linux/Unix主機

以分行現代化支付系統業務為例，利用NRPE插件[3]實現了對支付系統的網絡狀態、登錄用戶數量、root空間、mbfe空間、depsmbfe空間、Sybase空間、大小額支付系統進程狀態都進行了監控，如圖4所示。

圖4 現代化支付系統監控服務

3.2.2 利用NSClient++擴展應用監控Windows主機

如圖5所示，以分行柜面驗印系統業務為例，實現了對驗印系統的CPU、內存、磁盤空間利用率、SQL Server數據庫狀態以及多個驗印服務進程的監控。

圖5 驗印系統監控服務

3.3 對網絡設備和通訊線路狀態的集中監控

3.3.1 利用SNMP和Rping實現對網絡設備和通訊線路狀態的監控

Nagios對SNMP協議的支持非常完美，所以，我們可以通過在網絡設備上啟用SNMP只讀通訊字符串的功能，來實現對網絡設備狀態的監控[4]，同時，還可以利用端口狀態來監控通訊線路。但隨著MSTP線路的引進，雖然線路端口狀態UP，但實際線路不可用的情況也隨之產生，在這種情況下，分行利用同事編寫的Rping插件程序[5]來對通訊線路進行進一步的測試，以確保線路的真實可用性。如圖6所示，實現了對外聯路由器的監控，包括路由器存活測試、CPU利用率、與人行、銀監局、銀聯、公積金中心、德陽銀行等外聯通訊線路的監控。

圖6 外聯路由器監控服務

3.3.2 利用SNMP實現對Juniper核心防火墻的監控

為加強網絡安全，分行部署了多臺Juniper防火墻，其MIB庫是未公開的，所以，分行積極與設備廠商溝通、協商，說明目的，最終得到廠商的認可，提供了該型號設備的MIB庫，然后再利用Nagios對SNMP協議的支持，實現了對會話數量、CPU、內存利用率等防火墻關鍵狀態的監控，如圖7所示。

圖7 核心防火墻監控服務

3.4 對機房UPS設備的集中監控

3.4.1 對分行中心機房精密配電機柜輸入/輸出狀態的監控

持續穩定的供電保障是所有系統正常運行的基礎，分行中心機房的供電狀態監控非常重要。分行中心機房供電系統采用精密配電機柜集中控制所有輸入輸出電路，該機柜本身支持SNMP協議，所以，利用廠家提供的私有MIB庫，實現了對機房供電系統的監控，包括：市電三相輸入電壓、頻率、零相電流，以及每一臺UPS設備的輸入/輸出電流，如圖8所示。

圖8 精密配電機柜監控服務

3.4.2 對支行UPS設備的監控

在Nagios系統上線前，支行網點發生電力故障時，科技部只有在接到網點人工報警電話后才能得知發生了電力故障，所以，對網點供電狀態實施集中監控是非常必要的。為此，分行與UPS設備供應商通過深入交流、溝通以及現場勘查，在對費用、功能、穩定性等多種因素的綜合考慮后，2012年分行對所有網點UPS進行了升級改造，給所有UPS設備增加了監控模塊，最終實現了對網點UPS的集中監控。圖9是金牛支行的UPS設備監控對象，包括UPS環境溫濕度、電力輸入狀態、負載等數據。

圖9 網點UPS監控服務

3.5 對設備硬件狀態的監控

幾乎所有的應用系統都是基于硬件平臺運行的，現在硬件平臺大多具有冗余功能，不會因為單點故障而崩潰。比如存儲系統不會因為一塊硬盤損壞而丟失數據；服務器不會因為一根內存條故障而宕機；刀箱不會因為一個電源故障而停止運行。但是，這種冗余功能在一定程度上又造成了硬件故障的隱蔽性，在未出現嚴重后果前，管理人員容易被正常的服務狀態所迷惑，不能及時發現單點和修復故障。所以，為了實現對服務器硬件狀態的有效監控，我們盡量選用支持SNMP進行硬件狀態監控的設備，通過Nagios監控，確保能在第一時間發現和處理故障。如圖10所示，該圖是分行IBM刀箱的硬件狀態監控圖[6]，在該刀箱上運行著驗印、票據、郵件、OA、小前置等等生產系統，其硬件健康狀態的重要性不言而喻。

圖10 分行刀箱服務器硬件狀態監控

4 典型成功案例

4.1 銀聯主線路故障報警處理

2012年3月30日10：07，分行網絡管理員收到銀聯主線路通訊中斷的報警短信，立即向中國電信報障，請求故障處理，并進入分行機房核實情況和配合維修人員。經維修人員現場檢查，確定故障原因是線路尾端BNC接頭老化所致，更換線路接頭后故障排除，主線路恢復正常，及時消除了銀聯業務單線路運行的風險隱患。

4.2 上聯總行電信線路延遲異常處理

2012年8月17日9：53，分行網絡管理員收到上聯總行電信線路延遲大于200ms的報警短信，立即登錄上聯路由器，發現故障線路因數據流量大導致帶寬耗盡，網絡延遲大，經分析發現是由于許多員工登錄總行電子學習平臺參與課程學習，產生大量下載流量所致，為保障營業時間業務的順暢，立即上報總行網管人員，在營業時間內關閉電子學習平臺，恢復了正常的網絡傳輸速度，及時避免了全分行業務系統響應緩慢情況的發生。

4.3 現代支付系統異常處理

2012年9月7日20：36，分行應用系統管理員收到現代化支付系統MBFE進程異常的報警短信，立即趕赴分行中心機房，發現行內大額支付系統進程異常中止，重新啟動大額支付系統進程后恢復正常。因事發當時為非營業時間，并且發現和處理及時，未對分行支付業務造成不良影響。

4.4 天府支行UPS負載異常處理

2012年12月28日9：15，分行UPS管理員收到天府支行UPS負載達到80%以上的報警短信，立即電話聯系網點員工核實情況，未發現明顯異常，幾分鐘后再次收到短信通知負載恢復正常，報警解除，但沒過幾分鐘又再次收到負載異常報警。初步懷疑該網點UPS電源插座接入了大功率用電設備，立即趕赴現場，經檢查，該網點理財柜臺柜員因天氣寒冷，在使用電加熱器取暖時誤將插頭接入了UPS電源插座，導致UPS負載異常。立即對該員工予以批評并再次強調UPS電源使用規定。成功消除了該網點UPS設備因過載而停機的風險隱患。

4.5 雙楠支行UPS輸入異常處理

2012年7月8日周日10：22，分行UPS管理員收到報警短信，雙楠支行UPS市電輸入異常，立即電話聯系網點員工核實是否發生停電或者跳閘現象？但該員工反映市電、開關狀態均正常，UPS設備也無報警音。初步懷疑Nagios或者UPS監控模塊誤報，為弄清楚情況，管理員趕赴現場進行核實，發現該網點市電正常，但UPS輸入開關已跳閘，UPS處于逆變輸出狀態，電池電壓已降到192V，因UPS設備型號原因，該臺UPS設備未產生聲音報警，導致網點員工檢查疏忽，未能正確匯報情況。合上UPS市電輸入開關后，恢復對UPS設備的供電，故障排除。如果不是Nagios的正確檢測及管理人員的一絲不茍，該網點員工的疏忽就將導致一場因UPS長期處于逆變輸出狀態，最終電池電量耗盡，網點供電終止的嚴重運營事故。

4.6 第五刀片服務器硬盤故障處理

2012年4月6日5：58，應用管理員收到刀箱異常的報警短信，立即趕赴中心機房查看，發現刀箱和第五刀片服務器同時亮橘黃色故障燈，登錄刀箱控制臺查看日志進一步核實，發現第五刀片第1槽位硬盤故障，上班后立即與廠家聯系，趕赴現場及時更換了故障硬盤，消除了分行OA系統單盤運行的隱患。

4.7 郵件服務器磁盤空間不足異常處理

2012年7月18日22：19，應用系統管理員收到分行郵件服務器磁盤空間達到閥值的報警短信，立即趕赴分行機房登錄郵件服務器進行處理，發現因過期日志和數據文件過多，導致已用磁盤空間達到閥值，管理員進行清理后確保了磁盤空間的充足，及時消除了因磁盤空間不足導致分行郵件系統故障的隱患。

5 結束語

綜上所述，利用Nagios來構建集中監控系統是可行的，并且是非常有效的，在實踐中已經得到各級單位的認可和贊同。隨著時間的推移，Nagios的功能和穩定性將日臻完善，使用Nagios來構建集中監控系統的用戶也會越來越多。

參考文獻：

[1] Nagios Plugin Development Team.Nagios Plugins.http：//

nagiosplugins.org/，2011-1-18.

[2] sery. 開源監控利器nagios實戰. http：//sery.blog.51cto.com/

10037/139281，2009-3-16.

[3] 21wmd. Linux開源監控平臺Nagios（NRPE的安裝配置）. http：//

21wmd.blog.51cto.com/206183/207616，2009-9-28.

[4] Cisco. How to Collect CPU Utilization on Cisco IOS Devices Using

SNMP. http：//www.cisco.com/en/US/tech/tk648/tk362/

technologies_tech_note09186a0080094a94.shtml，2005-10-26.

[5] javavsnet. Nagios 簡介及其二次開發. http：//blog.chinaunix.net/

uid-8257165-id-3037487.html，2011-12-08.

[6] NetSeek. check_snmp一些常用服務的OID. http：//bbs.linuxtone.

org/thread-6315-1-1.html，2010-5-18.