面向用戶體驗的高可靠監控管理系統的設計與實現

王 茹

（中國移動通信集團海南有限公司，海南 ?？?570125）

1 系統需求

網管支撐系統監控的具體需求，主要包括三大部分：應用服務器的性能、各系統之間的接口連接狀態以及系統上報文件的數據質量。

1.1 應用服務器的性能指標

主要包括硬件和操作系統指標、數據庫指標和中間件指標。

（1）硬件和操作系統指標能反映系統當前狀態和硬件資源的使用情況，包括CPU使用率、內存使用率、硬盤使用率等；

（2）數據庫指標包含了數據庫軟件運行的狀態與性能相關參數，包括數據庫連接統計、數據庫表鎖統計、數據庫表空間等；

（3）網管支撐類系統常用的中間件軟件主要包含Proftpd、WPS、IBMQ和ActiveMQ等。中間件服務內容不同，監控的關注點也不同，例如Proftpd主要關注用戶連接總數，而WPS主要關注流程運行實例的狀態。

1.2 系統間接口連接狀態

各網管系統之間通過各種類型的接口協議實現信息的共享與傳遞，單個網管系統內部各模塊之間也通過不同的接口互相聯系，因此及時的預防和發現接口故障是監控體系重要的功能之一。監控內容主要是根據不同的接口協議特點進行通斷性連接測試。

1.3 系統上報文件的數據質量

各網管支撐系統承擔著省內上報集團的諸多指標文件，為確保上傳文件的正確性和可用性，該部分監控的內容主要是文件上傳的及時性、文件數據的完整性及數據的有效性。

2 系統框架設計

系統從下至上分為四個層次：

（1）被管設備層：特指監控實體，是各網管系統的服務器，每臺服務器上安裝netsnmp代理，并進行相關配置。

（2）采集層：通過標準的snmp接口規范進行數據采集，提取重點關注的指標參數。

（3）存儲層：將采集層上傳的數據進行緩存和持久化存儲。

（4）展示層：提供友好的用戶界面和直觀的圖表，將所管理的網元自動發現分組，配置告警事件、事件告警通知設置和事件處理設置等，不同的網元告警事件發送給不同的系統管理員，便于維護人員快速準確定位和處理故障。

圖1 系統框架圖

2.1 采集層集群設計

數據采集是監控系統的核心功能，如果采用集中化的管理站，當管理站出現故障，那么采集服務將不可用，造成監控信息丟失。因此，為了將數據采集和存儲兩個過程進行解耦，便于采集和存儲可擴展，系統采用了基于ZooKeeper+ActiveMQ的采集集群設計方案，實現高可用及負載均衡。

2.2 存儲層集群設計

為了保障數據庫請求的連續性，避免單點故障造成數據丟失，系統采用基于Mysql的主主模式+負載均衡器的failover方式實現數據庫集群。兩臺主庫之間使用負載均衡器F5連接，F5配置成failover。如果一臺主庫down掉，可以在極短的時間內切換到另一臺主庫上，盡可能減少主庫宕機對業務造成的影響。

2.3 展示層集群設計

為了確保展示層的業務連續性，避免單點故障造成展示頁面不可用的情況，系統基于負載均衡器F5的輪詢（RoundRobin）方式分發頁面連接請求。RoundRobin是在序列循環中連接每個服務器，當其中一臺服務器發生故障時，F5將其從序列循環隊列中取出，并在恢復正常之前不參與下一次輪詢。

3 系統實現

3.1 系統功能模塊

3.1.1 系統管理模塊

系統管理模塊用于進行用戶管理、角色管理和權限管理，以及系統本身的日志管理等。

3.1.2 服務管理模塊

服務管理模塊提供在系統前臺進行服務、接口注冊的功能，對已注冊的服務和接口提供目錄功能進行查詢和編輯。

3.1.3 服務測試模塊

服務測試模塊提供各網管支撐系統之間的接口的監控以及各系統對外提供的服務可用狀態的測試功能。監控內容如果出現異常，會觸發生成告警。

3.1.4 數據質量監控模塊

數據質量監控模塊提供業務文件的數據質量監控功能，包括數據完整性及數據有效性監測。監控內容如果出現異常，會觸發生成告警。

3.1.5 服務監控模塊

服務監控模塊提供告警查詢和告警處理、轉發、配置及監測任務管理等功能。監控內容如果出現告警，系統會根據告警通知方式（郵件、短信）給告警系統的維護人員自動發送告警信息。

3.2 數據采集流程設計及實現

3.2.1 服務器性能數據采集設計與實現

服務器性能數據采集由部署在各服務器上的netsnmp代理通過設定定時器，周期性獲取服務器的相關信息，滿足告警條件則觸發生成SNMP告警包上報。

性能數據采集具體實現流程如下：

（1）在snmp.conf中配置監控對象。

（2）通過shell命令獲取各個監控對象的數據。

（3）被監控參數滿足告警條件，通過netsnmp的trap功能觸發告警上報。

3.2.2 接口連接狀態信息采集設計與實現

本系統對接口連接狀態的采集，通過設置調用頻率閾值，模擬客戶端調用服務端服務，主動發現接口故障。

接口連接狀態具體實現流程如下：

（1）各接口進行服務注冊。

（2）采集程序周期性讀取接口注冊列表。

（3）根據接口注冊的服務類型，采集程序模擬客戶端，調用服務端的服務。

（4）采集程序解析返回的報文。

（5）判斷接口服務是否正常，不正常則生成XML格式的告警報文，上傳到ActiveMQ。

3.2.3 數據質量核查結果采集設計與實現

本系統對數據質量核查結果的采集，通過設置調用核查閾值，核查目錄文件是否正常生成、格式是否正常等。

數據質量核查結果采集具體實現流程如下：

（1）各文件目錄注冊監測服務。

（2）采集程序周期性讀取文件目錄注冊列表。

（3）運行文件目錄監控腳本。

（4）判斷文件是否按時上傳，按時上傳則進行文件格式檢測，否則生成告警，生成XML格式的告警報文，上傳到ActiveMQ。

（5）判斷文件的格式是否正常，不正常則生成XML格式的告警報文，上傳到ActiveMQ。

4 系統應用效果

目前，該系統已投入生產，接入電子運維系統、故障管理系統、統一采集平臺、掌上運維、ESB系統等省級重要網管系統進行監控，并逐漸將其他網管支撐平臺納入監控。

4.1 接入情況

（1）64臺aix系統及linux系統服務器。

（2）10臺windows系統服務器。

（3）300+接口服務。

（4）60+文件目錄。

4.2 系統應用效果

本項目實施以來，已取得了很好的應用效果，具體體現在：

4.2.1 有效發現故障隱患，縮短故障歷時

本系統自主監控各個服務器的硬件、進程及軟件，有效發現故障隱患，大大降低了問題擴大的幾率，縮短故障歷時。

4.2.2 先于用戶發現網管應用中的問題

通過接口實時監控和接口能力監控等功能，先于用戶發現網管應用問題，并針對問題查找原因，制定優化處理措施，使網管應用更順暢。

以掌上運維系統為例，主動實時監控系統的無效連接數，當無效連接數達到閾值（50）時，自動重新啟動鑒權程序，先于用戶解決問題，提升用戶感知。

4.2.3 提高維護效率，節約人力成本

在實施本項目前，主要依靠人工檢查系統運行情況，每個系統平均花費時長為1小時/天。實施本項目后，系統檢查和接口通斷均能由系統自動完成，出現問題能以電話和短信的方式通知維護人員。

系統上傳集團的文件數據質量監測也實現自動化，既節約了維護人員成本，又提升了維護效率，將維護人員從繁雜的、重復性的檢查工作中解放出來，重點關注存在問題的分析處理，降低問題發生的幾率。

4.2.4 數據異常自動檢測通告，提升數據質量

經統計，2020年下半年，及時發現數據上傳異常案例約50例，即能避免集團通報省內指標未及時上傳，又能大大提升用戶滿意度。

5 結束語

本文從日常實際運維工作需求出發，實現對服務器性能、系統間接口連接狀態以及各系統上報文件數據質量提供全面監控服務。通過這些監控服務，本系統填補網管系統架構演進引起的自監控功能缺失，實現網管支撐系統自身服務器監控的自動化、集中化，幫助用戶解決運維困難、效率低下的問題。

雖然完成了系統的設計和實現，系統應用效果還比較良好，但內容上還有一些不足的地方，比如目前提供的監控內容還比較有限，尚不能完全應對復雜運維狀況，需進一步擴展監控范圍和內容。