分布式環境應用系統運行狀態監控方法研究

沈磊，何嬌，胡昊*

（1.武漢大學信息管理學院，武漢 430072；2.環境保護部信息中心，北京 100029）

分布式環境應用系統運行狀態監控方法研究

沈磊1，何嬌2，胡昊2*

（1.武漢大學信息管理學院，武漢 430072；2.環境保護部信息中心，北京 100029）

環境信息化是環保能力建設的重要組成部分，是涵蓋環保各項業務的一項基礎性工作。隨著環境保護相關應用系統的不斷增加，極大增加了系統的運行維護難度，獲取準確的系統運行信息、準確定位問題節點已經成為進行應用系統監控管理的重點和難點。針對環境信息化的發展現狀和分布式系統的特點，本文將系統監控管理的對象分為應用類對象和系統類對象兩類，并給出一種應用系統運行狀態監控對象模型，明確的監控對象的確立方式，建立監控對象間的依賴關系，從而建立影響應用系統運行狀況的因素拓撲關系。論述了應用類資源和系統類資源監控信息的獲取方法，包括操作系統、中間件等系統類資源的監控機制，以及實時撥測、基于性能工具的監控、集成監控機制等應用類資源監控機制。給出了應用系統運行狀態監控體系的技術架構，對各組成部分的主要功能進行了描述。在此基礎上建立的應用系統運行狀態監控系統能對應用系統的運行狀態進行全面周期監控，并能準確定位問題發生的關鍵部位。

環境信息化；分布式;應用系統;監控

1 環境信息化的必要性及發展現狀

環境信息化是充分利用現代信息技術，開發環境信息資源，促進環境信息交流和共享，推動環境保護發展轉型或改進決策管理的歷史性進程。國內的信息化是從20世紀80年代中期，在社會進入信息時代后開始規模化建設與發展，90年代初期，為了適應我國環境保護工作的需要，環境信息化逐漸進入國家信息化領域，較大規模化建設始于“九五”期間，至今已有20年。

環境問題是多個問題的綜合體，是人與自然、發展與環境利益矛盾沖突的結果，是一個多層次、多系統、多視角的復雜問題。從經濟角度看，涉及三次產業及各行各業和生產、流通、分配、消費各個環節；從管理角度看，涉及水務、國土、建設、農業和家庭生活的多個方面；從技術角度看，涉及物理、化學、生物、地質等多學科領域；從業務管理角度看，涉及環境質量、環境監測、環境監察、環境統計、污染源在線監控、項目審批和驗收、信訪投訴等業務板塊。環境信息種類繁多、數量巨大，只有深入推進環境信息化建設，實現環境信息采集、傳輸和管理的數字化、智能化、網絡化，才能從大量龐雜的信息中洞察趨勢、掌握重點，使環境管理決策體現時代性、把握規律性、富于創造性，提高環境管理決策的水平和能力，推動各類環境問題的有效解決。

實踐證明，環境信息化是環保能力建設的重要組成部分，是涵蓋環保各項業務的一項基礎性工作，是服務環境管理決策的一種技術保障。離開環境信息化談環保，勢必影響環境管理決策的科學化、精準化，制約環境保護服務于政府宏觀管理的有效發揮。

各級環境保護行政主管部門積極應用計算機網絡、數據庫技術、地理信息系統、衛星遙感、自動監控技術以及多媒體技術等先進的信息技術手段，陸續開展了辦公自動化、環境質量自動監測數據管理、衛星遙感監測、環境統計、建設項目環境影響評價管理、排污申報與收費、污染源在線監測管理、生物多樣性管理、環境應急管理等大規模業務應用系統的建設工作。但環境信息化自身基礎和保障體系依然薄弱，人才隊伍建設和投入嚴重不足，重建設、輕運維的情況時有發生，尤其是“云大物移智”等新興技術的迅速發展，對運維工作的要求不斷提升。

隨著分布式應用系統理論和技術的高度成熟，以及其所帶來的高擴展性、維護與實施的簡單性，應用上極受歡迎[2，3]。傳統的三層架構模式發展到多層模式，信息系統規模日益擴大、結構日益復雜。在進行應用系統運行狀態監控時，如何獲取準確的系統運行信息、準確定位問題節點已經成為進行應用系統監控管理的重點和難點。

本文提出了一種應用系統運行狀態監控模型、體系架構和監控方法，為應用系統提供全生命周期的運行狀態監控，是進行應用系統運行狀態監控體系分析和設計的有效解決方案。

2 分布式應用系統監控分析

運行狀態監控系統是一個觀測系統，通過實時收集和分析應用系統內部狀態和外部環境信息，判斷監控目標的執行行為是否與給定的需求或規約相一致[6，7]，從而發現系統的異常和健康程度。

分布式系統是指組件分布在連網的計算設備上，組件之間通過傳遞消息進行通信和動作協調的系統，強調資源、任務、功能和控制的全面分布[8，9]。分布式系統資源監控管理范圍涉及到網絡、主機、終端、UPS、中間件、數據庫、業務應用、存儲等分布式系統中的各類信息資源。由于所監視的IT資源大多為分布式系統并且軟、硬件設施間構成了錯綜復雜的拓撲環境，某個節點故障的發生可能會同時導致多個應用的運行異常現象。根據分布式應用系統的運行特點，將整個系統監控管理的對象分為兩類：①應用類對象：根據用戶需求開發的應用程序或程序組件；②系統類對象：支持應用程序運行的系統資源，主要指應用中間件、數據庫、操作系統等軟件資源以及主機、網絡設備、存儲設備等硬件設施。應用系統運行狀態監控需要對納入監控范圍的應用類和系統類資源進行實時全方位監控、預警、定位、問題診斷和輔助故障處理，形成“發現問題—定位問題—解決問題—避免類似問題再次發生—促進應用系統持續優化改進”的監控管理模式；同時，需要形成對應用系統運行環境中網絡、安全設備、主機、存儲、操作系統、應用中間件、數據庫及應用系統自身的基礎監控體系，對應用系統的運行狀態、運行效率進行監測，形成覆蓋應用系統整體運行環境的管理體系。

3 應用系統監控模型

3.1 監控對象拓撲

監控模型就是描述監控對象和對象間關系的問題，通過“對象-關系”的建立，形成應用系統的監控拓撲。

O={o1,o2,o3,……，on}表示所有監控對象的集合。

對象間依賴關系：當某個監控對象的運行狀態依賴于另外的監控對象時，如o1依賴于o2時，用MD(o1，o2)表示[10]。當o1的運行狀態依賴于o2和o3，o2和o3存在兩種邏輯關系，一種是o2和o3共同支撐了o1的運行，缺一不可，則可表示為MD(o1，o2 AND o3)，第二種是o2和o3僅有一個正常運行時即可支撐o1的運行，這種情況主要存在于o2和o3是采用熱備或負載均衡的情況，用MD(o1，o2 OR o3)。

依賴關系的傳遞性：監控體系中的三個監控對象 o1, o2, o3，如果存在o1依賴于 o2（MD（o1, o2）），并且存在 o2依賴于o3（MD（o2, o3）），則o1依賴于o3, 即有MD（o1, o3）成立。

應用系統監控中的監控邏輯模型是否正確，是能否在發生問題時及時定位問題的關鍵因素。在進行應用系統監控時，必須根據上文中定義的監控對象的相關依賴關系， 畫出監控對象依賴圖MODG（Monitoring Objects Dependence Graph）。監控對象依賴圖是一個有向圖G = (O, E)，其中O是頂點的集合，每一個頂點代表監控體系中的一個監控對象。 E是邊集，每一個邊 e= ( o1, o2)表示 o1依賴于o2。根據MODG圖找出監控體系內各個監控對象間的依賴關系 R= { ＜o1, o2＞ | o1，o2屬于應用系統中的監控對象且o1依賴于o2}，然后根據對象依賴關系，可以找出影響監控對象運行狀態的對象鏈，如果某條對象鏈中出現了問題，可以直接定位到出現問題的監控對象。圖 1是某個應用系統的構成情況。圖 2是根據圖 1的依賴關系畫出監控對象依賴圖。從圖 2中找出6個監控對象間的依賴關系集 R ={ ＜ o1, o2＞ , ＜ o1, o3＞ ,＜ o2, o4＞ , ＜ o3, o4 ＞ , ＜ o4, o5＞ , ＜ o5, o6＞}，當o1出現問題時，可以根據依賴關系及其傳遞性從集合 R 找出影響其中某個監控對象運行狀態的節點。

圖1 應用系統運行環境

圖2 監控對象依賴圖

3.2 監控對象的確立

要反映一個分布式應用系統的運行狀態，需要從以下幾個方面進行監控：

關鍵功能組件OK，關鍵功能組件是一個應用系統的核心部分，是該應用系統使用頻率較高、性能消耗較大、直接反映用戶體驗的部分。

應用中間件OW，應用中間件是位于平臺(硬件和操作系統)和應用之間的通用服務，是支持應用系統運行的基礎環境，如IBM Webshere，Oracle weblogic，tomcat，Jboss等。

數據庫OD，應用系統用來進行數據存儲、管理的軟件以及運行于該軟件上的數據庫實例。

操作系統OP，指支撐應用中間件及數據庫運行的基礎環境，如Windows server2008、UNIX、Linux、AIX。

支撐應用系統運行的其他應用系統或系統組件OS，由于Web Service、組件技術等新興開發模式的興起，一些應用系統在運行過程中需要依托、復用其他應用系統的一些功能組件，在這些功能組件發生故障時會直接導致應用系統一些功能的失效。

被其他應用系統調用的功能組件OB，用于支撐其他應用系統使用和運行的功能組件，當該組件發生故障時會導致其他系統運行狀態的異常。

基礎硬件設施OH，支撐應用系統使用及運行的基礎硬件設施，包括相關的主機、網絡設備、安全設備、負載均衡設備等。

根據各類監控對象的特征，建立以下的對象間依賴關系：MD(OA，OKand Owand ODand OS)、MD(Ow, OP)、MD(OD,OP)、MD(OP，OH)。

應用系統的運行狀態取決于其所涉及的所有監控對象，根據對應用系統的監控和管理要求，監控對象的運行狀態一般可以分為正常運行狀態、非正常運行狀態和停運狀態，造成停運狀態的情況一般分為系統故障、正常維護和人為終止服務，即系統的運行狀態RS={運行、故障、性能問題、維護、停止}。任一監控對象O在時間t時，有且只能有一種運行狀態，即O(t)∈RS。

4 監控信息的獲取

4.1 系統資源

對UNIX、Linux操作系統監控的實現，需要預先在被監控操作系統上建立具有執行相關系統命令的用戶，以保證能夠獲取操作系統的關鍵運行狀態信息。UNIX系統需要ps、svmon、lscfg、vmstat、lsfs、df、hostname、last、/usr/sbin/swapinfo、ioscan、mount權限；Linux系統需要cat、df、hostname、last權限。模擬預先建立的用戶使用telnet、ssh2方式登錄到目標操作系統上，執行系統狀況查詢命令，獲取關鍵系統運行狀況數據。使用命令獲取的返回結果格式多種多樣、不利于程序處理，所以會應用AWK等語言對結果進行一定的處理，從而降低程序解析命令返回結果的復雜度。對Windows操作系統，需要安裝相關的托盤程序，由托盤程序獲取系統運行的各種信息。

代理解析命令返回值后，將數據封裝成bean，并與事先設定的監控閥值進行比較，判斷是否生成故障、性能和配置事件，然后將數據信息和事件信息發送到數據發送線程中等待發送，通過JMX方式將各種信息發送至監控中心。

對于應用中間件、數據庫、網絡設備、安全設備等成熟的軟、硬件產品，可以直接調用其已經提供的相關監控工具，如Webshpere提供的perfServletApp.ear，實現監控信息的獲取；或是利用其提供的相關API，通過JMX的方式獲取監控信息，如webSphere提供的AdminClient API。

4.2 應用資源

應用系統自身的運行狀態監控是一種輕量級的驗證技術，是軟件測試階段的一種補充，其驗證過程基于監控目標的實際運行過程進行，并非去判斷應用邏輯是否正確、代碼開發是否合理，只關注于特定時間內程序運行是否符合預期[11]。

對應用系統及其核心功能組件的監控方式主要有實時撥測、基于性能工具的監控以及集成監控模式三種。

實時撥測針對采用B/S方式對外提供服務的應用系統，通過自動模擬HTTP、HTTPS等協議實時撥測各應用系統的關鍵URL頁面，通過判斷返回的URL頁面響應，以監控各應用系統的可用性、響應時間：

基于性能工具的監控方式是指通過使用中間件本身提供的性能監控工具，獲取包含應用運行狀況的信息。獲取的信息除了被請求次數、平均響應時間、最長相應時間，最短響應時間、高水位、低水位等Action或者Servlet運行的負載情況外，還包括jvm運行時信息、數據庫連接池信息、Servlet會話信息、Web應用信息、企業bean等。利用能夠對應用程序提供管理服務的JMX管理功能服務，得到中間件上運行的應用程序信息：

集成監控機制是指通過對應用系統監控項的分析，制定監控數據采集的Web Services服務接口規范，監控程序與各應用系統按照約定開發符合標準的Web Services接口。Web Services服務接口由各應用系統按標準進行發布，監控平臺負責定期調用相應接口，各應用系統在接收到調用請求時，按照規定的接口規范向監控程序返回監控數據。

各應用系統的Web Services服務接口采用基于XML格式的WSDL(Web Services Description Language)標準方式進行發布，供平臺調用。

平臺遠程調用被監控業務系統提供的WebService服務接口，通過接口獲取業務系統中關鍵應用的運行狀況，得到返回的XML格式的查詢結果，分析出XML結果中包含的應用運行狀況。

監控平臺和應用系統針對監控數據的交互，在網絡層采用HTTPS作為傳輸協議，在數據表現層采用XML格式的SOAP(Simple Object Access Protocol)協議來約束消息格式，完成通過Web Services服務方式完成監控平臺和應用系統之間的數據傳輸和消息傳遞。

5 應用系統監控的體系架構

應用系統監控的技術體系主要由監控代理服務、規則關聯服務、中心服務、數據服務和應用服務5部分組成，各部分之間主要通過JMS和JDBC方式進行通訊。

圖3 應用系統監控體系架構圖

監控代理服務一般包括6類重要功能。日志收集引擎進程（Collector）接受、收集監控代理策略和配置，采集、過濾、識別和格式化日志信息，進行事件的簡單聚合，并將事件輸出到聚合引擎（AE）；監控代理引擎（MonitorAgent）接受監控器配置策略、運營監控器，獲取監控數據，向中心發送監控數據；拓撲代理引擎（TopoAgent）負責采集主機、端口和拓撲信息；代理守護引擎（AgentGuard）負責數據存儲、維護和清理，以及未知日志的歸檔和萃取；通訊代理引擎（CommAgent）負責向中心服務器上的進程提供業務API服務；數據庫引擎（DbManager）負責本地存儲原始日志和未知日志等。

規則關聯服務主要負責對事件進行策略關聯分析，并形成高等級事件。聚合引擎（Aggregation Engine，AE）內置消息中間件，負責接收事件、根據策略聚合同義事件，并直接向規則關聯引擎發送事件；規則關聯引擎（Rule Correlation Engine，RCE）負責規則的加載和預編譯，對接收到的事件進行場景模擬，產生高等級事件，并發送至事件中心處理；監控中心引擎（MonitorCenter）接收監控代理的數據，將監控數據入庫，將事件信息發送給聚合引擎；通訊代理進程（CommAgent）負責向中心服務器上的進程提供業務API服務。

中心服務主要負責事件和網絡信息的統一處理，包括匹配工單策略、分析網絡拓撲結構、統一任務調度等。事件中心進程（EventCenter）負責接收事件，負責匹配工單策略，觸發告警。拓撲管理引擎（Topo Center）負責流量信息獲取和監控，拓撲關系發現以及資產自動發現；任務中心引擎（TaskCenter）定時進行任務執行如漏掃、校時等，執行即時任務如郵件提醒、短信報警等，并周期性收集采集引擎運行信息；集成中心引擎（IntegrationCenter）負責同第三方軟件在業務層進行集成，可支持多種通訊協議的擴展；通訊中心進程（CommCenter） 負責向Web應用進程提供業務API服務。

數據服務中的數據庫集中存儲系統中的核心業務數據；數據庫守護進程（DBGuard）負責監控應用系統運行管理軟件數據庫服務器，必要時做表空間清理。

應用服務通過部署并運行Web程序包，實現數據展現業務，處理用戶的http請求等。

在進行應用系統監控時，如何獲取相關監控對象的運行狀態數據是整個系統的核心。數據采集的功能主要由監控器和監控代理完成。監控器必須依附于監控代理存在。一個監控代理可以附加多個監控器，監控器主要分為兩種：一種為無需在監控目標機上安裝監控器程序，另一種為需要安裝監控器程序(Windows和IIS FTP等)，兩種監控器都可以由監控代理統一收集監控數據。需要安裝監控器程序的監控器在系統部署時需要進行配置，將監控器程序安裝于需要進行監控的系統，同時配置其端口信息。監控器可以由根據監控需求的不同進行配置、添加、刪除和編輯某個代理上依附的監控器，當代理處于不可用狀態時無法對其已有的監控器進行編輯操作，但可以進行刪除操作。

6 結束語

本文介紹了在復雜應用系統運行環境下，對應用系統進行監控的一種方法。應用該方法開發的監控系統既能對基礎系統類對象進行監控，又能對個性化定制開發的業務應用系統進行監控，并將應用系統的運行環境進行了建模和關聯，便于配置和擴展。

基于上述的軟件模型、監控方法和體系架構，針對某大型項目的監控需求，開發了應用系統運行管理軟件，用于進行應用系統的日常監控和管理，監控范圍包括IBM PC服務器、小型機、EMC存儲設備、Windows、Linux、Unix、AIX、Websphere應用中間件、DB2數據庫、IBM MQ、IBM MB、華為網絡設備等1000多套軟硬件基礎設施以及行政審批、統計調查、數據分析、GIS、數據傳輸與交換等8類應用系統。該監控軟件提供了豐富的系統運行狀態信息，對于實現應用狀態分析、故障診斷及處理提供了基礎工具，為日常的運維和管理提供了有力的支持。

[1] 曹波, 匡堯, 楊杉, 等. IT運維操作安全評估及對策分析[J]. 中南民族大學學報(自然科學版), 2011, 30(02): 88-91.

[2] 張人千, 孫壯志, 周志忠, 等. 分布式多層應用系統實證研究[J]. 計算機工程與應用, 2002, 38(05): 221-223, 230-230.

[3] 慕德勝. 基于SSH多層框架Web應用系統的研究與設計[D]. 沈陽: 沈陽工業大學, 2007.

[4] 孫旭, 熊淑華, 張朝陽, 等. 基于Hostmonitor的網站系統監控設計與實現[J]. 計算機技術與發展, 2012, 22(05): 173-176.

[5] 王薇, 李錦濤, 郭俊波, 等. 基于Linux的多服務器NC環境中系統監控的設計[J]. 計算機工程, 2006, 32(12): 139-141.

[6] 唐姍, 李麗萍, 譚文安. 自適應重配置軟件系統的運行時監控方法研究[J]. 計算機科學, 2013, 40(11): 191-196.

[7] 劉東紅, 鄒鵬. 分布式軟件系統運行時監測框架研究[J].計算機工程與科學, 2013, 35(06): 24-29.

[8] Coulouris G, Dollimore J, Kindberg T. Distributed Systems: Concepts and Design[M]. 4th ed. Melbourne: Addison-Wesley Longman, 2005.

[9] 洪龍, 周寧寧, 朱梧槚. 基于分布式系統概念的分布式數據倉庫[J]. 計算機應用研究, 2004, 21(04): 183-185.

[10] 陳文海, 葛瑋, 郝克剛. 基于依賴性的面向對象軟件不同層面的測試用例生成[J]. 計算機應用與軟件, 2008, 25(04): 9-11.

[11] 趙常智. 基于運行時驗證的軟件監控關鍵技術研究[D].長沙: 國防科學技術大學, 2011.

Research of Runtime State Monitoring Method for Distributed Environmental Application System

Shen Lei1, He Jiao2, Hu hao2*
（ 1.School of Information Management，Wuhan University，WuHan 430072；2.Environmental Information Center of Ministry of Environmental Protection, Beijing 100029 ）

Environmental informatization is an important part of the environmental protection capacity building, a basic work of environmental protection. With the increasing number of relevant environmental protection application system, the difficulty of application systems maintenance become more hardly. Obtaining the accurate system operation an problem node information have become the emphasis and difficulty in monitoring and managing the application system.Aiming at the development status of environmental informatization and the characteristics of distributed application system, this paper divided the system monitoring management object into application class object and system class object. The object model for distributed applicaiotn system runtime state monitoring was presented, the way of establishing monitor object was ensured, and the dependence relationship of monitoring object was established. Then, the topology relationship of the factors that influence the running status of the application system was set up. The acquisition method of application resource and system resource runtime state information was discussed. Including the monitoring mechanism of system class resource (operating system, middleware, etc.), and the monitoring mechanism of application class resource (real-time measurement, performance tools monitoring, integrated monitoring). The technical architecture of application system runtime state monitoring system was designed, and the main fuction of its components was described. The monitoring system provides the lifecyle monitoring for applicaiotn system, and the system is able to location localise the key positions of system fault.

environmental informatization; distributed system; application system; monitoring

TP319

1674-6252（2016）02-0116-05

A

10.16868/j.cnki.1674-6252.2016.02.116

國家科技重大專項-大氣及水體揮發性有機物連續在線監測設備開發及應用示范(2012YQ060027)資助。

沈磊（1982—），男，武漢大學信息管理學院，主要研究方向為項目管理。

*責任作者： 胡昊（1983—），男，環境保護部信息中心，研究方向為環境信息化。