六維超算運維管理保障方案

李宗濤　石峰　滿來

【摘 要】隨著業務規模的擴大、開放程度的提高、應用系統各種功能的增加，對應用系統提出的要求越來越多，為了滿足這些要求，越來越多的各類應用接口被接入到應用系統中，各種新技術被引入到應用系統內，結果應用系統變的越來越復雜。如何運用信息化技術輔助運維，提高運維質量，快速定位分析故障原因，并解決應用故障，是目前運維工作首要重點。本文介結合實際運維工作情況分析運維管理信息化發展的現狀，介紹如何通過六維超算項目保證運維工作正常有效運行，提高運維工作效率，同時介紹六維超算應用性能管理項目的設計方案和建設情況，以及企業高效運維管理的發展前景。

【關鍵詞】運維管理;信息化;應用監控;網絡監控;六維超算

當前在“互聯網+”的大背景下，企業面臨著數字化轉型，信息技術已經深入地改變了政府、企業等各類組織的業務運營，信息技術已經從對業務的支持、支撐，逐漸地演變融合到業務本身之中。在這一融合過程中，信息技術的角色發生了變化，信息技術的管理重點也由對基礎架構、應用系統的建設運維，逐步向業務靠攏。虛擬化和云計算的發展，使信息技術基礎架構越來越透明化，信息技術管理的重點是將信息化的業務流程與使用者之間進行平滑無縫對接，加速業務流程運轉，提高營業收入或者辦公效率，使用戶體驗得到質的提升。這是巨大的業務貢獻，或者說是信息技術融入業務的直觀表現。然而隨著用戶數量的增長、需求的增加，業務規模的擴大、開放程度的提高，應用系統的架構越來越復雜，應用交付鏈中的性能影響點也變得繁雜起來，應用性能的管理面臨著嚴峻的挑戰。

因此，信息技術管理者迫切需要一種能夠應對復雜基礎架構和應用架構，實時了解用戶體驗，并且將用戶體驗與業務關聯起來的解決方案，來重塑信息技術管理運維。同時又能夠貫穿應用系統的開發、測試、運維等各生命周期，使各環節緊密相連。

一、現狀及存在問題

隨著業務規模的擴大、開放程度的提高、應用系統各種功能的增加，對應用系統提出的要求越來越多。為了滿足這些要求，越來越多的各類應用接口被接入到應用系統中，各種新技術被引入到應用系統內，結果是應用系統變的越來越復雜。我們總結運維管理工作的難點主要體現在以下幾個方面：

1.當系統故障發生時，無法第一時間監控系統可用性和應用性能的表現，并且在整個應用平臺不能快速定位哪個環節出現故障。由于沒有點對點的監控，一旦出現問題只能重啟整個系統。處理方式的單一對業務造成巨大的壓力。

2.運維服務要求在發生故障時對客戶做出快速響應，其后臺則需橫跨近多個交互系統。不知道系統具體慢在哪里，就不能從根源上解決問題，更無法保障服務的時間要求，這將會嚴重影響到用戶體驗。

3.隨著業務的快速發展，客戶數量顯增加，業務應用系統的復雜性也呈幾何性地增長，這些都對IT部門提出了新的挑戰。由于應用所涉及的后臺變得十分龐大和復雜，我們迫切地需要點對點地監控系統的每一個節點，確保系統的安全性、可靠性與高性能，保障優質的用戶體驗。

4.信息化快速發展，網絡、主機、存儲、數據庫、中間件等硬件和軟件拓撲結構和關系越來越復雜，急需能夠統一監控和管理，并且能夠清晰展現軟硬件資源關聯關系，為日常運維和后期業務變更提供參考依據。

5.企業應用業務系統越來越多，由于業務的重要程度不同會有不同的SLA（服務等級協議）指標來考核，如何滿足業務高可用性和良好用戶體驗需求，就需要一套系統工具提前預防問題的發生，這樣可以來保障業務系統的持續性和降低業務系統事故帶來的影響。

通過建設六維超算應用性能管理平臺，將營銷管控、營銷計費、95598等系統接入監管范圍。運維人員借助六維超算應用性能管理平臺中的應用性能管理系統和網絡性能管理系統，可實時發現被監控系統的運行狀況，在系統運維出現問題時，可及時確定故障時，應用故障或是網絡故障，并快速定位故障點，排查故障。

二、六維超算應用性能管理平臺運維管理機制

2.1拓撲可視化管理

平臺可對應用邏輯拓撲的自動發現和可視化展示，展示在拓撲圖中的信息包括但不限于應用名稱、吞吐率、Apdex、錯誤率、調用服務器數量、服務應用數量信息。并顯示所有被監控應用的運行狀態，包括應用名稱、吞吐率、Apdex、錯誤率、調用關系、調用服務器數量、服務應用數量信息，并可進行大屏展示。

2.2 Web應用過程（事務）監控

可監控應用系統中單個Web應用過程（事務）的耗時百分比、吞吐率、平均響應時間、Adpex;可對每個Web應用過程自定義名稱;可將Web應用過程分解為每個工作單元，包括SQL語句、外部服務接口或代碼類、方法等，并可提供調用次數、平均響應時間等指標。

2.3 代碼級問題定位

統計后端應用代碼在整個業務流轉過程中的執行時間消耗占比，自動找出耗時最長和調用頻繁的類、方法、SQL語句、外部服務接口等;能夠提供基于名稱或參數的異常性能記錄檢索。

2.4 事務追蹤

對單次慢Web應用過程（事務）進行完整的端到端性能剖析，跟蹤完整的方法調用信息，自動繪制調用拓撲，支持進行代碼級別的應用故障診斷和問題定位，可定位到具體的類、方法、SQL語句、代碼行。同時平臺可貫穿多個應用，從請求入口追蹤整個調用鏈，即使調用的其它應用和本應用語言不同時，仍可看到調用邏輯關系，直接關聯到被調用的應用。

三、六維超算應用性能管理平臺

3.1技術路線

六維超算應用性能管理平臺是一種全方位智能監控的應用平臺。面對信息行業中各種復雜的架構，該平臺能夠進行智能分析、學習、應用、拓展。對于復雜的邏輯架構，平臺將復雜數據進行簡單的圖形化處理，把繁瑣的技術信息進行自我消化，一針見血提出被監控系統所存在的問題。

六維超算應用性能管理平臺通過智能分析技術實現對進入應用的所有業務進行監控和分析，從單個用戶點擊瀏覽器開始，一直可以追蹤此用戶點擊動作在后臺的代碼執行流，貫穿整個應用，最終可以跟蹤到此用戶點擊導致的訪問數據庫動作，反之亦然。這種記錄和追蹤用戶業務跨越整個應用的細粒度代碼級數據信息的能力，使得該方案能夠實現主動式性能管理。

六維超算應用性能管理平臺主要技術架構使用系統架構分析模塊、業務行為分析模塊、業務代碼分析模塊、系統生命周期分析、網絡分析模塊等智能模塊構成。

1.外部數據信息：外部數據信息是通過平臺對應的agent探針對被監控對象進行信息收集，并進行傳輸，原則上要求agent對被監控對象不造成業務影響、不占據過大的業務系統存儲空間、不對業務系統硬件性能造成過度占用。

2.信息收集模塊：信息收集模塊作為外部數據接口，主要對被監控對象進行數據的接收，并傳遞到對應的智能應用分析模塊中。

3.系統架構分析模塊：系統架構分析模塊是通過對外部數據進行智能分析，在平臺處理中心中形成一個完整的被監控對象的系統架構數據模型，平臺通過該業務系統架構數據模型實現從頂端到尾端的全結構監控。

4.業務行為分析模塊：業務行為分析模塊通過信息收集模塊接收外部數據中的業務行為數據，通過架構數據模型，對行為數據進行跟蹤分析，最終得到該業務數據在架構中各模塊中的性能影響程度。

5.業務代碼分析模塊：業務代碼分析模塊通過信息收集模塊接收外部數據中的業務數據，通過被監控業務系統對業務數據的處理程度，來判斷該業務數據存在的過程中上下級模塊代碼的關聯程度及代碼的資源消耗程度。

6.系統生命周期分析模塊：系統生命周期分析模塊在業務系統整個生存周期中進行監控，針對于系統每個階段給出系統的性能信息，從而徹底的到達系統整體性能優化及監控作用。

7.網絡行為分析模塊：該模塊實現對監控網絡中所有業務行為進行數據監控，包括業務流量觸發到業務流量反饋整個過程的網絡數據流監控分析，將單純的網絡性能分析轉變為以業務為基準的智能網絡分析。

3.2架構設計

3.2.1物理架構

六維超算應用性能管理平臺利用智能分析技術實現端到端的監控和診斷，其完全覆蓋瀏覽器到后端的每一個應用交付鏈環節。該產品透明的監視和診斷客戶端，Web服務器，應用服務器，中間件服務層，數據庫訪問，服務與網關，從而實現全部真實用戶，全部業務，7*24的全面監控，即使是在生產環境下。同時能追蹤和捕獲所有業務系統內部端到端代碼執行路徑、執行上下文和執行時間信息，從用戶點擊，橫跨所有不同JVM/.NET實體，最后查詢數據庫的整個后臺執行過程。擁有這些精確深入的原子級別細節信息，以更準確、更快的定位故障問題的根本原因。

3.2.2系統架構

六維超算應用性能管理平臺agent透明的監視和診斷Web瀏覽器、胖客戶端、Web服務器、Java/.NET應用服務器、企業服務總線系統、消息系統、數據庫訪問、網絡設備、服務與交易網關，從而實現全部真實用戶，全部業務交易與網絡流量情況，7*24的全面監控，同時平臺能追蹤和捕獲所有業務系統內部交易的端到端代碼執行路徑、執行上下文和執行時間信息，從用戶點擊，橫跨所有不同 JVM/.NET 實體，最后查詢數據庫的整個后臺執行過程。擁有這些精確深入的原子級別細節信息，平臺可以更準確、更快的定位故障問題的根本原因。

3.2.3功能架構

六維超算應用性能管理平臺從以下主要功能來實現，包括：全方位業務分析、自動關聯性業務映射、可視化實時業務流、業務流到網絡流的追蹤、網絡數據包的深入分析、各關鍵節點（防火墻、負載均衡等）的流量可視化、可視化實時業務流、鉆入分析到代碼級、WEB請求性能分析、數據庫使用分析、分析業務熱點、分析應用在瀏覽端的性能、分析應用CPU使用、儀表板管理、系統設置等。

3.2.4安全架構

網絡安全方面：六維超算應用性能管理平臺網絡環境使用內網網絡，被監測業務系統也全部在內網網絡環境中，本系統依托建設單位原有的內網安全體系，與外網網絡完全隔離。外網用戶無法直接登陸六維超算應用性能管理平臺，保證建設單位與六維超算應用性能管理平臺有數據接口的系統不會被暴露于外網環境。同時內網用戶設置嚴格的權限管理，設置加密的口令，分別賦予不同的網絡資源、網絡使用權限和不同安全等級。

數據安全方面：建設單位的被監測的業務系統中，需要安裝與六維超算應用性能管理平臺配套的agent探針，探針監測搜集被監測系統的信息數據，并傳送到相應的系統服務層中。該探針是單獨針對六維超算應用性能管理平臺研發的一個庫文件（.so或.dll），它只對會Collector接收層進行數據傳輸，所以不存在被監測設備的數據丟失或泄露。系統中的用戶密碼及服務器登陸密碼采取MD5不可逆的計算方式進行加密，并以非明文的方式存儲在數據庫中，保證重要用戶及服務器密碼不可破解。

數據備份：數據庫使用LINUIX系統，在該環境中使用Crontab命令實現對數據定時備份。數據備份可具體到以天為單位。

數據恢復：當系統數據出現故障時，運維人員可根據備份情況，選擇最近的數據備份文件，進行數據恢復操作。

四、結語

隨著大數據時代的來臨，面對數據數量、數據種類、數據速率以及數據復雜性的不斷增加，企業需要一種全新的數據分析方法。通過將應用性能管理軟件和大數據環境集成，企業能夠有效消除性能低下、可用性不足及可擴展性不佳所帶來的風險和成本，未來應用性能管理將成為大數據解決方案的不可或缺的要素。

為順應大數據時代的潮流，必須進行數據中心運維管理的深度優化，為數據中心的整體發展提供新鮮的科技動力。通過提升運維管理人員各方面的能力還有利用先進的動力環境監控系統技術，為數據中心的運維管理提供強大的人力支持和技術支持，助力大數據時代背景下，數據中心運維管理的長足發展。

參考文獻：

[1] 陳金窗 沈燦 劉政委.Ansible自動化運維：技術與最佳實踐 機械工業出版社【M】;2016

[2] 肖力，汪愛偉，楊俊俊，趙德祿.深度實踐KVM：核心技術、管理運維、性能優化與項目實施 機械工業出版社【M】2015

（作者單位：內蒙古電力信息通信中心）