一種基于APM應用全鏈路監控工具設計

◆劉霞霞 高阿朋 任春雷 文建軍 史金奇

?

一種基于APM應用全鏈路監控工具設計

◆劉霞霞１高阿朋２任春雷２文建軍１史金奇１

（1.北京中電普華信息技術有限公司北京 100022；2.國網內蒙古東部電力有限公司信息通信分公司 內蒙古 010020）

為了加強國網蒙東電力有限公司信息通信分公司(以下簡稱：蒙東電力)信息運維的自動化建設，通過對現有APM廠商產品的了解和對比分析，提出了一套適合蒙東電力應用自動化、高精度、全鏈路的監控工具架構和功能設計，并對拓撲發現與展示、鏈路深入診斷、應用系統預警三個模塊做出詳細介紹。此工具將在貼近于國網運維角色劃分、基于微服務微應用的工具集合、結合大數據挖掘PCA/邏輯回歸等先進算法的海量鏈路數據處理、加強AI技術在運維監控的應用方面實現創新，研發成功并且推廣后，在智能運維和降低運維成本方面具有良好的社會效益。

全鏈路；微服務；智能運維

0 引言

在《國家電網信通[2018]108號國家電網公司關于印發2018年信息通信新技術創新發展行動計劃實施意見的通知》中，國家電網公司強調，以大云物移智作為創新性工作的創新點，進一步通過創新驅動現有信息化建設，讓信息系統的服務質量提高到更滿意的高度。

在進行信息化的過程中，IT基礎設施不斷增加，IT復雜性和多樣性也在不斷變化。隨著應用系統建設的愈發復雜，傳統的運維人員通過日志或者被動分析的方式進行應用系統監控，這就使得原有傳統運維手段單一的問題越來越明顯，在這種情況下,很多運維人員的時間和精力都被無謂地浪費在排查故障當中[1]。

針對上述會議和存在的問題，蒙東電力從實際出發開展基于APM應用全鏈路監控工具設計。

1 背景概述

1.1 背景描述

目前蒙東電力的信息系統缺乏對系統鏈路的異常分析、系統負載與瓶頸等的預測，只能通過被動預警方式，系統擴容手段來處理異常問題，現急需一套可靠的預測機制，提前對可能出現的問題和瓶頸進行預測，做到未卜先知。

因此，結合AIOps智能運維[2]的時代背景，通過建設貼近于國網信息化系統的全鏈路工具集的建設，基于國網SG-I6000運維體系，深入對信息系統應用端、網絡端整條鏈路進行深度的診斷，輔助AI人工智能與大數據[3]挖掘等創新技術對未來信息系統瓶頸和負載的預測，能夠切實解決目前蒙東電力信息系統監控面臨的實際問題[4]。

1.2 技術對比

目前APM[5]廠商很多，使用技術和實現方法各有不同。以下主要從實現技術、是否開源、鏈路監控粒度、可擴展性、部署和監控復雜性等方面進行對比，結果如表1。

表1　APM領域技術能力對比

1.3 技術選型

本產品需要在盡可能小的影響應用系統性能并且能夠方便運維人員快速定位和解決問題的情況下進行設計，在系統指標達到瓶頸時能夠主動預警，出現宕機等情況能夠快速的定位（代碼級定位）和解決問題，減少人員投入，降低運維成本，部署和監控易于操作，界面簡潔不失美觀。

通過全面了解和對比APM領域四種技術能力，最終確定采用Pingpoint作為技術選型，它能夠更大程度滿足設計需求。

2 架構和部署拓撲設計

2.1 系統總體架構

全鏈路監控與智能分析工具集一期的整體架構一共分為4個部分，如圖1。

（1）Agent應用與探針端

Agent端負責從應用中搜集數據，Agent 以jar包的形式，安插在業務應用系統中，只需在啟動腳本中加上一行參數就可以和應用一塊運行，如圖2。

圖1 整體架構圖

圖2 探針圖

Agent端利用JAVA Agent機制，采用修改應用字節碼的方式將探針邏輯植入到應用中，這樣的優勢是對原有的應用無侵入。

Agent端將探針數據搜集出來，基于不同的網絡環境，通過TCP、UDP等多種傳輸方式將Agent數據傳遞到Collector搜集端。

（2）Collector搜集端

Collector端主要作用是，接收Agent端發送過來的數據，將這些數據整理，然后加工、分析并處理，根據數據實時性的不同和用戶對探針數據的要求，存入到全業務數據中心中，實時數據存入到SG-RDB中，歷史數據采用Hbase格式，如圖３。

圖3 搜集圖

當Agent發送數據量比較大的時候，Collector端可以通過開啟Zookeeper集群的模式，通過多個Collector示例對搜集過來的數據進行減壓，Collector端整理、匯總、運算的指標，推送給SG-I6000系統。

（3）鏈路數據分析端

鏈路數據分析端，主要利用Collector搜集端存儲到全業務數據中心的SG-RDB、Hbase數據，利用大數據挖掘與機器學習算法，計算出瓶頸、負載等的預測結果，如圖4。

圖4 AI學習圖

（4）工具展現端

用戶實際打交道的是工具展現端，基于不同角色、調度、運檢和領導決策等提供了方便的查看與數據展示工具，并且提供應用系統瓶頸與負載預測等指標用以預測。

2.2 部署拓撲

本項目的部署節點根據業務不同而改變，推薦的物理部署設計如下，如圖5。

圖5 物理部署圖

3 重點模塊介紹

3.1 拓撲發現與展示

通過從PC客戶端到服務器端，全方位展現應用系統、中間件、數據庫、網絡拓撲的結構，自動監測服務端應用代碼、數據庫、外部服務等調用鏈路。操作流程及頁面展示如圖6、圖7。

圖6 拓撲發現與展示流程圖

圖7 應用拓撲展示頁面

3.2 鏈路深入診斷

基于鏈路的請求分析工具中的慢請求，通過深入診斷工具對鏈路進行鉆取，從系統網絡拓撲的節點深入到系統中的代碼行號級別，發現瓶頸位置，得出診斷結論提供給運維、研發人員用于解決問題的實際瓶頸。功能顯示如圖8。

圖8 鏈路深入診斷功能圖

3.3 應用系統預警

該工具記錄的業務系統的狀態信息，設置預警閥值，在系統某一狀態超出閥值的情況下進行告警，明確指明是哪一個系統出現問題，通過各種消息通知方式通知運維人員，方便運維人員隨時查看系統運行狀態。頁面設計如圖9。

圖9 應用系統告警頁面

4 創新性分析

全鏈路監控工具集總共有4個創新點：

（1）貼近于國網運維角色劃分

傳統的性能分析工具并沒有突出角色化的限制，而智能鏈路分析與預測工具，以各種方便實用的工具，基于國網運維體系中的不同角色：調度、運檢、領導決策等進行規劃。調度人員使用工具首先通過預警信息監測到哪個系統出現性能異常，并且可以通過拓撲工具定位到信息系統中鏈路具體哪一塊業務或者中間件、數據庫等出現的問題；運檢人員基于調度人員的定位點，通過工具深度排查業務，直至代碼行號，精準定位問題；領導與管理者通過工具看板，對調度與運檢的結果整體概覽進行查看，并根據關鍵問題進行決策。

（2）基于微服務[6]的監控工具集，工具可裁剪

全鏈路監控工具集集合，以微服務和微應用的方式進行單獨部署，每個獨立的工具都是一個獨立的微服務和微應用。

（3）基于大數據挖掘PCA、邏輯回歸等先進算法的海量鏈路數據處理

全鏈路監控工具集一期最主要的創新，基于大數據挖掘分析工具和全鏈路監控搜集來的數據，通過先進的PCA算法、邏輯回歸算法，對鏈路數據進行處理和分析，可達到海量數據的處理。PCA通過線性變換將原始數據變換為一組各維度線性無關的表示，提取數據的主要特征分量，適用于全鏈路數據這種高維數據的降維分析。邏輯回歸算法，是分類和預測算法中比較先進性的一種，通過對歷史數據的等線性數據的回歸計算，提高了數據挖掘的結果的精確性，利于后續數據的分析。

（4）加強AI技術在運維監控的應用

全鏈路監控工具集借助于AI人工智能的技術，對數據挖掘整理的鏈路數據，進行學習和訓練，用以對信息系統未來瓶頸和負載的預測。鏈路數據形態呈拉伸狀與非規律性，借助于AI通過鏈路數據的學習和訓練，預測出應用系統未來一段時間的信息系統的負載與瓶頸趨勢，協助運維人員未雨綢繆，早早做好峰值應對與問題解決措施。

5 社會效益

全鏈路監控工具集研發成功并且推廣后，效益主要體現在兩個方面：

（1）解決實際信息化系統的性能問題，快速定位問題，降低運維成本

目前業務應用系統使用的運維工具都是事后分析問題，并且分析問題單一，隨著應用全鏈路監控工具集的推廣，將會采用多種方式、智能化分析、快速準確定位問題，從而降低運維成本。形成應用按需分配和自主運維，降低整體建設、運維成本，滿足不斷快速調優需求，提升可控、在控的能力，減少運維投入和降低運維難度。

（2）智能分析，提前預測

目前國網體系現狀是被動分析錯誤堆棧和Dump文件的做法，是當出錯的時候才進行補救，嚴重的甚至應用系統和服務器需要停機。而通過全鏈路監控與智能分析工具集可以通過對全鏈路存儲現有數據的學習，進行訓練，對信息系統未來的應用瓶頸進行預測。

6 結束語

本文通過解決蒙東電力在運維方面存在的成本大、耗時長、工作重復煩瑣等問題，設計出了這套具有降低運維成本、快速敏捷、準確預測等的信息監控工具，進一步完善和提高信息運維自動化建設，并在智能運維和降低運維成本方面具有良好的社會效益。

[1]劉嘉裕.基于分布式微服務全鏈路實時監控系統設計與實現[D].北京交通大學,2018.

[2]LinkedAIOps開啟AIOps智能運維[J].網絡安全和信息化,2018(06):16.

[3]聞屏.構建全鏈路監控打造面向大客戶的主動運維服務新體系[J].中國新通信,2016,18(22):162-163.

[4]彭兵,趙俊,李彥武.應用監控管理系統在省級電力公司的應用研究[J].電力信息與通信技術,2014,12(06):83-87.

[5]梁飛.信息系統應用性能管理(APM)系統在企業信息化中的作用[J].電子技術與軟件工程,2014(22):19.

[6]劉丹.一種微服務架構最佳實踐[A].中國電機工程學會電力信息化專業委員會.2017電力行業信息化年會論文集[C].中國電機工程學會電力信息化專業委員會:人民郵電出版社電信科學編輯部,2017:5.