運維監(jiān)控平臺面臨的瓶頸與發(fā)展方向

李曉林，嚴 峻，陳國華，張明強，廖劍雄

（塔里木油田公司信息與通訊技術中心，庫爾勒 841000）

1 引言

油田信息運維監(jiān)控平臺于2008年開始建設，并于2009年上線投入使用。2013年以后，運維監(jiān)控平臺對報警跟蹤、督辦及分析等問題進行了整改?，F(xiàn)有運維監(jiān)控服務已無法滿足現(xiàn)在用戶的各種需求，如何加強運維監(jiān)控能力，提升運維監(jiān)控服務水平，提高運維服務質(zhì)量，是我們今后面臨的主要問題與發(fā)展方向。

2 運維監(jiān)控服務

運維監(jiān)控平臺在近十年發(fā)展大致可劃分為兩個階段，一是2009年至2013年，主要對運維監(jiān)控平臺進行技術上的監(jiān)控部署與維護；二是2014年至今，在經(jīng)過系列整改已形成了較為完備的運維監(jiān)控服務體系。

2.1 監(jiān)控預警

運維監(jiān)控平臺支持豐富多樣的監(jiān)控參數(shù)和靈活多變的建模管理，監(jiān)控范圍包括各種性能、網(wǎng)絡、數(shù)據(jù)庫、應用系統(tǒng)、存儲等監(jiān)控參數(shù)，實現(xiàn)監(jiān)控的數(shù)據(jù)接口有200多種。平臺運行至今，共計發(fā)現(xiàn)5萬余次不同等級的監(jiān)控報警。這些報警共分為三級，一級報警為油田核心設備或系統(tǒng)，一旦發(fā)生故障將嚴重影響油田生產(chǎn)生活，“7×24”小時響應報警；二級報警為油田單個設備或非核心系統(tǒng)，發(fā)生故障不影響油田生產(chǎn)生活，但可能會影響非關鍵用戶使用，“7×16”小時響應報警；三級報警為油田非重要設備或系統(tǒng)（例如：應急系統(tǒng)、測試服務器等），發(fā)生的故障或問題不影響油田生產(chǎn)生活，不直接影響用戶使用，運維人員“5×8”小時響應報警。

圖1 運維監(jiān)控報警閉環(huán)處理流程

2.2 運維計劃管理

如圖2所示，為減少運維人員的非必要工作量，同時也對各類計劃運維事件進行統(tǒng)一規(guī)范管理，我們制訂了運維計劃管理流程，并按流程開發(fā)了運維計劃管理系統(tǒng)。該系統(tǒng)通過對各類計劃運維網(wǎng)上申請、審批，并與報警閉環(huán)管理系統(tǒng)進行事件聯(lián)動，對申請審批后的運維操作所產(chǎn)生的監(jiān)控報警事件進行標識，運維人員按標識判斷是否開啟“報警閉環(huán)與跟蹤督辦”，計劃運維操作完成后通過關閉計劃運維任務恢復正常監(jiān)控預警。

2.3 基于日志的故障定位與分析

對運維監(jiān)控平臺產(chǎn)生的監(jiān)控預警，在經(jīng)過篩選后，我們會對其中一些較為重要的報警事件進行分析，找出故障發(fā)生的原因。分析的主要手段是通過基于日志的故障定位與分析系統(tǒng)，該系統(tǒng)收集被監(jiān)控設備或系統(tǒng)的所有運行日志，分析的主要對象就是這些日志。我們通過深度挖掘與該故障關聯(lián)的多層應用環(huán)境中所有相關日志記錄，并對日志事件進行分析并建立索引，找出故障報警的關鍵指標。

圖2 運維計劃管理流程圖

3 運維監(jiān)控面臨的問題

3.1 監(jiān)控分散，信息如同孤島

目前，油田數(shù)據(jù)中心運維監(jiān)控以vantage平臺為主，但隨著信息化的發(fā)展與業(yè)務整合，運維監(jiān)控平臺出現(xiàn)監(jiān)控盲區(qū)，不同專用監(jiān)控平臺難以與運維監(jiān)控平臺整合，無法實現(xiàn)統(tǒng)一監(jiān)控管理。

3.2 監(jiān)控平臺老化

運維監(jiān)控平臺至今已較為平穩(wěn)運行近十年，但因該軟件生產(chǎn)廠商于2012年停止對該軟件更新，該平臺越來越難以承受運行壓力。

3.3 缺少深入的故障分析手段

運維監(jiān)控平臺通常經(jīng)過日志系統(tǒng)對監(jiān)控報警進行故障分析和排查，但有時故障是由于應用程序本身產(chǎn)生的，此類故障因為某些原因并未完全反映在日志中。運維監(jiān)控平臺對代碼、Web或SQL等方面發(fā)生的問題進行分析時缺少相關的分析手段。

4 IT運維監(jiān)控發(fā)展方向

4.1 大數(shù)據(jù)技術應用于運維監(jiān)控

目前，國內(nèi)外大數(shù)據(jù)平臺技術發(fā)展較快，相關產(chǎn)品也較為成熟，重要的是它可以存儲非結構化數(shù)據(jù)，而且對于TB級的數(shù)據(jù)搜索通常也只需幾秒。那么采用大數(shù)據(jù)技術搭建運維監(jiān)控平臺，可充分發(fā)揮其數(shù)據(jù)采集與分析優(yōu)勢，幫助運維監(jiān)控平臺豐富數(shù)據(jù)來源和提升處理分析速度。采用大數(shù)據(jù)技術的運維監(jiān)控平臺不論是在數(shù)據(jù)接口，還是數(shù)據(jù)類型都比傳統(tǒng)的數(shù)據(jù)管理方式更具優(yōu)勢。

4.2 應用系統(tǒng)性能監(jiān)測

通過應用性能數(shù)據(jù)分析、代碼級問題定位、性能分析等手段，實現(xiàn)應用系統(tǒng)故障與性能問題快速定位與分析，是第三代運維監(jiān)控中必不可少的能力之一。我們認為應用系統(tǒng)性能監(jiān)測與分析應包含以下功能：一是數(shù)字體驗監(jiān)控；二是應用發(fā)現(xiàn)、追蹤、診斷；三是作為應用分析。

4.3 用戶訪問行為監(jiān)測

用戶訪問行為監(jiān)測是對用戶的來源、瀏覽情況、回訪等各種網(wǎng)站訪問行為進行監(jiān)測，以獲得各種基本數(shù)據(jù)，給我們提供更加精準的分析數(shù)據(jù)，通過分析我們可以為運維監(jiān)控實現(xiàn)以下功能：將用戶體驗監(jiān)測數(shù)據(jù)結合位置信息投射在地圖上，動態(tài)感知應用系統(tǒng)用戶位置分布。通過大數(shù)據(jù)分析技術的應用發(fā)現(xiàn)數(shù)據(jù)之間的特點與關系。將用戶體驗數(shù)據(jù)應用于信息生產(chǎn)調(diào)度中，可及時了解應用系統(tǒng)用戶并發(fā)、用戶數(shù)量趨勢分析與預測、用戶影響與分布以及通過應用性能與用戶數(shù)量的對比趨勢分析幫助用戶提前做出響應。

5 結束語

運維監(jiān)控平臺在油田數(shù)據(jù)中心應用至今，其總體監(jiān)控運維服務體系已全部形成，它腳步一直隨著油田數(shù)據(jù)中心的發(fā)展與變化而前行，在不遠的將來，會發(fā)生一次巨大的脫變，它將應用國內(nèi)外先進成熟的監(jiān)控技術，收集整個應用交付鏈的各層監(jiān)測數(shù)據(jù)，包括：軟硬件狀態(tài)監(jiān)測數(shù)據(jù)、系統(tǒng)集成數(shù)據(jù)、配置日志數(shù)據(jù)、性能容量、安全審計等數(shù)據(jù)，并應用大數(shù)據(jù)技術進行處理和分析，以用戶體驗為導向，以應用可用性為核心，以信息基礎設施為重點，建成塔里木油田第三代運維監(jiān)控服務平臺，實現(xiàn)油田數(shù)據(jù)中心一體化運維監(jiān)控服務，為油田IT業(yè)務的連續(xù)、高效、安全、平穩(wěn)運行提供有力支撐?！?/p>