面向用戶體驗的IT指標管理研究與應用

林文鋒，黃國文

（中國移動通信集團廣東有限公司 廣州 510623）

1 引言

電信運營企業為了企業運營管理的需要，構建了數量龐大的運營支撐系統，而這些系統主機數量多、網絡分布廣、網絡結構復雜；網絡設備由不同廠商供應，多種系統及網絡協議并存。另一方面，系統和網絡維護人員數量有限，系統的日常管理和維護相當困難。由于缺乏統一的IT監控管理支撐手段，IT系統的運營能力不足，同時也影響業務的支撐與響應。為此，電信運營商需要引入以流程為導向、以用戶滿意度和服務品質為核心的IT服務管理（ITSM）理念，對其網絡、主機和數據庫系統等進行全面、集中、有效的監控和管理。通過實施ITSM使IT系統具有高效性、實用性和可擴展性，并從根本上轉變管理手段，提高管理水平，規范管理流程，從而提高整個計算機系統的穩定性和可靠性，降低設備故障率，保障各業務系統平穩、健康地運行。

IT服務管理系統一般由IT服務管理和IT監控兩部分組成，IT服務管理平臺主要實現IT運行過程中的日常工作支撐，包括服務臺、IT業務數據分析和展現、信息公告模塊、IT資產、IT人員等IT運營的管理功能，同時提供服務支持、服務交付、需求管理、運營維護等IT管理流程的支撐。IT監控一般包括以下3部分。

·IT基礎設施監測平臺，實現對IT基礎設施的告警、性能數據的采集和關聯分析，監測對象包括IT網絡、主機、存儲備份、數據庫、中間件、桌面、機房環境等。

·IT應用軟件監測平臺，實現對應用軟件系統的告警、性能數據的采集和關聯分析，監測對象包括各類OSS，如服務開通、資源管理、綜合網管等業務系統。

·業務可用性監測平臺是從系統使用用戶角度檢測相關業務系統的可用性，實現對業務平臺可用性的集中化、可視化管理。系統監測的業務范圍包括業務開通、服務投訴等用戶直接使用的業務。

在構建IT監控管理的3個層次中，存在逐層依賴的關系，如何將IT基礎設施監控指標、IT應用軟件指標與業務可用性指標進行關聯，是電信運營企業面臨的一個難題，也是本文重點研究的課題。本文將首先闡述如何構建面向用戶體驗的IT指標管理體系，并給出在應用效能監測平臺建設與運營中的實際成效。

2 面向用戶體驗的IT指標體系研究

構建結構化、面向內外部用戶的感知指標體系，逐步建設基于監控指標體系的系統健康度監測平臺，實現系統運行狀態、業務感知、性能瓶頸等的統一監測，并根據關鍵業務指標提出系統優化及改進建議，將IT對業務支撐的價值最大化和顯性化。

2.1 面向用戶體驗的指標體系架構

用戶體驗指標體系的主要目標是:建設以用戶感知為驅動的指標體系，構建面向內外部用戶的感知指標體系，結合對系統產品指標（productivity indicator，PI）、關鍵性能指標 （key-performance indicator，KPI）、關鍵質量指標（key quality indicator，KQI）以及用戶感知指標 （customer key experience indicator，CEI）的采集及計算，形成 CEI-KQIKPI-PI的4層指標模型，如圖1所示，具體介紹如下。

·CEI:CEI是主觀的體驗，由KQI監測結果與用戶的主觀反饋結合，根據相應的權重關系復合運算得出，綜合考慮渠道、地域、角色等因素，根據采集數據不斷完善。

·KQI:KQI是以用戶為中心，體現業務層面的關鍵指標，可以是多個KPI的聚合，也可以是單個KPI。

·KPI:KPI是以業務為對象，體現業務在端到端實現中的各項關鍵指標，整體反映系統的運行狀態、業務效率等。

·PI:PI是衡量組成系統的各類基礎設施、模塊及相關系統資源指標。

CEI-KQI-KPI-PI的聚合模型涵蓋業務域中所有可能影響用戶感知的要素，從多個維度建立起每個業務的用戶感知拓撲結構，并通過各要素指標聚合至用戶的主觀感知。

2.2 標準指標池及健康度模型

2.2.1 指標模型

指標模型的建立是為了反映業務整體健康度，在傳統IT系統資源監控的基礎上，結合業務服務的管理，全面反映系統支撐能力和用戶實際使用業務的整體情況，并通過時間、位置、用戶等維度進行觀察，從而有效分析出業務的使用狀況和系統支撐的現狀和趨勢。

圖1 面向用戶體驗的指標體系架構示意

2.2.2 標準指標池KPI/PI

4層逐步向上聚合的指標結構決定了指標從底層指標開始，根據用戶的實際需求選取相應的底層指標聚合形成上層指標，同樣，底層指標在衡量不同的資源或系統對象時也會有不同的輸出，這里定義出基于體系結構按層級分類的標準類指標集合、各層級指標的標準指標集合，作為最終呈現的各類指標的基礎指標集合。

KPI標準指標池包括系統資源指標和系統能力指標兩大類，如圖2所示。

圖2 KPI標準指標池

表1為系統資源指標及其說明。表2為系統能力指標及其說明。

表1 標準指標池:系統資源指標

2.2.3 區域對象健康度指標KQI1

區域對象健康度指標用于反映一個區域的系統運行狀況，展示被監測系統的總體健康度、可用性，系統業務/性能變化趨勢等指標見表3。

表2 標準指標池:系統能力指標

2.2.4 用戶對象健康度指標匯總KQI2

用戶對象健康度指標用于反映用戶在使用系統過程中所產生的系統響應指標，具體見表4。

2.2.5 業務服務的健康度指標匯總KQI3

業務服務健康度指標用于反映業務的可用性指標，具體見表5。

2.2.6 按用戶感知的指標CEI

用戶感知指標受上述指標的綜合影響，其相互關系如下所示:CEI=f(KQI1，KQI2，KQI3，…，用戶主觀 KQI)。

表3 按區域對象統計指標集

表4 按用戶對象統計指標集

表5 按業務服務對象統計指標集

具體說明如下:

·KQI1為區域對象健康度指標，KQI2為用戶對象健康度指標，KQI3為業務服務健康度指標；

·用戶主觀類KQI是用戶的主觀使用感知，如操作靈活、界面美觀、系統一致等，此類信息可以通過問卷調研、日常工作反饋等方式進行采集；

·KQI為CEI的必要非充分條件。

2.3 指標閾值設計

指標閾值的產生原理是將采集到的指標數據與基于歷史數據所計算出來的預警容忍線進行比較，超過容忍線時觸發告警產生機制。

根據系統運行時指標按時間分布的特性以及指標在監控時間段內的最大值及最小值分布情況，針對不同時段設定不同的指標告警門限，按照指標歷史數據的實際分布情況，設定當前時段內的合理分布，并基于當前時段區域觸發異常值告警，動態基線與動態告警線之間的波動告警范圍可以調整，超出上下告警線將觸發告警產生機制。動態閾值的計算將通過以下兩步計算實現:

（1）基線的確定，基于歷史數據的樣本選取及預處理實現；

（2）計算動態基線，利用預處理后的有效歷史數據計算波動范圍的上下限。

2.3.1 指標歷史數據的樣本選取及預處理

（1）樣本的選取

對于過往一個月的歷史數據，原則上樣本數據選取的時間空間越大，數據準確度越高，但實時數據選取及預處理需要耗費大量的比對空間及計算資源，以一個月數據為基準樣本，在每個月末進行當月數據的采集工作。

（2）樣本數據的預處理

樣本數據確定后，剔除節假日、重大事件及類似時間點異常數據，確保數據的一般性及日常化。

步驟1 歷史數據的歸一化處理

提取各指標粒度24 h的歷史數據，記為X（x1，x2，…，x24），將指標特征量歸一，分布在[0,1]上，以體現不同指標的時間特征。

以單筆業務耗時為例，取全天24 h耗時數據，將每小時數據與全天耗時綜合的比例作為業務耗時特征量，全天24個特征量的和為1，經過歸一化處理，每個特征量可以描述當前時段占全天業務耗時的比例。

步驟2 計算數據相關度

判斷兩個數據是否相關，計算兩個數據的差值比，差值比越小，則相關度越高，反之則相關度越低。

步驟3 數據有效性校驗

通過設定數據相關度門限值對采樣數據進行有效性校驗，當采樣數據滿足設定的門限值要求時，則認為數據有效，反之則為異常數據，予以剔除。

2.3.2 計算動態基線

（1）樣本數據的選取及計算

利用預處理后的有效歷史數據計算每小時指標波動的合理范圍，最終描繪0～24 h內指標的波動曲線和波動范圍，監控到任何在波動范圍之外的數據都將觸發告警。

（2）指標數據分布計算及驗證

通過分析系統運行中的各項指標分布，根據正態分布定義計算基線的指標數據分布曲線:

其中，標準差根據式（2）計算得出各個指標數據的門限區域:

按照分級定制告警級別，并設定級別門限區域:一般告警，告警門限設為[μ-σ,μ+σ]；嚴重告警，告警門限設為[μ-2σ,μ+2σ]。

隨著網絡擴容、系統優化及業務量、市場策略等的不斷變化，指標正常的波動區間也會發生變化，為了適應這種變化，準確發現系統的異常，需要對原先的基線進行調整，通常調整方式有如下兩種:

·一般情況下，每月初重新選定上一個月內的數據為新的樣本數據，重新進行基線計算，以切合系統實際情況的變化；

·手工方式修正，根據網絡擴容、系統優化或業務量及市場策略帶來的變化，設定相應的系數，與相應的指標數據基線相乘，得到新的基線及門限區域，調整時需要考慮對應指標的相關特性。

3 應用效能監測平臺建設及運營成效

3.1 應用效能監測平臺總體架構

綜合資源系統承載著全省資源的集中管理、與網管系統接口提供資源數據和資源服務等任務，包含多個子系統以及各個區域系統的連接，因此端到端的用戶體驗存在一些問題。建設OSS應用效能監測平臺的目的就在于構建端到端的業務監控平臺，形成完善的業務監控指標、系統能力及健康度的實時監控。OSS應用效能管理平臺功能框架如圖3所示。

圖3 OSS應用效能管理平臺功能框架

OSS應用效能管理平臺主要功能包括以下幾方面。

（1）實時監控

·實時采集OSS運行時的狀態信息，包括應用和服務的性能、可用性數據、基礎設施的狀態數據；

·面向OSS構建從業務效能到用戶體驗、系統服務性能和基礎設施性能的端到端效能指標體系；

·提供OSS端到端效能指標的實時監控；

·提供按區域、用戶、業務等不同維度的實時監控功能。

（2）統計分析

·提供系統資源類、系統區域訪問、業務可用性、功能使用等多維度的統計分析；

·提供基于業務/工單處理的性能統計報表；

·提供各類KPI統計報表；

·提供告警統計分析。

（3）系統優化及效能評估

·進行功能使用頻率分析、功能整合及優化；

·進行應用架構分析，提供優化方向與建議；

·進行業務流程整合與優化、接口流程整合與優化；

·支持對受到OSS影響的業務效能問題的分析和原因定位，協助制定優化方案，支持對優化效果的分析和確認。

3.2 應用效能監控指標應用示例

以GPON寬帶業務開通為例，通過采集系統能力類指標，基于所構建的IT指標模型，計算用戶可感知的業務指標，從而提升IT監控對業務快速支撐的需求，如圖4所示。

業務類指標主要面向業務（集團用戶、家庭用戶）和網絡（核心網、數據網等），針對不同運維場景（開通、投訴、故障等）進行劃分，這類指標的計算需要采集運維場景的全過程信息和結果信息（含人工處理和系統處理信息）。

系統能力類指標主要面向OSS，針對不同的運維場景、不同業務的自動化支撐，這類指標的計算需要采集OSS運行態的外部響應指標（可用性、響應時間）和內部運行指標（性能、資源占用率）。

應用效能指標體系重點關注業務運營中涉及系統自動化支撐的相關動作，人工處理指標不納入監控范圍。

3.3 應用成效

面向用戶體驗的IT指標管理體系及OSS應用效能監測平臺已成功應用于廣東移動綜合資源管理系統監控維護與運營，具體包括以下幾方面成效。

（1）實現系統效能實時監測

·建立綜合資源指標監控體系，形成4層指標監控模式，自下而上實現對系統資源、系統能力、業務能力、用戶感知的監控，對系統中出現的問題能夠實時發現、快速定位，通過問題管理推動問題解決。

·建立基于歷史數據的動態閾值基線，準確捕獲系統異常波動，實時推送告警信息，提高監控效率，降低運營成本。

（2）建立常態化優化體系

根據性能指標體系及監控結果，系統組從“云、管、端”3個方面開展對系統性能的全面優化。例如，通過在用戶終端安裝探針，及時還原并檢測用戶側的性能問題；通過網絡探測、路由分析等進行網絡問題的挖掘、分析、定位并制定優化方案。

圖4 應用能效監控指標應用示例

系統自上線以來，共實施了236個性能優化方案，系統宕機數量從2012年底的月均5次降低到現在的0次；系統響應速度超過5 s的功能模塊從213個減少到32個，優化后系統的應用效率平均提升5倍以上。

（3）提升用戶滿意度

·系統能夠實時監控分析出用戶常用功能的使用情況、不同用戶端瀏覽器對使用性能的差異以及各區域網絡環境對用戶使用的影響等，根據用戶體驗，找出系統功能或性能方面的不足，并加以優化；

·通過分析用戶的使用行為、使用習慣，簡化操作流程，提高維護效率。

4 結束語

構建面向用戶體驗的IT指標管理體系是實現IT監控管理從基礎設施監控向業務監控的基礎和關鍵。本文從IT監控需求入手，研究了面向用戶體驗的IT指標體系，提出并構建了應用效能監測平臺，并在實際運營中加以應用。通過上述方法能夠提升IT監控維護效率，尤其是對業務的快速支撐能力，為IT運營創造更大的價值。

1 中國移動通信集團廣東有限公司綜合資源系統用戶體驗指標方案，2013

2 中國移動綜合網絡資源管理系統技術規范 系統架構和接口分冊 V1.0.1，2009

3 中國移動綜合網絡資源管理系統技術規范 資源編碼方法V1.0.1，2011