BOMC系統大數據應用淺析

宋代強

【摘要】 BOMC全稱為中國移動業務支撐網運營管理系統，主要為業務支撐系統（BOSS，CRM等）提供運維管理和維護支撐。隨著云計算，大數據等技術的不斷成熟，以及中國移動業務支撐系統架構的變化，BOMC需充分利用新技術，新手段，更好的發揮運維管理作用，讓更多的運維數據充分發揮作用，實現更快的故障處理速度，提升客戶感知能力，提高客戶滿意度。

【關鍵詞】 BOMC 大數據 客戶感知

一、中國移動BOMC系統簡介

BOMC是中國移動業務支撐網運營管理系統，定位于為中國移動業務支撐網各系統的管理和運維提供支撐，通過“集中監控、集中維護、集中管理”的方式，實現對業務支撐系統生產運行中的平臺設備和應用軟件等資源進行統一管理，并在此基礎上實現全網運維情況、業務運行質量的分析評估。隨著云計算、大數據等技術的日益成熟，業務支撐網各系統的架構發生變化，BOMC也需要進一步的調整和優化，以適應對新架構下被管系統的管理和服務的要求。通過引入大數據，運營管理系統可進一步豐富運維工作的手段，提升運維工作的質量。

二、BOMC大數據架構平臺基本架構

在BOMC系統運維的過程中，存在問題如下：告警的設定僅為實時的提醒，缺少預警的功能，缺少根據某類指標設定動態的閥值的功能；對BOSS等業務過程的監控粒度較粗，業務故障定位存在延時等等。大數據的引用，將全量業務和告警數據納入分析成為可能，在時效性上有了明顯的提升，且通過多種手段，實現對業務問題和平臺告警的預測。

隨著大數據技術迅速發展，其技術框架也日益成熟，BOMC大數據平臺亦采用目前成熟的技術框架，概括分為數據采集、數據采集、數據展現三層。數據源主要來自BOSS、CRM、BOMC等系統的業務日志，數據庫、中間件日志，告警等運維數據。通過數據采集工具，對半結構化，非結構化數據進行采集，并對各類數據根據需要進行離線或實時處理，通過應用層實現數據的專題分析和應用展現。

三、BOMC大數據應用場景

BOMC前期建設，已經實現對全網業務，運維，探測數據的采集和存儲。BOMC系統引入大數據技術，主要目的是挖掘日益劇增的數據價值，并構建適合實際運維的應用場景，解決以往傳統運維工作難以解決的問題。通過在預警，故障處理等方面的應用，及時發現系統及業務故障點，在影響客戶使用前處理并解決問題有效提高系統運維效率。

以下分別通過大數據應用場景的目標、場景分析方法、場景應用的算法章節，分別介紹BOMC大數據應用場景需要解決的問題，如何解決以及解決時引用的算法思路。

3.1主機內存故障預警

3.1.1場景目標

日常運維中，部分主機故障前會伴隨著內存使用率的快速上升，針對主機內存使用率的告警預測，可提前預知主機內存的異動，發現主機運行的異常情況，提前檢查并解決問題，避免故障的發生。

傳統的文件系統告警需要等相應性能達到閥值后產生告警，這個時候往往留給維護人員處理的時間已經不多。針對這兩種情況，我們對其做告警預測，在性能值發生異動時即提醒維護人員重點關注，避免告警的產生和問題的進一步惡化。

3.1.2場景分析方法

通過對歷史性能分析，生成v=f（t）性能趨勢分析函數，根據趨勢分析函數，計算被監控點未來的性能趨勢，并結合允許的波動范圍生成安全性能區域，將實際監控性能值與預測值相比較，實現告警的準確判定。

3.1.3算法應用

3.1.3.1Kmeans算法簡介

K-means算法簡稱為K值聚類算法，是一種cluster analysis的算法，也是最為經典的基于劃分的聚類方法。K-means算法的基本思路是：首先設定空間中的k個點，并以此做為中心進行聚類，對最靠近他們的對象劃分歸類。然后逐步迭代，逐次更新各聚類區域的中心值，直至得到最好的聚類結果。

K-means算法接受參數k；然后將待聚類數據對象n輸入并劃分為k個聚類，使得計算所獲得的聚類需滿足如下條件：

（1）聚類相似度滿足，即同一個聚類中的數據對象相似度較高；而不同聚類中的數據對象相似度較較低。

（2）聚類相似度是數據對象的特征屬性的相似情況度量，可將數據特征屬性標量化，利用距離計算相似度。

假設需將樣本集n分為k個類別，算法描述如下：

（1）從n中隨機選擇k個元素，作為k個簇的初始中心；

（2）對任意一個樣本數據，求其到k個簇的各中心的距離，并將該樣本數據歸類到距離最短的中心所在的簇（持續i次迭代）；

（3）計算并更新該簇的中心值，可通過距離歐式距離或均值等方法；

（4）如果通過（2）（3）的迭代法更新后，所有的k個聚類中心值保持不變，則迭代結束，否則繼續迭代。

收斂快速和簡潔是K-means算法的最大優勢，算法的關鍵是初始中心k的選擇，以及距離公式的選擇。

3.1.3.2算法流程

先從數據集合D中隨機抽取k個元素，作為k個簇的各自中心，然后分別計算剩下元素到k個簇中心的相似度，并將相似度最高的元素劃分為統一個簇；接下來根據聚類的結果，重新計算k個簇的中心值，再將數據集合D中的所有數據根據新的中心值重新聚類，并不斷重復聚類和中心的過程，直到聚類的結果不變化。

3.2接口平均耗時

3.2.1場景目標

分析CRM接口調用數據，結合業務量等指標，按接口類型，為每個接口并發耗時建立隨時間、業務量的變化而動態變化的閥值，提高告警有效性。

3.2.2場景分析方法

源數據指標包括：

單位時間平均耗時

單位時間并發量

分析過程：

回歸算法建立模型

分析運行數據，生成調用并發數與耗時的散點分布

動態生成耗時的合理區域曲線

為耗時指標建立動態閥值

3.3.3算法應用

3.3.3.1回歸算法簡介

線性回歸算法是通過回歸分析，計算依賴變量和獨立變量之間的線性關系，并生成分析模型，使用該關系進行預測。

此關系以最好的表示一系列數據的形式出現。

每個數據點都有一個與回歸線距離相關的誤差，回歸方程中的系數和回歸方程中的系數可以調整回歸線的角度和位置，通過調整一個或二次的回歸方程，可以得到回歸方程的回歸方程。

有其他類型的回歸，使用多個變量，也有非線性回歸的方法，然而，線性回歸是一個有用的方法，可對潛在因素的變化進行建模。

線性回歸算法是決策樹算法的一個變種，當你選擇微軟線性回歸算法時，采用了一種特殊情況下的決策樹算法，通過參數約束的行為，并要求一定的輸入數據類型，而且，在一個線性回歸模型，整個數據集被用于計算關系的初始傳遞，而一個標準的決策樹模型分裂成更小的子集或樹的數據。

3.3.3.2算法流程

當準備使用線性回歸模型時，應該了解特定算法的需求，這包括需要多少數據，以及如何使用數據：

一個單獨的鍵列，每一個模型必須包含一個數字或文本列，唯一標識每一個記錄。

預測列至少需要一個可預測列。可以在一個模型的多個可預測屬性，但可預測屬性必須是連續的數值數據類型。不能使用datetime數據類型為可預測屬性即使對于數據的本地存儲是數字。

輸入列的輸入列必須包含連續的數字數據，并指定適當的數據類型。

模型處理完畢后，結果將以一組統計信息和線性回歸公式的形式存儲，可以利用這些結果來計算未來趨勢。

除了通過選擇線性回歸算法創建線性回歸模型外，還可以在可預測屬性為連續數值數據類型時，創建包含回歸的決策樹模型。在這種情況下，如果找到適當的分離點，該算法會對數據進行拆分；但對于某些數據區域，則會創建回歸公式。

3.3影響度分析

3.3.1場景目標

日常的運維工作需要對各類指標進行監控，如應用層指標、邏輯層指標，物理層指標等，可通過綜合采集各類指標的預警和告警值，分析其業務的影響度，起到對業務層面的有效預警和關注。

3.3.2場景分析方法

通過對某業務在時間段內的特征屬性（監控指標）劃分收集，形成訓練樣本集合，當監控反饋某個監控指標達到預警或告警值時，通過分析此時的與業務關聯的特征指標，判斷業務受影響的概率。

數據源包括：

平臺類指標監控數據

應用類指標監控數據

客戶感知類指標監控數據等

分析過程：

訓練樣本數據收集和確定

樣本訓練

業務影響度分析應用

3.3.3算法應用

3.3.3.1樸素貝葉斯分類算法簡介

樸素貝葉斯分類的思想基礎是：對于給出的待分類項，求解在此項出現的條件下各個類別出現的概率，并以最大概率歸類此對象歸屬的類別。

樸素貝葉斯分類定義如下：

3.3.3.2算法流程

樸素貝葉斯分類分為三個階段：

1.工作準備階段：本階段的目的是準備樸素貝葉斯分類的必要數據和分類合集。首先根據具體需要，確定數據的特征屬性，并將特征屬性進行人工的劃分，通過數據分析，形成訓練樣本。本階段是需要人工完成的階段，所以人工完成的質量對整個分類過程具有重要的影響。

2.生成分類器階段：此階段的目的是生成分類器。具體的內容包括，計算并記錄每個數據類別在訓練樣本中出現的頻率，劃分每個類別的特征屬性條件概率。這個過程將數據特征屬性和樣本輸入，并輸出分類器，此階段可通過程序機動計算完成。

3、場景數據應用階段：此階段的目的是生成待分類項與類別的映射關系。主要包括將待分類數據進行分類，并通過第二階段生成的分類器計算并輸出相應的對應關系。此階段也由程序完成。

四、小結

本文主要針對中國移動業務支撐網運營管理系統日常運維過程中存在的問題，并結合各省的解決方案，歸納總結幾點可通用的應用場景。文中提到的應用，已在省公司的試點實施中得到驗證，取得了比較明顯的成效，如某省通過項目試點，主機內存閥值告警量相對減少1/3，并較好的減少了誤告警的數量，進一步證明了此方法在業務支撐運維管理中的可行性。

大數據在BOMC領域的應用，有助于提升故障處理速度，提高客戶感知。同時鑒于運維工作的通用性，此方法也適用于各省份的大數據應用建設。得益于大數據技術的不斷成熟和日益發展，未來會有更多的應用場景服務于運維領域，為高效運維提供技術支撐。

參 考 文 獻

[1]《中國移動業務支撐網運營管理系統BOMC規范》

[2]《中國移動BOMC系統大數據平臺建設方案》

[3] http：//www.cnblogs.com/leoo2sk/archive/2010/09/17/1829190.html