業(yè)務實時監(jiān)控方案

黃啟雄

【摘要】 隨著社會信息化的發(fā)展，業(yè)務經(jīng)營數(shù)據(jù)價值與日俱增，對運營信息分析的及時性要求也不斷提升。本方案運用數(shù)據(jù)復制產(chǎn)品，通過數(shù)據(jù)庫日志實時捕獲業(yè)務變動導致的數(shù)據(jù)變化，采用了流轉(zhuǎn)換技術(shù)以及流處理方法進行實時數(shù)據(jù)處理，并使用了內(nèi)存數(shù)據(jù)庫做進一步的分析，有效提升了業(yè)務數(shù)據(jù)的獲取效率。實現(xiàn)對生產(chǎn)運營信息的及時分析，以更短的時間進行實時決策的目的。

【關(guān)鍵詞】 數(shù)據(jù)庫日志 流處理 內(nèi)存數(shù)據(jù)庫信息化社會對業(yè)務運營分析及時性要求越來越高，亟需一種實時或準實時監(jiān)控業(yè)務受理數(shù)據(jù)的方法，實現(xiàn)高速分析，以達到輔助快速決策的目的。傳統(tǒng)的經(jīng)營分析，一般在原有業(yè)務系統(tǒng)上直接進行統(tǒng)計分析，或者建設(shè)數(shù)據(jù)倉庫系統(tǒng)用于分析。前者可能占用業(yè)務系統(tǒng)大量的資源，對正常運營造成極大影響，通常在繁忙的業(yè)務系統(tǒng)上不允許常態(tài)化應用。后者一般在業(yè)務系統(tǒng)閑時從數(shù)據(jù)庫表中按日、按月抽取數(shù)據(jù)，存放在數(shù)據(jù)倉庫中，能進行復雜的分析，但也難以及時運營分析，導致問題發(fā)現(xiàn)時間延遲。因此，設(shè)計一套新的方案，通過讀寫分離技術(shù)將對源系統(tǒng)的影響降到最低，并具備高性能、低延遲，適應復雜業(yè)務環(huán)境，滿足實時、準實時的運營監(jiān)控分析需求。

一、目標

本方案提供了一種基于數(shù)據(jù)庫日志，通過結(jié)合使用數(shù)據(jù)實時復制產(chǎn)品如GoldenGate、流處理產(chǎn)品如Stream和內(nèi)存庫如Timesten，實現(xiàn)對業(yè)務受理數(shù)據(jù)進行及時監(jiān)控的方法。主要目標是：

1、解決了數(shù)據(jù)獲取的時效性問題。提供了一種基于數(shù)據(jù)庫日志的實時數(shù)據(jù)獲取方法，數(shù)據(jù)處理與存儲采用流技術(shù)與內(nèi)存技術(shù)，全過程不寫磁盤，在低生產(chǎn)系統(tǒng)開銷的情況下提升整體數(shù)據(jù)獲取跟分析的性能。2、實時與準實時數(shù)據(jù)應用能力。提供高效的實時統(tǒng)計、實時監(jiān)控與準實時分析能力，將數(shù)據(jù)應用的響應時間由傳統(tǒng)的天級提升到分鐘、小時級。3、輔助快速決策。實時與準實時的數(shù)據(jù)，能提供了更廣闊的應用場景，如基于異常業(yè)務銷售、辦理波動，迅速變更渠道資源如人員排班等工作，又如庫存變更與物流配送時間點合理安排，提升廳店效率，實現(xiàn)減員增效。最終實現(xiàn)將傳統(tǒng)的業(yè)務分析從輔助決策長期目標向提供實時運營，協(xié)助提高企業(yè)管控能力，從而提升了企業(yè)數(shù)據(jù)信息的價值。

二、技術(shù)方案

本方案主要組成部分包括數(shù)據(jù)獲取模塊、數(shù)據(jù)處理模塊、數(shù)據(jù)存儲模塊、數(shù)據(jù)應用模塊、系統(tǒng)管理模塊五個部分。各模塊的功能具體說明如下：

1、數(shù)據(jù)獲取模塊。數(shù)據(jù)獲取模塊包括數(shù)據(jù)實時獲取和數(shù)據(jù)實時加載兩個子模塊。當業(yè)務系統(tǒng)數(shù)據(jù)庫因業(yè)務受理、業(yè)務回退等種種原因產(chǎn)生數(shù)據(jù)變動時，數(shù)據(jù)獲取子模塊根據(jù)預定義需要監(jiān)控的表，通過數(shù)據(jù)復制產(chǎn)品實時捕獲數(shù)據(jù)庫相關(guān)變化LOG并轉(zhuǎn)化成可識別的數(shù)據(jù)格式，傳遞到流處理模塊或內(nèi)存庫。數(shù)據(jù)加載子模塊獲取的數(shù)據(jù)按既定邏輯要求加載到數(shù)據(jù)存儲模塊，過濾清洗掉與實時分析需求無關(guān)的數(shù)據(jù)，降低數(shù)據(jù)存儲的壓力，并保證目標系統(tǒng)與源系統(tǒng)的數(shù)據(jù)一致性。

2、數(shù)據(jù)存儲模塊。數(shù)據(jù)存儲模塊采用內(nèi)存數(shù)據(jù)庫作為存儲介質(zhì)，對數(shù)據(jù)的進行集中存儲與管理，一方面避免了數(shù)據(jù)在處理過程中的大數(shù)據(jù)量交易數(shù)據(jù)落地寫磁盤對分析性能的影響，保障了處理過程的及時性；另一方面內(nèi)存數(shù)據(jù)庫也為外部頻繁的數(shù)據(jù)實時讀取、調(diào)用與分析提供了高效的響應能力。

3、數(shù)據(jù)處理模塊。數(shù)據(jù)處理模塊包括實時數(shù)據(jù)匯總與準實時數(shù)據(jù)分析兩個子模塊。實時數(shù)據(jù)匯總依托流處理的強大在線匯總能力，獲取并提交展示對及時性要求最高、邏輯相對簡單的信息。準實時數(shù)據(jù)分析基于內(nèi)存數(shù)據(jù)庫，按照既定的周期如每10分鐘，對加載的數(shù)據(jù)做輕度匯總，并進一步的分析挖掘，最終提交邏輯相對復雜的分析結(jié)果。

4、數(shù)據(jù)應用模塊數(shù)據(jù)應用模塊在獲取數(shù)據(jù)處理模塊的結(jié)果，并構(gòu)建各類業(yè)務場景，如實時統(tǒng)計，實時監(jiān)控，準實時分析等。實時統(tǒng)計面向業(yè)務量、收入等最核心的指標，展示當前累計發(fā)展量，尤其在短期促銷時可更顯性查看成果。實時監(jiān)控通過監(jiān)控波動率，設(shè)定閥值門限等，及時掌握收入風險、渠道交易異常、庫存情況等，用于管控風險。準實時分析不僅對業(yè)務數(shù)據(jù)做簡單的匯總，還可以通過設(shè)定多個維度，實現(xiàn)更細致的分析，如各渠道橫向?qū)Ρ龋跁r間序列的縱向?qū)Ρ鹊取?/p>

5、系統(tǒng)管理模塊。系統(tǒng)管理模塊是系統(tǒng)穩(wěn)定、高效運行的有效保障，包括調(diào)度管理、負載均衡、異常控制等。調(diào)度管理具備任務管理、依賴管理、并發(fā)管理等功能，按時間定時生成或者按照事件觸發(fā)任務，在滿足系統(tǒng)能力或優(yōu)先級要求時派發(fā)，控制整個系統(tǒng)程序有條不紊執(zhí)行。負載均衡主要對主機集群的管理，將應用均衡分配到各主機節(jié)點，充分發(fā)揮集群的性能，以應對實時、準實時分析帶來的高并發(fā)、高負荷分析與訪問。異常控制則在系統(tǒng)出現(xiàn)異常時，如設(shè)備故障、程序故障時，提供臨時解決方案，確保系統(tǒng)的高可用性。

三、結(jié)語

本方案使用數(shù)據(jù)實時復制技術(shù)，通過抓取數(shù)據(jù)庫日志，實時獲取生產(chǎn)數(shù)據(jù)并通過流處理轉(zhuǎn)換技術(shù)，對業(yè)務受理數(shù)據(jù)進行實時計算，或直接輸出到內(nèi)存數(shù)據(jù)庫中進行準實時分析，最終交付直觀展現(xiàn)業(yè)務信息。在此基礎(chǔ)上能有效提升企業(yè)信息的價值，為實時決策提供更快捷的依據(jù)。