楊燁
摘要:隨著城市軌道交通新線路的不斷投入運營,如何有效的從線網層面對各線路進行統籌管理將是各個地方軌道交通管理的難題之一。通過建立大數據分析系統,打通各線路各專業之間的數據連接,實現線網級的數據共享,將是解決這個問題的有效方法。
關鍵詞:大數據中心 大數據分析 數據倉庫
一、項目總體設計思路
基于對大數據中心建設中所要解決的關鍵問題的分析,本系統在架構設計思路上既要充分體現靈活性和又要把握住整體性,既要滿足數據中心的現有的業務需求又要能夠支撐未來復雜多變的新增業務需求,既要采用成熟可靠的技術平臺又要充分結合相關的科研成果。
二、柔性的應用系統架構
通過設計柔性的應用體系架構滿足城市級軌道交通指揮中心信息中心系統業務需求靈活多變的特點。所謂柔性的應用系統架構的主要特點包括:各種應用系統的功能模塊可以靈活組合滿足靈活多變的業務需求;復雜的解決方案通過基本的業務功能模塊組合來實現;業務功能模塊間耦合性低,功能模塊可以獨立的開發演進而不影響其它功能,同時加強某個功能模塊的能力就可以提升解決方案的能力;開放的體系,新的功能模塊的掛接以及隨時加入。對于大數據中心項目,柔性的應用體系架構包括以下幾個核心的思路:
(一)以業務工具為功能核心
對應于數據中心的每個業務需求,都會有一個業務解決方案來對應,簡稱業務方案。業務方案本身其實是通過多種業務工具的組合使用來達到一個具體的業務目標。系統的核心架構思想就是將系統的核心功能劃分為多個業務工具,并以這些業務工具為系統功能核心,通過業務流程配置把業務工具靈活的組合起來形成業務方案,以滿足復雜多變的業務需求。
(二)業務方案為業務的核心
針對每一種業務的需求,都可以通過配置業務流程形成業務方案來實現。業務方案可以保存在系統中形成固定的方案,比如一個具體的專題分析業務的方案或者運營評估業務的方案。這些方案可以經過抽象形成固定的業務方案模板,通過設定模板中的不同參數條件,將模板具體化為針對某個特定條件的業務方案。業務方案本身體現了用戶在業務方面的知識和經驗。數據中心在業務發展的過程中,隨著業務需求的不斷增加,新的業務方案會不斷納入到整個業務方案體系中來。從一定意義上說,一個業務方案就代表一個具體的業務,全體的業務方案就代表著數據中心的所要處理的全部業務。
(三)靈活的業務流程配置
數據中心的各類業務需求,無論是已有業務還是未來某個新增業務,都要通過把業務工具通過業務流程組合形成針對性的業務方案,并通過執行該業務方案的方法來滿足業務需求。業務流程的配置有兩種方法,無形的流程和有形的流程。無形的流程就是業務人員不需要借助流程配置工具,而自己根據需要直接調用業務工具。使用者通過人工錄入或者數據加載的方式為工具提供輸入數據,并導出最后的結果;然后再調用下一個工具,加載上一個工具的輸出結果作為輸入并進行操作。在這種流程模型下,流程不是固定的,根據使用者的意愿來隨意調整,最終也不會形成固定的業務方案。有形的流程就是業務人員借助流程配置工具來設計固定的業務方案。在配置業務流程的過程中不需要專業的軟件開發人員來參與,業務人員可以通過人機交互的方式進行業務流程的定制,并形成固定的業務方案,交給系統自動執行。
(四)可管理的業務方案
隨著數據中心的業務發展,會不斷的累積各類的業務方案。作為用戶核心價值所在的業務方案,需要系統提供非常便利和可靠的管理功能,這些功能主要包括:可以創建新的業務方案;可以修改已有的業務方案;業務方案可以長期保存;可以查詢,檢索;可以刪除,更新;業務方案經過設計完成后,可以進行發布,經過評審和使用權限設定后可以在使用者之間共享使用,成為組織級的知識財富;業務方案可以被系統加載執行。執行過程中,通過輸入不同的參數,業務方案被實例化成不同的業務實例,業務實例的輸出結果可以被保存,并提供其他的業務方案使用。
(五)可組合的業務工具和業務方案
業務工具可以通過流程配置行成業務方案。業務方案本身也可以作為業務工具,通過流程配置行成更復雜的業務方案。業務方案的組合本質上就是業務流程的組合,工具是相對穩定不變的,因此業務方案天然就具有與其它業務工具和業務方案的組合的能力。業務方案在設計完成后,可以固化為特定的業務工具,和其它的業務工具具有同樣的使用特性和使用方法。
三、全方位的應用系統集成
大數據中心項目建設中包括多個業務平臺以及眾多的獨立的業務應用系統。這些業務應用系統既可以獨立的實用,也可以通過集成的方法靈活的組合起來使用,解決更加復雜的業務問題。根據業務需求的分析,數據中心對于信息中心系統集成的需求不僅僅是簡單的基于SOA架構的應用集成,而是全方位的集成需求。包括跨系統的界面交互操作需求,跨系統的業務功能調用需求,業務系統間的數據交換需求以及輸出成果的集中管理需求等。針對以上的系統集成的需求,在系統總體設計上需要實現全方位多層次的系統集成的應用系統體系架構。
四、“自頂而下”的數據模型設計
數據模型是抽象描述現實世界的一種工具和方法,是通過抽象的實體及實體之間聯系的形式,來表示現實世界中事務的相互關系的一種映射。在這里,數據模型表現的抽象的是實體和實體之間的關系,通過對實體和實體之間關系的定義和描述,來表達實際的業務中具體的業務關系。數據倉庫建模時通常采用“自頂向下、逐步求精”的方法,建模從設計過程上可以分為以下幾個階段:1.業務建模,生成業務模型,主要解決業務層面的分解和程序化。2.領域建模,生成領域模型,主要是對業務模型進行抽象處理,生成領域概念模型。3.邏輯建模,生成邏輯模型,主要是將領域模型的概念實體以及實體之間的關系進行數據庫層次的邏輯化。4.物理建模,生成物理模型,主要解決,邏輯模型針對不同關系型數據庫的物理化以及性能等一些具體的技術問題。
因此,在整個數據倉庫的模型的設計和架構中,既涉及到業務知識,也涉及到了具體的技術,我們既需要了解豐富的行業經驗,同時,也需要一定的信息技術來幫助我們實現我們的數據模型,最重要的是,我們還需要一個非常適用的方法論,來指導我們自己針對我們的業務進行抽象,處理,生成各個階段的模型。