基于大數據云分析平臺的企業經營分析系統建設①

汶拴勞

(上海寶信軟件股份有限公司, 上海 201203)

1 前言

隨著大數據、云計算、移動應用、可視化、人工智能等新技術的出現, 企業經營分析系統呈現出數據來源多樣性、數據類型豐富化、數據處理實時化、數據存儲海量化等特點.這些日積月累的數據形成了一個企業的巨大“寶藏”, 如何對其進行有針對性的開發,挖掘出有價值的信息, 形成企業知識, 指導企業的經營決策, 以適應大數據新時代業務發展需求, 全面支持企業各個層面的經營決策, 是鋼鐵企業迫切需要解決的問題[1].

以財務分析為中心理念建設的企業經營分析系統為企業正常運營發揮了關鍵作用, 但在使用了近十年之后, 經營分析系統已不能滿足企業業務發展需求:對項目精細化管理缺乏支撐, 信息化存在信息“孤島”, 影響跨部門數據貫通.經營分析系統已無法適應大數據新時代的企業全方位業務分析的需求, 系統應用功能也主要以報表方式呈現, 無法滿足新形勢下的用戶自助分析及可視化分析需求, 系統架構采用小型機+ 傳統盤陣+ 關系型數據庫的IOE架構[2], 主要不足方面如下:

1) 數據信息不完整:數據主要來源于企業內部ERP信息系統, 缺少外部數據信息, 缺少對項目精細化管理支撐, 還無法構建面向多層次、多維度、跨領域的信息架構.

2) 架構不夠靈活:現有小型機+傳統磁盤+關系型數據庫的IOE架構, 該架構需要通過一個狹窄的數據管道將所有的I/O信息過濾到共享磁盤子系統, 在進行大量數據的存取時, 無法高效管理磁盤的并發, 處理緩存的同步, 產生數據處理的性能瓶頸[3].

3) 應用缺乏實時性:分析數據多為事后處理, 無法及時反應業務數據狀態, 無法滿足財務日常管理實時性分析需求.

4) 維護成本高:面對海量數據, 傳統經營分析系統負荷急劇增加, 引發I/O性能下降, 系統數據處理時間變長、前端應用訪問性能變慢等問題, 企業面臨著系統存儲容量和計算能力的長期擴容壓力, 運維成本及投資成本上升.

基于以上分析可以看出, 現有經營分析系統已經不能適應大數據時代的企業業務發展需要, 構建高性能、低成本的基于大數據云分析平臺的企業經營分析系統勢在必行, 也是企業未來發展的趨勢.

2 系統建設技術路線及總體框架圖

2.1 設計思路

本系統的設計思路如下:系統硬件基礎平臺基于寶之云數據中心先進的虛擬化資源分配技術, 可以通過在線橫向擴展x86計算節點連接成集群, 利用高可用資源調度技術, 使之在集群上運行[4], 支持高并發訪問和海量數據處理.海量數據處理工具采用基于x86平臺的MPP數據庫集群和基于x86平臺的Hadoop集群, 借助于云計算的支撐, 通過分布式框架和技術,支撐海量數據處理, 把計算任務分配到要處理的數據所在的節點上運行, 讓CPU盡可能處理內存的數據或本地硬盤的數據, 避免網絡通訊開銷, 顯著提高分布式系統的性能, 實現對海量數據的高速并行處理.應用開發工具采用寶信信息系統平臺iPlat4J及寶信移動應用平臺iPlat4M, 他們都是基于J2EE三層架構的技術路線, 是擁有完全自主知識產權, 為支持企業實現業務流程信息化、應用程序移動化而構建的完整平臺體系架構, 它通過一系列全面的服務, 幫助企業快速開發應用程序及將應用、數據和業務流程移動化到主流移動設備上.

2.2 技術路線

大數據云分析平臺軟件技術架構如圖1.

1) 數據抽取層:

數據抽取層部署IBM DataStage軟件, 完成將源數據從業務系統抽取至數據存儲層的功能.

2) 數據存儲層:

數據存儲層部署 IBM DB2 Data Warehouse 和Hadoop軟件, 組成MPP數據庫集群和Hadoop集群,對外提供數據存儲和大數據處理服務.

3) 分析服務層:

分析服務層部署IBM Cognos BI數據分析軟件,通過軟件集群功能組成數據分析集群, 對外提供數據分析功能.

4) 元數據管理:

貫穿整個云分析平臺各層之間的元數據管理功能,安裝IBM DB2數據庫, 提供元數據管理服務.

5) 信息服務層:

信息服務層采用獨立的虛擬機進行部署, 安裝WebSphere中間件組成集群, 分別在其上部署相應的基于寶信信息系統平臺iPlat4J和寶信移動應用平臺iPlat4M開發的信息服務應用程序, 通過服務調用方式訪問分析服務層的服務, 通過JDBC接口訪問數據存儲層的數據.

圖1 大數據云分析平臺軟件技術架構

2.3 系統總體框架圖

為滿足大數據時代企業業務發展需要, 企業經營分析系統按照新一代”云平臺、服務化”架構模式進行架構設計, 采用分布式、大數據、云計算等新技術, 構建高性能、高可用、可擴展的分布式應用系統, 基于大數據云分析平臺的企業經營分析系統總體框架如圖2.

按照系統功能職責劃分, 基于大數據云分析平臺的企業經營分析系統總體框架由數據采集云、數據存儲云、數據分析云三個平臺層構成, 主要從功能分擔的角度描述構建該系統所涉及到的技術, 數據的流向及組織.

圖2 企業經營分析系統總體框架圖

2.4 系統各層功能

1) 數據采集云通過云平臺ETL工具將業務系統原始數據抽取到數據存儲云中, 執行源數據的清洗、格式轉換和合并計算等功能[5].從業務系統抽取原始數據, 需要考慮以下因素:元數據注冊、增量抽取與加載和調度方式.

2) 數據存儲云主要存儲業務系統原始數據、主題明細層數據、主題匯總層數據、自助分析數據.數據整合通過x86平臺的MPP數據庫集群和基于x86平臺的Hadoop集群對業務操作數據進行清洗和一系列的轉換, 然后裝載到數據存儲云.數據存儲云按照共享、標準原則, 集中存儲企業集團共享數據和標準化數據, 為經營分析系統應用提供基礎數據.

3) 數據分析云按照集團共享分析云、標準化分析云、個性化分析云相結合的方式, 實現領導關注、業務分析報表體系、自助分析、數據挖掘等應用功能,用戶借助企業WEB信息門戶、移動信息門戶, 以可視化方式快速獲取數據信息.

3 企業經營分析系統的實現

為應對海量數據存儲、海量數據處理及滿足企業的工程、服務、研發三大板塊業務的發展需求.基于大數據云分析平臺的經營分析系統跨系統采集業務數據, 采用云ETL替代原ETL, 應用云MPP數據庫并行架構進行數據存儲與數據處理, 構建共享應用統一平臺, 移動應用統一平臺以實現面向多層次、多維度、跨領域的信息架構, 符合企業應用安全體系的認證授權管理, 具體實現如下.

3.1 采用云ETL替代原ETL[2]

ETL即數據的抽取(Extract)、轉換(Transform)、裝載(Load), 基于大數據云分析平臺構建企業數據統一采集平臺, 實現定時抽取業務系統合同、項目、庫存、科研、固定資產、財務原始數據和前端應用在線實時調用數據抽取服務, 實現數據準實時抽取采集, 如圖3.

圖3 企業數據統一采集平臺

1) 作業定時調度

按照業務系統分類, 每個系統創建Job Sequence作業, 在Datastage中配置調度時間進行調度.如圖4所示, 不同數據表之間的抽取依賴, 可以用數據庫記錄的方式, 每條數據庫記錄的數據表抽取執行完畢后, 更新數據庫配置表的抽取時間及執行狀態.該作業最終用Sequence Job進行調用, 實現數據抽取自動化.

圖4 基于數據庫記錄方式抽取數據表

2) 實時數據抽取

創建 Datastage Server job 以 Service 方式發布在Server服務器上并對外提供實時數據抽取服務, 用戶通過使用前端應用功能畫面調用Server job服務, 實現對JOB進行控制, 執行數據抽取作業、執行數據整合作業并將執行狀態寫入系統日志.

采用云ETL替代原ETL, 使的Datastage在從業務系統抽取數據至DB2數據庫時, 數據加載的高效性得以充分體現, 數據加載速度可達到1.2G每分鐘, 具體性能參數可參考表1.數據抽取性能的提升, 降低了系統抽取異常事件的發生, 有效的降低了系統運維成本.同時, 實時數據抽取功能, 解決了應用層缺乏實時性的缺點, 滿足了財務人員日常財務活動分析需求.

表1 數據抽取性能參數

3.2 大規模并行數據處理

構建基于大數據云分析平臺的企業經營分析系統“混搭結構”, 選擇基于x86平臺的MPP數據庫集群與基于x86平臺的Hadoop集群相結合的方式處理海量業務數據, Hadoop成為了典型的非結構化大數據批量處理架構, 由HDFS負責靜態數據的存儲, 并通過MapReduce將計算邏輯分配到各數據節點進行數據計算和價值發現[6].使企業經營分析系統具備完備的數據處理能力, 實現對結構化數據和非結構化數據的有效挖掘和分析[3].

海量結構化業務數據處理平臺部署IBM DB2 Data Warehouse 軟件, 組成 MPP 數據庫集群, 將業務系統合同、項目、庫存、科研、固定資產、財務數據抽取到數據存儲云, 創建數據表結構時選擇數據分布均勻的分區主鍵, 將數據均勻分區到不同的物理節點上, 按照規劃的數據分析主題模型對數據分布式存儲和計算, 然后把各節點計算的結果匯總[7], 以滿足企業對海量結構化業務數據處理需求, 基于大數據云分析平臺的分布式數據處理, 充分發揮了MPP集群海量數據處理優勢, 通過主題作業性能測試, 主題作業執行效率比傳統平臺快6倍以上, 批次作業執行性能參考數據如表3所示, 數據處理效率的提升減少了作業執行時間, 前端應用響應時間控制在3秒以內, 有效的保證了系統的可用性, 提高了用戶的滿意度.

表2 測試環境及配置

表3 數據處理性能參考數據

海量非結構化業務數據處理平臺部署Hadoop軟件, 組成 Hadoop 集群, 它可利用集群資源, 以高并行度處理用戶上網日志、網頁爬蟲、網頁分析等文件數據,并將處理后的結果按照結構化格式回寫到MPP數據庫, 滿足企業對海量非結構化業務數據處理需求.

3.3 共享應用統一平臺

為了支撐企業的工程、服務、研發三大板塊業務的發展, 基于大數據云分析平臺的企業經營分析系統以合同、項目為主線的數據分析體系, 實現營銷合同、項目過程管理、采購合同、項目核算跟蹤分析, 并實現業務與財務的數據貫通、信息共享需求, 功能架構如圖5.

圖5 系統功能架構

1) 領導關注

基于大數據云分析平臺的企業經營分析系統領導關注模塊, 將企業領導關注的主營收入、利潤、可控費用、新簽合同、新簽毛利、應收賬款、尚未確認收入、項目狀態、資金占用等關鍵指標, 納入企業核心監控指標體系.采用可視化技術將指標以更直觀的方式呈現給領導, 為企業經營管理決策服務, 如圖6.

2) 報表體系

基于大數據云分析平臺的企業經營分析系統以財務為中心, 以業務為驅動, 以營銷、工程、服務、采購管理一體化為核心, 以合同、項目為主線, 構建企業級報表分析體系.通過業務和財務的數據貫通, 實現業務與財務活動的雙向跟蹤分析, 提升業務管理水平的同時, 也有力的支撐了財務管理的核心內容.同時根據不同類型項目特點, 實現項目過程精細化管理.

企業經營分析系統報表數據模型開發工具采用Cognos FrameWork Manager, 它可以連接數據存儲云數據庫, 對業務數據分析模型進行建模, 為Cognos報表、多維分析等應用提供統一的數據視圖, 并將生成的元數據包發布到Cognos服務器上.報表開發工具采用 Cognos Report Studio, 在已發布的元數據包的基礎上, 開發固定報表、交互報表、交叉報表、多維分析等, Cognos報表樣例如圖7所示.

圖6 領導關注

3) 自助分析

部分用戶由于自身業務的需要必須對數據進行更深入、全面的研究和分析, 因此, 需要在現有固定報表的基礎上進行個性化的分析, 自助分析就是為了滿足用戶個性化分析的需求.基于大數據云分析平臺的企業經營分析系統自助分析工具采用基于寶信信息系統平臺iPlat4J開發的自助分析應用, 完成多維數據計算,自行開發多維數據分析功能[8].自助分析應用可以將存儲云作為數據源, 用戶通過各種拖拽式操作, 設置統計維度、指標及篩選條件, 并按照用戶設置的報表樣式(如:表格、餅圖、柱形圖、折線圖)生成自定義報表,以滿足用戶個性化需求.同時, 系統開發人員由全程定制報表, 轉向專注于后臺數據準備工作, 按照業務主題組織好業務數據并將數據表權限開放給用戶, 由用戶主導按需定制報表, 如圖8所示.

3.4 移動應用統一平臺

基于大數據云分析平臺的移動應用統一平臺對經營分析系統部分報表功能進行了移動化擴展, 目前功能包括新簽合同完成情況(按營銷部門)、新簽合同完成情況(按工程部門)、項目收款跟蹤分析等功能.移動應用功能上線后, 進一步提升了企業協同辦公能力.

移動應用統一平臺基于寶信移動應用平臺iPlat4M開發移動報表, iPlat4M是位于移動終端系統平臺與企業應用系統之間的中間層, 它提供后端業務系統快速集成、多種前端平臺覆蓋和網絡通訊適配等服務, 支持 iPad、iPhone、Android 智能手機, 在實現簡潔高效、互聯互通、資源共享的同時, 滿足企業在數據分析、授權管控等方面移動化擴展的要求.移動應用統一平臺采用HTML5開發框架, 支持使用HTML、CSS和JavaScript構建前端移動報表應用.用戶通過安裝在移動終端上的基座程序統一訪問移動分析應用, 移動應用門戶如圖9所示.

圖7 Cognos 報表樣例

圖8 自助分析工具

3.5 統一身份認證管理系統

為了滿足企業對使用業務數據安全管理的要求,在企業級層面建立了一套統一認證管理系統, 負責對企業內所有業務系統提供實時在線用戶身份認證服務[9],實現了用戶采用一套用戶名和密碼即可訪問不同應用系統的效果, 統一身份認證管理系統如圖10所示.

寶信信息系統平臺iPlat4J平臺組件ePass企業認證和授權管理產品, 實現了與 IBM Cognos BI數據分析軟件的數據管理產品的認證、授權的集成, 基于大數據云分析平臺的企業經營分析系統基于統一的用戶授權管理界面, 對系統功能、數據資源進行授權和管理, 用戶登錄進系統后, 獲取登錄用戶擁有的角色, 按照角色檢核用戶資源操作權限并進行權限控制.

圖9 移動應用統一平臺

圖10 統一身份認證管理系統

4 企業經營分析系統運行效果

基于大數據云分析平臺的企業經營分析系統, 遵循”整體規劃、分步實施” 的策略, 于2013年投入使用, 2016年全面建成, 系統的廣泛應用, 取得了以下效果:

1) 跨系統采集、管理、分析合同、項目、采購、資產、財務業務數據, 提供面向業務主題的多層次、多方面、多維度信息架構, 全面支撐企業各個層面的經營決策.

2) 靈活的混合平臺架構既支持傳統數據分析也支持大數據分析.具備高效快速的海量數據存儲和大數據處理能力, 解決了系統性能瓶頸問題, 提升了作業執行效率, 降低了企業運維成本.

3) 實時數據抽取功能, 變離線分析為在線分析, 解決了應用層缺乏實時性的缺點, 滿足了財務人員日常財務活動分析需求.

4) 企業在報表功能、授權管控等方面實現了移動化擴展的要求, 用戶可以通過主流移動化設備訪問報表數據并跨地域辦公, 進一步提升了企業在線協同辦公能力.

5) 數據安全管理方面實現了統一認證管理系統,用戶采用一套用戶名和密碼即可訪問不同應用系統的效果, 實現了企業多系統的集成和單點登錄效果.

5 小結

為應對海量數據存儲、海量數據處理及支撐企業

工程、服務、研發三大板塊業務發展需求的背景下, 設計并構建了基于大數據云分析平臺的企業經營分析系統.本文重點介紹了該系統的建設技術路線、總體框架圖、系統實現及應用效果.基于大數據云分析平臺的企業經營分析系統的應用, 滿足了用戶日常業務數據分析、信息共享和業務協同需求, 支持企業績效評估、經營分析、經營決策、戰略設計以及各部門的業務運作優化等.在后期的系統建設方面我們還要結合用戶的使用效果, 繼續加強應用深度和應用廣度兩個方面的拓展.從未來的發展看, 大數據資產對企業業務發展越來越重要, 與第三方企業合作, 構建大數據生態體系和能力開放平臺的數據租賃、數據分析、數據分享服務等將是下階段的研究方向.