王磊 中國五礦股份有限公司信息中心
淺析大數據平臺展現分析優勢
王磊 中國五礦股份有限公司信息中心
大數據平臺中可以進行海量數據的批處理運算,也能夠利用Spark、Storm等技術實現流數據的實施處理和展示,并以圖形化的方式進行產品運行狀態數據的展示,本文是淺析大數據平臺比傳統BI平臺的業務分析和技術優勢。
大數據 信息系統 可視化
近年來,隨著物聯網技術的快速發展,數據采集及其應用技術也受到人們越來越廣泛的關注,獲取產品的實時運行狀態信息,從而對產品狀態進行監控,并通過數據分析進行預測性維修,發現產品故障等質量問題的規律,并應用于產品研發設計與生產過程改進上,已經逐步成為大數據的典型應用場景。企業中有不少的應用系統,例如ERP系統、財務系統、人力資源系統、企業信息門戶等,這些系統一般都有不同供應商提供,他們之間的信息難免有重疊和不一致的情況存在,因此往往存在基礎數據多頭管理,系統間數據一致性差,數據接口沒有實現統一標準和管理,內部信息難以完整統一和共享等多種問題。
我們通過建設全新的大數據平臺,能夠將多種業務系統的數據進行整合和分析,實現以下能力:
統一企業運營報表的提供和展示:通過大數據平臺進行數據集成后,統一企業運營報表的數據源,形成統一的指標體系,實現企業運營報表的統一提供和展示,實現多維度的報表需求,以支撐精確化管理需要。相比而言,各應用系統分別按照本系統的自有數據向外提供運營報表,就會出現不同各部門對數據的時間和業務概念理解不一致,造成不同各系統搞得報表有差異,同時手工進行報表拼湊也會造成差異等問題,更嚴重的是大量按需的對外報表提供對生產系統性能的影響很大。
支撐企業運營過程的統計、監控和考核:全過程的業務支撐需要對市場計劃、營銷活動、銷售活動等各項工作事前預期,事中監控,通過數據集成,基于從各生產系統搜集到市場營銷與銷售的相關信息,對市場營銷與銷售業績完成情況進行統計,并通過對關鍵績效指標和實際完成情況的關聯,完成對各部門的KPI指標進行監控與考核。
支撐企業運營過程所需跨系統數據的批量計算:為了更好的支持企業工作的開展,越來越多運營過程所需的跨系統、大量細節數據的批量計算需求都需要統一的數據集成中心提供相關數據,數據集成中心作為企業運營數據共享平臺,收集企業各業務系統中的運營數據,按照企業數據模型進行數據整合,提供運營數據共享,支撐跨系統數據的應用,提升數據質量。
隨著新興商業模式的不斷崛起和大數據量隱藏著一些其他不可見的關系,傳統的BI系統存在著天生的弊端,這也是原有軟件設計理論的局限所致。
基于傳統軟件設計理論,傳統的報表系統技術上已經相當成熟,大家熟悉的Excel、水晶報表、Reporting Service等都已經被廣泛使用。但是,他們有一個共同特點就是基于就是瀑布式軟件開發模式。其特點就是根據客戶的需求,進行數據分析,數據模型,最后形成軟件。如果客戶需求發生變化,原有的開發流程就需要重頭開始。由于現有BI軟件是基于特定客戶需求進行開發,其數據分析模式已經被定義,其結果也就只是用來最終呈現給客戶而已。
不能進行數據交互、自由組合,由于軟件設計的制約使得定制好的報表過于死板。例如,我們可以在一張表中列出不同地區、不同產品的銷量,另一張表中列出不同地區、不同年齡段顧客的銷量。但是,這兩張表無法回答諸如“華北地區中青年顧客購買數碼相機類型產品的情況”等問題。業務問題經常需要多個角度的交互分析。
不能二次挖掘,報表系統列出的往往是表面上的數據信息,但是海量數據深處潛在含有哪些規則呢?什么客戶對我們價值最大,產品之間相互關聯的程度如何?越是深層的規則,對于決策支持的價值越大,但是也越難挖掘出來。
因此,隨著時代的發展,傳統的數據報表已經不能滿足目前快速發展的商業需求。業務系統越來越多,數據形成孤島數據存在于不同地方,太舊的數據(例如一年前的數據)往往被業務系統備份出去,導致宏觀分析、長期歷史分析難度很大。針對這種情況,我基于具有新技術的大數據平臺建設新時速的全新報表系統。
除了基于大數據平臺完成的數據采集、處理的部分,報表系統的核心是當前火熱的數據可視化技術,數據可視化是一種強大的機制,用來呈現數據并運用專業技術所創造的獨特方法來實現。簡單的餅圖時代已經走遠,隨著大數據的火熱發展,數據可視化方法和呈現形式也日益激增起來,主要的數據可視化可分為探索型和解釋型兩種不同的類型,探索數據幫助人們發現數據背后的故事,而解析數據方便給人們看。當前規劃的總覽駕駛艙偏重于解釋型,基于我們建議的方案,未來可根據業務發展逐步加入探索型的功能。
[1]林偉勝,許卓偉.大數據時代信息系統建設的一些思考[J].信息與電腦(理論版),2013,01:20-22.
[2]楊延紅.大數據時代下信息系統建設研究[J].信息與電腦(理論版),2016,06:27-28.
[3]劉婷婷,李長儀,張立濤.大數據時代下信息管理與信息系統專業培養模式研究中國電力教育,2014,02:48-50.