鋼鐵企業基于數據倉庫的運營分析平臺設計及開發

摘 要 數據倉庫系統可用于企業決策分析，利用數據倉庫、數據挖掘技術對業務數據進行系統地儲存和管理，并通過數據統計分析工具實現對客戶數據的統計分析。本文闡述了某鋼鐵企業（以下簡稱公司）利用已積累在業務信息系統中的海量數據，結合管理者及統計分析人員對系統的需求，建立企業運營分析平臺的過程。

【關鍵詞】OLAP 數據倉庫 數據建模 數據轉換 商務智能

隨著計算機技術的快速發展及企業信息化進程的深度推進，如何利用信息系統累積的業務數據，從中提取有價值的信息成為了企業信息化深度應用的研究熱點，通過搜集、管理和分析商業信息，可以形成決策參考，為企業各級決策者服務，使得企業經營管理更加有依據性，為企業經營管理提供更加快捷、高效、精確的決策分析。

目前商業智能已經被很多行業所采用，在大數據呈指數增長且日益成為企業決策依據的戰略背景下，商務智能的需求開始越來越廣泛，商業智能通過將數據建模、數據挖掘、數據清洗等技術，建立聯機分析處理（OLAP）系統，從而輔助企業經營決策。公司以業務信息系統數據為基礎，利用數據倉庫技術，建立起企業運營分析平臺，進一步發揮業務數據價值，為企業管理這和統計分析人員提供了有益的決策參考。

1 背景

2014年以來，公司對信息系統架構進行了改良性設計，并配套完成相關系統改造，建立起對接智能制造的全新信息系統五級架構，公司在企業資源計劃管理、全流程質量設計、全局計劃排程、全過程質量管理等方面取得了跨越式發展，公司借助全新信息系統架構支撐，加快了市場響應速度，提高了客戶滿意度。

在各個信息系統應用過程中中逐漸積累起海量的與生產經營相關的過程數據，在企業的經營決策管理的過程中，如何通過對這些海量數據的利用，使之轉換為有價值的運營統計分析，真正為企業決策管理提供依據和參考，只有這樣，信息化應用的效價值才能得到真正體現。這也是領導決策者和相關業務部門的迫切需求。

2 目標

利用數據倉庫、數據挖掘技術，構建企業級運營分析平臺，集成公司的項目，采購，庫存，成本，財務，人力資源，銷售以其他第三方系統數據。利用各相關系統的業務數據，并對數據進行整合，建立起為面向企業運營業務的關鍵績效指標體系，從而實現面向多維度、及多層級的關鍵績效價值數據分析統計展示。為公司提供一個規范化、透明化、價值化的公司KPI體系分析。

3 系統功能

功能包括采購管理、設備管理、銷售管理、財務管理、人力資源管理等5部分內容。其中采購管理主要包括公司采購量價趨勢分析，采購情況分析，日常庫存管理，生產領用與消耗分析，進銷存資金占用分析等分析主題；銷售管理包括銷售情況分析、資金占用情況、營銷日報；設備管理主要包括主要包括設備點檢績效、設備檔案分析、設備試驗檢驗分析、設備采購資金統計、計劃合同分析、合同綜合分析、設備維修費用分析、消耗統計分析、設備庫存積壓分析、設備庫存分析；財務管理包括庫存分析、資產負債情況、現金流量分析、總賬、資產費用、成本分析；人力資源管理包括人員情況分析、薪酬保險統計等。

4 平臺搭建

4.1 平臺架構

平臺總體架構包括數據獲取、數據存儲、數據展示三部分，如圖1所示：

4.1.1 數據獲取

數據獲取，包括數據的抽取、轉換及加載，數據抽取、轉換及加載的作用是在運營分析平臺與作為數據源的ERP系統、MES系統、設備在線診斷系統、設備點檢系統間，搭建一座橋梁，使以上系統中新發生的業務數據，以預先設計好的數據傳送方式，加載至數據存儲介質中。由于數據源系統中的所屬數據來源不同、數據格式不同、需獲取的業務數據需遵循抽取規則約束、轉換邏輯控制、加載條件限定才能進入數據倉庫系統。

4.1.2 數據存儲

數據存儲包括數據抽取準備區PSA（Persistent Data Staging），主要用于完成對從數據源抽取過來的明細級的數據進行存儲，數據倉庫系統為每個數據源自動生成結構相同的PSA二維表，其中的數據結構與數據源系統的數據結構完全對應，一般不對其中數據不進行邏輯轉換。利用定義好的信息包（Infor Package）并建立觸發規則，完成數據從數據源到數據倉庫中PSA的數據抽取；運營數據存儲ODS（Operation Data Storage），主要用于存儲經過轉換后的明細級的數據，并用于生產經營業務的統計分析；同時，ODS也是實現數據集成，圍繞特定主體，可實現特定主題的日常決策分析 。運營數據存儲對數據時效性要求比較高，數據往來頻率較高，其中的數據是通過數據傳輸過程DTP（Data Transfer Process）完成數據的轉換及加載，在執行數據加載時，將通過實際業務需求，對數據進行邏輯轉換處理；企業數據倉庫包括信息立方體和多信息立方體，兩類信息立方體均為面向主題的多維度數據存儲模型，主要用于存儲整合過的、歷史明細數據。模型按照按業務主題進行歸集，通過數據源系統的數據進行校驗及統一，將不同來源的數據進行轉換，最終將數據整合建立統一的數據分析應用平臺；數據集市層的數據主要面向業務部門，通過數據整合、數據轉換，形成具有多級匯總特性的多維分析層。這層的數據進一步進行不同維度的匯總，可提供針對不同匯總級別的，按照不同主題進行聯合查詢的功能。

4.1.3 數據查詢及展現

數據查詢及展現實現平臺要求的查詢分析功能。其功能是以在信息立方體基礎上建立的多信息立方體為數據基礎，通過查詢設計器，根據具體應用邏輯，設計出查詢。實現通過電子表格及圖表的數據展示。

4.2 平臺建設

下面以主營業務明細報表的建模過程為例，該報表將多維度展現材坯（包括鋼材及鋼坯）、其他產品（包括不合格產品、外礦、水渣、水電費、氣體）的營業收入、營業成本、各項費用、銷售利潤。首先按照數據類型進行數據模型的設計，在需求分析時要確定數據邏輯規則，以材坯和產品的營業收入為基準，對公司各項費用進行分攤。確定基礎數據為交貨項目數據、銷售利潤數據、庫存資金占用數據。

將交貨項目數據作為數據基礎，通過第一層轉換，對銷售數據進行匯聚。通過第二層轉換，將銷售交貨數據與銷售利潤數據與庫存資金占用相關聯，按照成本及半成品，完成財務數據模型和成本數據模型關聯，同時按照銷售收入占比情況，完成營業收入、營業成本、銷售利潤計算及各項費用的分攤。

數據模型中設計并定義了三個信息立方體：主營業務數據模型、銷售明細數據模型、庫存占用資金數據模型，及一個多信息立方體營業利潤數據模型，三個信息立方體為相互關聯的多個事實表，多信息立方體與以上三個信息立方體關聯，并不包含數據。信息立方體內容包括所需數據指標、關鍵值及維度。通過對數據源數據的抽取、加載和轉換，將數據按照既定的邏輯關系加載至數據模型，在處理完成之后，通過數據展示層完成報表展示。報表提供對營業收入、營業業成本、銷售費用、營業稅金及附加、管理費用、財務費用、銷售利潤按照不同維度的統計分析。

5 結語

該項目利用數據倉庫，通過數據抽取加載及轉換，完成了供應業務、設備管理業務、銷售業務、財務管理業務、人力資源業務相關的300多個技術經濟指標的數據展示和統計分析工作，設計并實現了多信息立方體數據模型，作為數據展示基礎，設計并實現了相關數據模型的數據抽取、轉換和加載策略；設計并實現了產量相關數據模型數據抽取和數據加載策略。設計并實現了統計分析系統的數據展示功能。該運營分析平臺可為企業管理層和統計分析人員掌握企業生產經營狀況提供更加有力的支持，能夠適合公司管理者和統計分析人員的工作需求，有助于公司精細化管理邁上了一個新的臺階。

參考文獻

[1]陳永杰. SAP商務智能完全解決方案[M].北京：機械工業出版社，2016：4-28。

[2]林杰斌，劉明德，陳湘.數據挖掘與OLAP理論與實務[M].北京：清華大學出版社，2014：46-47.

[3]w H.IBmon.數據倉庫[M].北京：機械工業出版社聯社，2008：231-238.

[4]陳京民著.數據倉庫原理設計與應用[M].北京：中國水利電力出版社，2004：88-90.

[5]w H.IBmon.數據倉庫[M].北京：機械工業出版社聯社，2005：231-238.

[6]Eric Sperley. 企業數據倉庫[M].北京：人民郵電出版社，2008：90-102.

[7]李擁軍，高學東.鋼鐵企業營銷分析數據倉庫主題、維、粒度的確定方法[J].冶金自動化，2005（05）：16-20.

作者簡介

孫雙（1976-），女，高級工程師。

作者單位

河鋼唐鋼信息自動化部 河北省唐山市 063000