投送裝備器材數據倉庫的設計與構建

2018-05-09 02:41:52

物流技術 2018年4期

關鍵詞：設計

（軍事交通學院學員四大隊，天津 300161）

1 引言

投送裝備種類繁多，其數據倉庫系統的設計與建立過程十分繁雜，一個完整的數據倉庫系統開發流程涉及到數據源、數據倉庫所對應的數據庫以及數據分析和報表工具等多個方面問題。本文主要進行投送裝備器材數據倉庫（簡稱DW）的設計與建立，涵蓋的內容有投送裝備器材倉庫數據源分析、數據倉庫邏輯模型、概念模型與物理模型的設計、數據的ETL操作以及數據倉庫的實現這幾個主要部分。

2 投送裝備器材數據倉庫的構建模式及數據源結構分析

設計數據倉庫原則的中心思想是實際業務與需求，并通過已有的數據進行驅動。即圍繞著實際業務方向的需求，確定數據倉庫系統的范圍和整體框架，并在已有數據源的基礎上，從已有的操作型業務數據出發來設計。

2.1 投送裝備器材數據倉庫構建模式選擇

數據倉庫的構建模式一般分為兩種，分別為自頂向下的構建模式與自底向上的構建模式。

自頂向下模式如圖1所示，即先考慮整體后考慮局部的模式，再由數據倉庫分離出各個具體業務部門和主題的數據集市。

自底向上模式如圖2所示，即先考慮局部后考慮整體的構建模式，把內部各個部門需求看成是系統決策的子目標，針對各個子目標建立數據集市，然后進一步對整個系統加以完善和擴充，最終建立一個成熟的數據倉庫，實現對整體目標的決策支持。

圖1 自頂向下模式

圖2 自底向上模式

針對本文所研究的投送裝備器材數據倉庫的實際情況，各個業務部分之間的數據相對較為統一，因此可以采用數據規范程度高、支持相對快速有效分離地應用于各部門的自頂向下構建模式進行數據倉庫的開發。下面分別對各個流程進行詳細的分析。

2.2 業務需求分析及數據源結構分析

投送裝備器材數據倉庫建立面向的業務需求是輔助倉庫管理人員進行投送裝備器材庫存的控制決策，為倉庫管理人員提供直觀的數據分析與數據展示功能，為決策支持系統提供數據來源。通常數據倉庫可以為DSS提供以下的服務功能：

（1）數據的抽取，依照主題從業務數據庫中抽取分析所需數據，完成對元數據的求和、分類、統計等操作。

（2）數據的凈化，去除問題數據并補充缺損數據。

（3）根據決策目標的不同，可以根據決策主題進行數據查詢和訪問，提高數據查詢和分析的效率。

（4）通過數據分析等工具來展示數據倉庫中豐富的數據，為預測趨勢、制定決策提供信息來源。

部隊投送裝備器材倉庫主要職能是對部隊投送裝備器材實施儲存、供應以及管理。對于器材倉庫的管理人員而言，業務目標是有效的控制各種器材的庫存，減少庫存管理過程中人力物力財力的消耗，數據來源則是器材倉庫日常的出入庫業務數據。本文數據倉庫的建立是為了實現庫存決策支持提供數據分析支撐，數據倉庫的用戶更關心的問題是投送裝備器材庫存的供應和需求的變動趨勢以及庫存的狀態。因此數據源結構應該包含短期和長期的器材供應量（入庫量）、器材消耗量（出庫量）、訂貨時間、訂貨周期、庫存器材種類、庫存器材數量。同時也應該確定數據的總量以及數據質量，對數據的寬度、密度，數據的正確性、規范性以及一致性都有相應的要求。

3 投送裝備器材數據倉庫概念模型設計

數據倉庫的設計流程包括概念模型的設計、邏輯模型的設計以及物理模型的設計三個步驟，其設計流程區別于傳統數據庫面向應用的設計方式，數據倉庫是根據主題進行數據的組織。

3.1 系統邊界的界定

為了能將數據倉庫應用于決策支持，使用者需要通過數據倉庫對投送裝備器材倉庫的實際庫存水平和庫存狀況有一個全面的了解，以維持合適庫存。因此為了能夠對數據進行規范、有效且完整的分析，數據倉庫中數據來源應基于倉庫較長時間范圍內（本文選取時間范圍為年度）的庫存器材品類數據、出入庫數據、庫存量數據等數據、倉庫內部情況數據、器材需求數據等，系統的邊界定義為原有的車材庫存管理信息系統。

3.2 建立信息包圖

信息包圖中包含了三個目標對象：度量指標、維度和類別，在概念模型的設計中使用信息包圖的關鍵在于對這三個對象的內容設計。

信息包圖的設計實際上為一種自頂向下的建模方式，首先以數據倉庫使用者的視角進行設計，再以數據倉庫管理者的視角對各個主題所涉及到數據的多維特性進行分析，考慮各種信息源以及以何種方式影響業務活動，倉庫信息包圖應包含器材倉庫管理活動中的關鍵業務指標因子。

以下通過對某投送裝備器材倉庫的庫存情況進行分析制作信息包圖，通過對該庫近期庫存情況的進一步分析和了解，可得到以下論述。該圖以庫存分析為主題，歸納相關事實和指標、數據的維度和層次，確定了數據的類別和粒度，見表1。

表1 DW信息包圖

3.3 設計基于主題域的概念模型

通常確定主題域是為了更加深入地了解業務間的聯系和關系，在確定了主題之后，還需對各個主題進行不同程度的細化以得到所面向主題的邊界。

數據倉庫主題域結構包括了訂貨主題、需求主題、器材主題、庫存主題四個主題域，各個主題域包含有其主題內的主要關鍵指標，各主題之間的邏輯結構關系如圖3所示。

圖3 主題域設計

設計數據倉庫的過程通常需要不斷進行完善和改進，因此在開始時傾向于選擇較為重要的主題作為設計起始點。通過將主題邊界的劃分方式應用于關系模型，把對主題域的劃分與事務型數據庫中的數據表相結合，得到初始化的概念模型。在上述的各個主題中：投送裝備器材主題可能包含投送裝備器材表、供需關系表等；器材倉庫主題可能包含倉庫表、倉儲關系表、倉庫管理關系表等。將這些表的關鍵字段連接起來，可以得到如圖4所示的概念模型。

圖4 數據倉庫概念模型

4 投送裝備器材數據倉庫邏輯模型設計

4.1 根據需求分析與信息包圖設計星型圖

傳統數據庫設計邏輯模型時通常會采用實體關系圖（ER圖）的方式，把概念模型進一步轉為邏輯模型，在前述信息包圖的基礎上設計星型圖。星型圖要素分別對應著信息包圖中的對象。指標實體位于星型圖中心，是最基礎的業務實體以及數據查詢的核心，在信息包圖中，其對應著指標對象，其作用是為使用者進行各項業務活動提供定量數據，根據信息包圖的內容，指標對象為對投送裝備器材庫存的分析。在以上所構建信息包圖的基礎上進行星型圖的設計，所得星型圖結構如圖5所示。處于中心位置的為事實表，用于對器材庫存的分析，處于五個星角的分別是器材信息、時間、訂貨信息、器材需求、倉儲信息這五個維度。

圖5 星型圖設計

由圖5能夠看出星型模式的結構實際為一種關系型數據結構，利用事實表以及若干個維度來支持決策所需的數據。在星型圖中間位置的是事實表，用于分析主題，位于星角的是維表，用于描述相關屬性。事實表中一般包含特定的事件數據，例如一年的器材需求總量和器材訂貨總量等數據，新的數據會被不斷的添加進去。

4.2 粒度的選擇與設計

一般而言，越詳細的數據其對應的數據粒度越小，級別越低；反之，綜合度越高的數據，其數據的粒度也相應越大，所處的級別也越高。在粒度設計中產生的差異會造成數據倉庫邏輯模型的差別以及數據實際物理存儲情況的差別，而數據倉庫的分析層次功能與數據的物理存儲空間往往存在著矛盾關系，因此需要合理地設計粒度以符合實際情況。

根據對投送裝備器材倉庫庫存需求情況分析設計相應的數據粒度形成的邏輯模型如圖6所示。

各字段的解釋說明見表2。

5 數據的ETL操作和轉移

通過構建數據倉庫的三層模型，能夠確定各個維表以及事實表的大致結構，接下來就需要匯總現在投送裝備器材管理信息系統中的操作型數據，將其進行處理并導入各個維表以及事實表。該過程在數據倉庫的創建中，是一項工作量很大而且關鍵的重要環節。從操作型數據庫中提取數據倉庫所需要的數據需要一整套的流程，即ETL（提取，轉換，加載）的操作。