如何建設數據倉庫

經過多年的信息化建設，中石油四川成品油銷售公司（下稱四川銷售公司）信息系統建設涵蓋了公司經營管理各個層面，為數據倉庫的建設提供了大量的數據源。

2008年，四川銷售公司完成了ERP系統在全公司的全面推廣，不僅實現了銷售“一體化”管控，而且實現了財務業務無縫集成及物流、資金流、信息流的三流合一。2009年加油站管理系統在四川銷售公司1400余座加油站部署實施，對加油站的采購、銷售、結算、庫存、客戶、加油卡等進行全面的專業性管理，控制了零售業務的每一個環節，優化業務流程，提高運行效率和管理水平。2011年二次配送系統和油庫系統在全公司推廣運用，實現對油品品種、運輸路徑、運輸車輛、油站庫存、配送時間的統籌安排和優化，并對配送過程進行跟蹤與監控，提高了配送效率和管理水平。2012年以ERP為核心的五大信息系統全面集成，油庫、加油站、二次配送和ERP系統實現了信息數據自動流轉，減少人為干預，提高了數據的準確性。2013年，銷售應用集成系統將在四川銷售公司試點運用，實現與各銷售信息系統管理者視圖的集成。

四川銷售公司的各個信息系統幾乎覆蓋了公司的各項經營和管理的方方面面，這些業務操作型信息系統的上馬和推廣運用，不僅實現公司各個層面的管控信息化，而且為數據倉庫建設提供了大量的歷史數據源。

建設省級數據倉庫的意義

四川銷售公司建設省級公司的數據倉庫是對中石油總部數據倉庫數據支持功能的補充和完善，有利于提高信息系統數據利用效率，彌補總部數據倉庫無法滿足四川銷售公司對精細化管理等方面信息數據挖掘利用需求的缺陷。

總部數據倉庫“臟數據”過多。由于總部數據倉庫涉及面廣，涵蓋了整個中國石油的勘探與生產、天然氣與管道、煉油與銷售、化工與銷售和其他部分，因而數據非常龐大。假設僅僅以全國32家銷售公司的數據在一起建立一個數據倉庫，那么對于四川銷售公司來說，不僅其他板塊的數據甚至其他銷售公司的大量數據基本上為“臟數據”（按32家來計算，96.8%的數據為臟數據）。大量的“臟數據”不僅犧牲了分析的效率，而且降低了分析質量。

總部數據倉庫的數據粒度級過粗，無法滿足四川銷售公司個性化分析需求。全國中石油旗下加油站每日產生的可以作為客戶分析價值高的卡交易記錄，每日總共可達13億條，平均每月記錄過億，所以在總部級數據上無法提供卡客戶低粒度級的分析。在交易明細記錄上，每年的記錄數預計高達53億條以上，在上億條記錄的數據庫中做任何統計計算幾乎都是要命的事，所以要總部數據倉庫提供“購物籃分析”之類細粒度級的數據挖掘功能是不可行的。

總部級的數據倉庫的主要服務對象不是銷售公司一般管理者（特別是二級公司級以下的管理者）。總部級數據倉庫對四川銷售公司來說，還達不到提升管理和精細化管理的要求。2013年中石油總部推廣運用的銷售應用集成系統主要運用對象是銷售公司、地區公司和地市公司的領導，提供日常辦公、業務數據查詢分析、業務決策、輿情監控和應急指揮等功能；而對于需要大量數據進行分析、挖掘的一般管理人員缺乏分析工具和支持。

數據倉庫設計思路

建立四川銷售公司的數據倉庫不僅是總部數據倉庫數據支持功能的補充和完善，而且是四川銷售公司整合自行開發各類輔助管理信息系統，新增數據挖據分析、商務智能等需求的核心和基石。近年來，四川銷售公司為了滿足自身管理提升需要，陸續開發了加油站輔助管理系統、油庫輔助管理系統、商品管理輔助管理系統、非油輔助管理系統等諸多管理系統。然而這些系統都相互孤立，信息數據沒有集成共享，大部分數據靠人工干預，不僅大大增加了工作量，而且各類信息數據的完整性、正確性和及時性大打折扣，信息數據共享和挖掘功能無法真正發揮。“頂層設計”的總部數據倉庫的數據主要來源于五大系統，雖然確保了不同銷售企業執行同一管理標準，為系統順利集成、統一應用、科學評價奠定了基礎，但是無法滿足因地區和管理差異而新增的個性需求。特別是涉及到與四川本地相關的數據上，總部數據倉庫幾乎是空白。例如分析四川銷售公司及其各個二級的銷售總量、增幅與四川省及其對應地市GDP的總量、增速、能耗的關系時，總部級數據倉庫是無法提供的。如果四川銷售公司有自己的數據倉庫，就可以把四川省及其對應地市GDP的相關數據作為外部數據源進行采集分析。再如需要分析路網建設、競爭對手網點布局對公司自身銷售的影響時，必須要有獨立的數據倉庫，才能快速地得到量化的、科學的分析結果。有了數據倉庫，商務智能才成為可能。沒有數據倉庫，商務智能只能是一個理論。

綜合上述多方考慮，結合中國石油四川內江銷售公司的研究成果、業務經營管理現狀和前期需求調研分析，四川銷售公司的主題需求可分為油品銷售分析、非油品銷售分析、卡客戶分析、商品管理分析、加油站配送分析、財務分析、人力資源分析和市場分析八個主題。根據四川銷售公司信息系統運用狀況，數據源將涉及內部信息系統的有ERP、HOS、FMIS、油庫、二配、加油站管理等，其中市場分析涉及外部數據的采集。

數據倉庫系統接口設計

將數據放置在數據倉庫中既是建設的難點，也是起點。一般數據集成和轉換的過程需要花費約整個數據倉庫建設80%的開發資源。由于ERP、HOS、油庫、FMIS等操作型系統是總部統一開發設計，接口的最佳方式是總部能夠提供對應的數據接口。但是由于“頂層設計”需要，總部沒有開放相關數據接口。如何建立ERP等系統和數據倉庫之間的接口，如何構思編寫ETL軟件實現自動將ERP等操作系統歷史數據到數據倉庫中，是四川銷售公司構建自己數據倉庫的重點和難點，這也是數據倉庫攻關的難點。

通過對當前使用的ERP等系統的調研和分析發現，對于所有系統的數據源可以分為三類。一類是有數據庫訪問方法的系統（例如加油站管理系統的站級系統）；第二類是沒有數據庫訪問方法的系統，但有統一的數據導出方式的系統（例如ERP、HOS、FMIS等）；第三類是既沒有數據庫的數據源，也沒有統一的數據導出方式的系統（例如外部系統數據）。第一類由于能直接訪問數據庫，ETL設計的重點是數據的清洗和集成；第二類有統一的數據導出方式，ETL設計的重點是數據的采集、糾錯和集成；第三類只能依靠設計模版，人工統一導入相關數據。因此對不同系統數據采集接口需采用不同的方法。

數據的集成到清洗

數據集成、轉換和清洗數據是提高數據集成和提高利用效率的必要步驟。數據在從操作型環境向數據倉庫環境的傳送過程中所經歷的轉換非常復雜，一是DBMS的變化，二是操作系統的變化，三是硬件體系結構的變化，四是語義的變化和編碼的變化等，所以必然存在轉化和清洗。在這個過程中首先要將數據集成，當數據進入倉庫時，要對各個應用的不同值進行正確的譯碼，重新編碼為合適的值；其次必須建立各個不同源字段到數據倉庫字段的映射；然后還需將各個系統不同技術存儲的數據必須轉換到同一種技術下存儲。

在數據的轉換與再清洗過程中，可以將數據以一種稱為“時間間隔”的方式裝載進入數據倉庫，操作型環境新更新的數據可以在操作型環境中停留達24小時，然后才轉移到數據倉庫。例如在加油站管理系統得TILLITEM（交易明細記錄表）含有大量的控制類數據，我們取數主要取對應的交易序號、營業日期、油品、價格、數量、金額、折扣、支付方式、卡號、槍號、罐號、起泵、止泵等數據。

保證數據采集準確性

數據的正確性驗證是提高數據倉庫數據準確有效的必要措施。提高訪問現有系統數據采集正確主要有五種方法：一是掃描在操作型環境中那些被打上時間戳的數據（例如采集ERP等系統的銷售訂單時以創建時間為準，因為創建時間是系統自動生成的時間，不能任意更改）；二是只掃描增量文件（例如采集加油站管理系統的站級數據）；三是對取數機制進行了程序自動糾錯，對沒有獲取完全的數據自動重新獲取；四是對后臺數據載入清洗程序進行修正，增加容錯機制，對數據臨時變化等問題進行了日志記錄；五是將有對應關系的數據采集后進行對比（例如HOS的油品銷售日報與ERP系統的純槍銷售訂單進行對比），這種方法相對麻煩、復雜。其糾錯驗證在導入數據倉庫前的臨時數據庫里，一旦驗證正確后，方才導入到數據倉庫。

此外，外部數據的采集對于數據倉庫的建設格外重要，因為可以在一定時間范圍內將外部數據與內部數據進行比較，以便給管理者提供一個獨特的視角。例如天氣變化給公司銷量的影響是多少，節假日對公司銷量的影響是多少，各個二級公司銷量與GDP總量的關系，各個二級公司銷售增量與GDP增量的關系？對此，有必要針對主題需求，增加成品油價格行情，四川（各地區）天氣記錄，四川（各地區）GDP數據（總量、增幅、能耗等）等外部數據的錄入。

細化數據粒度

數據的粒度與分區是進行數據倉庫設計決策的兩個最重要方面。保存所有細節數據是錯誤的，一是存儲和處理的開銷可能是個天價；二是大量數據是有效分析技術的一個障礙；三是前面做的細節分析不可復用。所以對于四川銷售公司來說，采用雙重粒度是非常有意義的。

根據測算，全四川省站級系統的交易明細記錄表一年的總記錄數超過億條，卡交易明細記錄表一年的總記錄數也有千萬以上。所以，必須要根據DSS（決策分析）主題需求，進行雙重粒度設計和分區。例如可以對卡交易記錄進行概要記錄統計（例如開卡時間、總消費額、消費次數、最大消費額、最小消費額、消費品種、消費區域、最近消費時間），便于以后的卡客戶的相關分析，而對交易明細進行海量存儲；同時可以對數據進行分區設計，比如按照年度來分區。這樣大大提高了數據近期數據的訪問速度。

由于非油業務開展還處于初級階段，預計一年的記錄數據估計在幾百萬條，可以保存做類似“購物籃分析”的數據挖掘運用。所以需要對卡交易明細和非油交易明細進行不同粒度的設計，以盡可能低的數據粒度來滿足四川銷售公司DSS分析。

數據集市設計與構想

數據集市主要是針對數據倉庫的主題進行設計。例如在數據倉庫體系結構中將四川銷售公司的主題需求分為油品銷售分析、非油品銷售分析、卡客戶分析、商品管理分析、加油站配送分析、財務分析、人力資源分析和市場分析八個主題。其中每個主題對應一個數據集市，每個數據集市的數據來源于數據倉庫。這樣四川銷售公司的輔助管理系統都可以從數據倉庫中來獲取數據，而且也可以根據后期需求不斷調整。例如每次調價對四川銷售公司銷量的影響（上調、下調），地震對四川銷售公司的銷量的影響分析，卡客戶購買非油貨品的比例，卡客戶購買非油貨品中哪種商品最多，卸油時停止加油對公司的銷量有多大影響，某個加油站從開業以來每天的銷售數量的分析趨勢圖，某張加油卡在四川銷售公司所有加油站的消費情況，新的激勵機制出臺后對公司銷量的影響有多大等需求。只要對數據倉庫設計時不斷地完善與修正，數據做到準確、及時、完整，實現上訴需求科學量化的分析是完全可以的。 （作者單位：張中淋 中國石油內江銷售公司；李亮、陳濤 中國石油四川銷售公司）