基于地市級移動通信數據集市的整體設計

張世紅,秦浩

摘 要： 為了滿足地市級移動通信的業務需求，通過對邏輯數據集市和物理數據集市的分析，確定了數據集市的設計思路，構建了數據集市的結構，并設計出數據集市的主題模塊。測試表明，其功能模塊和增值業務達到了預期效果。

關鍵詞： 數據集市； 設計思路； 數據結構； 主題模塊

中圖分類號：TP319 文獻標志碼：A 文章編號：1006-8228（2013）06-18-02

Overall design of data marts based on local mobile communications

Zhang Shihong， Qin Hao

（Department of Information technology， Hainan Vocational College of Political Science and Law， Haikou， Hainan 571100， China）

Abstract： In order to meet the local demands of the mobile communications business， through analysis on logical data marts and physical data marts， the overall design of data marts is settled， the data structure is constructed and theme modules are designed. Tests show that its functions on functional modules and value-add services have achieved the desired effects.

Key words： data marts； design ideas； data structure； theme modules

0 引言

地市級移動通信對數據集市的設計目標，包含建設面向應用和面向地市級兩大方面的數據集市。關于面向應用專題的數據集市，因其需求、規劃、設計、布局等與專題分析綁定而相對獨立，不需要統一規劃和設計，本文在此不做重點討論。對于面向地市級的數據集市，由于不同地市數據集市的設計需求和開放的數據集基本相似，相對而言較易統一規劃、設計和管理。因此，本文在數據集市的設計方案中，將著重闡述面向地市級數據集市的設計。

1 地市級數據集市的設計思路

地市級數據集市的設計可分為兩種思路，即邏輯數據集市和物理數據集市[1]，以下簡要討論兩種數據集市的優劣，并確定本文設計數據集市采用的方案。

1.1 邏輯數據集市

邏輯數據集市采用在數據倉庫表上建立邏輯視圖的方式建設（見圖1），其實際訪問的是數據倉庫中存儲的物理表，數據間的訪問都集中在數據倉庫上，通過采用數據庫的自身機制保證數據的完整性和一致性。同時，邏輯數據集市還需要考慮對數據倉庫的性能壓力，以及對穩定性和安全性的影響。

邏輯數據集市的優點表現為：一是成本低，只存儲一份數據，節省存儲空間；二是維護簡單，不需要定時導入導出；三是與倉庫中的數據保持同步更改，沒有延遲。其缺點表現為：因與數據倉庫共享資源，影響數據倉庫的使用，導致性能降低；數據倉庫CPU和MEMORY需要擴容；對省級數據倉庫安全性和穩定性要求增高。

圖1 邏輯數據集市

1.2 物理數據集市

物理數據集市擁有獨立的物理存儲，數據和數據訪問分散在數據集市上，但數據倉庫是其惟一合法的數據來源。物理數據集市一般應建立與數據倉庫同步的管理機制和執行策略，在數據集市和數據倉庫之間建立數據抽取和加載過程，并納入數據倉庫系統的總體調度進行管理。根據不同的數據類型，其數據同步頻度可分為每日或每月，并在數據倉庫發生異常回退時，數據集市須進行同步更新（見圖2）。

物理數據集市的優點表現為：一是與數據倉庫相對獨立，不會影響數據倉庫中數據對象的訪問；二是查詢性能相對于邏輯模型能有較大的提高；三是各地市或專題可以自由使用自己數據集市的數據。其缺點表現為：物理數據集市成本較高，需要將數據集市的數據再存儲一份；存儲費用較大，如果建立獨立的數據庫環境，還需要購買LICENSE軟件；維護較復雜，需要定時導入導出；不能實時反映數據倉庫中數據的變化，數據有一定的延遲，還需要控制數據與倉庫中的數據保持同步。

圖2 物理數據集市

2 數據集市的整體設計

通過以上分析，并從長遠使用角度考慮，本文選擇物理數據集市進行整體設計。因為它解決了地市級專題使用數據倉庫的瓶頸問題，同時為將來數據倉庫的深度開發打下了基礎。此方案雖然在維護上增加了一定難度，但是如果設計方案完善、嚴密，完全可以排除其帶來的負面影響。

2.1 數據集市的設計目標

建設地市級數據集市的最終目標是為了解決地市級專題臨時統計的需要，滿足地市統計高靈活性的要求。數據集市的設計方案為物理集市，即由獨立的主機承載數據集市的數據庫。如按目前經營分析系統的建設進程和規模，各省可選擇由一臺主機或多臺主機承擔所有地市的數據集市，它不僅能夠支持地市級數據集市的應用，還可以支持不同地市的個性化需求，具有較強的通用性，并能保證數據集市的數據及時生成、優化和補充。

2.2 數據集市的結構設計

地市級數據集市的設計結構如圖3所示，需要說明的是：第一，數據集市的數據主要來源于數據倉庫，為了處理效率和速度的考慮，數據集市生成的數據主要來源于入庫前的清洗后文件；第二，為了更好地生成便于地市使用的數據集市查詢數據，在數據倉庫內部需要設計數據倉庫綜合查詢數據層，作為數據倉庫數據的重要補充部分，它可以同時服務于數據倉庫和數據集市；第三，為了便于地市和省中心的數據使用，地市級數據集市的最終數據由數據倉庫的明細數據、綜合查詢數據和ETL文件層的文件數據共同生成[2]。

圖3 地市級數據集市結構圖

3 數據集市的模塊設計

3.1 數據集市的數據模型

數據集市數據及模型由專題數據集市數據和地市數據集市數據兩大部分組成，但在本設計中我們著重關注的是地市數據集市的設計。數據集市數據預處理是在數據倉庫內部實現，本部分是指在生成數據集市的數據時，部分數據不能直接從現有數據倉庫的數據中直接抽取生成，而需要通過預處理來實現（見圖4）。

3.2 數據集市的ETL處理

地市級數據集市的ETL主要分為ETL1和ETL2[3]。ETL1是數據集市ETL數據的主要部分，主要是指把數據倉庫的數據經過分離、轉換和裝載生成到數據集市中。ETL2是指各地市自身的個性化數據，輸入到本地市的數據集市中[4]。本部分數據不允許倒流到數據倉庫中（見圖4）。

圖4 地市級數據集市的構成

4 數據集市的應用

數據集市的應用主要是在移動業務實踐中進行充分呈現，并提高業務的管理效率和管理水平，本文重點通過數據集市的功能模塊分析和增值業務呈現來完成。

4.1 功能模塊分析

數據集市主要是面向地市的數據集市，所以地區選擇已具體到區縣一級（原先是地市一級），其中地區級為省、地級市、縣（區）。數據集市實現的功能模塊有領導關注、區域考核監控、增值業務、大客戶、渠道分析等，它們都已經具體到縣（區）一級的查詢。具體功能包括：①領導關注模塊，主要是為領導每天關注的指標和近期開展的各項營銷活動進行通報。②區域考核監控模塊，主要是為各個區域提供市場發展數據，以及相關考核結果。③增值業務模塊，主要呈現各種增值業務的開展情況，每天每月開通工號、滲透率等。④大客戶模塊，主要為大客戶經理提供信息，使之能為大客戶提供更方便的服務，為大客戶解決疑難問題，并在服務的過程中，針對不同的目標客戶群提供主動營銷和服務。⑤渠道分析，主要是為渠道經理提供信息，使之能對移動各渠道進行更好的管理，如渠道建設、渠道組織管理、渠道業務管理、渠道酬金管理、渠道放號等，從而使渠道更好地為移動服務。

4.2 增值業務應用

數據集市是一個龐大的項目，需要不斷地建設和完善，現僅以增值業務為例，介紹數據集市的實現。增值業務是移動通信運營商為提升品牌附加值開發的新業務，它對提升客戶粘性，增加收入都有非常大的作用[5]。通過增值業務的分析，可以為管理者提供開展各種業務的相關數據。

在增值業務功能模塊中，有短信、彩信，彩鈴、全時通，手機報等功能模塊。通過對增值業務的查詢，可幫助增值業務管理人員方便、靈活地獲得需要的信息。查詢內容包括：歸屬地、日期、開通號碼數、凈增數等指標，向下鉆取可獲得具體號碼明細等信息。對于報表展現以及具體明細，可選取EXCEL或TXT等格式下載、導出或打印。在統一的配置平臺頁面中，可以指定返回數據的存儲過程，還可以設計報表、表頭、配置權限，以及調用存儲過程的參數。當前臺打開報表時，系統按照指定的參數自動調用存儲過程，并返回報表數據。系統每天定時運行一個生成數據的存儲過程，該過程從數據倉庫中整理用戶關心的數據，并及時存儲在數據集市中。

5 結束語

本文分析了邏輯數據集市和物理數據集市的特點，確定了數據集市的設計思路，構建了數據集市的結構，并設計出了數據集市的主題模塊。研究表明，數據集市的主題功能模塊和增值業務的應用效果較好，能夠提高移動通信業務的分析效率和管理水平。另外，由于地市級數據集市作為省級經營分析系統的擴展，仍需要較好的兼容性和擴展性，還需要設計清晰的接口，包括權限管理、數據安全等，地市級數據集市也要預留獨立的擴展空間，為以后建設獨立系統做準備。

參考文獻：

[1] 亞信管理軟件有限公司.數據集市概要設計（V1.0）[P]，2005.

[2] 李艷，楊永健，李樹秋.基于數據集市的電信經營分析系統模型[J].山

東大學學報，2007.11.

[3] 李捷.電信行業經營分析系統_數據集市子系統的設計與實現[D].電

子科技大學，2007.

[4] 于戈，鮑玉斌，王大玲等.數據倉庫設計[M].機械工業出版社，2004.

[5] 陳奕新.無線網絡中的數據集市原型設計與驗證[D].北京郵電大學，

2008.