福建煙草數(shù)據(jù)中心主數(shù)據(jù)管理系統(tǒng)的設計與實現(xiàn)

黃錦輝

摘 要：福建煙草現(xiàn)有系統(tǒng)大都是采用從下至上、業(yè)務豎井的構(gòu)建模式，重點偏向指定的業(yè)務域，數(shù)據(jù)被分散到各個業(yè)務系統(tǒng)分別獨自管理和使用。這就使得各系統(tǒng)之間形成信息孤島，造成了系統(tǒng)間主數(shù)據(jù)的不統(tǒng)一。針對此問題，結(jié)合工作實際，本文就福建煙草數(shù)據(jù)中心項目中的主數(shù)據(jù)管理系統(tǒng)方面進行設計和實現(xiàn)，旨在通過主數(shù)據(jù)管理項目的建設，幫助福建煙草全方位深層次的梳理企業(yè)信息資源的現(xiàn)狀，提供一套科學完整的方案來解決數(shù)據(jù)層面的不一致問題，同時站在企業(yè)長遠發(fā)展的角度，搭建一個高擴展性和延續(xù)性的主數(shù)據(jù)管理平臺，建立符合企業(yè)業(yè)務發(fā)展的數(shù)據(jù)規(guī)范管理體系。

關鍵詞：數(shù)據(jù)中心；主數(shù)據(jù)；J2EE

一、緒論

（一）研究內(nèi)容

1.全面深入梳理福建煙草公司各業(yè)務系統(tǒng)主數(shù)據(jù)資源，設計符合行業(yè)特性和企業(yè)現(xiàn)狀的權(quán)威主數(shù)據(jù)模型，數(shù)據(jù)模型設計充分考慮完整性和預見性。

2.根據(jù)主數(shù)據(jù)資源的梳理結(jié)果制定相關的標準編碼規(guī)范，明確不同主數(shù)據(jù)的編碼規(guī)則，建立企業(yè)統(tǒng)一的標準編碼體系。

3.構(gòu)建集中的主數(shù)據(jù)管理平臺，實現(xiàn)主數(shù)據(jù)統(tǒng)一管理。通過平臺來支撐主數(shù)據(jù)日常維護、主數(shù)據(jù)版本管理、主數(shù)據(jù)完整視圖展現(xiàn)、主數(shù)據(jù)質(zhì)量把控和主數(shù)據(jù)分發(fā)同步等操作功能。

4.制定標準化規(guī)范化的主數(shù)據(jù)管理制度，明確主數(shù)據(jù)維護的相關責任對象及審批流程。指導和約束整個主數(shù)據(jù)管理交換體系中參與者執(zhí)行數(shù)據(jù)維護和實現(xiàn)數(shù)據(jù)共享的動作和行為。

二、系統(tǒng)總體設計

描述項目設計的系統(tǒng)架構(gòu)、技術路線、技術難點，網(wǎng)絡拓撲圖、數(shù)據(jù)處理流程。針對主數(shù)據(jù)管理系統(tǒng)的管理需求、業(yè)務需求、接口需求、功能需求以及技術需求，在總體體系架構(gòu)中，我們采用J2EE技術架構(gòu)，使用廣泛接受的標準（如XML和SOAP）和松耦合的設計模式。同時，基于J2EE的技術架構(gòu)和開放標準將有利于構(gòu)建一個易于擴展和可伸縮的系統(tǒng)。如圖1所示：

（一）業(yè)務架構(gòu)設計

管理平臺針對主數(shù)據(jù)以“統(tǒng)一維護、集中存儲、統(tǒng)一分發(fā)、實時監(jiān)控”的管理思想指導主數(shù)據(jù)管理的實施。根據(jù)福建煙草當前的業(yè)務現(xiàn)狀和具體需求采用合適的適配器完成企業(yè)內(nèi)訂閱系統(tǒng)的主數(shù)據(jù)分發(fā)，通過WEB服務接口向上級機關或者其他行業(yè)用戶提供主數(shù)據(jù)查詢服務。

（二）技術架構(gòu)設計

主數(shù)據(jù)管理平臺的技術架構(gòu)使用基于 J2EE 平臺的SOA風格的架構(gòu)。系統(tǒng)使用標準的 J2EE 服務器，使用標準的技術，并實現(xiàn)與企業(yè)內(nèi)部門戶系統(tǒng)的集成和通過接口適配器與外界進行服務的發(fā)布和信息的交互。

系統(tǒng)使用基于J2EE平臺上的多層結(jié)構(gòu)。系統(tǒng)從技術實現(xiàn)角度分成三個層次。

展現(xiàn)層：前端展現(xiàn)使用struts2展現(xiàn)框架加 jquery 的前端JS工具，實現(xiàn)標準的ajax 的富交互應用，以實現(xiàn)良好的用戶體驗，同時不使用 ActiveX，Java Applet 等技術以避免客戶機安裝配置的麻煩。

業(yè)務服務層：業(yè)務服務使用Java bean 實現(xiàn)相應的業(yè)務邏輯，并把Java bean 由 Spring 框架托管實現(xiàn)依賴性的自動注入。業(yè)務 bean組織業(yè)務邏輯，并可以方便的把相應的業(yè)務操作暴露成系統(tǒng)服務供其它系統(tǒng)調(diào)用。

OR映射層：使用hibernate加spring jdbc映射工具實現(xiàn)對象到關系數(shù)據(jù)庫的映射[10]。

三、系統(tǒng)詳細設計

主數(shù)據(jù)管理系統(tǒng)主要包含主數(shù)據(jù)交換、主數(shù)據(jù)查詢、主數(shù)據(jù)管理、標準管理、統(tǒng)計分析五大主要功能，本章將針對整個系統(tǒng)的各個功能模塊給出詳細設計。

（一）主數(shù)據(jù)標準管理

主數(shù)據(jù)標準管理模塊包含內(nèi)容如下所示：

1.資源目錄管理：

實現(xiàn)對資源目錄的新增、刪除、修改功能，目錄支持三級以上的分類層次。

2.標準文檔管理：

信息分類編碼標準、數(shù)據(jù)元標準、主數(shù)據(jù)管理制度、數(shù)據(jù)集成規(guī)范。這部分實現(xiàn)對標準文檔的目錄維護、查詢以及導出。

3.編碼規(guī)則管理：

包括組織機構(gòu)、人員信息、產(chǎn)品信息、零售戶信息、供應商信息五大主題的邏輯規(guī)則和物理規(guī)則的新增、修改、刪除等。

4.基礎代碼管理：

包括公共類、卷煙經(jīng)營類、煙葉經(jīng)營類、專賣類、財務類、勞動人事類、統(tǒng)計類、固定資產(chǎn)類、物流類、科技類等各種基礎代碼的查詢、新增、修改，代碼屬性包括：名稱、編碼、國際碼、啟用狀態(tài)、備注等。

（二）主數(shù)據(jù)對象管理

主數(shù)據(jù)對象管理模塊包含內(nèi)容如下：

1.主數(shù)據(jù)模型管理：

主數(shù)據(jù)模型目錄包括：組織機構(gòu)、人員、產(chǎn)品、零售戶、供應商五大類。每個模型包括模型名稱、模型編碼、模型狀態(tài)、審批角色、模型描述、附屬主表、編碼、名稱、類型、長度、精度等屬性。

2.主數(shù)據(jù)維護：

主要內(nèi)容包括主數(shù)據(jù)的序號、申請類型、申請時間、申請標題、審批人、審批時間、審批狀態(tài)、審批意見等。

3.主數(shù)據(jù)審批：

主要包括組織機構(gòu)、人員、產(chǎn)品、零售戶、供應商五大主數(shù)據(jù)的審批管理。包含批量審批和逐個審批兩個模塊。

4.主數(shù)據(jù)查詢：

可以查詢?nèi)我鈱徟蟮闹鲾?shù)據(jù)，查詢操作約束在用戶的權(quán)限范圍內(nèi)，查詢結(jié)果通過二維表表形式展現(xiàn)，支持分頁瀏覽。查看具體某條數(shù)據(jù)時不光顯示當前版本的數(shù)據(jù)。

（三）主數(shù)據(jù)交換管理

主數(shù)據(jù)交換主要用于管理本系統(tǒng)整編數(shù)據(jù)庫資源，包括適配器管理、交換標準查詢、主數(shù)據(jù)訂閱、數(shù)據(jù)訂閱審批、主數(shù)據(jù)分發(fā)同步等。具體功能如下所示

1.適配器管理

主數(shù)據(jù)新增、變更的消息最終將通過適配器發(fā)送給目標系統(tǒng)，傳遞消息時需建立對方系統(tǒng)的適配器連接，適配器管理主要是對傳遞消息的目標系統(tǒng)和源系統(tǒng)適配器連接屬性進行維護，以及對適配器狀態(tài)的監(jiān)控，實時了解當前適配器的運行狀態(tài)。

2.交換標準查詢

系統(tǒng)對組織機構(gòu)、人員、產(chǎn)品、零售戶、供應商等五大主數(shù)據(jù)采用了消息通知的機制來響應數(shù)據(jù)變更后各系統(tǒng)的數(shù)據(jù)同步處理，消息載體為業(yè)界最成熟最標準的XML語言。管理平臺對數(shù)據(jù)交換格式進行統(tǒng)一定制，促使數(shù)據(jù)在整個交換同步過程中的消息包裝和消息解析的方式和方法達成一致協(xié)議。包括基礎標準和中軟海晟（MQ）兩部分

3.數(shù)據(jù)同步訂閱

管理平臺負責保留所有業(yè)務系統(tǒng)的訂閱信息，數(shù)據(jù)新增、變更消息在下發(fā)之前需要讀取該訂閱信息，針對指定的數(shù)據(jù)對象只有業(yè)務系統(tǒng)對其進行了訂閱才會對其發(fā)送數(shù)據(jù)變更消息。管理人員統(tǒng)一對下游所需訂閱的字段進行統(tǒng)一配置。

4.數(shù)據(jù)訂閱審批

為了更好的管理數(shù)據(jù)權(quán)限，確保正確的數(shù)據(jù)按照正確的格式下發(fā)到正確的系統(tǒng)，對下游系統(tǒng)申請的需要訂閱的數(shù)據(jù)信息進行審核，確認是否授權(quán)相關字段，以保證數(shù)據(jù)下發(fā)的針對性和可

控性。

5.主數(shù)據(jù)分發(fā)同步

管理平臺支持訂閱群發(fā)和指定下發(fā)兩種發(fā)送方式。

（四）主數(shù)據(jù)監(jiān)控管理

主數(shù)據(jù)監(jiān)控管理模塊包含內(nèi)容如下所示：

1.接收記錄查詢

包括消息名稱、接收時間、處理結(jié)果、消息編碼、消息記錄數(shù)，處理時間、處理結(jié)果等。

2.主數(shù)據(jù)流監(jiān)控

包括數(shù)據(jù)管理流程查詢、同步流程下發(fā)等。

3.WS數(shù)據(jù)服務監(jiān)控

包括查詢記錄和下發(fā)數(shù)據(jù)兩個模塊。

（五）主數(shù)據(jù)統(tǒng)計分析

1.模型統(tǒng)計

模型統(tǒng)計是針對所有的目錄對應的模型統(tǒng)計出來的數(shù)量用圖形方式顯示出來，讓用戶一目了然各個目錄對應的模型數(shù)據(jù)的比重。

2.訂閱統(tǒng)計

訂閱統(tǒng)計分析是對源系統(tǒng)訂閱信息的集中展現(xiàn)，分析目前有哪些業(yè)務系統(tǒng)跟主數(shù)據(jù)對接，每個業(yè)務系統(tǒng)分別有多少支數(shù)據(jù)交換接口，方便用戶對系統(tǒng)的訂閱信息有個整體直觀的了解。

3.下發(fā)記錄統(tǒng)計

通過柱狀圖、圓餅圖、報表等展示下發(fā)記錄統(tǒng)計。

（六）系統(tǒng)安全性設計

對于WEB應用的安全設計必須考慮輸入驗證、身份驗證、授權(quán)、配置管理、敏感數(shù)據(jù)保護、會話管理、密碼系統(tǒng)、參數(shù)處理、異常管理和審核與日志記錄等。

由于本系統(tǒng)是建立在WEB應用基礎上，對于其安全性的考慮是多方面的，安全管理涉及的技術是多方面的，但是最關鍵是要解決用戶的認證和授權(quán)。因此需要部署一個方便管理用戶的認證和授權(quán)的安全管理框架。在本系統(tǒng)中我們采用了Acegi作為我們的WEB應用安全管理框架。這是因為Acegi是Spring框架下最成熟的安全系統(tǒng)，能夠和目前流行的Web容器無縫集成。它使用了Spring的方式提供了安全和認證安全服務，包括使用Bean Context，攔截器和面向接口的編程方式。因此，Acegi安全系統(tǒng)能夠輕松地適用于復雜的安全需求[12]。它有以下特點：

四、系統(tǒng)實現(xiàn)

（一）系統(tǒng)部署

系統(tǒng)的邏輯部署架構(gòu)如下圖2所示：

如上圖所示，系統(tǒng)的邏輯部署架構(gòu)體現(xiàn)了主數(shù)據(jù)系統(tǒng)和業(yè)務系統(tǒng)的在部署層面的關系，系統(tǒng)通過專線網(wǎng)絡與傳統(tǒng)的其他廠商建設的系統(tǒng)進行對接，并完成數(shù)據(jù)的交換處理，而主數(shù)據(jù)管理系統(tǒng)與數(shù)據(jù)中心中的系統(tǒng)部署在同一網(wǎng)絡環(huán)境中。

（二）主要功能

主數(shù)據(jù)管理平臺的實現(xiàn)滿足了數(shù)據(jù)完整性、數(shù)據(jù)準確性、數(shù)據(jù)一致性、數(shù)據(jù)邏輯合理性等方面的要求，實現(xiàn)與國家局代碼系統(tǒng)的對接，并提供可供業(yè)務人員理解和使用的用戶訪問界面，建立企業(yè)內(nèi)唯一的主數(shù)據(jù)管理中心。下面將系統(tǒng)主要功能界面做一展示。

五、總結(jié)與展望

（一）總結(jié)

本文研究了數(shù)據(jù)中心中的主數(shù)據(jù)管理的方法，按照總體規(guī)劃，分步實施的原則，探討了建設功能完善、高效實用、高度集成，體現(xiàn)自身特色的主數(shù)據(jù)中心系統(tǒng)的設計與實現(xiàn)的方法。本系統(tǒng)的建設主要實現(xiàn)了以下目標：1、實現(xiàn)全省五大主數(shù)據(jù)及相關基礎代碼編碼的統(tǒng)一管理；2、實現(xiàn)了省局與地市間主數(shù)據(jù)的訂閱同步交互；3、實現(xiàn)了全省主數(shù)據(jù)的統(tǒng)一視圖；4、解決了跨部門、跨系統(tǒng)、跨業(yè)務線間主數(shù)據(jù)的同步管理；5、改變了以往各系統(tǒng)間基礎代碼各自維護的管理現(xiàn)狀；6、建立了基于統(tǒng)一的ESB服務總線，建成主數(shù)據(jù)的交互渠道；7、建立了全省統(tǒng)一的編碼標準規(guī)范。

總之通過信息資源集成整合、共享、充分利用、發(fā)揮和挖掘信息資源價值、提供統(tǒng)一集成的主數(shù)據(jù)支撐，主數(shù)據(jù)管理系統(tǒng)必將為提高福建煙草商業(yè)的經(jīng)營管理水平、宏觀決策水平，提升公司經(jīng)濟效益和整體核心競爭力提供有利的支撐。

（二）展望

福建煙草的主數(shù)據(jù)管理，是福建煙草數(shù)據(jù)中心項目信息資源標準體系的核心組成部分。在信息資源規(guī)劃方法論的指導下，全面深入分析梳理福建煙草相關業(yè)務系統(tǒng)的主數(shù)據(jù)資源，結(jié)合行業(yè)相關規(guī)范標準的要求和企業(yè)現(xiàn)狀，完成五大主數(shù)據(jù)（客戶、產(chǎn)品、供應商、組織機構(gòu)）的主數(shù)據(jù)模型設計，以及相關編碼標準的制定，并在主數(shù)據(jù)管理平臺上完成模型和標準的落地，實現(xiàn)主數(shù)據(jù)的統(tǒng)一管理，為后續(xù)的應用集成建設和數(shù)據(jù)分析做好標準和規(guī)范的基礎工作。福建煙草的主數(shù)據(jù)管理系統(tǒng)，必將為福建煙草維護業(yè)務數(shù)據(jù)的一致性、完整性、相關性和精確性，逐步建成功能完善、高效實用、高度集成，體現(xiàn)自身特色的數(shù)據(jù)中心系統(tǒng)，實現(xiàn)系統(tǒng)集成、資源整合與信息有效共享，打造一體化數(shù)字煙草打造堅實的基礎。