基于云平臺的數(shù)據(jù)采集與統(tǒng)計匯總系統(tǒng)應(yīng)用研究

石桂芳，劉陳榮

（北京華電天仁電力控制技術(shù)有限公司 北京 100039）

1 概述

某科技環(huán)保集團（以下簡稱集團公司）的業(yè)務(wù)涉及很多不同的業(yè)務(wù)范疇，二級單位之間的業(yè)務(wù)沒有重復(fù)，垂直業(yè)務(wù)模式不可橫向復(fù)制。從數(shù)據(jù)的角度看，各板塊業(yè)務(wù)的數(shù)據(jù)之間沒有任何關(guān)聯(lián)，給集團公司統(tǒng)一數(shù)據(jù)口徑、統(tǒng)一數(shù)據(jù)報送帶來一定難度。因此，建立一套數(shù)據(jù)在線收集系統(tǒng)，逐漸形成集團公司的數(shù)據(jù)中心，利用數(shù)據(jù)中心建設(shè)的多維度、多主題智能分析反哺二級單位，實現(xiàn)數(shù)據(jù)管理的一致性就顯得尤為重要。

集團公司自成立以來，十分重視信息化建設(shè)，目前已經(jīng)初步建立了面向整個集團的信息化網(wǎng)絡(luò)環(huán)境和集成環(huán)境，實現(xiàn)了財務(wù)與審計、企業(yè)綜合辦公管理（OA）的信息化。之前集團公司對下屬企業(yè)生產(chǎn)經(jīng)營管理信息的獲取與統(tǒng)計匯總，是由下屬企業(yè)填寫Excel報表，后經(jīng)E-mail方式報送給集團公司本部對口部門。集團公司本部業(yè)務(wù)部門通過 Excel等軟件進行整理、核對、匯總，并報送上級部門，相關(guān)數(shù)據(jù)也以Excel等文件形式保存在個人電腦上。

這種方式存在如下問題?！?數(shù)據(jù)一致性難以保證。各個業(yè)務(wù)部門數(shù)據(jù)交叉的現(xiàn)象比較普遍，不同部門填寫的相同指標項的結(jié)果是不同的，這在后期的數(shù)據(jù)統(tǒng)計分析中會產(chǎn)生很大的影響。

· 歷史數(shù)據(jù)的查詢速度和準確性難以保證。工作中經(jīng)常出現(xiàn)需要迅速查詢某個歷史數(shù)據(jù)，或者快速匯總某個不常用指標的情況。以前是通過電話詢問二級單位或其他業(yè)務(wù)部門，并在歷史數(shù)據(jù)文件中查找，手工進行數(shù)據(jù)的匯總整理。這種方式的速度和準確性都難以滿足實際的工作要求。

· 工作量相對較大。集團公司業(yè)務(wù)部門之前需要在匯總下屬企業(yè)的報表后，核對報表數(shù)據(jù)，匯總相關(guān)指標項的工作量較大；下屬企業(yè)在填報過程中，存在相同的指標項在多張表中重復(fù)出現(xiàn)、重復(fù)填寫的問題，從而增加工作量。

·基于集團公司之前經(jīng)營監(jiān)管信息的采集和管理現(xiàn)狀，集團公司迫切需要構(gòu)建一套集團本部與分/子公司公用的信息采集、整理與統(tǒng)計匯總一體化的平臺。平臺一方面有效地支持集團本部業(yè)務(wù)部門對信息的采集、整合和統(tǒng)計匯總，并實現(xiàn)結(jié)果的便利導(dǎo)出；另一方面又可實現(xiàn)下屬企業(yè)的信息報送并與上級企業(yè)交互。

鑒于以上現(xiàn)狀，開發(fā)了基于云平臺的數(shù)據(jù)采集與統(tǒng)計匯總系統(tǒng)。本系統(tǒng)基于云平臺上的數(shù)據(jù)中心技術(shù)研究及應(yīng)用，主要解決數(shù)據(jù)中心“數(shù)據(jù)”方面的問題，如數(shù)據(jù)收集、數(shù)據(jù)加工、數(shù)據(jù)專題分析、數(shù)據(jù)展現(xiàn)等[1]。

本系統(tǒng)建立的數(shù)據(jù)中心基于云平臺架構(gòu)，選擇高效能服務(wù)器，能避免服務(wù)器蔓延增長、設(shè)備利用率低、運維成本高（管理、維護）、應(yīng)用可靠性低（安全性、可靠性）、性能功耗比低、管理麻煩的缺點；實現(xiàn)高可用按需分配，可以滿足集團公司高效、靈活、快速的業(yè)務(wù)增長需求。

· 通過對數(shù)據(jù)中心的整體設(shè)計，提高系統(tǒng)的可靠性及可用性，保證數(shù)據(jù)的統(tǒng)一性，提高工作效率，節(jié)省人力，節(jié)約資金。

· 通過對數(shù)據(jù)中心的整體設(shè)計，發(fā)現(xiàn)問題并將問題消滅在萌芽狀態(tài)，實現(xiàn)整體數(shù)據(jù)中心的節(jié)能減排。

· 通過對數(shù)據(jù)中心的整體設(shè)計，可實現(xiàn)系統(tǒng)的靈活變更、隨需擴展。

· 實現(xiàn)統(tǒng)一工程維護，把機房系統(tǒng)作為一個整體產(chǎn)品交付，全網(wǎng)動力監(jiān)控更易實現(xiàn)，提供主動性服務(wù)，并實現(xiàn)統(tǒng)一和全面的服務(wù)。

· 統(tǒng)一工程界面清晰，降低工程成本，并大大縮短工程周期，使網(wǎng)絡(luò)提早發(fā)揮效益。

· 保證維護的持續(xù)性及連貫性，保障服務(wù)提供的連續(xù)性，減少維護風險。

·通過管理提升IT效率，進一步降低日常維護的IT財務(wù)支出，實現(xiàn)業(yè)務(wù)的創(chuàng)新和變革。

2 主要功能結(jié)構(gòu)及關(guān)鍵技術(shù)

2.1 主要功能結(jié)構(gòu)

本系統(tǒng)的主要功能結(jié)構(gòu)如圖1所示。

2.2 應(yīng)用系統(tǒng)數(shù)據(jù)處理

圖2給出了集團公司運營監(jiān)管信息采集與統(tǒng)計匯總平臺數(shù)據(jù)的處理流程，具體介紹如下。

（1）數(shù)據(jù)采集與審核、管理

對于采集數(shù)據(jù)，系統(tǒng)提供對各類數(shù)據(jù)的獲取功能，分/子公司的計劃與發(fā)展、科技管理、運營管理和國際合作等數(shù)據(jù)通過在線填報、離線填報方式，報送系統(tǒng)集團公司本部；對于現(xiàn)有業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)，如財務(wù)數(shù)據(jù)，提供與現(xiàn)有系統(tǒng)接口的方式實現(xiàn)數(shù)據(jù)的獲取。

（2）數(shù)據(jù)的存儲管理

針對來自分/子公司、現(xiàn)有業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，系統(tǒng)提供統(tǒng)一的信息存儲和管理功能，確保數(shù)據(jù)的安全。

（3）數(shù)據(jù)的統(tǒng)計匯總與展現(xiàn)

根據(jù)集團公司對業(yè)務(wù)監(jiān)管的需求，提供統(tǒng)計匯總功能，并提供靈活、方便查詢、實現(xiàn)多樣化圖表的展現(xiàn)及結(jié)果的下載、導(dǎo)出。

2.3 應(yīng)用系統(tǒng)業(yè)務(wù)處理

集團公司數(shù)據(jù)采集與統(tǒng)計匯總系統(tǒng)的用戶主要分為3種類型，分別為系統(tǒng)管理員、數(shù)據(jù)管理員和業(yè)務(wù)用戶。其中，系統(tǒng)管理員維護系統(tǒng)基礎(chǔ)信息；數(shù)據(jù)管理員包括集團公司、二級公司的數(shù)據(jù)管理人員；業(yè)務(wù)用戶包括集團公司、二級公司、三級公司的數(shù)據(jù)填報人員和使用人員。應(yīng)用系統(tǒng)業(yè)務(wù)處理流程如圖3所示。

系統(tǒng)主要管控指標的分配與數(shù)據(jù)填報業(yè)務(wù)流程、數(shù)據(jù)的查詢與導(dǎo)出業(yè)務(wù)流程。指標的分配與上報流程分3級管控模式，由集團公司首先維護報表模板，并下發(fā)給二級單位。二級單位有權(quán)限對接收的報表模板進行二次分配，形成新的分發(fā)規(guī)則發(fā)給三級單位填報。三級單位填報完成后，將報表提交給二級單位統(tǒng)一審核匯總并上報給集團公司，集團公司進行審核匯總后完成數(shù)據(jù)的下發(fā)與上報流程。定期（按周、月、年等）執(zhí)行數(shù)據(jù)分配與填報流程后，系統(tǒng)形成數(shù)據(jù)池，可供數(shù)據(jù)使用人員隨意組成報表，由系統(tǒng)自動抓取數(shù)據(jù)以用戶希望的表現(xiàn)形式顯示數(shù)據(jù)，完成數(shù)據(jù)查詢流程。

圖1 軟件系統(tǒng)功能結(jié)構(gòu)

圖2 集團公司運營監(jiān)管數(shù)據(jù)中心信息處理流程

圖3 應(yīng)用系統(tǒng)業(yè)務(wù)處理流程

2.4 針對集團經(jīng)營監(jiān)管指標體系的功能

針對集團公司的運營監(jiān)管指標體系，系統(tǒng)提供如下3方面功能。

· 指標屬性管理，包括指標屬性設(shè)置、指標增/刪/改/查、指標閾值設(shè)置等[2]。

· 指標體系建模，指標建模的過程，對指標進行編號、命名，并且建立指標之間的邏輯關(guān)系、數(shù)據(jù)來源、數(shù)據(jù)存儲格式、數(shù)據(jù)展現(xiàn)方式選擇等指標屬性。

· 指標展現(xiàn)設(shè)計，指標數(shù)據(jù)隨時可被已經(jīng)授權(quán)的用戶讀取，并通過預(yù)先定義的各種展現(xiàn)方式，按用戶需要的形式展現(xiàn)給用戶，并且支持數(shù)據(jù)審核、數(shù)據(jù)導(dǎo)出等數(shù)據(jù)再利用。

3 系統(tǒng)架構(gòu)及實現(xiàn)

3.1 系統(tǒng)建設(shè)目標

在充分利用現(xiàn)有網(wǎng)絡(luò)和基礎(chǔ)設(shè)施環(huán)境的基礎(chǔ)上，基于集團公司的經(jīng)營監(jiān)管指標體系，實現(xiàn)對下屬10余家子公司的計劃與發(fā)展、運營、科技創(chuàng)新和國際合作等業(yè)務(wù)關(guān)鍵信息的定期（周/月/季/年）跟蹤、監(jiān)測、監(jiān)控、管理和分析，及時了解各子公司的生產(chǎn)、營銷和運行情況的特點、現(xiàn)狀和發(fā)展趨勢，為集團的發(fā)展提供決策支持、信息參考，從而實現(xiàn)集團對子公司的高效指導(dǎo)和管控，有效推動集團公司及其下屬分/子公司的穩(wěn)定、可持續(xù)發(fā)展，進而提升集團的信息化和監(jiān)管水平。

通過本系統(tǒng)的建設(shè)，可以實現(xiàn)如下具體目標：

· 設(shè)計公司共享的經(jīng)營監(jiān)管指標體系，為集團運營監(jiān)管提供信息依據(jù)和參考；

· 指標信息采集、存儲、管理與統(tǒng)計匯總；

·提供多樣化的數(shù)據(jù)展現(xiàn)方式和導(dǎo)出功能；

·提供輔助管理功能；

· 提供集團本部與分/子公司的信息交互功能，便于信息的及時溝通、報告下載等。

3.2 系統(tǒng)架構(gòu)

系統(tǒng)架構(gòu)如圖4所示，包括云平臺基礎(chǔ)架構(gòu)及上層平臺架構(gòu)。

推薦配置如下。

· 服務(wù)器：長城四子星，3個節(jié)點，每個節(jié)點4個物理機，單個物理機配置為2個CPU 4核，96 GB內(nèi)存，2個300 GB硬盤，4個萬兆網(wǎng)口。

· 交換機2臺：48口，萬兆以太網(wǎng)口。

· 盤陣一臺：EMC，配12塊600GB盤，可擴展12塊（不加擴展柜還可擴展12塊2 TBSAS盤），支持iSCSI和SAS混配，8GBFC光纖擴展端口或4個10Gbit/s接口，8個吉比特以太網(wǎng)接口，配40TB盤，可用20TB。

· 虛擬磁帶庫一臺，型號為EMCDD140。

3.3 系統(tǒng)實現(xiàn)

系統(tǒng)實現(xiàn)如圖4所示的云計算平臺，并在此云平臺上實現(xiàn)企業(yè)門戶系統(tǒng)。

由于集團公司下屬有多個分子公司，故本次集團公司的數(shù)據(jù)中心建設(shè)涉及面較廣，而且數(shù)據(jù)中心系統(tǒng)要與企業(yè)門戶系統(tǒng)集成，與門戶系統(tǒng)互相倚靠、相互協(xié)調(diào)。為確保數(shù)據(jù)中心項目的成功實施，集團公司企業(yè)數(shù)據(jù)中心系統(tǒng)將根據(jù)“統(tǒng)一規(guī)劃、分步實施”的原則進行建設(shè)，具體介紹如下。

（1）數(shù)據(jù)采集及統(tǒng)計系統(tǒng)開發(fā)并與門戶系統(tǒng)集成

完成集團公司的數(shù)據(jù)上報及統(tǒng)計系統(tǒng)的開發(fā)實施，并在集團公司企業(yè)內(nèi)部門戶中初步展現(xiàn)，并以門戶為接入口為集團及各職能部門領(lǐng)導(dǎo)決策提供依據(jù)。

（2）優(yōu)化并完善系統(tǒng)功能

實現(xiàn)各企業(yè)在第一階段沒有提出的新功能需求以及需要改進的第一期系統(tǒng)的數(shù)據(jù)采集及上報、審批、統(tǒng)計的功能（內(nèi)容和功能優(yōu)化完善階段）。

（3）整體優(yōu)化階段

實現(xiàn)完整全面的數(shù)據(jù)采集及統(tǒng)計系統(tǒng)，并與企業(yè)門戶完美集成，作為企業(yè)門戶的報表門戶和數(shù)據(jù)采集及統(tǒng)計系統(tǒng)的入口，打造一個真正有意義的綜合信息平臺，實現(xiàn)企業(yè)信息的統(tǒng)一查看、統(tǒng)一入口訪問、企業(yè)內(nèi)外流程的統(tǒng)一管理，加強移動應(yīng)用，深化跨平臺協(xié)作和企業(yè)搜索功能，建立真正的集團公司企業(yè)信息業(yè)務(wù)數(shù)據(jù)中心，實現(xiàn)信息的交互與共享，消除信息“孤島”現(xiàn)象，增強企業(yè)的市場競爭力；實現(xiàn)與其他企業(yè)內(nèi)部信息系統(tǒng)的全面集成 （如財務(wù)系統(tǒng)等）；實現(xiàn)不同的數(shù)據(jù)能夠為不同公司、不同領(lǐng)導(dǎo)和部門提供參考和決策。

圖4 云平臺基礎(chǔ)架構(gòu)及上層平臺架構(gòu)

4 創(chuàng)新點及亮點

本系統(tǒng)最大的亮點及創(chuàng)新點是采用了以經(jīng)營監(jiān)管指標為體系的指標系統(tǒng)管理模式，隨時靈活地增加、修改、減少指標，任意選取不同指標生成不同報表，突破一般以報表為體系的報表管理模式，在數(shù)據(jù)存儲和抽取方面既靈活，又大大提高了數(shù)據(jù)抽取速度，對于有大量數(shù)據(jù)需要管理的企業(yè)非常適合，對于不斷改進和變換經(jīng)營監(jiān)管指標的企業(yè)也是不可多得的體系管理模式和數(shù)據(jù)管理平臺。

第二大亮點是技術(shù)開發(fā)平臺完全智能化，稱為華電天仁智能Web平臺。智能Web平臺是一款企業(yè)級應(yīng)用的快速開發(fā)平臺，可以作為成熟的產(chǎn)品推向市場，也可以在該平臺上進行二次開發(fā)。開發(fā)的報表基于華電天仁智能Web報表，是業(yè)界第一款基于J2EE技術(shù)的以純HTML及CSS實現(xiàn)的Web報表。華電天仁智能Web平臺采用業(yè)界領(lǐng)先的J2EE技術(shù)構(gòu)建，MVC設(shè)計模式，B/S的多層結(jié)構(gòu)，技術(shù)上相當領(lǐng)先，具有極高的穩(wěn)定性、安全性及可擴展性、可伸縮性、可維護性[3]。

·利用華電天仁智能Web平臺，企業(yè)及開發(fā)商均可以非常方便、快速、高質(zhì)量地開發(fā)復(fù)雜的業(yè)務(wù)系統(tǒng)，包括 CRM、MIS、ERP、HIS、OA 等系統(tǒng)；80%以上的模塊不需要編碼，甚至零編碼，不懂Java也可以開發(fā)，只需懂數(shù)據(jù)庫即可，開發(fā)速度是傳統(tǒng)開發(fā)模式的5倍以上。

·華電天仁智能Web平臺內(nèi)集成了在線自定義Web報表引擎，用戶除了可以用來開發(fā)業(yè)務(wù)系統(tǒng)外，還可以集成企業(yè)內(nèi)已有的分散的業(yè)務(wù)數(shù)據(jù)，制作各類復(fù)雜的綜合查詢、Web報表、統(tǒng)計分析。

第三大亮點是本數(shù)據(jù)中心構(gòu)建在云平臺上，采用了最先進的存儲技術(shù)，加快了數(shù)據(jù)存取速度，實現(xiàn)了數(shù)據(jù)存儲的安全穩(wěn)定，節(jié)約了硬件資源和網(wǎng)絡(luò)資源。

5 結(jié)束語

本系統(tǒng)云平臺由公司統(tǒng)一建設(shè)，在云平臺上構(gòu)建虛擬機，在分配的虛擬機上建立數(shù)據(jù)采集及統(tǒng)計系統(tǒng)應(yīng)用，并具體實現(xiàn)與以下系統(tǒng)的集成。

與財務(wù)系統(tǒng)：數(shù)據(jù)上報及統(tǒng)計系統(tǒng)需要從財務(wù)系統(tǒng)獲取相應(yīng)的財務(wù)數(shù)據(jù)，作為重要指標項的來源。

與集團公司企業(yè)門戶系統(tǒng)：數(shù)據(jù)采集及統(tǒng)計系統(tǒng)需要企業(yè)門戶中的組織機構(gòu)（LDAP）作為基礎(chǔ)登錄用戶數(shù)據(jù)，進行單點登錄及統(tǒng)一用戶管理及身份驗證，需要將報表數(shù)據(jù)以不同形式展現(xiàn)在企業(yè)門戶系統(tǒng)中，根據(jù)用戶權(quán)限的不同分別展現(xiàn)不同的數(shù)據(jù)。

與郵件系統(tǒng)：郵件系統(tǒng)作為郵件服務(wù)的提供者，需要向企業(yè)門戶、數(shù)據(jù)上報及統(tǒng)計系統(tǒng)提供基礎(chǔ)的郵件發(fā)送及接收服務(wù)。此外，也需要同企業(yè)門戶實現(xiàn)單點登錄、統(tǒng)一用戶管理及身份驗證、郵件來件提醒等功能。

與短信系統(tǒng)：短信系統(tǒng)作為短信服務(wù)的提供者，需要向企業(yè)門戶、數(shù)據(jù)上報及統(tǒng)計系統(tǒng)提供基礎(chǔ)的短信發(fā)送及接收服務(wù)。此外，也需要同企業(yè)門戶實現(xiàn)單點登錄、統(tǒng)一用戶管理及身份驗證、短信來信提醒等功能。

總的來說，系統(tǒng)已正式投入使用，目前系統(tǒng)運行良好，用戶反饋滿意，達到了預(yù)期的效果，獲得了預(yù)期的經(jīng)濟效益。

1 唐箭.云存儲系統(tǒng)的分析與應(yīng)用研究.電腦知識與技術(shù),2009(20)

2 成靜靜,喻朝新.基于云計算的大數(shù)據(jù)統(tǒng)一分析平臺研究與設(shè)計.廣東通信技術(shù),2013(1)

3 田甜.基于云計算的GIS數(shù)據(jù)采集教學(xué)服務(wù)平臺設(shè)計與研究初探.技術(shù)與市場,2011(7)