哈密市大數(shù)據(jù)平臺(tái)建設(shè)初探

邵全民

摘要：本文從數(shù)據(jù)平臺(tái)的主要功能入手，初步解決了數(shù)出多門的矛盾局面，分析了“互聯(lián)網(wǎng)+政府部門”的迫切性，結(jié)合互聯(lián)網(wǎng)、云計(jì)算、大數(shù)據(jù)發(fā)展等相關(guān)政策，指出了建立橫向擴(kuò)展到“邊”、縱向延伸到“底”的立體、多維的統(tǒng)計(jì)架構(gòu)。詳細(xì)講述了平臺(tái)的“六大原則”：系統(tǒng)的安全性和穩(wěn)定性原則、兼容性和可擴(kuò)展性原則、可維護(hù)性原則、高效快捷性原則、易用和操作性強(qiáng)性原則，充分反映數(shù)據(jù)平臺(tái)的“應(yīng)統(tǒng)盡統(tǒng)”的強(qiáng)大優(yōu)勢(shì)。

關(guān)鍵詞：大數(shù)據(jù)平臺(tái) 部門統(tǒng)計(jì) 互聯(lián)網(wǎng)+統(tǒng)計(jì) 數(shù)據(jù)處理

中圖分類號(hào)：TP3 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-5349（2017）07-0061-01

隨著哈密經(jīng)濟(jì)日新月異的發(fā)展，黨和政府了解經(jīng)濟(jì)的發(fā)展趨勢(shì)更加緊迫，對(duì)統(tǒng)計(jì)調(diào)查數(shù)據(jù)質(zhì)量也高度關(guān)注。統(tǒng)計(jì)數(shù)據(jù)對(duì)于宏觀戰(zhàn)略政策的制定、當(dāng)前區(qū)情的分析尤為重要，但常規(guī)統(tǒng)計(jì)數(shù)據(jù)越來越不能滿足政府和人民日益增長(zhǎng)的需求，建立一套融合各部門數(shù)據(jù)的處理分析平臺(tái)勢(shì)在必行。

2015年新疆維吾爾自治區(qū)統(tǒng)計(jì)局開始全面深化統(tǒng)計(jì)改革發(fā)展，全力推進(jìn)現(xiàn)代統(tǒng)計(jì)體系建設(shè)，建立數(shù)據(jù)信息共享機(jī)制、構(gòu)建新疆統(tǒng)計(jì)數(shù)據(jù)中心、積極探索大數(shù)據(jù)在政府統(tǒng)計(jì)中的應(yīng)用。

2016年哈密市統(tǒng)計(jì)局通過深入學(xué)習(xí)領(lǐng)會(huì)自治區(qū)統(tǒng)計(jì)精神實(shí)質(zhì)，實(shí)地考察成熟地區(qū)的平臺(tái)應(yīng)用，確定建設(shè)哈密市統(tǒng)計(jì)大平臺(tái)。為了滿足目前及未來幾年系統(tǒng)穩(wěn)定及擴(kuò)展的需求，在建設(shè)本系統(tǒng)時(shí)本著統(tǒng)籌規(guī)劃、分步實(shí)施的宗旨進(jìn)行整個(gè)系統(tǒng)的構(gòu)建，主要遵循以下設(shè)計(jì)原則：

一、安全性原則

大數(shù)據(jù)的發(fā)展進(jìn)一步擴(kuò)大了信息的開放程序，隨之而來的訪問量也成幾何倍數(shù)的增長(zhǎng)，系統(tǒng)平臺(tái)的安全性和數(shù)據(jù)安全是第一位的。（1）是防止APT（高級(jí)持續(xù)性威脅）攻擊，針對(duì)APT的攻擊特征難以提取、單點(diǎn)隱蔽能力強(qiáng)、攻擊渠道多樣化、攻擊持續(xù)時(shí)間長(zhǎng)、攻擊空間路徑不確定等特點(diǎn)，系統(tǒng)平臺(tái)必須設(shè)計(jì)具備實(shí)時(shí)檢測(cè)能力的沙箱方案（原理是將實(shí)時(shí)流量先引入虛擬機(jī)或沙箱，通過對(duì)沙箱的文件系統(tǒng)、進(jìn)程、注冊(cè)表、網(wǎng)絡(luò)行為實(shí)施監(jiān)控，流量中是否包括惡意代碼）、異常檢測(cè)方案、全流量審計(jì)方案。（2）用戶訪問權(quán)限控制。平臺(tái)針對(duì)的用戶繁多，嚴(yán)格按照用戶需求和密級(jí)等級(jí)設(shè)定差異化訪問權(quán)限，不同級(jí)別的用戶訪問權(quán)限和密級(jí)程度都有所不同，管理者（ADMIN）為最高級(jí)權(quán)限：包括有登錄平臺(tái)訪問、修改平臺(tái)流程、平臺(tái)發(fā)布消息、設(shè)置下級(jí)權(quán)限的權(quán)利；次高級(jí)為部門管理者權(quán)限：包括登錄本部門窗口、錄入、修改、發(fā)布本部門信息權(quán)限；最低級(jí)權(quán)限只有上報(bào)錄入權(quán)限。

二、穩(wěn)定性原則

一個(gè)系統(tǒng)的穩(wěn)定性，通俗來說，就是它從安裝到加載啟動(dòng)運(yùn)行直到結(jié)束的整個(gè)過程盡可能不出現(xiàn)異常、錯(cuò)誤。穩(wěn)定的生存能力是體現(xiàn)一個(gè)系統(tǒng)的成功，所以平臺(tái)從開始設(shè)計(jì)架構(gòu)、應(yīng)用開發(fā)和初步演示到投放應(yīng)用時(shí)，對(duì)系統(tǒng)結(jié)構(gòu)、語(yǔ)言算法、邏輯條件、技術(shù)措施、軟硬件平臺(tái)和維護(hù)響應(yīng)能力等方面進(jìn)行全方位的統(tǒng)籌，確保系統(tǒng)較高的性能和較少的故障率。必要時(shí)可采用雙備份或支持異構(gòu)服務(wù)器之間跨越廣域網(wǎng)的數(shù)據(jù)遠(yuǎn)程實(shí)時(shí)復(fù)制。

平臺(tái)設(shè)計(jì)初期就準(zhǔn)備了周詳?shù)氖虑皽?zhǔn)備，并且分析平臺(tái)運(yùn)行時(shí)可能受到最大沖擊程度和受沖擊后的恢復(fù)策略，結(jié)合目前最先進(jìn)的信息技術(shù)，提出最佳的恢復(fù)方案，在系統(tǒng)備份計(jì)劃建立后，還反復(fù)假想測(cè)試，進(jìn)行時(shí)時(shí)調(diào)整、改進(jìn)，確保平臺(tái)運(yùn)行的穩(wěn)定性。

三、兼容性原則

統(tǒng)計(jì)數(shù)據(jù)共享平臺(tái)的宗旨是全方位覆蓋經(jīng)濟(jì)數(shù)據(jù)提供部門（市統(tǒng)計(jì)局、發(fā)改委、國(guó)地稅、工商、經(jīng)信委、質(zhì)監(jiān)、科技等），實(shí)現(xiàn)數(shù)據(jù)收集零死角，考慮到平臺(tái)現(xiàn)有和未來需要與其他相關(guān)上百個(gè)部門、系統(tǒng)的對(duì)接需要，在建設(shè)過程中已預(yù)先規(guī)劃好數(shù)據(jù)通信及共享接口的設(shè)計(jì)。

在經(jīng)濟(jì)運(yùn)行提供全面數(shù)據(jù)支持的同時(shí)，深入挖潛各級(jí)部門據(jù)業(yè)務(wù)需求，利用大數(shù)據(jù)技術(shù)，進(jìn)行定制化的信息共享服務(wù)，提高數(shù)據(jù)利用率，提高工作效率，壓縮政府開支，降低行政成本，有效推動(dòng)政務(wù)工作開展，提高政府部門決策的科學(xué)化水平、服務(wù)效率和社會(huì)管理水平。

四、可擴(kuò)展性原則

軟件設(shè)計(jì)盡可能模塊化、組件化，并提供配置模塊和客戶化工具，使應(yīng)用系統(tǒng)可靈活配置，適應(yīng)不同的情況。系統(tǒng)的要素、編碼、功能和數(shù)據(jù)庫(kù)結(jié)構(gòu)都必須易于擴(kuò)充，為以后的功能擴(kuò)展保留接口，以滿足系統(tǒng)進(jìn)一步的發(fā)展和系統(tǒng)建設(shè)的需要。同時(shí)系統(tǒng)的升級(jí)充分考慮與現(xiàn)有各應(yīng)用系統(tǒng)的版本兼容問題，盡可能保證系統(tǒng)有更長(zhǎng)的生命周期。

為保證平臺(tái)的開放性，平臺(tái)構(gòu)建中使用合適的軟件平臺(tái)，基于業(yè)界開放式標(biāo)準(zhǔn)，支持平臺(tái)建設(shè)中涉及的各種網(wǎng)絡(luò)協(xié)議、硬件接口、數(shù)據(jù)接口等二次開發(fā)，同時(shí)支持英文等常用外文版的編輯與發(fā)布，為未來的平臺(tái)擴(kuò)展奠定基礎(chǔ)。

系統(tǒng)功能最大限度貼合客戶需求，系統(tǒng)在設(shè)計(jì)思想、系統(tǒng)架構(gòu)、采用技術(shù)、選用平臺(tái)上均需要具有一定的先進(jìn)性、前瞻性，考慮一定時(shí)期內(nèi)業(yè)務(wù)的增長(zhǎng)。

五、高效性、易用性原則

整個(gè)系統(tǒng)采用規(guī)范化設(shè)計(jì)流程和高效的系統(tǒng)架構(gòu)，可有效避免數(shù)據(jù)冗余等現(xiàn)象發(fā)生，具有較高的運(yùn)轉(zhuǎn)效率，從網(wǎng)絡(luò)、硬件、軟件產(chǎn)品的選型上確保平臺(tái)上的高效性，針對(duì)不同的處理邏輯，采用不同的先進(jìn)技術(shù)和優(yōu)化策略。提供友好的用戶操作界面，具備直觀易用的人機(jī)界面。對(duì)于復(fù)雜操作步驟，提供操作向?qū)Ш吐?lián)機(jī)幫助。

責(zé)任編輯：楊國(guó)棟