摘要:本文從統計部門在當前大數據背景下統計新變革的角度出發,針對當前統計工作面臨現狀和問題闡述了建立統計信息平臺的必要性和迫切性,并從平臺建設和架構方面給出設計方案,最后描述了信息平臺的主要功能,并對進一步做好信息平臺建設提出針對性的建議。
關鍵詞:大數據;信息平臺;數據處理
1.引言
面對已經到來的大數據時代,統計部門作為各項調查、統計法規的實施部門,作為對政府提供決策及數據的重要部門,如何在大數據的背景下,將當前統計工作與大數據的開發利用相融合,對多類數據進行統一的存儲、整合、快速查詢和調用,并加以計算分析,充分挖掘統計數據價值,是新時代對統計工作的新要求,也是本文的主要研究內容。
2.當前統計工作在數據處理和信息化建設所面臨的問題
2.1 傳統統計工作方法與大數據采集方法優劣對比明顯
當前統計工作在多元數據計量還有短時間數據分析方面存在短板,尤其是涉及到各項調查,仍是以抽樣調查和全面調查相結合的方式,而大數據將會在較短時間內提供更加全面的總體數據,同時還可具體到單個個體,進行研究,提升了數據質量和利用率,兩者優劣對比明顯。
2.2現行統計制度在服務和管理方面仍有不足
現行的統計制度和統計標準略微滯后于形勢發展的需要,在支撐創新統計標準、統計調查、統計分析和數據共享方面,在為黨委政府以及社會公眾提供內容豐富、高效及時的現代化統計產品方面仍有不足。
2.3統計數據及政府各部門單位間共享渠道不暢
在信息公開條例中,側重點往往是政府統計部門對公眾的信息公開,對于政府部門之間信息溝通沒有詳細的規定,缺乏對數據信息統一的標準和明確的責任劃分,導致部門間數據共享不及時、不完善。
2.4數據存儲存在短板,社會調查耗資較大
在90年代之前,由于電腦還沒有普及,統計數據大多用紙質版進行存儲,加之業務人員更換、年代久遠或歷史系統的停用等問題,易造成紙質數據、年鑒數據等諸多歷史數據保留不完整,無法進行快速檢索和綜合分析。
3.數據信息平臺建設的基本思路
3.1建設目標
一是建設全局及各縣區的文件信息管理系統,以電子發布方式代替傳統的電話和傳真等通知方式,實現通知、動態等的網站發布;二是建設統計局內部資料管理子系統,對各類規章實行電子化管理,避免因人員或者電腦更換造成資料丟失;三是建設數據庫,統籌管理綜合、人口、農業、建筑業、服務業、能源、投資、社科、工業、普查等統計數據的實時存儲和管理;四是開發部署大數據可視化展示界面,實現分析結果的可視化展現功能,支持可視化圖表;五是探索性開展統計分析、文件檢索、對比查詢等功能。
3.2建設原則
數據信息平臺以數據資源整合為重點,堅持“實用、安全、可擴展、易操作”的原則,提高全局工作效率,不斷提升統計信息化建設水平。
一是實用性原則。平臺應該在實用的基礎上考慮先進性和前瞻性,切實滿足統計部門業務工作需求。二是安全性原則。平臺應支持數據存儲、數據傳輸、密鑰管理等安全功能,并提供所有系統操作日志記錄,確保系統安全運行。三是可擴展性原則。平臺應提供一個彈性架構,支持使用配置而免編程的方式對統計業務流程、調查表樣、查詢統計等功能的定制與調整。四是易操作性原則。平臺需提供簡潔、美觀、直白的用戶界面,符合瀏覽器通用方式,具備中文支持功能,提供向導式系統安裝界面。
4.平臺設計
4.1總體架構
用戶層:用于局內部數據的導入、存儲、匯總、導出、統計分析及各類數據的可視化查看。
應用層:包含后臺管理系統的各項功能和前臺用戶操作層核心功能;對現有數據和信息資源打通和融合,提供監測預警和可視化分析服務。
平臺層:基礎功能的集群,分為文件信息管理、資料管理、數據管理、數據匯總及權限管理等5個子系統。
數據層:搭建MYSQL主從數據庫,保障數據信息平臺的數據正常運轉。
4.2功能架構
平臺功能架構分為前端數據平臺和后臺管理系統兩大類,前端數據主要以網頁形式呈現,可以劃分為文件資料管理、數據管理和可視化地理標注等多個功能區域及子系統。后臺管理系統主要以用戶及各類指標管理、信息資料的發布上傳為主,共分為用戶管理、報表上傳、動態發布、通知公告等十一個部分,管理人員會根據每個子系統功能賦予各專業用戶相應的權限,完成信息平臺的各項功能。
5.平臺功能
信息平臺搭建完成后,將初步實現以下功能:一是數據入庫,將多種格式的數據文件、資料按照統一標準整合入庫;二是數據管理,通過工具管理和監控基礎數據庫中的各種資源和使用情況,實現系統管理;三是數據審核,能檢查出原始數據中的各種錯誤和不一致現象;四是數據查詢展示,主要有數據查詢、圖形展示、簡單匯總等功能。
6.做好統計信息平臺建設的建議
在平臺搭建過程中,還遇到一些問題,比如部分歷史數據是紙質版,與現有電子數據格式不統一,會影響匯總、計算及可視化展示等功能的實現,接下來就如何解決這些問題,給出幾點建議。
一是加強經費和技術力量的保障,成立平臺建設的領導小組,做到分工明確、保障有力;二是保證信息平臺數據模式的規范統一,對早期歷史數據的追加處理是下一步平臺需解決的問題;三是努力實現信息平臺與現有“一套表”平臺的對接,并在平臺上實現“一套表”數據的分析、匯總及可視化展示等功能;四是不斷延伸信息平臺的功能,在平臺設計方面,要充分考慮與國產電腦及軟件的安可替代和銜接。
參考文獻:
[1]國家統計局大數據應用工作方案.
作者簡介:王國婷(1983.9-),女,漢,山西省陽泉市,高級統計師,研究生,研究方向:統計。