大數據技術在統計信息化中的應用研究

劉智聰

摘要：隨著大數據時代的到來，給政府統計工作帶來了機遇和挑戰。近年來，我國統計信息化建設取得初步成績，但也存在一定的問題，大數據在信息化建設中的應用亟待深入。該文分析了當前統計信息化的現狀特點和問題，提出了大數據技術在統計息化發展中應用的對策建議。

關鍵詞：大數據;統計信息化;應用

中圖分類號：F222? ? ? 文獻標識碼：A

文章編號：1009-3044（2021）25-0146-03

隨著電子信息技術的發展，大數據時代已經到來，大數據技術日趨成熟，在各行各業的應用面越來越廣。近年來，我國大力推行統計信息化建設，充分利用信息化手段優化統計工作流程、工作方式和工作職能，不斷提高統計服務能力，但對大數據背景下的統計信息化建設還需進一步探索。加強大數據技術在統計信息化建設中的應用具有重要意義。

1 大數據的概念和特征

1.1 大數據的概念

在信息化、數字化發展背景下，數據量劇增，結構也趨于復雜化，對于大數據的概念，目前沒有完全統一的明確定義，但不同機構和學者對大數據的概念進行了探討。維基百科對于大數據的定義是：大數據是指使用常用軟件工具獲取、管理和處理數據所耗時間超過科容忍時間的數據集[1]。Gartner研究機構認為：大數據是一種信息資產，具有海量、高增長率以及多樣化的特點，需要新的處理模式，以獲得更強決策力、洞察發現力以及物流優化能力[2]。美國麥肯錫咨詢公司（2011年）認為：大數據就是對超大樹數據的采集、存儲與分析的新技術，這些新技術的內涵已經遠遠超出傳統的技術范疇。國內學者徐子沛（2012）認為大數據的意義在于海量數據交換、分析和整合，通過大數據創造新價值、發現新知識，讓大數據帶來大利潤、大發展、大科技和大知識[3]。

1.2 大數據的特征

盡管學者對于大數據的定義各有不同，但是均有如下幾個特征：一是數據容量大，具有巨大的數據量以及數據規模的完整性;二是數據的來源多樣化，格式多樣，涵蓋關系型和非關系型數據，數據之間的內在聯系需要去發掘;三是高速性和實時性，數據從創建、處理分析是連續的和實時的;四是數據具有價值性，需要利用大數據技術，提取有價值的信息。大數據技術體系龐大且復雜，基礎的技術包含數據的采集、數據預處理、分布式數據存儲、數據清洗、建立數據庫、機器學習、查詢分析、并行計算、數據可視化等[4]。

2 統計信息化發展現狀

2.1 統計信息化的概念

統計信息化是將信息化技術應用于統計工作的統稱，是利用計算機網絡和通信技術，實現對統計數據的收集、管理、匯總、傳輸和發布功能，以高效地獲取更多、更快、更準確地統計信息，從而提高統計機構的管理效率、統計人員的工作效率和統計數據的質量。信息化技術和統計工作的結合，可以推動統計工作和業務流程網絡化水平逐步提高，進而提高統計數據質量、工作效率和優化統計服務。

2.2 統計信息化發展現狀

我國的統計信息化建設始于20世紀80年代，經過幾十年的發展歷程，特別是“十三五”時期，統計信息化建設取得長足發展，為統計工作的正常開展提供了可靠保障，為提高統計工作效率、數據質量和服務水平提供了有力支撐。一是全國統計信息化基礎設施不斷完善，統計聯網直報平臺運營基本完善，統計信息網絡覆蓋范圍不斷擴大，系統資源建設穩步推進，系統運維和保障能力不斷增強;二是信息化應用水平持續提高，除了聯網直報系統可滿足大量用戶在線填報日常統計報表外，在各類普查數據采集處理工作中，通過不同采集方式在線采集各類數據，大大提高了數據采集效率和處理能力;三是統計數據管理和服務能力顯著提升，已經建成微觀數據庫、統計基礎數據庫等，管理數據量近4000億條，滿足不同用戶群體統計數據使用需要，同時在部門數據交換共享方面積極推進，成效顯著;四是統計信息網絡安全保障不斷增強，網絡安全標準制度體系和保障體系不斷健全，安全管理與監控能力不斷提升，重要統計數據和關鍵信息基礎設施保護全面強化。隨著新一輪科技革命深入發展、大數據應用日益普及，為提高統計生產力、變革統計生產方式、重塑統計生產關系提供了強勁動力。

3 大數據時代統計信息化存在的問題

大數據背景下，統計信息化建設要跟上時代的潮流，還存在一些短板和問題，統計信息化建設尚未充分利用現代信息技術發展成果，也不能完全滿足統計現代化改革的新需要[5]。

3.1 數據采集的準確性和安全性有待提高

目前，國家統計局通過統計“四大工程”建設已經建立了較為完善的企業一套表制度，統一采用數據處理軟件系統，企業和機構端用戶各司其職，共同確保數據上報的準確性和安全性。但是由于企業配合度、統計人員更換頻繁、統計指標理解不到位等問題，企業的數據質量難以得到有效保障;同時，企業數據僅來源于企業統計人員上報的報表指標，無法從企業的直接生產數據、上報部門的相關數據等指標對企業的上報數據進行核實，數據的準確性無法保障。在安全性方面，數據在網絡傳輸的過程中，是否被篡改無法及時掌握，是否存在人為干預也無法判斷，這對基層統計數據的質量帶來一定的影響。

3.2 數據更新、維護和共享機制有待健全

一是名錄庫管理機制需要完善。統計信息化建設的一項重要基礎性工作就是進行單位名錄庫的建設、更新和管理，我們目前雖然有基本單位名錄庫管理制度，但是更新速度慢，手段落后，無法實現自動化管理和更新，在基層統計力量不足的情況下，無法做到對企業信息及時、準確更新。二是數據維護機制不健全，隨著社會各界對統計數據使用的重視，各地各部門建立了各種類型的數據庫，但是未形成統一的數據庫標準;在數據維護上，僅僅依靠各專業人員，在業務工作量大的情況下，數據的更新和維護無法做到及時和準確。三是數據共享機制有待完善，目前統計數據庫與各政府部門的數據實現了一定的共享和交流機制，但由于各部門的數據標準和規范不統一，因此共享獲得的數據的清洗和整理需要耗費大量的人力和時間，資源的利用率有待提高。