應用大數據創新統計檔案管理的思考

魏翔

（南京市統計局，江蘇 南京 210019）

應用大數據創新統計檔案管理的思考

魏翔

（南京市統計局，江蘇 南京 210019）

大數據時代的到來對統計工作形成了巨大的挑戰。政府統計機構要把握大數據時代的契機，充分運用大數據、移動終端、云計算等新技術，顛覆傳統的數據采集、共享、開發流程，創新統計檔案管理方法，更大程度地發掘統計檔案的潛在價值，服務現代統計體系建設。

大數據；統計檔案；創新

“大數據”（big data）,本意為信息爆炸時代產生的海量數據。作為云計算、物聯網之后的IT產業又一次顛覆性的技術革命，開啟了一個大規模生產、分享和應用數據的時代。統計部門作為經濟社會發展的數據管理中心，要積極應對大數據帶來的環境變化和需求變化，更大程度地發掘統計檔案的潛在價值，更加全面地提供檔案信息服務，更好地開展統計檔案利用工作，讓大數據在檔案管理事業中大放異彩。

一、統計檔案管理的基本概念

（一）統計檔案的定義

統計檔案是各級國家統計機關和企事業單位的統計部門在進行統計調查、統計分析等統計活動中直接形成的，具有一定保存價值的各種數字、文字、圖表、聲像及電子載體形式的歷史記錄，是具有有機歷史聯系的文件體系。統計檔案管理是指管理人員直接對檔案實體和檔案信息進行管理服務和開發利用所開展的各項工作。

（二）統計檔案的種類

1.統計報表是由國家或地方政府統計機構統一設計的調查文件，并按照統一格式、統一時間、統一程序，自下而上提供統計資料的一種報告制度。

2.統計資料是統計工作的成果，是研究社會經濟發展規律，總結歷史經驗，對統計調查所取得的各項原始資料（包括歷史資料）進行科學的加工與匯總。

3.統計分析是運用整理、匯總的統計資料，綜合分析國民經濟各方面的發展速度和比例關系，檢查、監督并分析國民經濟計劃的執行情況，從中發現新情況、新問題，提出有數字、有情況、有分析的統計分析報告。

（三）統計檔案的作用

1.統計檔案是經濟社會發展成果的真實記錄，具有重要的史料價值。統計檔案既是了解各行各業每個發展階段情況的必不可少的資料，也是研究區域社會經濟發展情況的珍貴歷史記錄。

2.統計檔案是研究經濟發展規律，制定經濟政策的主要依據。通過對統計檔案所提供的數字信息的研究，我們可以清楚地看到一個地區、一個部門的發展情況，進而從中找出制約經濟發展的不利因素，通過調整經濟政策，促進經濟的高速發展。

3.統計檔案是進行經濟預測，制定長遠規劃的重要資料。統計檔案所提供的信息，都是進行統計預測所不可缺少的信息，是統計預測的客觀依據。

4.統計檔案記載了統計人員從統計學角度研究經濟的成果。統計人員在從事統計調查過程中，通過對若干個經濟現象的研究所寫的統計分析和統計論文，是由表及里的深化分析成果，對于研究當時國家和社會的發展經濟政策，具有重要參考價值，是領導進行宏觀決策的重要依據。

二、統計檔案如何適應大數據革命

（一）大數據背景下的統計工作

在政府統計發展歷程中，統計部門始終廣泛運用現代信息技術科學發展統計。近年來，國家統計局利用計算機、網絡、數據庫、空間信息等現代信息技術，建立了以基本單位、企業“一套表”制度、統一的數據采集處理軟件和聯網直報系統作為核心的統計四大工程。隨著大數據時代的來臨，統計數據生產方式也在發生著深刻變革，社會各界對統計信息的需求也大幅增加。這一趨勢要求統計檔案管理工作要積極應對大數據帶來的變化。

1.數據采集實現電子化。隨著計算機在企業中的普及和企業生產經營信息化水平的提高，國家統計局在2011年開始全面推行企業“一套表”制度，將所有面向企業的統計調查整合成統一的報表，由企業通過網絡在線填寫數據，實現了在線審核，實時上報。

在抽樣調查中大力推行手持電子終端，全面推行調查員直接調查，不斷加大手機和手持PDA電子設備采集數據的力度，使數據采集方式、匯總方式、上報方式和數據審核方式發生根本性轉變，大大促進了數據采集的規范化，載體形式更加豐富，滿足不同層次的需求。

2.數據處理實現網絡化。我國已建成以國家統計局為中心，連接各省級、市級、縣級統計機構和大部分鄉鎮、街道統計站的統計業務專網。依托業務專網，通過實施統計四大工程，建立起了以國家統計數據中心為核心，13個省級分節點數據中心組成的全國統一的統計聯網直報體系。國家統計局各專業，各省、市、縣、鄉鎮級統計機構都可按權限到國家統計數據中心獲取調查對象的原始數據，通過國家統計局開發的支持各專業、各地區進行數據處理、分析的統計業務應用軟件平臺，實現在線加工數據。

3.空間信息技術廣泛應用

近年來，統計部門積極探索以地理信息系統（GIS）、遙感（RS）和全球定位系統（GPS）為代表的空間信息技術在統計中的應用。在“三農”調查領域，國家統計局已在江蘇等地開始利用遙感技術進行農作物抽樣調查和農作物播種面積的遙感測量。在普查領域，通過國土資源部門提供的高分辨率衛星遙感影像資料和相關地理數據，對普查小區進行了統一管理和無縫劃分，確保了完整覆蓋、不重不漏。

（二）大數據時代對統計檔案管理的影響

目前，統計檔案的利用取得了較好的社會效益和經濟效益，但在利用種類上，多數局限于“實際利用”，缺乏綜合分析、研究預測等數據加工過程，更缺乏利用偏好規律利用趨向等加工結果。簡單的數據對于一般利用者來說意義不大，對經濟發展、規劃、預測和調控來說更是無關痛癢。然而，大數據時代的到來，未來的統計檔案管理工作將逐步呈現“三大”挑戰，也將給現在的統計檔案利用帶來相應的挑戰。

1.對數據采集的挑戰

現行的統計數據的收集方式沿用多年，期間也進行了不同程度的改革，但是還不能滿足日益發展的社會主義市場經濟發展的需要，仍局限于少量的不同利用目的的人次，缺乏利用偏好規律。傳統的數據采集，往往是通過定式的報表采集被調查對象的數據，逐級填報、層層匯總的調查方式。以現行的服務業調查為例，在采集原始數據時需要調查者與調查對象的參與，若調查者在調查過程中錯記、漏記、匯總錯誤或無意漏報數據都會增加系統偏差，影響服務業統計數據的真實性，數據質量難以控制，在數據處理上也過于簡單，無法挖掘潛在價值。而在大數據時代有了云計算和數據庫以后，獲取數據的手段將發生革命性變化，來源則多種多樣。將可以通過信息網絡、行政記錄等手段獲取海量的半結構化和非結構化數據。

2.對數據共享的挑戰

大數據時代統計檔案服務將朝著社會化、多元化、開放性和先進性方向發展，以利用者的個性化需求為導向，使用統計數據是一種文化、一種習慣。如何從統計數據中去認識和利用？對于掌握海量數據的統計部門而言，在完成簡單疊加只是匯總數據，缺乏有效的數據開發手段和單個指標特性挖掘工具，不能有效地挖掘關聯指標間蘊含的海量信息。針對大數據即時產生、內容豐富、形式多樣的特點，實現與部門數據之間的共享，豐富數據發布模式，及時、有效的開放統計數據，更好地服務社會公眾，滿足社會對統計數據開放的需求，更加全面的提供檔案信息服務。

3.對數據開發的挑戰

在傳統管理方式下，檔案利用只是提供被動的查閱服務。目前，我們常規統計數據發布后，給人們的感受就是統計數據與他們無關。通過觀察我們不難發現，每次宏觀數據發布后往往是媒體和機構在解讀數據，統計本身對數據的解讀較少，致使調查對象不能有效地理解宏觀數據對自身的影響，關注需求降低。在大數據時代，統計數據開放可以讓統計系統外的人一起參與進來，讓公眾更多的了解自己所生活的城市、所從事的行業、所工作的區域的相關信息，不再拘泥于新聞發布會、統計年鑒等傳統的方式。利用大數據的理念和技術對統計業務檔案進行加工和二次開發，為利用者創造更多的價值。

三、統計檔案在大數據時代如何作為

（一）將統計檔案轉變為大數據中心

信息技術革命與經濟社會活動的交融催生了大數據，大數據是經濟社會、現實世界、管理決策的片斷記錄，蘊含著海量碎片化信息。以淘寶為例，2015年銷售額26000億，2016年3月,手機淘寶的活躍用戶是3.4億。一個綜合性的淘寶指數應運而生，用戶可以查詢購物數據，了解購物趨勢，更加關注淘寶指數，而不是“居民消費價格指數”、“社會消費品零售總額”等統計指標。由于統計檔案基本處于封閉或半封閉的管理，無法反映經濟社會發展的變化情況，利用市場規律，無法實現統計咨詢和統計監督的功能。

目前，世界統計已進入一個非常重要的變革時期，其中一個突出的發展方向就是將行政記錄用于搜集統計數據。例如，芬蘭官方統計產品的96%源自行政記錄；瑞典的社會經濟統計廣泛地利用行政記錄。統計部門得以從政府行政記錄中獲得完整和準確的個體信息，將規范的行政記錄作為抽樣調查準確的基礎數據，變“死數據”為“活水源”。由于大數據時代的即時電子化數據，因此統計檔案完全可以縮短接收和移交周期，甚至可以做到實時入檔，確保信息的完整性和及時性，并由檔案人員進行數據處理，提供更有效的分析查詢。做好大數據時代的統計檔案工作，必須要將統計檔案定位從統計數據轉變為大數據中心。

（二）利用大數據技術發揮統計檔案的決策支撐作用

目前，統計系統外存在的電子化的海量數據與統計檔案管理之間還存在著一定落差，隨著分析技術與計算技術的突破，解讀這些海量碎片化信息已成為可能，這使大數據有望成為一種新的決策方式。大數據技術可以幫助我們實現科學決策，使科學決策具體化，能夠合理的預測某種趨向，及時調整服務重點或者提前做好服務計劃，從而推動管理理念、方式與方法的革命。基于大數據和大數據技術，統計檔案信息的價值能夠為以后的政府決策提供支撐，我們可以使用極為豐富的數據資源對統計發展進行實時分析，在更新更高層面上不斷開創現代政府統計的新局面。

（三）做好專業人員配備

大數據將使利用統計檔案工作專業化、大量化和復雜化，大數據的收集、整理、分析和利用能力將成為關鍵之所在，統計檔案管理工作需要培養和造就一批大數據中心建設的人才，必須具備一定的統計理論和實務素養，掌握大數據技術、精通大數據管理、工作高效、適應大數據中心建設需要的檔案管理工作隊伍。此外，推動大數據中心建設，還要建立過錯追究制度，強化檔案人員的責任意識，促進利用統計檔案工作質量的提升。在這種情形下，要及時對專兼職檔案工作人員進行專業培訓，加強信息技術、計算機等方面知識的學習，便于檔案人員充分認識和研究應用大數據的意義，加快形成支撐大數據中心建設的既精通統計業務，又熟練掌握計算機運用技能，統計應用等多種能力的人才。

總之，大數據時代的到來，對統計檔案管理工作既是挑戰，更是機遇，對檔案管理工作人員提出了更高的能力要求，將現代統計檔案管理提升至一個新的高度。同時，統計檔案利用工作在檔案管理中的價值將進一步凸顯，很多重要的數據信息將會被有效的提取出來進行統計并加以分析，使現代檔案管理工作效率得以提升，從而促進應用大數據創新統計檔案管理的發展。

[1]劉欣，董振瑞主編．最新檔案管理工作手冊．中國言實出版社,2007．7:G271-62．

[2]徐翠華主編．大數據與政府統計．南京出版社，2014．3：C829．23-53．

（責任編輯：高萍萍）