完善統計數據質量的保障機制研究——基于統計業務流程視角

程開明、陳龍、翁欣月等

（浙江工商大學，浙江杭州　310018）

完善統計數據質量的保障機制研究——基于統計業務流程視角

程開明、陳龍、翁欣月等

（浙江工商大學，浙江杭州310018）

在梳理國際通用統計業務流程模型（GSVPM）的基礎上，結合大數據對統計業務流程及質量管理的影響，提出中國統計業務流程的設計框架及基于業務流程的企業一套表質量管理，給出統計業務流程視角的數據質量保障措施。

統計業務流程；數據質量；控制；企業一套表；保障措施

隨著大數據時代的到來，統計應用的日益廣泛，社會各界對數據質量的關注度不斷提高。數據質量的好壞直接決定著社會經濟發展的監測與評價效果，影響決策的科學性與準確性，以及統計部門的形象和公眾對統計的信任度。聯合國統計委員會于2013年12月發布通用統計業務流程模型（GSBPM，V5.0），描述和定義了生產官方統計數據的9大業務流程，為統計過程質量評估和完善提供一個完整框架。中國政府統計機構正以“四大工程”為抓手，大力推進統計改革與創新，通過企業一套表工作業務流程來提高統計工作的標準化、規范化，提升數據質量。鑒于此，在借鑒聯合國及其他國家統計業務流程模型成功經驗的基礎上，結合我國企業一套表的統計業務操作實際，從統計業務流程的視角提出統計數據質量評估及保障機制顯得必要而迫切。

一、聯合國通用統計業務流程模型

聯合國統計委員會2013年12月發布通用統計業務流程模型（GSBPM V5.0），描述和定義生產官方統計數據的幾大業務流程，為過程質量評估和完善提供了一個參考框架。

（一）GSBPM模型的結構

GSBPM模型（V5.0）總體上由三層組成：第零層：統計業務流程；第一層：統計業務流程的8個階段；第二層：每個階段中的子流程。還包括應用于所有8個階段的跨越式流程：一類是具有統計學內容的流程，一類是更通用的流程，被應用于任何形式的組織。

（二）GSBPM模型的階段與子流程

第一階段：確定需求。包括所有與用戶接觸以明確其具體統計需求，提出總體解決思路，以及準備實現這些需求的業務文件活動。該階段可細分為6個子流程。

第二階段：設計。描繪開發和設計活動，包括定義或改進業務文件中確定的統計產出或服務所涉及的元素，對所有相關的元數據進行說明。該階段可分為6個子流程。

第三階段：開發。主要任務是在“真實”環境中開發和測試生產解決方案，通常發生在第一次執行過程中，而不是每一次執行中，且通常由方法或技術的變更引起。該階段可分為7個子流程。

第四階段：采集。應用不同的采集模型（包括從統計數據、行政記錄、其他非統計的登記記錄和數據庫提取數據），收集所需的信息，并加載到相應的處理環境以供進一步處理。該階段可分為4個子流程。

第五階段：處理。描述數據清理和分析準備的工作，包括數據檢查、數據清理和數據轉換，使得數據能作為統計產出被分析和發布。該階段可分為8個子流程。

第六階段：分析。產生統計產出結果，詳細校對檢查以做好準備將其向外發布，并準備相關的評論及技術說明等，確保統計輸出“符合目的”。該階段可分為5個子流程。

第七階段：發布。管理統計產出面向用戶的發布過程，包括通過一系列渠道向用戶發布統計產出的活動，使用戶能夠訪問和使用統計組織發行的統計產品。該階段可分為5個子流程。

第八階段：評估。包括評估一個特定統計業務流程的成功執行，關注一系列定性和定量的投入，并對潛在的改進進行識別和優先排序。該階段可分為3個子流程。

（三）GSBPM模型的跨越式流程

跨越式流程貫穿于GSBPM模型的多個階段，主要包括質量管理、元數據管理、數據管理、數據處理管理、知識管理、統計架構管理、統計項目管理、供應者管理、用戶管理等。更通用的跨越式流程還包括：人力資源管理，資金管理，項目管理，法律架構管理，組織架構管理，戰略規劃等。

（四）GSBPM模型的適用性

GSBPM模型適用于國家和國際層面的官方統計數據生產所涉及的活動，獨立于數據來源，可對建立在抽樣調查、普查、行政記錄和其他非統計或混合性數據來源基礎之上的業務流程進行描述和質量評估。GSBPM模型建立的最初目的是為統計機構提供一個標準專業術語的協議基礎，以便于機構內部開展統計元數據系統和流程的探討。然而，隨著發展，模型逐漸被拓展并適用于其他目的，特別是與官方統計現代化相關的方面。

美國、比利時、挪威、新西蘭、荷蘭、加拿大、丹麥和韓國等國家相繼提出或修正本國統計業務流程架構的設想和目標，對于構建中國統計業務流程和完善數據質量保障機制具有啟示意義。

二、大數據對統計業務流程的影響

（一）大數據對統計生產流程的沖擊

大數據條件下，政府統計推行的“聯網直報”系統、手持PDA采集系統、電子記賬系統、地理信息系統和遙感測量技術在統計調查中的應用，將促進政府全面統計和抽樣調查制度的改進，必將改造統計業務流程以適應大數據需求（許小樂，2013）。

1.制度設計多樣化。大數據背景下的制度設計需要明確數據從哪里來，弄清楚已經存在的相關數據是通過什么方式產生的，從哪些領域產生的，會對研究目的產生哪些影響，進而確定采用什么樣的數據來反映統計目標，從各種數據來源中甄別出反映出設計對象的屬性指標。

2.數據采集智能化。在大數據時代，數據來源于信息技術記錄下的原始數據，數據采集往往依賴于測量方法，而不需要調查對象長期、認真的配合。大量數據的傳輸中，也難以篡改數據，數據質量大大提高，而互聯網、物聯網、云計算等技術也有利于提高數據采集的智能化水平。

3.數據分析專業化。大數據背景下的數據分析，面臨存儲于各處的大量非結構化或半結構化數據，需要將這些無法識別和運算的信息轉化為結構化數據，洞察出語義、態度、情感、社會關系、效果等傳統統計難以解決的問題。針對結構化的海量數據，需要挖掘數據之間的內在關系，尋找更多有價值的信息。

4.統計發布透明化。大數據的背景下，數據的獲取分析將全社會共享，而非統計部門一家獨享。統計數據的產品屬性會更加突出，面臨的市場競爭壓力會更大。由于數據的大量存儲和共享，統計數據發布的公開透明程度將會更高，沒有公開詳細、公允計算方法的數據將會被其他數據替代。

（二）大數據下統計業務流程的變革

在大數據業務生態下，統計業務流程各環節的方式和支撐方法都將發生較大的擴展，數據管理與專業數據計算分析能力將成為大數據業務實現過程中重要的推動因素。

1.基本業務環節的變化。大數據下的統計業務流程與傳統模式相比，總體上有兩個明顯變化：（1）數據融合代替數據收集，并成為數據來源的主要模式。大數據模式下，統計機構自身能力和資源有限，將更多通過非采集方式獲得分析所需的數據。（2）數據管理能力成為一個新的要求。大數據場景下，數據規模大、類型多樣，且較分散，對其進行統一的管理能力是后續業務環節順利進行的基礎。

2.具體業務流程的變化。為便于對照分析，將傳統模式與大數據模式下的業務流程統一規范為五個環節（馬亮，2015）。（1）數據融合/采集。傳統模式下，數據采集的方式主要通過報表、問卷、座談會等，多是小規模采樣，且對目標有直接影響，得到的數據是某個時間（點）的靜態的截面數據，維度受采集方式所限也不可能太多。而大數據條件下，數據融合代替采集成為獲取數據的主要方式，此時數據同步和ETL成為主要方式，行為日志記錄、網絡抓取等成為主要手段，采集的數據在時間和空間上多是動態和持續性的，可記錄維度也較多。

（2）數據管理。傳統模式下，數據通常為標準的結構化數據，且規模小，此時單機的普通文檔足以勝任所有存儲和檢索要求。在大數據環境下，數據量起點在TB級以上，格式也更加多樣，數據的管理難度幾何級數增加，需要多機、分布式文件系統/海量數據庫和專業架構人員，確保大數據的安全管理和快速檢索。

（3）數據計算。傳統模式下，數據計算主要是各種統計學的計算，計算量不大，工具以Excel到SPSS、SAS為主流，處理多由統計業務人員完成。在大數據模式下，數據規模、維度和分析方法的變化對計算要求大大提高，計算工作更多樣化、復雜度更高和更具專業性，需要使用自然語言處理、機器學習處理、圖計算等理論和方法。

（4）數據分析。傳統模式下研究人員主要根據傳統方法，對前期生成的指標性數據，考察全局性的分布/差異，歷史變化等。大數據模式下，除了傳統方法的分析外，更多使用大數據方法。同時，由于分析主要基于各種專業計算的結果，研究人員必須與專業IT技術專家緊密配合，才可能完成有價值的分析。

（5）結論與呈現。傳統模式下，研究結論關注統計指標的變化，原因分析和對策建議是重要內容，結果多通過專項報告形式，采用基本的圖表加以呈現。大數據模式下，既有傳統的統計性結論，也有更多大數據方法論，結果更多地通過在線系統來展示，新的可視化技術在大數據分析和結果展示上越來越受到重視。

三、中國統計業務流程模型及質量管理體系構想

（一）中國統計業務流程模型的總體框架

在現有統計業務流程的基礎上，借鑒通用統計業務流程模型及其他國家的經驗，定義中國統計業務流程基礎框架，目標要反映統計工作的全過程，規范各階段的業務內容。中國統計業務流程總體框架大致包括兩個層面：

1.基本統計業務流程。基本統計業務流程包括確定需求、設計、開發及任務部署、采集、審核上報、數據分析及匯總、數據發布、存檔、評估等9個階段。

2.跨越式統計業務流程。跨越式統計業務流程包括質量管理、元數據管理、統計項目管理、統計標準和分類管理、調查單位管理、數據管理、資金管理和人員管理8個方面。

以上是中國統計業務流程的總體框架構想，具體實施時需要結合實際情況，進一步細化流程，給出具體規定操作規則和要求（圖1）。

圖1　中國統計業務流程模型框架

3.統計業務流程管理系統的架構。堅持以信息化手段為依托，大力推進“統計業務流程管理系統”建設，對統計設計、項目審批和質量評估等環節實行全過程一體化管理，實現真正意義上的統計流程再造，推進統計的改革創新、規范統一和公開透明（劉志，2013）。

統計業務流程管理系統是充分利用現代信息技術，以元數據管理框架為基礎，建立的統計調查項目設計、審批和管理、調查的具體實施、數據的評估以及數據發布的一體化工作平臺，能夠從統計設計、項目管理、數據采集、數據處理、數據評估和數據發布六個階段對整個調查進行全過程質量控制。

（三）企業一套表的統計業務流程設計及質量管理

開展企業一套表調查，應按照一體化的理念，將涉及企業的若干調查項目進行整合，統一設計，統一采集數據，因此建立規范的業務流程成為企業一套表改革的核心。

1.企業一套表的統計業務流程設計。設計企業一套表的統計業務流程將基于統計業務全流程和全系統的設計理念，將統計業務流程設計和權限管理相結合、統計業務流程設計與規范管理相結合，參考通用統計業務流程模型及各國的經驗，結合統計工作現狀，總結試點的經驗，漸序推進。

根據統計調查的內容和要求，結合統計業務模型，企業一套表業務流程的總體架構可分為三層，第一層包括6個工作環節，即統計設計、調查單位確定和管理、任務部署、數據采集、數據審核驗收和數據加工匯總；第二層包括詳細的工作節點，即在每一個環節中包括若干工作節點；第三層是對每個工作節點的具體描述。

企業一套表業務流程與通用統計業務流程模型的基本思路相同，均按照統計工作的開展步驟進行設計，流程中都包括設計、采集和加工處理等具體環節（階段），但兩者在定位、總體架構、涵蓋范圍和階段劃分上又有所不同（王萍，2013）。

2.基于業務流程的企業一套表質量管理。企業一套表數據全流程質量管理是指從統計調查設計到匯總生成綜合數據、從統計調查任務布置到事后數據質量檢查的整個流程各個環節的工作質量、數據質量的管理及控制，內容涵蓋企業一套表業務流程中的統計設計、調查單位確定和管理、任務部署、數據采集、數據審核驗收和數據加工匯總等環節（劉偉芳，2014）。

（1）統計設計環節的質量管理。在設計階段，事先要對調查的必要性、可行性、數據指標的可獲得性和不受干擾性、反映社會經濟情況的準確性等方面進行充分認證，科學規劃和統一設計統計制度方法。制度設計要保證統計標準統一，指標概念清晰、口徑明確、體系規范，調查方法科學，切實降低因制度設計缺陷導致的系統性誤差。同時，力求調查內容與現行企業財務制度及行政記錄相銜接，減輕基層統計人員計算和填報難度。

（2）調查單位確定環節的質量管理。嚴格執行基本單位名錄庫統一管理制度，通過協調相關專業統計、充分利用行政記錄資料、定期清查和實地核查等措施，確保各類調查單位的真實性并及時更新維護。名錄庫管理部門要根據企業一套表制度要求，核實和確認完整統一的調查單位，及時、準確地提供給各專業統計使用。軟件系統要實現與基本單位名錄庫的對接，滿足企業一套表統計和基本單位名錄庫更新維護的業務需求。

（3）任務布置環節的質量管理。按照統計調查制度的規定，通過統一的軟件系統將調查任務逐級布置到各級統計機構和調查對象；使用經名錄庫管理部門確認的統一的調查單位，確保在軟件系統上按制度規定的調查頻率準確地向調查對象分配統計報表任務。設計管理部門負責統籌和協調，數據管理部門負責軟件系統培訓和技術支持，各專業部門負責實施相關專業的業務培訓，各相關部門按照職責分工通力合作，確保培訓效果。

（4）數據采集環節的質量管理。要求統計調查對象建立健全企業原始記錄、統計憑證及統計臺賬的管理和使用制度，建立健全統計資料的審核、簽署、交接、歸檔等管理制度，統計資料的審核、簽署人員應對其審核、簽署的統計資料的真實性、準確性和完整性負責。統計機構要合理規劃不同報表的上報時間和頻率，通過軟件系統及時監控數據上報情況，并對已上報數據的審核和驗收情況進行反饋，對未按規定時間上報數據的調查對象進行催報。

（5）審核驗收環節的質量管理。運用軟件審核功能及其他輔助審核手段及時對企業報表進行全面審核，確保基層數據準確無誤。各級統計機構不得修改調查對象填報的原始數據，防止人為對基層統計數據的干擾，杜絕篡改、虛報、瞞報基礎統計數據的行為，確保收集到的是來自調查對象的真實數據。數據在不同部門、不同軟件間進行交換和轉換后，必須再次審核，以防止數據網絡傳輸和內部整合過程中發生差錯，確保數據流轉穩定可靠。

（6）數據加工環節的質量管理。各級統計機構業務人員按照相應的匯總權限，對本專業調查數據進行匯總，確保數據處理準確無誤。數據匯總完成后，要根據已設定的匯總表評估規則對匯總數據進行審核。基層數據自上而下逐級確認，期間下級統計機構可以隨時匯總，但經上級統計機構確認后方能使用匯總數據。

四、統計業務流程視角的數據質量保障措施

統計數據質量是長期困擾我國政府統計的一個難題，構建統計業務流程框架，開展企業一套表業務流程設計，能夠為統計生產過程、統計產品的質量改進提供基本保證，有利于提高統計生產能力、統計數據質量和政府統計公信力。為使基于統計業務流程的數據質量控制體系切實發揮作用，應采取以下保障措施。

（一）推進統計制度改革，理順統計業務流程

按照統計業務流程分別設立制度設計部門、數據采集部門、數據管理部門、數據發布部門、數據質量評估中心等職能機構，真正構建起以專業和閉循環流程為主的大循環。扎實推進統計業務數據化，加快行政數據的共享，實現多部門數據的交叉驗證，“聯網直報”采取IP定位控制、修改痕跡保留等方式進行監測。建立新型“一套表”統計報表制度，將需要向調查對象采集的全部統計內容集中統一布置，消除重復布置、重復統計，實現按調查對象實際情況“量身定做”統計調查內容。

（二）推動統計管理模式創新，提高統計生產效率

在業務流程管理的每一個環節制定相關標準，強化各流程質量控制，逐步實現統計生產流程和統計服務的質量管理標準化，實現統計管理由“規范化”向“標準化”跨越。按照統計生產流程，逐步形成“統計設計――數據采集――數據分析――數據發布”的一條龍縱向管理流程；明確橫向的各流程權限管理，使不同層級、部門的工作人員各司其職，避免跨越環節的無序操作和重復遺漏，提高統計生產效率。

（三）結合大數據應用，重塑政府統計業務流程

面對大數據的沖擊，政府統計應積極應對，打造政府統計數據來源的“第二軌”，以統計業務流程模型為基礎，統一統計標準，規范統計指標，改革調查方法，完善采集方式，改進數據處理，豐富分析手段，完善數據發布，并結合大數據的實際應用，實現政府統計業務流程的革新與再造，提高數據質量。

（四）依托“四大工程”建設，建立高效的統計信息系統

以企業一套表為核心的“四大工程”建設是對統計數據生產方式的重大變革，未來應繼續以推進“四大工程”建設為抓手，建立統一的元數據庫系統，建立統一的業務處理平臺，建立分布式網絡數據倉庫，建立真正的大數據平臺，容納所有采集到的數據信息，將歷史和現有原始數據文件整理歸集到系統中，切實搭建起高效的統計信息系統。

［1］程開明：三種國際統計質量管理框架的比較及啟示，統計研究，2011年第4期，74-79頁；

［2］程開明、陳龍：大數據時代的統計挑戰及應對，中國統計，2013年第8期，11-13頁；

［3］劉偉芳：國內外統計業務流程設計對國家企業一套表的啟示，調研世界，2014年第5期，44-48頁；

［4］劉志：對我國統計業務流程再造的思考，中國統計，2013年第4期，4-6頁；

［5］馬亮：傳統研究在大數據下業務流程的變化與調整，http://www.c114.net（2015/1/8 13:40）；

［6］王萍：建立中國統計業務流程的構想，統計研究，2013年第3期，18-24頁；

［7］王萍：統計業務流程的國際規范，中國統計，2012年第10期，34-36頁；

［8］許小樂：大數據與政府統計改革，調研世界，2013年第5期，42-45頁；

［9］楊美沂：數據大集中環境下的統計生產流程再造，統計與信息論壇，2010年第7期，10-13頁；

［10］Pipino L.，Y.Lee，and R.Y.Wang.Data Quality Assessment［J］.Communications of the ACM，2002，10（5）: 211-217.

（責任編輯：牛域寧）