基于信息化技術的統(tǒng)計數(shù)據(jù)質量評估體系構建研究

摘要：隨著現(xiàn)階段信息技術的飛速發(fā)展，信息技術的應用為統(tǒng)計工作提供了更多的便利，但立足于信息時代背景下，受海量數(shù)據(jù)的沖擊，統(tǒng)計數(shù)據(jù)質量問題也逐漸凸顯。保證統(tǒng)計數(shù)據(jù)的完整性、一致性、時效性、可靠性，已經成為現(xiàn)階段統(tǒng)計工作所要考量的重要問題。因此，利用數(shù)據(jù)挖掘、人工智能、大數(shù)據(jù)分析技術，保證統(tǒng)計工作中數(shù)據(jù)的全面性，以此發(fā)現(xiàn)數(shù)據(jù)中可能存在的諸多問題和漏洞，從而及時解決問題，不僅可以構建較為完善的數(shù)據(jù)質量評估體系，還可以滿足新時期數(shù)據(jù)統(tǒng)計工作的本質要求。本文基于信息化技術的統(tǒng)計數(shù)據(jù)質量評估體系的構建展開分析和論述。

關鍵詞：信息技術；統(tǒng)計數(shù)據(jù)質量評估體系

引言

信息技術在統(tǒng)計數(shù)據(jù)質量評估體系的構建中起著重要作用，其不僅可以提高數(shù)據(jù)評估的有效性和時效性，更能有效應對傳統(tǒng)統(tǒng)計數(shù)據(jù)質量評估過程中所存在的諸多問題和挑戰(zhàn)，從而為統(tǒng)計數(shù)據(jù)的質量評估提供更加全面、及時且有效的數(shù)據(jù)支持。但是，目前利用各類信息技術進行統(tǒng)計數(shù)據(jù)質量評估，還缺乏較為完善且統(tǒng)一的評估體系，而且信息化時代各類新技術快速更新，評估工具和評估方法在技術上存在參差和滯后，這都會影響最終評估結果的準確性和全面性。因此，針對這類共性問題，需要立足于目前統(tǒng)計數(shù)據(jù)質量評估體系構建的具體情況，展開具體分析，由此保證信息技術在統(tǒng)計數(shù)據(jù)質量評估體系構建中應用的有效性。

1. 統(tǒng)計數(shù)據(jù)質量評估體系的概念與原理

統(tǒng)計數(shù)據(jù)質量評估體系是指對統(tǒng)計數(shù)據(jù)在采集、整理、處理和報告等各環(huán)節(jié)中的一體化處理，需要保證數(shù)據(jù)的完整性、一致性、時效性、可靠性。在統(tǒng)計學領域，質量評估是確保統(tǒng)計數(shù)據(jù)能夠反映現(xiàn)實情況、支持決策、政策執(zhí)行的關鍵所在，而對于統(tǒng)計數(shù)據(jù)質量評估來說，其準確性是指在統(tǒng)計數(shù)據(jù)與實際情況之間的符合程度，也可以理解為是為了保證數(shù)據(jù)的真實性和可信度。其中，可信度、準確性評估通常包括數(shù)據(jù)采集的準確性，以及處理過程中可能存在的誤差、數(shù)據(jù)報告的正確性等。在統(tǒng)計數(shù)據(jù)質量準確性評估的過程中，還需考慮數(shù)據(jù)來源、數(shù)據(jù)采集方法、數(shù)據(jù)處理邏輯等各類因素。對于統(tǒng)計數(shù)據(jù)質量評估的完整性來說，是為了保證相關數(shù)據(jù)沒有遺漏或丟失。完整性的評估更關注數(shù)據(jù)采集過程中是否會存在漏報、錯報或重復報告等情況，從而保證數(shù)據(jù)的完整性，這對支持決策以及反映現(xiàn)實情況均發(fā)揮著尤為重要的作用[1]。

2. 統(tǒng)計數(shù)據(jù)質量評估體系構建存在的共性挑戰(zhàn)

2.1 數(shù)據(jù)采集、整合與數(shù)據(jù)清洗、處理的問題

從廣義的角度來說，構建統(tǒng)計數(shù)據(jù)質量評估體系是為了保證數(shù)據(jù)分析和決策的有效性，但在構建的過程中，可能會面臨數(shù)據(jù)采集和整合的共性問題。

一方面，數(shù)據(jù)的來源多樣常伴隨數(shù)據(jù)質量參差不齊，除此之外，還須考慮數(shù)據(jù)的可追溯性以及各類數(shù)據(jù)應用的時效性，由此才能依托具備可重用性的數(shù)據(jù)，構建有效且完整的數(shù)據(jù)質量評估體系。

另一方面，在構建統(tǒng)計數(shù)據(jù)質量評估體系的過程中，數(shù)據(jù)清洗和數(shù)據(jù)處理也是較為突出的共性問題，一般來說，原始的數(shù)據(jù)可能會存在缺失值或異常值等問題，這可能導致統(tǒng)計數(shù)據(jù)質量評估體系構建的局限性。因此，須注重這類數(shù)據(jù)的統(tǒng)一管理，考慮數(shù)據(jù)的一致性和標準化，確保這類數(shù)據(jù)在統(tǒng)計數(shù)據(jù)質量評估體系構建過程中的可比性及可效信度，為數(shù)據(jù)分析和決策提供有效的支持。

2.2 數(shù)據(jù)質量評估指標的模糊性

在構建統(tǒng)計數(shù)據(jù)質量評估體系的過程中，需要考慮各場景的應用需要，以保證評估結果的準確性和有效性。較為常見的數(shù)據(jù)質量評估指標包括數(shù)據(jù)是否完整、是否一致、是否可靠、是否及時，并根據(jù)不同數(shù)據(jù)的類型和用途，采用多個指標進行綜合評估，以全面了解數(shù)據(jù)質量，才更具可行性。但是，在構建統(tǒng)計數(shù)據(jù)質量評估體系的過程中，傳統(tǒng)工作方式較為單一，無法滿足該類多個指標綜合評估的目的。不僅如此，數(shù)據(jù)質量評估本身是一個長期反復的工作，并不屬于一次性工作。因此，還須立足實際，建立健全有效的數(shù)據(jù)控制機制和管理機制，及時發(fā)現(xiàn)數(shù)據(jù)在應用過程中可能存在的問題，并建立健全數(shù)據(jù)監(jiān)控體系，對該類數(shù)據(jù)進行定期的抽樣分析，輔助健全的預警機制，幫助發(fā)現(xiàn)構建統(tǒng)計數(shù)據(jù)質量評估體系過程中可能存在的質量問題。針對這類共性問題，更需要依托智能化、信息化技術，才能保證數(shù)據(jù)質量的有效改進，從而更好地管理和應用該類數(shù)據(jù)，提高決策的可行性[2]。

2.3 人才與資源無法滿足需求

在構建統(tǒng)計數(shù)據(jù)質量評估體系的過程中，除了上述所提到的共性問題外，人員、技術、資源投入同樣是共性問題。構建一個相對完善的統(tǒng)計數(shù)據(jù)質量評估體系，需要具備專業(yè)技術和知識的人員以及充足的資源支持。例如，數(shù)據(jù)分析專家，可以深入了解數(shù)據(jù)的特性，進行數(shù)據(jù)的有效清潔、整理、處理等；統(tǒng)計建模專家，可以利用各類統(tǒng)計算法和模型，對數(shù)據(jù)進行深度分析，保證統(tǒng)計數(shù)據(jù)質量評估體系的科學性。但是，目前缺乏具備上述綜合素質的人才，且資源投入相對較少，無法滿足現(xiàn)階段各領域對于統(tǒng)計數(shù)據(jù)質量評估體系的建設需求，不僅如此，統(tǒng)計數(shù)據(jù)質量評估體系的建設還存在跨部門的情況。此外，不同部門的數(shù)據(jù)來源與數(shù)據(jù)需求不同，需要協(xié)調統(tǒng)一，因此，建立健全較為全面的統(tǒng)計數(shù)據(jù)質量評估體系，解決各部門之間可能存在的信息壁壘問題，才能確保數(shù)據(jù)質量評估工作的有效運行[3]。

3. 基于信息化技術的統(tǒng)計數(shù)據(jù)質量評估體系構建與應用策略

3.1 應用數(shù)據(jù)技術，建立健全數(shù)據(jù)采集系統(tǒng)

要構建完善的統(tǒng)計數(shù)據(jù)質量評估體系，可以立足于信息化技術的發(fā)展背景，應用各類信息化技術，建立健全數(shù)據(jù)采集系統(tǒng)。健全的數(shù)據(jù)采集系統(tǒng)需明確數(shù)據(jù)來源，以確保數(shù)據(jù)的追根溯源性和可信度。不僅如此，還須設置數(shù)據(jù)采集的相關規(guī)范和標準，以確保數(shù)據(jù)在采集過程中的一致性和準確性，利用先進的數(shù)據(jù)采集工具和數(shù)據(jù)分析技術，提高數(shù)據(jù)采集的有效性。

在采集系統(tǒng)健全后，須利用數(shù)據(jù)清洗工具和相關算法，對所采集到的數(shù)據(jù)進行清洗和去除，這是提高數(shù)據(jù)質量的關鍵所在。數(shù)據(jù)清洗通常是指通過一系列的處理算法，糾正和識別數(shù)據(jù)當中可能存在的錯誤、缺失或重復值等，從而確保各類數(shù)據(jù)的準確性和一致性[4]。例如，專門的數(shù)據(jù)采集工具WebScraper、ParseHub、Octoparse等，可以幫助自動化網頁數(shù)據(jù)的抓取和提取，以提高該類數(shù)據(jù)應用的準確性。而對于API接口來說，可以直接獲取第三方的數(shù)據(jù)信息，以實現(xiàn)數(shù)據(jù)的快速整合。除此之外，數(shù)據(jù)儲存技術如關系型數(shù)據(jù)庫、NoSQL數(shù)據(jù)庫、數(shù)據(jù)湖等，可以根據(jù)具體場景選擇數(shù)據(jù)類型，并進行儲存和管理。而通過數(shù)據(jù)清洗工具和相關算法，可以提高數(shù)據(jù)的整體質量，減少數(shù)據(jù)分析過程中可能存在的誤差和偏差，并保證統(tǒng)計數(shù)據(jù)的可行性[5]。

3.2 利用數(shù)據(jù)質量管理工具，設計合適的數(shù)據(jù)質量度量指標

在構建統(tǒng)計數(shù)據(jù)質量評估體系過程中，可以應用數(shù)據(jù)質量管理工具、數(shù)據(jù)挖掘技術、自動化檢測工具、數(shù)據(jù)質量度量指標等，提高數(shù)據(jù)質量評估的有效性，如數(shù)據(jù)質量分析工具Talend Data Quality、Informatica Data Quality，數(shù)據(jù)清洗工具DataDog、Prometheus，數(shù)據(jù)質量規(guī)則引擎工具Ataccama、Trillium Software System等[6]。而對于自動化工具來說，可以自動化執(zhí)行數(shù)據(jù)質量測試用例，以減少人工干預，提高數(shù)據(jù)測試的整體效率。依托這類新技術，設計合適的數(shù)據(jù)質量度量指標，如針對數(shù)據(jù)的準確性、完整性、一致性、時效性、可信度，實時監(jiān)測數(shù)據(jù)的整體質量，及時發(fā)現(xiàn)該類數(shù)據(jù)在應用過程中可能存在的問題。例如，針對數(shù)據(jù)準確性，可以設計的指標有數(shù)據(jù)錯誤率、數(shù)據(jù)精度、數(shù)據(jù)完整性、數(shù)據(jù)一致性，如表1所示。針對數(shù)據(jù)完整性，可以設計數(shù)據(jù)完整率、數(shù)據(jù)缺失率、數(shù)據(jù)冗余等，從而保證數(shù)據(jù)的完備性。通過利用各類數(shù)據(jù)質量管理工具，對該類數(shù)據(jù)進行有效的監(jiān)測和管理，并通過自動化的方式進行數(shù)據(jù)收集分析，以提高各類數(shù)據(jù)質量的有效性。通過合適的數(shù)據(jù)質量度量指標，構建統(tǒng)計數(shù)據(jù)質量評估體系，可以保證該類數(shù)據(jù)應用的完整性和有效性[7]。

3.3 健全數(shù)據(jù)質量改進系統(tǒng)與統(tǒng)一的合作機制

建立和運用以信息為基礎的統(tǒng)計數(shù)據(jù)質量評價制度，需要建立完善的數(shù)據(jù)質量提升體系和協(xié)調協(xié)作機制。其中，建立一個數(shù)據(jù)品質改善體系，包括數(shù)據(jù)收集、處理、分析、發(fā)布的各個階段，并通過信息技術綜合提高數(shù)據(jù)的準確性、完整性。因此，結合實際需要構建規(guī)范化的數(shù)據(jù)獲取過程，利用API集成、數(shù)據(jù)清洗等自動化手段，降低人工誤差，提升數(shù)據(jù)輸入的效率和精度[8]。同時，推進元數(shù)據(jù)的規(guī)范化，保證各類資料的來源、定義及變更的可追蹤，為后續(xù)的資料核實與品質評價提供依據(jù)[9]。此外，通過搭建多個部門間的信息交流平臺，使相關主體可以及時了解當前的信息，從而提升政策制定的科學性。例如，通過組織數(shù)據(jù)質量評價活動，建立閉環(huán)機制，并根據(jù)評價的結論對數(shù)據(jù)進行改善，對存在的問題進行實時校正，形成全員參與、共同維護數(shù)據(jù)質量的良好氛圍，實現(xiàn)數(shù)據(jù)質量的可持續(xù)優(yōu)化，為企業(yè)的決策和發(fā)展提供數(shù)據(jù)基礎[10]。

結語

隨著我國經濟社會的快速發(fā)展，可以借助現(xiàn)代化的信息技術，為科學的政策制定奠定良好的理論依據(jù)。因此，應用數(shù)據(jù)技術建立健全數(shù)據(jù)采集系統(tǒng)，利用數(shù)據(jù)質量管理工具設計合適的數(shù)據(jù)質量度量指標，健全數(shù)據(jù)質量改進系統(tǒng)與統(tǒng)一的合作機制，實現(xiàn)多個領域間的數(shù)據(jù)資源共享與協(xié)同，推進信息化與統(tǒng)計工作的深入結合，提高大數(shù)據(jù)的利用效率和使用效率，對于促進經濟社會發(fā)展具有積極意義。

參考文獻：

[1]徐婷婷.基于機器學習的高校合同數(shù)據(jù)的異常檢測與質量評估[D].武漢：華中農業(yè)大學，2022.

[2]梁巖，任玉鳳，李志紅，等.統(tǒng)計指標數(shù)據(jù)質量控制與評估方法探究[J].統(tǒng)計與管理，2022，37（5）：21-26.

[3]何永鋒.金融統(tǒng)計數(shù)據(jù)質量評估體系國際經驗及中國實踐[J].黑龍江金融，2021（7）：22-25.

[4]朱文軒.基于數(shù)據(jù)挖掘的我國林業(yè)統(tǒng)計數(shù)據(jù)質量評估方法與實證研究[D].北京：北京林業(yè)大學，2021.

[5]王佩.基于多源數(shù)據(jù)的統(tǒng)計數(shù)據(jù)質量評估方法與應用研究[D].西安：西安財經大學，2021.

[6]李剛.長沙市經濟普查數(shù)據(jù)質量評估及提升策略研究[D].長沙：湖南大學，2021.

[7]程薇薇.概率論與數(shù)理統(tǒng)計服務專業(yè)教學模式改革探索[J].大學，2021（7）：117-118.

[8]田長磊.芻議信息化技術在統(tǒng)計工作中的應用實踐[J].投資與創(chuàng)業(yè)，2020， 31（24）：85-87.

[9]汪娟，向宗城.計算機網絡技術在醫(yī)院統(tǒng)計管理中的運用[J].軟件，2020，41（12）： 101-103.

[10]黃萍.基于信息化技術對醫(yī)院檔案管理的新模式探討[J].黑龍江檔案，2020（6）：2-3.

作者簡介：璐然，碩士研究生，工程師，644822420@qq.com，研究方向：醫(yī)療大數(shù)據(jù)統(tǒng)計分析。