大數據背景下經濟普查的難點與對策

馬郡澤

大數據技術為經濟普查提供了新的手段，也帶來了數據量激增、數據安全隱患加劇、數據管理與分析難度增加等一系列新挑戰。為有效解決這些難題，需要通過與多個領域的數據關聯應用，發掘數據更大的價值，服務于經濟管理的多個決策層面。

隨著信息技術的快速發展，大數據技術的應用為各行各業的數據發掘與分析提供了新的思路。然而大數據條件下經濟普查也面臨一定的難點與挑戰。數據量與數據類型的多樣性使得數據的真實性和有效性難以保證，數據的隱私性與安全性也面臨威脅。此外，不同系統異構數據之間關聯度的提高給數據分析的廣度與深度帶來挑戰。為此，需要從保證數據質量、強化數據安全以及擴大數據應用等多個層面入手，綜合應對大數據條件下經濟普查中的難點，發揮大數據技術對經濟研究與決策支持的重要作用。

一、大數據背景下經濟普查的難點

（一）數據質量問題

在大數據時代，數據的質量是影響數據分析的關鍵因素。然而，經濟普查中的數據質量面臨著嚴峻的挑戰。首先，由于數據來源廣泛，真實性難免受到影響。例如，一些數據可能來自不可靠的渠道，或者存在人為的篡改、偽造、誤報等現象。這些都會導致數據的真實性降低，影響數據的可信度和有效性。其次，異構數據之間存在語義不匹配的問題。例如，不同的數據源可能采用不同的數據格式、編碼、標準、定義等，導致數據之間的一致性和互操作性差。

（二）數據安全問題

在大數據環境下，經濟普查數據規模巨大，涉及個人、企業的隱私數據。這些敏感數據很容易受到外部的攻擊、盜取或篡改，數據安全問題凸顯。一旦出現數據泄密，后果嚴重。例如，個人的身份信息、收入情況、消費行為等，如果被泄露，可能會導致個人的財產損失、信用受損、隱私侵犯等。企業的經營狀況、市場占有率、核心技術等，如果泄露，可能導致企業的競爭力下降、商業機密泄露、知識產權被侵權等。

（三）數據處理問題

大數據時代數據類型復雜、變化快，給數據處理帶來困難。如何快速高效地對海量經濟普查數據進行收集、存儲、清理、轉換、加載、運算分析，是數據處理面臨的難題。例如，數據收集過程中，需要考慮數據的來源、時效、完整、準確等因素，并采用合適的數據采集方法和工具。數據存儲過程中，需要考慮數據的規模、結構、分布、可訪問性等因素，并采用合適的數據存儲模式和技術。數據清理過程中，需要考慮數據的質量、一致性、有效性等因素，并采用合適的數據清理方法和工具。這些數據處理的各個環節都需要大量的時間、資源、技術和人力，并且存在相互依賴和影響的關系，難度不小。

（四）數據應用問題

如何擴大經濟普查大數據的應用范圍，讓數據發揮更大的價值，也是目前面臨的難點。比如開發符合決策需求的應用，實現與其他領域數據的有效融合等，仍有不少工作要做。例如，如何將經濟普查數據與社會、政治、文化、環境等其他領域的數據進行有效整合，形成更全面、更深入的數據分析，從而為各級政府和社會各界提供更有價值的數據支持和服務。如何將經濟普查數據與互聯網、物聯網、人工智能等其他技術進行有效結合，形成更智能、更便捷的數據應用和服務，從而為個人、企業和社會提供更有用的數據產品和解決方案。這些都是經濟普查大數據應用的方向和目標，但也存在著技術、資源、管理、法律等方面的障礙和挑戰。

（五）信息共享問題

在大數據背景下，經濟普查數據的信息共享是提高數據利用效率和價值的重要途徑。然而，目前經濟普查數據的信息共享還存在著一些難點。首先，信息共享的法律法規不完善，缺乏統一的標準和規范，導致信息共享的主體、范圍、方式、責任等不明確，存在法律風險。例如，數據的所有權、使用權、許可權等不清晰，導致數據的共享受到限制或阻礙。其次，信息共享的技術平臺不健全，缺乏統一的數據交換和共享機制，導致信息共享的效率和質量低下，存在技術障礙和困難。例如，數據的格式、編碼、標準、定義等不統一，導致數據的轉換和匹配困難。最后，信息共享的管理制度不健全，缺乏有效的數據監督和評估機制，導致信息共享的秩序和效果不理想，存在管理漏洞和問題。例如，沒有對數據的共享過程和結果進行有效記錄和反饋，導致數據的共享缺乏透明度和可追溯性。

二、對策分析

（一）建立健全數據質量管理體系

首先，建立全面的數據質量監測機制，加強對數據來源的管理，確保入庫數據的真實可靠。例如，可以通過數據源的認證、數據的抽樣檢驗、數據的交叉驗證等方法，對數據的來源進行篩選和評估，排除不可信的數據源，提高數據的真實性。同時，要不斷完善數據標準，強化數據之間的關聯與匹配，減少異構系統數據之間的語義偏差。例如，可以通過制定統一的數據格式、編碼、標準、定義等，對數據進行規范化和標準化管理，提高數據的一致性。還可以通過建立數據字典、數據目錄、數據地圖等，對數據進行描述和注釋，提高數據的可理解性。

（二）加強數據安全保護措施

首先，建立嚴密的數據安全體系，運用加密、脫敏、權限控制等技術手段，防范外部攻擊和內部泄密，保護數據的完整性和隱私性。例如，可以通過對數據進行加密處理，使數據在傳輸和存儲過程中不被竊取或破解，保護數據的完整性。還可以通過對數據進行脫敏處理，使數據在使用和展示過程中不暴露敏感信息，保護數據的隱私性。此外，還要加強安全意識培訓，營造所有員工共治的數據安全氛圍。例如，可以通過定期的安全教育、安全演練、安全考核等方式，增強員工的安全意識和技能，規范員工的數據使用行為，防止數據的濫用或泄露。

（三）利用大數據技術和工具

面對數據類型和數量的爆炸式增長，需要使用大數據處理平臺，選擇高效的分布式存儲系統，建立高性能的分析計算框架，使用流式處理、內存計算等技術加速數據處理，使之能夠適應數據量大、速度快、類型復雜的特點。例如，可以使用Hadoop、Spark等大數據處理平臺，對海量經濟普查數據進行收集、存儲、清理、轉換、加載、運算分析等操作，提高數據處理的效率和質量。還可以使用Kafka、Storm、Flink等流式處理技術，對實時經濟普查數據進行快速的處理和分析，提高數據處理的時效性和實時性。

（四）拓展數據的應用領域

主動拓寬經濟普查大數據應用的范圍，通過和其他領域數據的有效融合，服務于更廣泛的決策需求。比如，支持經濟狀況評估與預測、構建知識圖譜、進行數據可視化展示等，讓數據應用惠及更多領域，提升數據分析的價值。例如，可以通過將經濟普查數據與社會、政治、文化、環境等其他領域的數據進行有效整合，形成更全面、更深入的數據分析和挖掘，從而為各級政府和社會各界提供更有價值的數據支持和服務。還可以通過將經濟普查數據與互聯網、物聯網、人工智能等其他技術進行有效結合，形成更智能、更便捷的數據應用和服務，從而為個人、企業和社會提供更有用的數據產品和解決方案。

（五）推進數據開放和共享

從法律、技術、管理等方面推進數據的開放和共享。首先，完善數據的法律法規，明確數據的權屬和責任，制定數據的共享標準和規范，保障數據的合法合規共享。例如，可以通過制定數據的分類和分級制度，確定數據的共享主體、范圍、方式、條件等，規范數據的共享行為。還可以通過建立數據的保護和懲罰制度，保護數據的安全和隱私，防止數據的濫用和泄露。其次，建立數據庫技術平臺，實現數據的統一交換和共享，提高數據的共享效率和質量。例如，可以通過建立數據的共享中心，提供數據的發布、查詢、申請、下載等服務，方便數據的共享使用。還可以通過建立數據的共享協議，實現數據的格式、編碼、標準、定義等的統一。最后，健全數據的管理制度，加強數據的監督和評估，優化數據的共享秩序和效果。例如，可以通過建立數據的共享日志，記錄數據的共享過程和結果，提高數據的共享透明度和可追溯性。還可以通過建立數據的共享指標，評估數據的共享質量和價值，提高數據的共享效益和水平。

三、大數據背景下經濟普查的優化措施

（一）多源異構數據關聯分析，支持經濟狀況評估與預測

在大數據環境下，可以收集更多類型的經濟運行數據，并與普查數據實現有效關聯，從更多維度解析經濟狀況，進而通過模型運算，得出經濟形勢評估分析以及未來趨勢預測。例如，可以收集社會、政治、文化、環境等其他領域的數據，并與經濟普查數據進行關聯分析，從宏觀和微觀的角度，揭示經濟狀況的影響因素、變化規律、發展方向等。還可以通過機器學習、深度學習等模型，對經濟普查數據進行運算分析，從歷史和現狀的角度，評估經濟狀況的優劣、問題、風險等。此外，還可以通過時間序列分析、趨勢預測等模型，對經濟普查數據進行運算分析，從未來的角度，預測經濟狀況的變化、趨勢、機遇等。

（二）建立經濟普查知識圖譜，支持問答、決策等服務

基于知識圖譜，可以構建智能問答、決策分析等服務，輔助管理決策。例如，可以通過知識圖譜技術，將經濟普查數據中的經濟活動主體、經濟狀況、經濟指標等，作為實體，將實體之間的從屬、關聯、影響等關系，構建經濟普查知識圖譜，形成經濟普查領域的概念體系。還可以通過知識圖譜技術，將經濟普查數據中的新的數據、信息、知識等，不斷融入知識圖譜，豐富圖譜內容。此外，還可以基于知識圖譜，構建智能問答、決策分析等服務，輔助管理決策。例如，可以通過智能問答服務，根據用戶的自然語言問題，從知識圖譜中檢索相關的實體和關系，給出精準的答案。還可以通過決策分析服務，根據用戶的決策目標，從知識圖譜中提取相關的實體和關系，進行數據分析和模型運算，給出優化的方案。

（三）數據可視化展示分析成果，直觀反映經濟動態

充分利用可視化的展示手段，將抽象的數據轉化為直觀的圖表，通過動態的、交互式的可視化應用，將經濟普查數據分析的結果和經濟發展動態更好地呈現出來，提升分析成果的說服力。例如，可以利用柱狀圖、折線圖、餅圖等常見的圖表，將經濟普查數據分析的結果，如經濟活動主體的數量、結構、分布等，以及經濟狀況的評估、預測等，以簡潔明了的方式展示出來，突出數據的重點和趨勢。還可以利用地圖、儀表盤、故事板等高級的圖表，將經濟普查數據分析的結果，如經濟活動主體的地理位置、經濟狀況的區域差異等，以及經濟發展動態的變化、影響等，以生動形象的方式展示出來，增加數據的吸引力和感染力。此外，還可以利用動態的、交互式的可視化應用，讓用戶可以根據自己的需求，對數據進行篩選、排序、比較、聚合等操作，實現數據的個性化和定制化展示，提高數據的可用性和靈活性。

（四）建立經濟活動場景和portrait，支持精準識別與畫像

大數據技術可以為經濟普查提供更豐富、更準確、更及時的數據來源和分析方法。一方面，可以利用定位服務、交易數據等，實現對不同經濟活動的實時監測和動態評估。例如，可以通過分析用戶的位置軌跡、消費行為、社交網絡等，判斷用戶是否參與了旅游、購物、餐飲等經濟活動，并對這些活動進行分類、統計和評價。這樣，就可以對經濟活動的規模、分布、特征、影響等進行全面了解和分析，為經濟決策提供有力的支持。另一方面，可以依托portrait技術，從數據層面深入繪制經濟活動主體的畫像，作為經濟普查的重要內容。portrait技術是一種利用數據挖掘、機器學習等方法，對經濟活動主體的屬性、行為、偏好、需求等進行綜合描述和預測的技術。通過portrait技術，可以將經濟活動主體劃分為不同的群體或個體，并對其進行詳細描述和分析。例如，可以根據用戶的消費習慣、信用評級、收入水平等，為其提供合適的金融產品、優惠政策、營銷策略等。這樣，就可以提高經濟普查的精度、質量和效率，促進經濟的發展和創新。

結語：

大數據為經濟普查提供了新的機遇，也帶來一定的挑戰。要認識到大數據條件下的數據特性，主動應對數據質量問題、數據安全問題、數據處理難題以及數據應用局限等方面的難點。同時，要充分利用大數據技術，建立數據治理體系，優化數據分析流程，拓展數據應用范圍，推動經濟普查大數據分析向規范化、系統化、智能化方向發展，造福社會經濟。