大數據時代投資統計數據處理技術分析

張瑩

摘要：隨著經濟全球化趨勢進一步加劇，國內外競爭日益激烈，新形勢下，各行業都面臨著十分嚴峻的挑戰，對統計數據信息的依賴性也越來越高。大數據時代的到來為統計數據處理的順利開展提供了強有力的技術支撐，但由于數據信息處于實時更新和變化中，且具有類型多樣、體量大的特點，大大增加了處理難度。基于此，本文探討了投資統計大數據處理技術的意義，分析了投資統計大數據的基本特征和相關技術，以供參考。

關鍵詞：大數據；投資統計；數據處理

大數據時代，信息生成、傳播的渠道越來越多樣化，數據傳遞效率越來越高，各行業的內在聯系日益緊密，結構化、半結構化、非結構化數據的出現及廣泛應用，給統計工作帶來了全新的挑戰。在投資領域，統計數據具有極為重要的參考價值，如果統計數據的真實性、權威性得不到保障，或出現了統計信息不對稱的情況，投資決策失敗的可能性也會大大增加。

一、投資統計大數據處理技術的意義

目前，我國金融體制改革正在深入推進，金融市場也正發生變化。為了讓投資統計更加科學、準確，應結合實際情況，對投資統計大數據的關鍵處理技術展開分析和研究，從而全面、實時地處理海量數據，深入挖掘其背后蘊含的規律，提升投資統計數據的處理水平，從而為我國相關部門和行業做決策提供參考。

二、投資統計大數據的基本特征

從結構角度出發，可以將數據分為結構化數據和非結構化數據兩大類。其中，結構化數據是利用統計系統，將企業通過二維表的形式展現出來的數據；非結構化數據則完全相反，是無法利用二維表展現的數據，比如，圖片、文本、視頻、音頻等。投資統計大數據在遙感技術、地理信息系統等現代化技術手段的支持下，具有動態化監測的功能，讓數據的實時收集、整理、處理等環節更加高效、便捷，并加強和投資業務之間的聯系，使二者深度融合。一方面，要清楚掌握投資統計系統的實際運行狀況，定期生成與之有關的投資統計數據和具體信息；另一方面，在PDA及相關硬件設備的支持下，可動態收集投資統計項目的變化情況，結合投資進度，與住建部門、發改部門、稅務部門、工商部門等保持密切溝通，加強數據共享和傳輸，便于后期實時對比分析，從而不斷提高投資統計數據的綜合管理效能。

投資統計大數據的基本特征，具體表現在以下方面：首先，數據量日益龐大。大數據時代的到來，讓數據變化和生成的速度越來越快，投資統計數據的單位也從TB級上升到了PB級。其次，數據類型日益多樣化。目前，我國各級部門對投資統計數據的重視度日益提高，對數據信息的準確性、精確性要求也越來越高。因此，必須從多角度、多維度展開數據分析，確保其為現實需求服務，保證投資數據具有利用價值。再次，投資統計數據利用率不高。投資統計數據的采集并非靜態的，而是一個“永不停止”的過程，需要收集的數據體量非常大，必須要通過相應的監測技術，密切關注重大項目在投資過程中的數據變化，出現任何細微的數據異常，都會影響投資項目的成敗。因此，一定要采取精細化、規范化管理，提高數據的利用率，并再三檢驗數據的真實性與有效性。最后，投資統計數據處理效率要求高。新時代，投資統計數據時刻處于變化之中，對處理效率的要求越來越高。因而，應充分利用云技術、新型計算機、大數據等現代化技術手段，盡可能在短時間內完成數據的采集、傳輸、存儲、處理、分析等環節，這樣才能充分展現出投資統計數據的價值所在。

三、大數據時代投資統計數據處理技術分析

投資統計數據的處理，需要應用現代化技術，從數據采集、傳輸、儲存、處理、分析等多個環節進行深入探究，以保證投資統計的效率與質量。各環節涉及的技術具體如下：

（一）大數據采集技術

在投資數據管理過程中，數據采集是最基礎的環節，也是數據的主要來源。利用相應的技術采集各類數據端口，可讓數據更加全面、完整。在大數據采集過程中，通常需要很多數據庫同時接收數據，但也導致數據同質化現象。而且為了掌握更全面的信息，需要頻繁訪問和操作系統。為了讓數據采集進行得更順利，在數據采集端口必須利用相應的技術，確保其滿足數據運載負荷，提高數據采集的全面性。目前，應用最為普遍的技術是Google文件系統中的GFS技術。該項技術不受空間限制，對各類型數據展開收集與整理，并密切關注數據信息的變化情況，從橫向、縱向兩個方面予以動態化管理。在投資統計大數據的采集階段，一定要深化技術研究和開發，攻克當前面臨的數據難關。在未來的發展中，數據信息的重要性會越來越突出。只有掌握了足夠的技術，提高信息采集能力，才可充分發揮統計數據的價值和作用，讓相關領域的工作人員掌握一手資料和信息，提高開發效能與利用率。

（二）大數據傳輸、儲存技術

目前，我國的投資統計系統和數據聯網直報系統高度結合，在一體化的數據聯網直報平臺上，數據處理更加統一、規范、高效，使數據動態傳輸、儲存成為可能。隨著我國經濟社會的不斷發展，投資統計數據量呈爆炸式增長，數據類型更為多樣，但也使得數據儲存系統、傳輸系統的負擔不斷加重，其升級和改造十分迫切，也成為必然趨勢。否則，有可能出現系統漏洞，大大增加系統的運行負擔，影響數據處理效率，還容易導致機密信息泄露。這種情況下，需要充分發揮大數據傳輸與儲存技術的應用優勢，對數據進行壓縮，縮小其存儲空間，提高傳輸速度。通過投資統計數據傳輸處理技術來構建處理模型，讓數據批量處理成為可能，可有效避免系統資源占用空間大、資源利用率低等問題。目前，MapReduce技術在這方面的應用比較廣泛，具有聯機處理功能。將數據輸入模型后，還可實現分割，統一調度計算集群，讓各數據處理端口之間實現互聯互通，信息共享效率更高。數據從采集、傳輸到存儲，每個環節都需要相應的技術作為支撐，目前最常用的存儲方式是分布式保存，安全性高、數據可靠是其主要優勢，但其同樣也存在一定的缺陷。數據在系統中占據著較大空間，處理時間長，要在最短的時間進行分類和集約化處理，做好信息壓縮，可以使用投資遙感監測處理技術。在面對容量比較大的文件和資料時，可使用GFS分布式文件系統；在應對容量比較小的文件資料時，建議使用Haystack系統，彌補傳統技術在數據存儲方面的不足。

（三）大數據實時處理技術

投資統計大數據處理，采集和存儲只是前兩個基本步驟，后續還應對數據信息進行實時動態化處理。處理得是否得當會直接決定了信息的利用價值大小。目前，云計算系統是數據處理方面應用最普遍的技術類型之一，可滿足絕大部分情況下的投資統計處理服務，但如果在聯網直報的高峰期，系統可能出現崩潰、處理出錯、處理效率低等情況，且數據的準確性得不到保障。造成這一現象的主要原因在于，投資統計數據體量大、類型多樣，計算和處理難度大，在數據轉化的過程中，也有可能因為格式、標準不統一而出現錯誤，導致統計指標不完整、數據異常等情況時有發生。為了解決上述問題，必須要結合實際需求，打造更加開放的分布式處理系統，對各類數據進行大規模處理。目前，Sector廣域網分布式系統已具有數據處理、分割和轉交的功能。

（四）大數據分析技術

目前，Bigtable分布式數據庫在投資統計大數據處理和分析方面得到了廣泛應用，可按照列表存儲數據進，并從多維度展開分析，同時利用SQL語言集中分析數據，或利用LOD技術的可視化特點，構建相應的數據采集環境，對各類型大數據進行處理。平值法、平滑法、預測法、頻率統計法等，都是目前常用的方式，可對數據模型進行深度對比和分析。

四、改進投資統計的相關建議

（一）健全統計登記制度，做到應統盡統

財政、水利、發改委等資金管理、審批立項部門，在向投資主體下發資金及項目相關文件時，一定要將資料同步抄送統計部門。對于重要項目，在市發改委、縣區發改委及其他審批立項部門審批同意前，項目承接單位必須要在同級別的統計部門登記，按照固定資產投資統計的要求辦理相關手續，否則不允許開展。市、縣級統計局投資科（處）負責對所管理的當月投資完成額超過2000萬元的項目進行解鎖操作。解鎖前，要與項目單位充分溝通，了解項目建設的內容和進度，檢查相關填報憑證。在確認憑證支撐數據后，方可解鎖；對沒有憑證的項目不得進行解鎖；對憑證不充分的項目，依法要求補充憑證或進行數據修訂。憑證核查人員、解鎖人員解鎖主要依據要記錄留痕，以備檢查。

（二）加強重視

領導人員要加強對投資統計工作的關注度，做好協調工作，同時給予一定的資金、政策扶持。固定資產投資統計數據管理十分重要，必須要引進現代化的技術手段，充分發揮大數據、云計算技術等的應用優勢，實行領導負責制，明確劃分職責，并將責任落實到個人。定期舉辦固定資產投資聯席會議，由市發改委組織，水利、交通、建設、統計等部門協同參加，通報固定資產投資項目的開展情況、預期收益、遇到的風險等，并采取有效措施，解決當前存在的各種問題。同時，建立投資項目統計臺賬，利用大數據技術，對投資項目相關的信息進行全面收集、整理、存儲、分析與處理，將信息錄入數據庫。發改委、統計部門定期核查投資項目的完成進度、預期收益等，做好核對工作，確保將所有經費落到實處，以免出現浪費。

（三）采用全新的投資統計方法

將抽樣調查和全面報表相結合，遵循“抓大放小、從輕就簡”的原則開展投資統計工作。同樣地，也可以根據項目進行統計，要明確各項目的規模，比如，以計劃總投資500萬元作為分界線，500萬元以上的項目使用全面報表的方式統計，這類項目數量相對比較少，易于把握；總投資在500萬元以下的項目數量比較多，投資占比小，可利用抽樣調查的方式統計。部分特殊情況下，為了保證統計數據的全面性和真實性，也可利用大數據技術收集這類項目的所有信息，讓統計人員對項目的開展情況進行深入分析。

（四）加大數據審核力度

首先，應嚴格填報憑證核查，確保數出有據。嚴格執行制度規定，培訓指導調查對象依據真實憑證，準確填報相關指標投資數據。為確保月報期間數據核查及時、順暢，各級要加大對填報憑證的先行審核和管理，重點審核當月完成投資額超過2000萬元的項目。切實擔負數據審核的職責，做好憑證查驗、審核解鎖等工作，可根據實際情況制定具體措施，進一步夯實基層統計部門責任，加大審核力度。其次，要準確把握數據變化，真實反映投資運行趨勢受投資基期數據的影響，進一步加強投資運行趨勢與相關指標，包括銀行貸款，鋼材、水泥產銷量等的匹配性評估，把握好本地區投資的趨勢。加大調查研究力度，了解重大投資項目的進展，做好因素分析。了解增速波動原因，按要求按時上報月報說明。最后，大數據時代，數據體量更大、類型多樣，投資統計數據的處理難度也越來越大，對相關人員的專業水平提出了更高的要求。相關單位應定期開展專業培訓，加大內部宣傳，印發與投資統計有關的學習資料，夯實工作人員的理論知識基礎。在數據處理方面，應強化其信息素養，使其靈活掌握各種投資統計數據處理技術，降低數據處理的差錯率，保證信息的真實、準確。

（五）加強基礎建設

積極探索、推進投資統計臺賬建設，規范投資項目審核，特別是建立投資填報依據臺賬。可先對一些投資總量大、進度快的項目建立填報依據統計臺賬，規范整理和留存，做到憑證齊全、數出有據，以便隨時調閱。

（六）規范工作流程，嚴格工作要求

一是加強項目入庫管理，實現全部聯網直報。各地區投資處要嚴格按照《固定資產投資項目統計入庫工作規定》要求，做好項目入庫工作。同時，加大對入庫材料的審核力度，嚴把數據源頭關。二是按時報送報表。各地區投資處要嚴格按照投資司每月月報報送時間安排，準時報送各月的綜合表和基層表，杜絕遲報或重大延誤等情況。投資司每月將對報表報送的時效性、準確性等情況進行反饋，并以此作為年底考評各地區投資專業工作的重要依據。三是投資統計人員想要在短時間內上報眾多報表、統計海量數據信息顯然不夠現實，即便有現代化技術的加成，想要完成過于繁重的任務難度也比較大。這種情況下，統計報表的質量也得不到保障。因此，對于統計局而言，應盡可能調整調查時間，讓工作人員有足夠的催報報表及審核時間，避免工作過于慌亂。

五、結束語

總而言之，隨著我國科學技術不斷發展，過去的投資統計理論、技術、方法等都已經難以很好地滿足實際需求，必須要深化變革，不斷創新。大數據時代的到來，讓各種現代化技術手段在投資統計數據處理方面得到了廣泛應用，讓數據來源更加豐富，同時也讓投資統計的理念產生了深刻變化。未來，應深化技術分析與研究，繼續尋求數據處理方面的有效方法，加強探索，進一步提高投資統計的能力與水平。

參考文獻：

[1]張嵐，郭悅.發揮統計監督職能提升水利統計數據質量——《水利建設投資統計數據質量核查辦法（試行）》實踐與思考[J].水利發展研究，2022，22（06）：38-43.

[2]王明亮.水利項目投資統計數據精細化管理——以桑干河山陰縣段河道綜合治理工程為例[J].中國水利，2021（01）：60-61.