工業和信息化領域產業數據建設關鍵問題研究

一、引言

步入數字經濟發展新時代，以大數據為代表的新一代信息技術正引領著新一輪的科技革命和產業變革。數據作為新型生產要素，既是基礎性和戰略性資源，也已經成為一種重要生產力。在工業和信息化領域如何積累數據資源、釋放數據價值，運用大數據驅動產業創新發展，對于促進產業轉型升級、推動經濟高質量發展具有重要意義，也是工業和信息化主管部門推動治理能力現代化的內在需求和必要選擇。本文圍繞工業和信息化領域產業數據采集、匯聚、治理、管理、應用等重點環節，分析存在的關鍵問題，提出實踐解決策略，為工業和信息化主管部門、相關科研單位建設完善數據基礎，加快提升獲取數據、分析數據、運用數據的能力提供優化路徑和參考。

二、關鍵問題分析

產業數據的建設目標是形成“來源穩定、質量可靠、管理有序、分析高效”的數據資源體系，為數據的分析、挖掘和應用奠定基礎。目前相關部委、地方工信主管部門都在積極推進產業數據建設，結合調研和建設實踐情況，主要存在以下五方面問題。

數據構成方面，工業和信息化領域涉及行業多、范圍廣，產業數據的邊界和范圍不明，難以針對性地開展研究和儲備。

數據采集方面，產業數據來源龐雜，數據類型及獲取方式多樣，難以保障數據持續、及時獲取。

數據匯聚方面，由于存儲成本降低和數據量增大，傳統數據集成過程（ETL）中的復雜處理非常耗時，且數據在匯聚過程中同步開展轉換工作，若轉換規則有誤，數據將無法追溯，只能重新接入。

數據質量方面，各來源獲取的數據質量不一，不同層度上存在數據缺失、重復、異常值等問題，難以直接用于數據分析。

數據管理及應用方面，難以掌握數據全貌，存在管理盲區，導致大量數據獲取后 “躲”在后臺，看不見、用不上、管不了。

三、實踐策略研究

（一）明確產業數據的邊界和內容，找準研究及建設的發力點

工業和信息化領域涉及行業多、企業多，數據的范圍廣、結構復雜、頻率多樣，明確工業和信息化領域產業數據的范圍和內容是推動數據資源不斷豐富及體系架構不斷完善的關鍵。圍繞工業和信息化主管部門主責主業，根據數據的產生和應用需要，從數據范圍來看，工業和信息化領域產業數據是工業和信息化主管部門行使職能，開展行業管理、推動行業發展等過程中所產生和需要的數據集合。從數據的內容構成來來看，包括數據產生、組織、應用三個角度。

數據產生角度，分為三個層面，即宏觀/區域/行業層面的基本信息、資源要素、統計匯總數據；企業層面的基本信息、資源要素、生產經營數據；生產/流通/使用層面的行為和過程數據等方面。其中，以企業為主體而展開和延伸的各類數據是產業數據的核心和重點；生產/流通/使用層面的行為和過程數據是產業數據的特色資源和有力補充。

數據組織角度，包括三個維度，即時間（不同頻率和區間）、空間（全國、省、市、縣及國際）和行業（國民經濟行業分類或其他按需劃分的行業類型），可分別從時間、空間和行業的角度探討產業數據的構成。

數據應用角度，根據工信部門職責定位，包括應用于行業管理、產業監測、決策分析等多個方面的產業數據。

（二）完善數據采集手段，提高數據采集更新時效性

結合產業數據的范圍及內容，數據獲取的方式主要分為線下文件、系統對接、手工填報、互聯網采集四種，通過建立線下數據電子化、數據接口、數據上報、網絡爬蟲等采集工具為不同的數據獲取方式匹配相應的技術采集手段，保障數據的按需匯聚入庫，提高數據采集更新時效性。

線下數據電子化工具。應用于線下方式提供的光盤、紙質文件數據的電子化入庫，通過配置數據模板，實現數據的批量錄入及更新。

數據接口工具。應用于與系統對接方式獲取數據的采集入庫，通過對各來源數據接口的統一管理和規則配置，可實現與數源系統的同步更新。

數據上報工具。應用于政府、協會、企業等用戶在線填報、上傳數據（如地方生產、效益、投資等運行數據，特色行業數據），支持按需配置數據審核流程及短信催報等功能，數據上報后可實時更新入庫。

網絡爬蟲工具。應用于外部門、行業協會、第三方機構等在互聯網上公開發布數據（如海關總署月報數據、國家統計局公開發布指標、各地政策新聞、投融資等）的采集入庫，可按需設定爬取頻率及入庫數據的格式，支持數據的分鐘級更新。

（三）規范數據匯聚流程，保障多源數據持續積累

數據匯聚是通過集成工具指把各數據來源的原始數據進行匯聚整合的過程，保障各渠道采集獲取數據的持續積累。傳統數倉一般采用ETL的方式進行匯聚整合，在抽取（E）和裝載（L）的過程中進行清洗轉換（T）操作，這樣的方式如果轉換規則復雜，會導致ETL過程中消耗大量計算資源，且若轉換有錯誤，由于沒有保留原始數據，會導致數據無法追溯等問題。

本文采用ELT（Extract-Load-Transform）方式，按需抽取（E）各數據源的原始數據裝載（L）至貼源數據層，再將匯聚后的數據按照統一庫表標準進行轉換（T），簡化了抽取過程，且盡可能的保留了原始數據。

（四）規范數據匯聚流程，保障多源數據持續積累

建立完整的數據質量校驗規則，是發現數據質量問題，有效開展數據清洗加工的關鍵。針對產業數據質量不一的問題，從數據的完整性、時效性、唯一性、準確性等方面建立通用的質量校驗規則，定期開展數據質量稽核，不斷提升數據的可用性和易用性。其中，完整性校驗規則主要為比對數值、單位、起止時間等字段在庫表中是否完整、是否存在缺失值等；實效性校驗規則主要為比對數據的更新時間是否與數據更新頻率一致；唯一性校驗規則通過篩選指標ID、字段名判斷是否存在重復數據；準確性校驗規則通過設定閾值等方式比對數據記錄的內容是否準確、是否存在異?；蝈e誤信息。

（五）構建業務數據分類標簽，推動多維數據精細管理和分析應用

數據標簽是從業務視角對數據進行的語義化描述，構建了數據和業務之間的橋梁，可有效提升數據價值密度和數據可讀性。本文從數據的應用、管理、安全三個維度，構建數據標簽，拓展數據的屬性和維度，加強數據的精細化管理能力和關聯分析應用能力。

數據管理標簽。面向數據的分類管理需求，構建數據來源、數據頻率、數據質量等管理標簽，便于數據分類管理。其中，數據來源標簽包括自有、外部門、行業協會、第三方機構數據等；數據頻率標簽包括不定期、年度、季度、月度、周度、日度、實時數據等；數據質量標簽根據數據質量稽核情況區分質量高、中、低三檔。

分析應用標簽。面向數據的分析應用需求，構建區域屬性、行業屬性、企業屬性等應用標簽，便于數據檢索查詢和關聯調用。其中，區域屬性包括省/市/縣等行政區劃標簽，四大板塊、經濟帶、城市群等重大區域戰略標簽，工業園區和示范基地等工信特色區域標簽；行業屬性包括國民經濟行業標簽，以及人工智能、工業互聯網等新興領域標簽；企業屬性包括大中小微企業規模標簽，國有、民營、外資等企業類型標簽，單項冠軍、專精特新“小巨人”等重點企業標簽。

安全管控標簽。面向數據的安全管控需求，構建數據流通性、數據保密性等分級標簽，匹配相應安全管理手段。其中，數據流通性標簽包括無條件共享、有條件共享和不予共享數據；數據敏感性標簽包括內部、公開等。

四、結語

本文圍繞建設“來源穩定、質量可靠、管理有序、分析高效”的工業和信息化領域產業數據資源體系，深入分析了產業數據在采集、匯聚、清洗、管理、分析等重點環節存在的關鍵問題，從明確數據邊界及內容、完善數據采集手段、強化數據質量稽核、構建業務數據分類標簽等方面系統性的提出了解決策略，為推動工業和信息化領域產業數據建設，加快構建滿足國家治理體系與治理能力現代化要求的工信大數據體系提供思路借鑒。

作者單位：中國信息通信研究院