解決數據資源治理與共享問題,是促進大數據產業有效健康發展的必由之路。貴州在全國率先啟動大數據戰略行動,積極推動大數據在政務領域的應用,率先建設了統籌省級政府數據“聚、通、用”的“云上貴州”系統平臺,目前正積極推進“一云一網一平臺”工作(云上貴州“一朵云”、政務服務“一張網”、政務服務和政務數據智能工作“一平臺”)。
政府部門是數據資源的重要集散地和數據資源進一步采集開發的主力高地。政府大數據資源共享與治理是整個社會大數據時代關注的焦點。在大數據的背景下,美國、英國、新加坡等外國政府都相繼推出了大數據開放的策略。貴州、北京、上海等地方政府建設了政務數據開放的平臺。這些舉措為更多企業和個人參與大數據價值鏈的創造,讓大數據促進產業的發展,實現大數據惠民等方面奠定了資源基礎和技術基礎。
但是,實踐過程中,由于數據存在來源廣、類型眾、結構復雜、高頻實時、深度定制化、數據之間關聯復雜的特點,在我國大數據實踐方面呈現出以下問題:一是隨著大數據與社會經濟生活的融合不斷深化,數據及其所產生的知識在社會各主體間流動頻繁,海量動態數據持續到達,數據集成壓力加劇,大數據資源共享和協同管理已成為大數據研究和應用的核心問題。二是數據關系復雜,缺乏統一的數據質量標準。多源異構數據使得數據聚而不通,數據質量難以有效保障,不能實現各領域數據的有效共享,大數據標準化和質量測度模型與方法成為了制約大數據發展的瓶頸共性問題。三是出于對網絡安全、泄密風險等原因的擔憂,數據擁有方對開放各種數據有所疑慮,如何實現風險可控、權限可控的數據共享成為目前實行大數據治理與共享應用急需解決的痛點問題。
當前,我國經濟正處在轉變發展方式、優化經濟結構、轉換增長動力的重要時期,應充分認識并把握大數據發展契機,深入分析產業發展面臨的新形勢、新變化和新問題,扎實推進國家大數據戰略實施,深化大數據與工業、農業、服務業等領域實體經濟融合發展,以數據流引領技術流、資金流、人才流、物資流,促進生產組織方式的集約和創新,為先進制造業發展、傳統產業升級、信息消費擴大升級提供新動能,推動大數據產業高質量發展。
重點開展大數據共享的質量標準體系研究與創新。一是領域核心元數據規范。數據的開放與共享離不開元數據,為開放數據資源提供高質量的數據描述,是實現數據資源目錄之間互操作的基礎。二是大數據的數據質量標準。在ISO及國標的基礎上,結合領域大數據的現狀和特點,研究能自動吸納原有標準里適用部分的自動化方法,研究數據質量標準循環改進過程和標準化演化機理,建立能夠跟隨真實數據情況進化的融合多需求維度的數據質量標準。三是大數據的加工清洗規范。針對數據集成、異常檢測方法和自動化或者半自動化的清洗流程,研究實現數據清洗流程的自動化或者半自動化。
重點開展大數據資源的共享機制與治理模式研究。一是公共大數據資源的共享技術和方法。就數據之間的交換,數據管道提供了一種不同數據庫之間傳遞數據和(或)表結構的方法,其能快速高效地實現多個異構數據庫之間大量數據的遷移,同時滿足各數據庫的有限開放的保護功能。基于動態數據管道技術的數據交換和共享是重點關注方向。二是大數據資源共享的治理研究與實踐。加強對公共大數據資源的共享治理,強調對數據共享系統的可持續利用和維系,研究探索大數據共享附能的商業模式,實現數據資產可持續運營。通過基于塊數據研究與產業數據互聯的技術方法,提出數據資產的長效管理機制。同時,利用深度學習、人工智能等方法,探索數據內在聯系和價值,盤活數據資源,實現數據資產的共享治理。