云飛
大數據治理中不需要考慮數據流的各個環節,不必強調大數據與小數據之間的區分與對立。
我們已經進入5G時代,IT演進與產業變革正在加速,IoT物聯網時代已經到來。“5G+AI+IoT”將進一步激發產業的數字化轉型,帶來數據量的激增,需要更強大的數據管理能力、更實時的數據處理能力、更精準的數據業務結合能力和更靈活、敏捷、高效的數字化平臺能力。隨著在行業領域應用的深入,數據作為基礎性戰略資源的地位日益凸顯。
“大數據觀”隨著智能應用落地和市場份額占據愈發變得清晰起來。從大數據功能角度分析“讓大數據發聲”“大數據革命”“數據為王”等表述,尚停留在理念性質的理解,實質上夸大了大數據的作用,關于大數據功能的定位也不準確。
“矯枉”還不夠,“歸正”之后,“大數據治理”成為大數據產業生態系統的新熱點。
大數據的特征決定了“治理”的必要性。大數據在采集各類數據時不需要定義各種數據庫對象,我們甚至不知道哪些數據是今后用得上,哪些用不上。正是由于整個采集存儲過程沒有涉及到任何轉置,原始數據沒有因為需要結構化或匹配差異系統而遭到破壞,數據的血緣關系是非常清楚的,因此在“大數據治理”中不需要考慮數據流的各個環節,不必強調大數據與小數據之間的區分與對立。
至于大數據怎么治理?我想這是個“大咖”級的問題,業界精英早有研究、早有判斷。梳理出關鍵詞,可能是數據確權、數據質量、數據安全、隱私保護、流通管控、共享開放等,無論哪一項,都不盡清晰,有些尚有爭議,這是一個新生事物發生發展,直至成熟的必然過程。我們所能看到的,最早意識到數據治理重要性的行業是金融行業。由于對數據的強依賴,金融業一直非常重視數據平臺的建設,經過幾代數據平臺的驗證,發現數據治理是平臺建設的主要限制因素,而且隨著投資和建設的投入增加,對數據治理重要性的認識也越來越深刻。如今各行業都開始了大數據平臺的建設,希望利用大數據的能力,來實現數字化轉型。大數據平臺的建設本質上還是數據的建設,傳統數據平臺碰到的所有問題,大數據平臺都有可能碰到,由于數據量級的變化,大數據平臺必然還會產生新的問題。
因此,“大數據治理”必定是個“久久為功”的事情。
忽視數據治理給數據平臺建設帶來了不少問題。隨處可見的數據不統一,難以提升的數據質量,難以完成的數據模型梳理等源源不斷的基礎性數據問題,限制了數據平臺的發展,導致數據應用不能在商業上快速展示效果。大數據時代,我們急需建立以用戶為中心的自服務“大數據治理”,信息梳理、數據管控、連接用戶、智能化是實現自服務“大數據治理”的四個主要階段,掌握一系列關鍵技術和技術原則,是實現自服務“大數據治理”的重要基礎。