我國企業數據治理的困境與解決之道

張樹江 林德麗 王曉莉

摘?要：2024年政府工作報告明確表示，要深入推進數字經濟創新發展。加快傳統產業和中小企業數字化轉型，提升企業的綜合實力與核心競爭力。數據是企業實現數字化轉型的關鍵，在很大程度上決定著企業數字化轉型的成敗，因此數據治理對企業有著非常重要的意義。筆者根據多年企業數據管理經驗，深入總結分析了我國企業在數據治理方面存在的問題，并從戰略規劃、方法論和數據治理工具三個方面論述了如何做好企業的數據治理工作。

關鍵詞：數據治理;數字化;戰略規劃;方法論;治理工具

中圖分類號：F253.9????文獻標識碼：A?文章編號：1005-6432（2024）16-0079-04

DOI：10.13939/j.cnki.zgsc.2024.16.020

1?引言

近幾年，隨著互聯網、大數據、人工智能等技術的迅速發展，數據治理在國家、社會、企業治理中的作用愈加突出，包括國家發改委、工信部等在內的多個政府部門對提升政府、行業、企業數據治理能力提出了明確的要求［1］。2023年3月，中共中央、國務院印發了《黨和國家機構改革方案》，明確提出組建國家數據局的計劃，充分體現了國家對數據治理的高度重視，這也必將使政府數據治理向著更規范、更標準化的方向發展［2］。

在當前數字化轉型的大潮下，企業能否成功實現數字化轉型對企業的發展尤為關鍵，而企業數字化轉型的一個關鍵因素就是數據?，F在一些企業的數據方面存在一些問題，如企業的數據找不到、不準確、不及時等，都會直接制約企業的數字化轉型之路。數據實現規范化管理，確保質量，做到完整、統一、準確、及時，有助于推動企業快速實現數字化轉型。因此，數據治理（data?governance）是推動企業數字化轉型的關鍵。只有企業擁有高質量的數據，為企業的管理、運營和決策提供助力，數字化轉型才能順利進行。

數據治理其實是一種體系，是一個關注于信息系統執行層面的體系，這一體系的目的是整合IT與業務部的知識和意見，通過將流程、策略、標準和組織的有效組合，對企業的信息化建設進行全方位的監管。數據治理需要企業高層的授權和業務部門與IT部門的密切協作。

數據治理的目標是實現一致的信息架構與標準、唯一可信的數據源、可靠的外部數據、數據架構與IT握手、跨領域數據匯聚與整合、報告/指標數據可服務化、業務監測過程數據可視化、可管理。

目前大多數企業已經認識到數據治理的重要性，但當真正著手企業的數據治理時，仍然面臨著諸多的困難和挑戰。筆者結合多年企業數據治理經驗，深入分析了我國企業在數字化轉型過程中在數據治理方面面臨的困境。企業應根據自身實際，從戰略規劃、方法論和治理工具三個方面做好企業數據治理。

2?企業在數據治理方面面臨的困境

2.1?部門間缺乏有效溝通，數據孤島現象嚴重，無法有效實現企業內部數據共享

數據孤島一般是指企業將不同的業務、部門之間的數據各自存儲、定義，導致企業中的數據像一個個孤島一樣被分割成若干個部分，數據分散在各大平臺、自建系統、SaaS系統、Excel……彼此孤立，難以形成合力。在大數據迅速發展的今天，企業對數據越來越重視，而由信息孤島造成的部門間的數據難以形成有效的聯系，或者由不同部門針對相同數據定義值而作出不同解釋，造成數據污染，對企業的數字化發展造成越來越嚴重的影響。

對大部分企業來說，企業擁有大量的數據，但這些數據雖然體量巨大，但是來源卻很分散，格式也是多種多樣，加上缺乏有效的數據治理，數據孤島現象比較嚴重，導致企業內部數據分散、孤立和碎片化。比如企業內部由于不同部門間的業務系統缺乏有效溝通，難以實現不同部門之間的“網絡通、業務通、數據通”，以致同一企業內部無法實現數據共享。數據孤島問題的存在，給厘清企業的數據家底帶來很大的困難，使企業內部的數據交流變得十分低效，決策反應變得愈發遲鈍，嚴重影響企業的發展。

2.2?數據生產能力和匯聚能力不足，企業數據開發基礎比較薄弱

我國有數量龐大的企業群體，企業在信息化建設方面程度參差不齊。新技術、新工藝和新方法等的應用，使企業內部各方面的更新換代加快，很多企業的數據治理沒有跟上產品或業務的發展變化，這主要是因為在數據治理方面，企業采取固化的數據組合，或者建模方式不夠靈活等難以應對快速變化的產品、業務或市場。即使現在，仍有很多企業采用手工制表，效率低下，數據采集能力與數據生產能力不相匹配，大大降低數據時效性，數據質量也難以得到保證。

企業對數據治理的認識和重視程度存在很大的差異。很多企業還沒有認識到數據的重要性，沒有做過數據整理的工作，或者沒有厘清企業擁有哪些數據、數據分布情況等，造成數據底賬不清，使大部分企業的數據仍處于“睡眠”狀態。而對于一些傳統行業而言，很多企業的信息化建設基礎還比較差，設備接口不開放造成數據難以采集。另有一些企業雖然已經做過數據治理的工作，但存在數據失真、失準及一致性差等情況，造成數據匯聚質量不高［3］。

2.3?數據管控能力薄弱，治理標準不統一，數據質量難以得到保證

數據標準對保障數據的內外部使用和交換的一致性、準確性有著根本的約束作用。從企業視角來看，數據標準就是對數據的表達、格式及定義的一致約定，企業在進行數據治理時，要遵循一定的數據標準，或者按國家標準，或者按行業標準。但從目前企業數據治理的實踐情況來看，很多企業在進行數據治理時并沒有遵循一套統一的數據標準，導致生產的數據質量參差不齊［4］。

在數據治理中，企業不僅要考慮數據自身的質量問題，也要考慮不同系統（數據所處環境）間由于各種原因造成的數據質量問題，數據來源多個部門，以免出現同一指標可能出自不同部門而造成的數據混亂。因此，數據建設在解決數據有無的問題的同時，也要重視數據的質量問題，需要結合現有的業務管理系統，從數據的一致性、完整性、合規性、冗余性、及時性和有效性等維度進行全面分析。

2.4?數據開發與數據治理脫節，治理體系不完善，缺乏全流程可視化管理工具

很多企業的數據開發與數據治理脫節，開發和治理是兩張皮。數據生產、建模、運維安全等歸屬不同的部門，沒有統一的協調機制，各自為政。數據生產沒有從頂層設計和源頭管控，開發的數據因缺乏有效的監督機制而無法保證質量，數據治理不能很好地融入數據開發各環節之中，造成數據開發與治理是一個先污染后治理的過程，既降低了效率，又加大了工作量。或者數據資源存在于企業的多個業務系統中，分布在線上和線下，甚至分布在企業的外部，而數據治理系統從后端到前端相互獨立，而且屬于耦合開發，導致整個系統臃腫而建設效率低下，存在大量的重復性建設工作，對業務的響應也不夠快。如果將各獨立系統中的大量歷史數據及任務進行統一管理，就需要承擔高昂的數據遷移成本。

3?企業數據治理的解決之道

對企業而言，數據治理絕不僅是開發人員或者開發部門的技術問題，數據治理更強調頂層設計、戰略規劃和組織保障，是一項復雜的系統工程。從實踐情況來看，數據治理可以分為戰略規劃、方法論和工具論三個方面。只有在符合企業實際的戰略規劃指導下，采用科學的方法論，運用先進的工具，才能將企業的數據治理好。

（1）戰略規劃方面。數據治理是一個持續不斷投入的過程，短期內難見成效，長期才能看到數據治理的效果，數據治理需要長遠的眼光和持續的耐心，必須做好頂層設計，制定戰略規劃。

戰略規劃是數據治理活動的總綱和指導，是從頂層對數據治理的規劃，強調數據戰略、組織模式、職責分工以及標準規范，從長遠和大局保證數據建設的長期性、規范性和正確性。戰略規劃要切實符合企業的實際情況，在現實中具有可執行性。要建立好組織保障，由具有權威性的領導和執行力的技術人員組成專門部門負責數據治理的工作，完善相關的組織架構，進行權責分擔機制。數據治理組織需要自上而下形成完整的體系，一般情況下可分為決策層、管理層、執行層和監督層四個層級。數據治理要有章可循，制定數據治理的總體規定、數據架構管理辦法、數據質量管理辦法、數據安全管理規范、數據監管填報規范等多項制度規范，使企業在數據治理方面的工作正規化、標準化，數據標準、質量、安全等具體工作落實到實處，責任到個人。

（2）方法論方面。在企業數據治理的實際過程中，人們往往關心的是具體用什么工具，取得了怎樣的效果。但在實踐中，數據治理的很大一部分工作是戰略規劃和方法論的問題，只有長遠的戰略規劃和正確的方法論相結合，才能保證數據治理工作的有效進行。想要做好企業的數據治理，需要做好四個方向的方法論，即數據模型規范、數據質量治理、數據成本治理和數據安全治理。

企業數據模型要遵循一定的模式和規范，在數據治理的整個過程中，遵循一致性和連續性。構建一整套完善的數據質量監控體系，包含質量規則引擎、數據質量異常監控報警、異常數據在線修復。企業數據安全合規是企業數據治理的核心和紅線，企業對于數據的收集和使用必須遵守國家的法律和規范，對于涉及公民隱私等相關數據務必進行安全與合規化的管理和控制。數據治理方案對不同的使用者提供不同數據安全級別的控制，從取數和訪問流程到數據的隔離和區分，同時提供專門針對數據安全的服務控制，切實保障企業數據安全。

（3）數據治理工具方面。在制定了符合企業發展的戰略規劃，在正確方法論的保障下，選擇合適的數據治理工具是水到渠成之事。治理工具的選擇應根據企業的實際，包括人才方面、資金方面和前期工作方面等。

以阿里云的DataWorks數據治理平臺為例，其基于ODPS/EMR/CDP等大數據引擎，為數據倉庫/數據湖/湖倉一體等解決方案提供統一的全鏈路大數據開發治理平臺。DataWorks可用于數據傳輸、轉換和集成等操作，從不同的數據存儲載入數據，并進行轉化和開發，將處理好的數據同步至其他數據系統，從而提供了數據集成、數據開發、數據地圖、數據質量和數據服務等全方位的產品服務，可以助力企業實現較好的數據治理，實現企業數據分析、挖掘和探索，從而實現數據的價值［5］。

DataWorks數據治理平臺的體系架構可分為六個部分（其功能架構如圖1所示）。數據匯集是數據接入端口，所有數據來自業務系統、日志、文件、網絡等，由數據匯集工具將這些數據匯集到數據中臺。匯集到中臺的數據由數據開發部門進行加工和處理，并對數據進行清洗工作。數據體系負責大數據平臺中數據倉庫的構建。數據資產管理包括對數據資產目錄、元數據、數據質量、數據血緣、數據生命周期等進行管理和展示，是以企業全員更好理解的方式把企業數據展現給全企業人員。數據服務體系就是把數據變為一種服務能力，通過數據服務讓數據參與到業務之中。運營體系和安全管理建設內容主要涉及企業資產管理和數據安全，使數據越用越多、越用越活，是數據中臺健康持續運轉的基礎［6］。

圖1?阿里數據中臺功能架構

數據中臺的技術架構主要是大數據處理的一系列技術和方法，主要分為數據源、數據采集、數據計算、數據存儲和分析、數據服務以及研發及運維六個部分，中臺技術架構如圖2所示。

EasyData是百度旗下公司基于數據生產力方法論打造的一站式數據開發治理平臺，提供數據采集、標注、清洗、加工等數據服務，可以幫助企業數據技術開發者獲取AI開發所需的高質量數據［7］。EasyData在國內率先提出并實現建設開發與數據治理的一體化，具有包括元數據管理、數據標準、指標系統、數據建模等在內的DataFusion數據治理能力，其數據治理架構如圖3所示。

圖2?阿里數據中臺技術架構

EasyData在數據治理方面，主要可實現以下功能：

（1）數據采集、標注、清洗服務，高質量的數據加工。EasyData提供了比較便捷的數據采集方案和豐富的數據標注模板及工具，可以以一定的標準，比較方便而靈活地實現對數據的采集。對采集完成的數據，可進一步地進行數據的標注、智能清洗等數據加工工作，依靠百度強大的高精度算法，輸出高質量的數據，保證了數據建設的質量。

（2）可視化數據管理。非結構化數據一直是數據治理難題，而EasyData提供了對圖片、文本、音頻、視頻等非結構化類數據的可視化管理功能，支持便捷的數據導入、導出、查看、分版本管理等完善的管理服務。

（3）數據安全管理。數據安全是數據治理的重要方面，EasyData在提供數據加密及隔離存儲之后提供完善的安全技術方案，進一步保障數據的安全。

此外，百度利用強大的生態環境，提供了各種服務，可以將治理好的數據進行模型訓練、服務部署等。

圖3?EasyData數據治理架構

文章僅以阿里云數據治理平臺DataWorks和百度EasyData作為企業數據治理工具的例子，闡述數據治理平臺的功能結構和技術架構。目前在企業數據治理工具方面，國內眾多的數據服務企業開發出了適合各自行業的、具有自主知識產權的數據治理工具，提供了比較好的數據治理解決方案，比如還有華為的DataArts?Studio數據治理平臺、星環科技的Transwarp?Governor數據治理工具、滴普科技的實時湖倉平臺FastData、美林科技的Tempo數據治理平臺等，都具有較好的數據治理能力。企業可根據自身的資金預算和技術能力等實際情況，選擇適合企業自身情況的數據治理工具。

4?結論

不同企業集團的業務、規模、所處行業不同，其數據治理所面臨的問題、解決方案和工作方法也將有所不同。企業應從自身實際出發，建立完善的數據治理體系，為數字化轉型提供有力支撐點。

企業數據治理是一套持續改善的管理機制，需要持續增加、更新和擴充數據資源，不斷加強數據治理事項的日常管理。

參考文獻：

［1］工業和信息化部.《工業和信息化部關于工業大數據發展的指導意見》?（工信部信發〔2020〕67號）?［EB/OL］.https：//baike.baidu.com/item.

［2］孫冰.解碼國家數據局組建邏輯［J］.中國經濟周刊，2023（6）：28-32.

［3］?孫超.工業數字化轉型背景下數據治理研究［J］.網絡安全和信息化，2023（3）：4-6.

［4］?蔣艷.把握數據治理三大趨勢?做強做優做大我國數字經濟［J］.通信世界，2023（1）：32-35.

［5］?阿里巴巴.大數據開發治理平臺?DataWorks［EB/OL］.［2023-05-15］.https：//www.aliyun.com/product/bigdata/ide.

［6］?劉曉.阿里巴巴：數據技術驅動媒體深度融合轉型［J］.國際品牌觀察，2021（24）：44-49.

［7］百度.EasyData智能數據服務平臺［EB/OL］.［?2023-05-27］.https：//ai.baidu.com/easydata/.

［基金項目］青島黃海學院博士科研啟動基金資助項目“面向中小企業的基于湖倉一體化數據治理平臺研究”（項目編號：2023boshi04）；中國商業統計學會2023年度規劃課題重點課題“數字經濟與創新要素配置互促發展的作用機制研究——以青島市制造業為例”（項目編號：2023STZB10）。

［作者簡介］張樹江（1978—），男，青島黃海學院大數據學院教師，博士，研究方向：數據治理與分析應用、數字圖像處理。