邰芷卉
隨著數(shù)據(jù)在復雜性和數(shù)量上的增長,企業(yè)需要更好的方法來管理數(shù)據(jù),這就是數(shù)據(jù)網格和數(shù)據(jù)結構的用武之地,這是2個比較流行的下一代數(shù)據(jù)管理概念,二者各有所長,但又互為補充。
2019年,Zhamak Dehghani將數(shù)據(jù)網格定義為基于4個核心原則的數(shù)據(jù)管理概念,即:域所有權、作為產品的數(shù)據(jù)、自助數(shù)據(jù)平臺、聯(lián)合計算治理。
傳統(tǒng)的數(shù)據(jù)管理模型側重于信息的中央存儲庫,而數(shù)據(jù)網格概念采用了更分布式的方法。在此模型下,每個團隊或部門負責管理自己的數(shù)據(jù),并創(chuàng)建所有人都可以使用的聯(lián)邦系統(tǒng)。
這種方法有幾個優(yōu)點:首先,它有助于確保數(shù)據(jù)準確和及時,因為每個團隊都負責維護自己的記錄,它促進了透明度和協(xié)作,因為團隊可以看到組織內其他人是如何使用數(shù)據(jù)的。其次,數(shù)據(jù)網格消除了對集中式IT基礎設施的需求,為組織提供了更靈活和可伸縮的數(shù)據(jù)管理方式。
數(shù)據(jù)網格概念的價值還在于,它能夠為組織的數(shù)據(jù)創(chuàng)建單一的真實源,同時為單個業(yè)務單元提供更大的控制。這有助于防止數(shù)據(jù)豎井,并使治理和管理組織的整體數(shù)據(jù)資產變得更容易。
此外,自助數(shù)據(jù)平臺原則使業(yè)務用戶能夠在需要時更容易地訪問所需的數(shù)據(jù),這有助于改進決策,提高操作效率。最終,數(shù)據(jù)網格概念可以為不斷增長數(shù)據(jù)資產的組織提供顯著的好處。
數(shù)據(jù)結構是作為數(shù)據(jù)和連接過程的集成層的設計概念。Gartner較早地創(chuàng)造了這個術語,它已經成為思考數(shù)據(jù)管理的一種流行方式。
數(shù)據(jù)結構利用對已知、標識和推斷的元數(shù)據(jù)資源持續(xù)分析,這使得跨多個平臺、數(shù)據(jù)類型、位置共享和重用數(shù)據(jù)成為可能。

數(shù)據(jù)結構利用人工和自動化功能來獲得對現(xiàn)有數(shù)據(jù)的訪問權,或在適當?shù)那闆r下幫助進行數(shù)據(jù)整合,它通過識別和連接來自不同來源的數(shù)據(jù),找到不同應用程序數(shù)據(jù)點之間不同的、與業(yè)務相關的連接。這種洞察力允許重新設計決策,通過快速訪問和理解產生比傳統(tǒng)數(shù)據(jù)管理技術更大的價值。
在典型的設置中,數(shù)據(jù)結構從數(shù)據(jù)管道的被動觀察者開始,隨著時間的推移,它開始使用人工智能和機器學習功能來提出更有效的數(shù)據(jù)處理方法。
數(shù)據(jù)結構不是數(shù)據(jù)管道、數(shù)據(jù)倉庫或數(shù)據(jù)湖,而是建立在這些概念之上的數(shù)據(jù)管理的下一個邏輯步驟。
數(shù)據(jù)網格和數(shù)據(jù)結構都是管理數(shù)據(jù)的方法,強調治理、發(fā)現(xiàn)和重用。然而,二者之間有一些關鍵的區(qū)別。
數(shù)據(jù)網格是數(shù)據(jù)產品的網絡,每個數(shù)據(jù)產品都有一個定義良好的所有者,并且可以通過應用程序編程接口(API)訪問。相比之下,數(shù)據(jù)結構是一個集中式平臺,支持創(chuàng)建數(shù)據(jù)產品,并為消費者提供單一訪問點。
然而,正如開頭所提到的,這2個概念是互補的,可以共存。例如,可以使用數(shù)據(jù)結構對資產進行編目,將其轉換為產品,并遵循聯(lián)邦治理策略,這將使數(shù)據(jù)消費者能夠以多種方式使用數(shù)據(jù)產品,例如將數(shù)據(jù)產品發(fā)布到目錄、搜索它們以及通過API查詢或可視化數(shù)據(jù)產品信息。
數(shù)據(jù)結構元數(shù)據(jù)還可以用于發(fā)現(xiàn)數(shù)據(jù)產品生產過程中的模式,或者在監(jiān)視數(shù)據(jù)產品時發(fā)現(xiàn)規(guī)律,然后將這些活動自動化。
隨著企業(yè)數(shù)據(jù)量的不斷增長,增強數(shù)據(jù)管理變得越來越重要。
增強的數(shù)據(jù)管理可幫助組織更好地管理其數(shù)據(jù)資產,提高數(shù)據(jù)質量并減少手工干預的需要。此外,增強數(shù)據(jù)管理可以提供組織數(shù)據(jù)的統(tǒng)一視圖、自動將元數(shù)據(jù)管理和主數(shù)據(jù)模型生成。
在數(shù)據(jù)高速增長的時代,增強數(shù)據(jù)管理為滿足需求提供了急需的解決方案。利用這些數(shù)據(jù)管理概念可以幫助改進決策、提高操作效率并防止數(shù)據(jù)豎井。所有這些因素在當今的商業(yè)環(huán)境中都很重要,可以幫助組織獲得競爭優(yōu)勢。